Offentlig sektor behöver upphandling som kan säga nej

En myndighet blir inte ansvarig när den skriver under för ett AI-system. Den blir ansvarig när dess krav, bevisning, mänsklig auktoritet, ändringskontroll...

Offentlig sektor behöver upphandling som kan säga nej

The document that can end a purchase

A public procurement file often begins with a request that sounds harmless: find a system that can help with a task. The request moves through a problem statement, a market consultation, a set of requirements, an evaluation, a contract and, if the process is healthy, a decision that can still stop the work. That last possibility is easy to lose. Once money, calendars and political attention have gathered around a purchase, the word no starts to sound like a failure of delivery. In public work, it can be the most useful decision in the file.

European procurement law already treats a tender as more than a contest of attractive promises. Directive 2014/24/EU says that award criteria must allow effective and fair competition and must be accompanied by arrangements that let the contracting authority verify the information supplied by tenderers. The directive also says that criteria should not give the authority unrestricted freedom of choice. A public buyer has to describe what matters, explain how it will be weighed and check whether the offer actually meets it. This is not an administrative footnote. It is the legal shape of a decision that other people must be able to understand and challenge.

AI makes the old discipline harder because a supplier can offer a system whose behaviour depends on data, model updates, prompts, thresholds, integrations, people and a service that may change while the contract is still warm. The brochure can remain the same while the thing behind it moves. A procurement team therefore has to buy more than an interface. It has to buy a bounded capability, the evidence that the capability is suitable, the authority to supervise it and a credible way to stop or replace it.

The public sector needs procurement that can say no because the public sector cannot outsource its judgement. A supplier may provide a model, a workflow, a hosted service or a set of tools. It cannot provide the legitimacy of the decision made with them. The authority still has to know what problem it is solving, whose interests may be affected, what evidence supports the system, which person can intervene and how the service will continue if the supplier changes course. A signature is not a transfer of responsibility. It is a record that responsibility has been arranged.

This article follows that arrangement from the first sentence of a requirement to the last line of an exit record. It uses European public guidance and procurement material as evidence. The practical patterns are recommendations, not claims that every authority must use one form. Any invented situation is labelled as hypothetical. A plausible office, a neat tender and a dramatic failure are not evidence merely because they fit a familiar story.

A public buyer buys a promise twice

Every public purchase carries two promises. The first is the supplier’s promise about a product or service. The second is the authority’s promise to the people who depend on the work: that the money was spent for a defined public purpose, that the decision can be explained, that relevant rights were considered and that someone remains answerable when the system is wrong. The second promise is the one that survives the launch event.

AI procurement often makes the first promise vivid and the second one vague. A demonstration can show a fluent summary, a ranked list or a fast answer. It rarely shows who may reject the output, what happens when a source is missing, how a change is approved, whether the records can be exported, or which person can pause the service without negotiating their own authority in the middle of an incident. Those questions are less cinematic. They are also the questions that decide whether a public body can remain in charge.

Europeiska kommissionens gemenskap för offentliga upphandlare beskriver sina uppdaterade EU-modellklausuler för AI i tre delar: en fullständig version för högrisk-AI i linje med AI-förordningen, en lätt version som kan anpassas för AI som inte utgör hög risk, samt kommentarer om hur klausulerna ska användas och anpassas. Åtskillnaden är viktig. En modellklausul är inte en magisk stämpel som gör en upphandling lämplig. Den är en utgångspunkt för att fördela skyldigheter mellan en offentlig organisation och en leverantör, i ett avtal vars omfattning, syfte och bevisföring fortfarande måste beslutas av upphandlaren.

En upphandlare bör därför fråga sig vad den faktiskt lovar allmänheten innan den frågar vad en leverantör kan visa. Lovar myndigheten en snabbare väg genom en handläggningskö, en mer konsekvent första granskning, en säkrare inspektion, en bättre användning av knapp expertis, eller helt enkelt ett experiment vars gränser är synliga? Varje syfte skapar olika beviskrav och olika skäl att avbryta. Ett system som utarbetar interna anteckningar kan behöva en annan befogenhetsgräns än ett som rangordnar ansökningar till en tjänst som människor inte kan undvika.

Tänk dig ett hypotetiskt utvärderingsteam som granskar ett verktyg som sammanfattar leverantörers inlagor. Teamet kan besluta att uppgiften lämpar sig för stöd, men bara om sammanfattningen bevarar undantag, villkor och datum och hänvisar granskarna tillbaka till källpassagerna. Om leverantören inte kan visa hur dessa krav kommer att testas, bör teamet kunna avböja verktyget eller begränsa avtalet. Det är ingen anklagelse mot leverantören. Det är en slutsats om den bevisning som finns tillgänglig för det definierade syftet.

Samma resonemang gäller när problemet är lockande men dåligt avgränsat. En offentlig verksamhet kan vilja förutsäga efterfrågan, prioritera inspektioner eller dirigera korrespondens. Dessa verb döljer de beslut som ligger under ytan. Vad räknas som efterfrågan. Vad prioriteringen förändrar. Vilken korrespondens som säkert kan dirigeras utan att en människa läser den. Det första nej:et kan rikta sig mot problemets omfattning, inte mot användningen av programvara. Att avböja ett otydligt inköp är ofta hur en myndighet skyddar den användbara delen av arbetet från en del som inte kan testas.

Skriv problemet innan lösningen

Upphandling blir sårbar när en produktkategori dyker upp innan ett offentligt problem har namngetts. Artificiell intelligens är särskilt bra på att skapa denna ordning eftersom samma modell kan presenteras som en skrivassistent, en klassificerare, ett söklager eller en agent beroende på bilden i presentationen. Myndigheten behöver beskriva arbetet i termer som förblir meningsfulla när leverantören, modellfamiljen och gränssnittet tas bort.

Det nederländska Algoritmekader, som underhålls för offentliga organisationer, placerar detta arbete bland sina rekommenderade åtgärder. Det uppmanar organisationer att beskriva det avsedda syftet och de data som används, fastställa vilken riskgrupp som är tillämplig, fastställa konsekvenserna om algoritmen inte fungerar som avsett och besluta om en lösning ska utvecklas eller köpas in. Det pekar också på en projektstartarkitektur för att utveckla eller upphandla algoritmer. Detta är inte upphandlingsdekorationer. Det är sätt att göra problemet läsbart innan ett svar erbjuds.

Ett bra krav börjar med det beslut eller den tjänst som måste förbättras, de människor som utför eller tar emot den, den information som systemet får använda, den information som det inte får använda och den mänskliga befogenhet som kvarstår. Det anger villkoren under vilka systemet är användbart och villkoren under vilka det inte får användas. Det namnger de register som måste finnas när resultatet accepteras, avvisas, korrigeras eller eskaleras. Det behöver inte förutsäga leverantörens interna design. Det behöver definiera den offentliga förmåga som kan granskas.

Det är här som funktions- och prestandakrav spelar roll. Direktiv 2014/24/EU kräver att tekniska specifikationer är tillräckligt precisa för att anbudsgivare ska förstå föremålet för upphandlingen och för att myndigheter ska kunna bedöma hur anbuden uppfyller kriterierna. Ett krav som "tillhandahåll en intelligent lösning" är inte ett användbart test. Ett krav som "bevara de källpassager som använts i ett utkast, visa hämtningsdatum, tillåt en granskare att avvisa utkastet och exportera den resulterande posten" ligger närmare ett testbart allmänt behov. Det beskriver ett beteende och en bevisväg snarare än en trend.

Krav bör också synliggöra uppgiftens gränser. En offentlig myndighet kan säga att ett system får föreslå en väg men inte fatta det slutgiltiga beslutet. Den kan ange att en rekommendation inte får användas när en angiven källa saknas eller är motsägelsefull. Den kan kräva en mänsklig väg för en person som berörs och vill överklaga resultatet. Detta är inte fientliga begränsningar. Det är villkoren för att inköpet förblir en offentlig tjänst snarare än ett privat arbetsflöde med en statlig logotyp.

En snäv problemformulering är inte brist på ambition. Det är ett sätt att göra ambitionen ansvarsutkrävbar. Om myndigheten inte kan förklara vilket steg systemet förändrar, vem som gynnas, vad som kan gå fel och vad en person kan göra härnäst, är den inte redo att jämföra leverantörer. Den korrekta åtgärden kan vara mer förstudie, en lösning utan AI, en liten kontrollerad pilot eller inget inköp alls. Upphandlingsdokumentationen bör ha utrymme för varje svar.

Förvandla krav till bevis

Ordet bevis används löst inom teknikupphandling. En leverantörs presentation, en produktturné och ett uttalande om att systemet är tillförlitligt kan alla vara användbara underlag. Inget av dem är automatiskt bevis för att ett krav är uppfyllt. Bevis måste kopplas till ett påstående, ett test, en omfattning och en person som kan granska det. Utan den kopplingen blir utvärderingen en tävling där den mest polerade meningen vinner.

Upphandlingsdirektivet är tydligt med den grundläggande relationen: tilldelningskriterierna måste åtföljas av arrangemang som gör att den information som lämnas av anbudsgivarna kan verifieras effektivt. Den principen är särskilt viktig för AI eftersom ett resultat kan se övertygande ut medan förhållandena som producerade det förblir dolda. Köparen bör fråga vad som kommer att visas, under vilka data- och uppgiftsförhållanden, med vilken baslinje, och hur en granskare kan reproducera eller ifrågasätta resultatet.

Det nederländska Algoritmekader ställer samma krav i praktiskt språk. Dess åtgärder för offentlig upphandling inkluderar att göra algoritmkrav till en del av upphandlingsdokumenten och kontraktet, att kräva att leverantörer tillhandahåller bevis för att kraven är uppfyllda som en del av utvärderingen, att bedöma leverantörens ansvarsvillkor, att kräva revisionskapacitet i kontraktet, att komma överens om vad som händer med data och artefakter, och att begära en plan för att avveckla algoritmen. Listan är vägledning, inte en universell juridisk checklista. Dess värde ligger i att den behandlar bevis som ett upphandlingsobjekt.

En köpare kan dela upp bevis i tre användbara kategorier. Demonstrerade bevis är vad leverantören visar i en kontrollerad utvärdering: indata, utdata, felhantering, källanvändning och den mänskliga vägen kan observeras. Granskningsbara bevis är vad myndigheten kan undersöka utan att förlita sig på en demonstration: dokumentation, testresultat, loggar, gränssnitt, ändringsregister, databeskrivningar och möjligheten att köra en överenskommen kontroll. Avtalsmässiga bevis är vad leverantören måste fortsätta tillhandahålla: meddelanden om väsentliga ändringar, incidentinformation, åtkomst för revision, tjänsteregister, exportmöjligheter och stöd för en kontrollerad avveckling. Kategorierna överlappar, men de förhindrar att en enda imponerande session bär hela kontraktet.

Bevis behöver också en avgränsning. En leverantör kan visa att ett system presterar väl på en uppsättning exempel. Köparen behöver fortfarande veta om exemplen representerar det avsedda språket, dokumentkvaliteten, ärendemixen, tillgänglighetsbehoven och de operativa begränsningarna. Ett påstående om en modell i ett laboratorium är inte automatiskt ett påstående om en offentlig tjänst. Det är ett påstående om det experiment som genomfördes. Upphandlingsteamet bör bevara uppgiften, dataförhållandena, versionen och resultatet så att det senare beslutet inte svävar fritt från testet.

Tänk dig, som ett hypotetiskt exempel, att en anbudsgivare tillhandahåller en provuppsättning genererade sammanfattningar och ett allmänt noggrannhetsuttalande. Myndigheten kan begära källdokumenten, urvalsregeln, den använda versionen, hanteringen av saknat material, granskningsförfarandet och den artefakt som ska finnas kvar efter acceptansen. Om svaret är att detaljerna är företagshemligheter och inte kan granskas, har teamet lärt sig något viktigt. Det har inte lärt sig att systemet är dåligt. Det har lärt sig att den föreslagna bevisavgränsningen kan vara för svag för det offentliga ändamålet.

Bevis bör vara proportionerliga. Ett litet internt skrivstöd behöver inte samma granskningspaket som ett system som påverkar tillgången till en offentlig tjänst. Proportionalitet innebär inte att man accepterar en slogan vid låg risk. Det innebär att man matchar bevisdjupet mot konsekvensen, reversibiliteten, de berörda personerna och förmågan att upptäcka och åtgärda ett fel. Leverantören bör känna till det krävda beviset innan anbudet lämnas in. Annars ändrar myndigheten tävlingen efter loppet, vilket är ett välkänt sätt att skapa en dyr överraskning.

Ett krav bör leda till bevis, och bevis bör få påverka tilldelningsbeslutet.

Köparen måste kunna invända

Offentlig ansvarsskyldighet är inte detsamma som leverantörstransparens. En leverantör kan förklara sin tjänst medan myndigheten fortfarande saknar en väg för en invånare, arbetstagare, företagare eller yrkesperson att ifrågasätta hur tjänsten användes. Upphandlingsdokumentationen bör därför fråga hur invändningar fungerar, inte bara hur systemet producerar ett svar.

Algoritmekader placerar mänsklig kontroll, grundläggande rättigheter, transparens och klagomålsvägar bland sina offentligsektorsämnen. Dess rekommenderade åtgärder inkluderar meningsfull mänsklig intervention i beslutsfattandet, en process genom vilken medborgare eller andra intressenter kan lämna in ett klagomål, en invändning eller ett överklagande, ett offentligt beslut om att använda algoritmen och ett sätt att publicera påverkansrelaterade algoritmer i det nederländska algoritmregistret. Dessa åtgärder gör inte varje algoritm till en offentlig föreställning. De gör myndighetens ansvar tillräckligt synligt för att kunna ifrågasättas.

Ett upphandlingskrav på mänsklig tillsyn bör namnge den mänskliga åtgärden. Kan granskaren se den information som låg till grund för rekommendationen. Kan de rätta till uppgifterna. Kan de avvisa resultatet utan att först behöva få tillstånd från systemet. Kan de begära en alternativ väg när en källa saknas. Kan de stoppa en batch, isolera en version eller eskalera en fråga till någon med befogenhet. Om svaret bara är att en person finns närvarande någonstans i processen, beskriver kravet möbler, inte tillsyn.

Oenighet kräver också tid. En granskare som förväntas kontrollera varje utdata samtidigt som de bär den ursprungliga arbetsbördan kan vara tekniskt sett i loopen och praktiskt taget utanför den. Upphandlingen kan kräva utbildning, stöd, användbar bevisning och ett antagande om arbetsbelastning för granskning. Den kan definiera vilka ärenden som kräver godkännande före åtgärd och vilka reversibla åtgärder med låga konsekvenser som får fortsätta med loggning och senare stickprov. Den kan kräva att leverantören stödjer vägen snarare än att gömma den bakom ett applikationsprogrammeringsgränssnitt.

Myndigheten måste också kunna säga emot sin egen entusiasm. En framgångsrik pilot kan skapa press att utvidga ett verktyg till en population eller ett beslut som aldrig ingick i testet. Avtalet bör bevara det ursprungliga syftet och kräva ett nytt beslut när syftet, datan, de berörda personerna eller konsekvenserna förändras. En uppdatering är inte automatiskt ofarlig bara för att den levereras som en tjänst. En ny användning omfattas inte automatiskt bara för att samma logotyp syns högst upp på skärmen.

När en leverantör säger att modellen bara är rådgivande bör myndigheten titta på vad arbetet faktiskt gör. Om personalen instrueras att acceptera rangordningen, om det inte finns tid att granska den eller om systemet styr vilka ärenden som når en person, kan råd i praktiken ha blivit ett beslut. Upphandlingsteamet behöver inte argumentera om den perfekta etiketten. Det behöver dokumentera vägen från utdata till konsekvens och behålla befogenheten att ändra den vägen.

Leverantörens gränser ingår i avtalet

AI-upphandling beskrivs ofta som ett val mellan att bygga och att köpa. Det svårare valet är hur gränsen mellan leverantör och offentlig organisation ska dras. Leverantören kan kontrollera en modell, tjänst, uppdateringsväg, infrastruktur, supportteam och en del av databehandlingen. Myndigheten kontrollerar det offentliga syftet, beslutet, den berörda populationen och skyldigheten att tillhandahålla en laglig och användbar tjänst. Ett avtal måste koppla samman dessa ansvarsområden snarare än att lämna dem som två artiga diagram.

De uppdaterade EU-modellklausulerna för AI i avtal är användbara eftersom de erkänner att offentliga köpare behöver olika tillvägagångssätt för AI med hög risk och AI utan hög risk, och behöver vägledning om hur klausulerna anpassas i praktiken. De är inte en ersättning för en upphandlingsstrategi eller en juridisk granskning. De är ett gemensamt språk för att göra ansvarsområden tydliga. Köparen måste fortfarande besluta vilken bevisning, vilka datarättigheter, vilken revisionsåtkomst, vilket ändringsmeddelande, vilket stöd, vilka ansvars- och utträdesvillkor som står i proportion till det system som köps.

Data och artefakter förtjänar särskild omsorg. Ett system kan röra källdokument, etiketter, uppmaningar, inbäddningar, genererade utkast, mänskliga korrigeringar, utvärderingsset, loggar och slutliga register. Avtalet bör skilja mellan vad myndigheten tillhandahåller, vad leverantören skapar, vad varje part får använda, vad som måste återlämnas, vad som måste raderas och vilka bevis på radering eller bevarande som krävs. Att säga att myndigheten äger sin data besvarar inte var härledda artefakter finns eller hur myndigheten kan hämta de register som förklarar ett resultat.

Revisionsrättigheter behöver en praktisk utformning. Köparen bör veta vilka register som kan granskas, hur åtkomst begärs, vilken uppsägningstid som är rimlig, vilka sekretesskydd som gäller och vad som händer när en granskning hittar en brist. En granskningsklausul utan en användbar väg är en tvist som väntar på att hända. Detsamma gäller en incidentklausul som säger att leverantören ska samarbeta utan att ange vilken information, vilken tidpunkt och vilken ansvarig som krävs för samarbetet.

Ändringskontroll bör inte lämnas åt versionsanteckningar. Myndigheten kan kräva meddelande om en väsentlig ändring av modellen, datakällorna, behandlingsplatsen, underleverantörerna, gränssnitten, tröskelvärdena, utvärderingsmetoden eller den mänskliga vägen. Den kan definiera vilka bevis som krävs innan en ändrad version används för den offentliga uppgiften. Den kan kräva en rätt att pausa, avvisa eller återgå när den ändrade tjänsten inte längre uppfyller ett väsentligt krav. Detta är rekommendationer för att göra avtalet användbart. Det är inte påståenden om att en enda klausul kan lösa varje leverantörsrelation.

Ansvar omfattar också vad leverantören inte kan tillhandahålla. En tjänst kan vara beroende av en tredjepartsmodell eller infrastruktur vars ändringar ligger utanför den direkta leverantörens kontroll. Köparen bör informeras om detta beroende och bör veta vilka skyldigheter som överförs till den. En offentlig organisation kan inte bedöma en kedja genom att bara granska ytterdörren. Avtalet bör bevara en väg till relevanta bevis, eller så bör köparen inse att osäkerheten är ett skäl att begränsa eller avstå från köpet.

Bra gränser skyddar också leverantörer. En offentlig köpare som begär alla tänkbara dokument, alla källkodsdetaljer och obegränsat stöd utan ett definierat syfte kan minska konkurrensen och göra avtalet oattraktivt för mindre europeiska leverantörer. Proportionalitet, tydlighet och en trovärdig bevisomfattning låter en leverantör säga vad den kan göra och låter en köpare säga vad den behöver. Offentlig upphandling bör vara krävande utan att vara teatralisk. En mur av omöjliga krav håller ute dåliga system och bra system med samma effektivitet.

Ändring efter tilldelning är fortfarande upphandling

Tilldelningen är inte slutet på beslutet. Det är den punkt där tjänsten hamnar under en annan typ av granskning. Under drift förändras data, policyer ändras, gränssnitt ersätts, personal lär sig genvägar, leverantörer reviderar modeller och ett system kan användas i situationer som det ursprungliga teamet inte föreställde sig. Myndigheten behöver ett sätt att upptäcka dessa ändringar innan de av misstag blir ett nytt offentligt syfte.

Algoritmekader rekommenderar regelbundna kontroller av att en algoritm fungerar som avsett, övervakning av förändringar i data och utvärdering av prestanda och utdata när data ändras, samt att upprätthålla en plan för kontinuerlig övervakning. Det inkluderar också en åtgärd för en nödplan för att stoppa algoritmen. Dessa rekommendationer lägger tid in i styrningsmodellen. En upphandling som bara fångar den ursprungliga specifikationen har köpt ett fotografi av en tjänst i rörelse.

Inte varje uppdatering bör utlösa samma procedur. En säkerhetsuppdatering som lämnar modellen, datagränsen och beslutsrollen oförändrad kan följa en annan väg än en ny modellfamilj, en ändrad hämtningskälla eller ett nytt tröskelvärde. Avtalet kan definiera väsentlighet i operativa termer: en ändring är väsentlig när den förändrar uppgiften, berörda personer, bevisvägen, beslutsföljden, tillämpningsjurisdiktionen, underleverantören, dataanvändningen eller möjligheten att ingripa. Den exakta definitionen kräver juridisk och teknisk bedömning. Principen är enkel: förändring är en del av den köpta förmågan.

Övervakning ska bevara den information som behövs för att fatta ett beslut. En instrumentpanel kan visa att en tjänst är belastad; den kanske inte visar att en källa har blivit inaktuell eller att granskare åsidosätter samma rekommendation. Den upphandlande myndigheten bör behålla relevant version, uppgiftens omfattning, evidensförhållanden, mänskliga åtgärder och skälet till en ändring. Den bör veta vilka ändringar som accepterades, vilka som rullades tillbaka, vilka som begränsades och vilka som skapade en ny upphandlingsfråga.

En leverantör kanske inte kan lämna förhandsinformation om varje intern ändring. Avtalet kan ändå kräva en användbar underrättelse och ett evidenspaket innan det ändrade beteendet används som grund. Myndigheten kan välja en stegvis driftsättning, en kontrollerad utvärdering eller ett tillfälligt stopp. Möjligheten att pausa är inte ett straff. Det är det som gör att en offentlig tjänst kan förbli ansvarsskyldig medan fakta fastställs.

En ändringslogg skyddar också mot falsk säkerhet. Om myndigheten inte kan avgöra om en skillnad berodde på en ny modell, en dataändring, en prompt, en manuell kringgående lösning eller ett externt beroende, bör den inte påstå att systemet har uppträtt konsekvent. Rätt åtgärd kan vara att begränsa användningen, samla in bättre evidens eller stoppa den berörda vägen. Offentliga medel blir inte säkrare för att förklaringen är snygg.

Interoperabilitet är det artiga ordet för att lämna

Människor diskuterar ofta interoperabilitet som om det vore en teknisk artighet mellan system. Vid offentlig upphandling är det också en kontinuitetskontroll. Om en offentlig tjänst inte kan flytta sina register, konfigurationer, evidens, gränssnitt och driftskunskap till en annan väg, kan myndigheten vara juridiskt fri att lämna men praktiskt oförmögen att göra det. Avtalet har skapat ett beroende som upphandlingsdokumentationen inte namngav.

Kommissionens JRC-rapport om att främja AI-införande i EU:s offentliga förvaltningar kallar upphandling för en avgörande möjliggörande roll och säger att interoperabilitet bör vara inbyggd från början. Den framställer också strategisk upphandling som ett sätt att minska beroendet av leverantörer utanför EU och stödja europeiska AI-startups, öppen källkod och GovTech-lösningar. Detta är inte ett argument för att köpa europeiskt av princip eller för att behandla öppen källkod som en automatisk garanti. Det är ett argument för att göra den tekniska och institutionella förmågan att ändra kurs till en del av det värde som köps.

Exit börjar med en lista över vad som måste överleva. Det kan omfatta källposter, identifierare, etiketter, prompter, modell- och konfigurationsversioner, utvärderingsset, revisionsloggar, användar- och rollmappningar, integrationsavtal, bevarandestatus, säkerhetsmaterial och fältens betydelse. Listan beror på tjänsten. En portabel fil utan sammanhang kan vara mindre användbar än en mindre post med dess semantik och behörigheter intakta. Export är en förmåga att testa, inte en ruta att bocka av.

Interoperabilitet innebär också att myndigheten kan göra en meningsfull jämförelse. Kan en destination behandla posterna utan att tyst ändra deras betydelse. Kan granskare jämföra en gammal och en ny utdata under samma uppgiftsförhållanden. Kan den offentliga tjänsten fortsätta i ett reducerat läge om ett beroende inte är tillgängligt. Kan evidens förbli läsbar efter att gränssnittet har försvunnit. Dessa frågor hör hemma i kraven, utvärderingen och avtalet, eftersom en exit som upptäcks under en nödsituation vanligtvis är en arkeologisk utgrävning.

Portabilitet innebär inte nödvändigtvis att en leverantör måste överlämna alla interna implementeringsdetaljer. Det innebär att myndigheten kan bevara den offentliga funktionen och de handlingar den ansvarar för, med förbehåll för lagliga rättigheter och säkerhetsbegränsningar. Gränsen bör anges före undertecknandet. Om leverantörens modell är otillgänglig kan myndigheten ändå kräva portabla indata, utdata, beslutsunderlag, utvärderingar, konfiguration och en väg för att återskapa tjänstens offentliga åtaganden. Om den inte kan få den vägen bör den prissätta beroendet ärligt eller avstå från det.

En utträdesövning är värdefull eftersom den förvandlar ett avtalslöfte till en observerad förmåga. En offentlig köpare kan testa en export, granska fälten, köra en representativ arbetsbelastning i en kontrollerad destination och jämföra de resulterande handlingarna. Den kan dokumentera vad som inte flyttades och avgöra om gapet är acceptabelt. Övningen behöver inte vara dramatisk. En liten övning före förnyelse är bättre än en heroisk migrering som genomförs efter att leverantören blivit den enda som minns systemet.

Att lämna är en sekvens av auktoritet, export, innebörd, verifiering, kontinuitet och avslut. En knapp märkt export är inte sekvensen.

Kostnad är mer än raden i upphandlingen

Pris är lätt att jämföra när det som köps är stabilt. AI-upphandling har en längre kostnadshorisont. Det kan finnas integrationsarbete, källförberedelse, granskningstid, säkerhetskontroller, lagring, utvärdering, modelluppdateringar, tillgänglighetsarbete, incidenthantering, support, export och ersättning. Vissa kostnader bärs av myndigheten. Andra överförs till arbetstagare eller till allmänheten när en tjänst blir svårare att ifrågasätta. En upphandling som endast jämför den initiala avgiften är inte nödvändigtvis ekonomisk. Den räknar helt enkelt en synlig del.

Direktiv 2014/24/EU möjliggör livscykelkostnadsberäkning där myndigheten väljer det tillvägagångssättet. Direktivet beskriver kostnader såsom anskaffning, användning, underhåll, uttjäning och, där relevant och verifierbart, miljöexternaliteter. Det kräver också att upphandlingsdokumenten anger vilka uppgifter anbudsgivarna ska lämna och vilken metod som används för att bedöma livscykelkostnaden. Detta är en användbar disciplin för AI eftersom det kräver att köparen anger vad som ska räknas snarare än att bjuda in varje leverantör att komma med en annan definition av billigt.

Samma princip gäller mänsklig uppmärksamhet. Om ett system producerar rekommendationer som behöver granskas, hör granskningsarbetet hemma i driftmodellen. Om en offentlig tjänst behöver en väg för rättelse, behöver vägen en ägare och tid. Om en leverantörs uppdatering kräver en ny utvärdering, behöver myndigheten förmågan att genomföra den. Detta är inte argument mot automatisering. Det är påminnelser om att automatisering flyttar var arbetet sker. En besparing på fakturan kan bli en kostnad i kön om upphandlingen inte namnger det nya arbetet.

Kostnad bör också inkludera kostnaden för att inte kunna lämna. Ett beroende kan se billigt ut medan det är nytt och bli dyrt när register, expertis, integrationer och allmänhetens förväntningar har byggts upp kring det. Köparen kan begära en migreringsuppskattning, en inventering av data och artefakter, en supportskyldighet och ett repetitionsschema. Den kan jämföra dessa villkor som en del av erbjudandets värde. Valet står inte mellan optimism och pessimism. Det står mellan ett beroende som är synligt och ett som är gömt i futurum.

Livscykeltänkande hjälper ett upphandlingsteam att säga nej utan att låtsas att det billigaste synliga erbjudandet är det neutrala alternativet. Teamet kan avvisa ett förslag för att dess bevis, granskningsbörda, ändringsväg eller utträdeskostnad inte är förenlig med det offentliga syftet. Det kan förklara beslutet mot publicerade kriterier. Det är ingen marknadsfientlig gest. Det är vad en marknad med verifierbara krav är tänkt att tillåta.

Offentliga köpare behöver mandat att säga nej

Ett upphandlingsteam kan inte utöva en makt som organisationen inte har gett det. Många myndigheter har personer som kan bedöma juridiska, tekniska, ekonomiska och servicefrågor, men mandatet att kombinera dessa bedömningar till ett stopp eller ett avslag är oklart. Resultatet är välbekant: farhågor dokumenteras i ett dokument, entusiasm i ett annat och tilldelningen går vidare eftersom ingen vet vilken roll som får stänga grinden.

Myndigheten bör utse vilka roller som kan acceptera, avvisa, begränsa eller pausa ett köp i varje skede. Rollerna behöver tillgång till relevant bevisning och en väg att dokumentera skälet. En upphandlare kan äga processen, en tjänsteägare det offentliga syftet, ett dataskyddsombud ett integritetsvillkor, en säkerhetsansvarig en kontroll, en teknisk granskare ett test och en högre ansvarig roll det slutgiltiga beslutet. Den exakta ordningen varierar. Frånvaron av en ordning är det farliga.

Ett användbart stoppvillkor är inte ett rött märke som säger hög risk. Det är ett faktum som blockerar nästa beslut. Det avsedda syftet är inte tillräckligt definierat. Leverantören kan inte lämna bevis för ett väsentligt krav. Den berörda personen har ingen användbar granskningsväg. Myndigheten kan inte inspektera den relevanta ändringen. Rättigheterna till data eller artefakter är oklara. Systemet kan inte exporteras eller ersättas inom kontinuitetsplanen. Den mänskliga granskaren har ansvar men inget mandat. Varje villkor kan ha en annan åtgärd. Vissa kräver förtydligande, vissa en kontraktsändring, vissa en snävare omfattning och vissa ett nej.

Stoppvillkor bör vara kända innan anbudet utvärderas. De bör kopplas till tilldelningskriterier och till kontraktet så att en köpare inte uppfinner en ny standard efter att ha sett leverantörens svar. De bör också omprövas efter tilldelning. Ett krav som var uppfyllt vid lansering kan bli ouppfyllt efter en väsentlig ändring eller en ny användning. Förmågan att säga nej är inte en enda grind i slutet. Det är ett upprätthållet mandat under hela tjänstens livstid.

Betrakta en hypotetisk offentlig verksamhet som upphandlar en tjänst för dokumentdirigering. I de publicerade kraven ingår spårbarhet till källan, en manuell granskningsväg, ett meddelande vid väsentliga modelländringar, export av register samt en definierad avvecklingsprocess. En anbudsgivare visar en stark demonstration men kan inte låta verksamheten granska källurvalet eller bevara den versionshanterade dirigeringsbevisningen. En annan anbudsgivare erbjuder färre funktioner men uppfyller kraven på bevisning och utträde. Verksamheten är inte skyldig att föredra den mer påkostade demonstrationen. Den kan tillämpa de angivna kriterierna, ställa proportionerliga frågor och avböja det första anbudet om ett väsentligt krav fortfarande är obevisat.

Det beslutet bör inte formuleras som en moralisk bedömning av leverantören eller tekniken. Det bör ange det allmänna syftet, kravet, den mottagna bevisningen, den olösta förutsättningen och det beslut som upphandlingsdokumenten medger. Ett tydligt nej är mer respektfullt än ett vagt kanske som senare blir en obligatorisk förlängning. Det ger också marknaden en användbar signal: offentliga köpare betalar för bevisning och kontroll, inte bara för kapacitetsteater.

Den mänskliga befogenheten att stoppa måste vara användbar vid en incident. Operatören bör veta vem som ska kontaktas, vilket systemtillstånd som ska bevaras, vilken tjänsterutt som kan fortsätta och vilken kommunikation som krävs. Beslutsprotokollet bör skilja omedelbar begränsning från ett längre upphandlingsbeslut. En offentlig verksamhet behöver inte vänta på en fullständig utredning innan den förhindrar ytterligare skada, men den bör undvika att hävda större säkerhet än den har. Stoppet är en kontroll. Förklaringen kan utvecklas.

Upphandling formar marknaden

Offentlig upphandling är ett av de sätt på vilka Europa beslutar vilka förmågor som är värda att bygga. JRC-rapporten om att främja AI-införande i EU:s offentliga förvaltningar beskriver den offentliga sektorn som en betydande marknadsformande kraft. Den kopplar framgångsrikt införande till styrning, personalens beredskap, ansvarsfull upphandling, interoperabilitet och allmänhetens förtroende. Den säger också att strategisk upphandling kan minska beroendet av leverantörer utanför EU och stödja europeiska startups, öppen källkod och GovTech-lösningar. Poängen är inte att en offentlig verksamhet ska bli en riskkapitalfond. Poängen är att dess krav antingen kan belöna ansvarsfull förmåga eller belöna en övertygande inpackning kring beroende.

Europeiska revisionsrättens särskilda rapport nr 28/2023 har titeln Public procurement in the EU: less competition for contracts awarded for works, goods and services in the ten years up to 2021. Dess offentliga sammanfattning beskriver konkurrensen om offentliga upphandlingar i Europa som krympande. En marknad med färre effektiva konkurrenter är en dålig plats att dölja vaga krav på. Om verksamheten inte kan jämföra bevisning kan den komma att välja mellan marknadsföringsstilar snarare än mellan tjänster. Att säga nej till ett anbud som inte kan testas kan bevara förutsättningarna för en bättre konkurrens senare.

Samtidigt kan en köpare av misstag utesluta användbara leverantörer genom att begära bevisning i en form som bara den största leverantören kan ta fram. Proportionerliga krav, tydliga gränssnitt, öppna format och stegvisa utvärderingar kan låta mindre organisationer visa en avgränsad förmåga utan att låtsas ha ett multinationellt företags resurser. Köparen bör vara strikt när det gäller det allmänna syftet och flexibel när det gäller genomförandet där genomförandet inte påverkar syftet. Så blir ett nej en bättre fråga i stället för en stängd dörr.

Marknadsformning innebär också att vägra låta en leverantörs privata arkitektur definiera det allmänna behovet. Om ett krav namnger en viss modell, ett visst moln eller ett visst proprietärt arbetsflöde utan en motiverad koppling till uppgiften kan konkurrensen begränsas innan bevisning har setts. Funktionskrav och verifierbara resultat ger offentliga köpare större utrymme att jämföra angreppssätt. De gör också kontraktet mindre skört när den valda komponenten ändras.

A public authority can be a demanding customer without becoming a difficult customer. It can publish the evidence it expects, explain the reason for a stop condition, offer a route for clarification and pay for work that creates durable public capability. The market then has something useful to respond to. It does not have to guess whether the winning factor was a hidden preference, a beautiful demo or the price of a future problem.

Ett arbetssätt för en upphandling som kan säga nej

Följande arbetssätt är en praktisk rekommendation, inte en ny juridisk procedur. Det är ett sätt att hålla det offentliga beslutet synligt medan ett system går från idé till drift. En myndighet bör anpassa det till sin lagstiftning, sektor, risk och upphandlingsmetod. Det viktiga är att varje grind har en ägare, bevisning och ett tillåtet utfall som inkluderar paus eller avslag.

För det första, skriv det offentliga syftet. Namnge tjänsten, de personer som utför den, de personer som tar emot den, det beslut eller den åtgärd som kan ändras och anledningen till att ett system övervägs. Ange vad som ligger utanför omfattningen. Om syftet inte kan beskrivas utan leverantörens produktvokabulär befinner sig myndigheten fortfarande i marknadsutforskning. Utfallet av denna grind är en problembeskrivning och ett beslut om huruvida upphandling är rätt nästa steg.

För det andra, skriv bevisgränsen. För varje väsentligt påstående, ange vad som skulle visa att det är sant i den avsedda uppgiften. Namnge datavillkoren, språket, tillgänglighetsbehoven, källposterna, versionen, baslinjen och granskningsvägen som gör testet meningsfullt. Specificera vad som måste vara inspekterbart, vad som kan hållas konfidentiellt och vad som måste levereras som en kontraktspost. Utfallet av denna grind är en uppsättning krav som anbudsgivare kan förstå och en utvärderingsplan som kan ändra tilldelningen.

För det tredje, skriv myndighetsgränsen. Namnge de åtgärder systemet får föreslå, de åtgärder det får vidta, de åtgärder som kräver godkännande och de åtgärder som är förbjudna. Namnge vem som kan korrigera en källa, avvisa ett resultat, ändra en regel, pausa en tjänst och tala med en berörd person. Definiera vad som händer när systemet är osäkert eller bevisningen motsäger sig själv. Utfallet av denna grind är en mänsklig väg som är mer specifik än en kryssruta.

För det fjärde, skriv ändringsgränsen. Identifiera de ändringar som kräver underrättelse, utvärdering, godkännande eller ett nytt upphandlingsbeslut. Inkludera modell, data, leverantör, underleverantör, infrastruktur, behandlingsplats, gränssnitt, tröskelvärde, population, syfte och mänsklig väg. Bestäm vilken bevisning som följer med ändringsposten och vilken som kan maskeras av lagliga skäl. Utfallet av denna grind är en underhållen post snarare än ett löfte om att systemet kommer att förbli statiskt.

För det femte, skriv utgångsgränsen. Lista de poster, data, konfigurationer, bevisningar, behörigheter, integrationer och operativa kunskaper som måste överleva. Definiera format, tidpunkter, support, verifiering, reducerad tjänst, övergång, åtkomststängning och radering. Öva en liten export före förnyelse eller en väsentlig utökning. Utfallet av denna grind är en väg som kan testas medan leverantören fortfarande är en partner, inte bara efter att relationen har blivit en tvist.

För det sjätte, skriv den offentliga posten. Bestäm vad som kan publiceras om syftet, systemets roll, bevisningen, den mänskliga vägen, ändringar, incidenter och kontakt för överklagande. Skydda konfidentiell och personlig information utan att göra hela beslutet till ett privat samtal. En offentlig post kan säga vad som är känt, vad som inte är känt och när nästa granskning kommer att ske. Dess uppgift är inte att få systemet att se perfekt ut. Det är att göra myndighetens bedömning inspekterbar.

Slutligen, skriv avslaget. Avslaget är inte ett dramatiskt pressmeddelande. Det är ett normalt utfall i beslutsprotokollet: kravet var väsentligt, bevisningen uppfyllde det inte, åtgärden övervägdes och myndigheten valde att avböja, begränsa, pausa eller söka en annan väg. En upphandling som inte kan producera detta protokoll har fått inköpet att se oundvikligt ut innan det har förtjänat den slutsatsen.

Dessa grindar kan representeras i ett anbudssvar, en projektstartarkitektur, ett kontraktsschema, ett granskningsmöte och en incidentplan. De bör inte bli en större blankett för sin egen skull. Om en grind inte ändrar vad teamet kan besluta, är det troligen dokumentationsteater. Om den ger en person bevis och befogenhet att agera, är den en del av tjänsten.

Frågor värda att ställa i en upphandling

De bästa frågorna är inte de som får en leverantör att upprepa sin marknadsföringstext. De är de som gör det offentliga syftet och bevisgränsen synliga. En beställare kan anpassa följande frågor till systemet och förfarandet:

  • Vilken precis offentlig uppgift stöder den föreslagna förmågan, och vilka uppgifter ligger utanför dess avsedda användning?
  • Vilka personer, register och datakällor omfattas, och vilka måste uteslutas?
  • Vilken utdata producerar systemet, och vilket beslut eller vilken åtgärd kan följa av den?
  • Vilket krav kan demonstreras, vilket kan inspekteras och vilket kommer att upprätthållas avtalsmässigt?
  • Hur kommer myndigheten att återskapa ett resultat med relevant version, källor, konfiguration och uppgiftsvillkor?
  • Vad kan en mänsklig granskare se, ändra, avvisa, eskalera eller stoppa innan en avgörande åtgärd inträffar?
  • Vilka ändringar av modell, data, infrastruktur, underleverantör eller policy kräver underrättelse och omvärdering?
  • Vilka register och artefakter kan myndigheten exportera, i vilka format, med vilken innebörd, rättigheter och bevarandestatus?
  • Vad händer när tjänsten är otillgänglig, bevisningen är ofullständig eller en person ifrågasätter resultatet?
  • Vilka skyldigheter avseende support, granskning, incident, utbildning och utträde fortsätter efter den första releasen?

Dessa frågor är inte en ersättning för upphandlingsdirektivet, AI-förordningen, dataskyddslagstiftningen eller sektorsregler. De är uppmaningar för myndigheten att göra sina egna skyldigheter operativa. En leverantör som kan svara tydligt på dem kanske ändå inte är rätt leverantör. En leverantör som inte kan svara på dem kan fortfarande ha en användbar komponent, men myndigheten bör inte förväxla en användbar komponent med en komplett offentlig förmåga.

Vår lilla not

På Dweve inkluderar vår AI Compas en leverantörsneutral upphandlings- och styrningsväg för reglerade europeiska organisationer. RFI- och RFP-materialet ber team att klassificera användningsfallet, tillämpa knockout-kriterier, jämföra leverantörer, genomföra en proof-of-concept och bevara bevis genom uppföljning. Det är vår implementeringskontext, inte oberoende bevis om offentlig upphandling och inte ett påstående om att ett ramverk passar varje myndighet. Vi nämner det eftersom disciplinen som beskrivs här också är den disciplin vi försöker använda i vårt eget arbete: definiera gränsen, kräv bevis, håll beslutet mänskligt och gör utträdet synligt.

Vår Trust Centre gör samma åtskillnad i en annan tonart. En offentlig post kan beskriva vad som är dokumenterat, vad som är förberett och vad som förblir en framtida händelse utan att förvandla en avsiktsförklaring till bevis. Ett upphandlingsteam förtjänar samma ärlighet från sina leverantörer. Beställaren bör kunna se statusen för ett påstående, bevisen bakom det och vägen för att ifrågasätta det.

Lärdomen

En offentlig myndighet blir inte ansvarstagande när den skriver under för ett AI-system. Den blir ansvarstagande när upphandlingen kan förklara varför systemet hör hemma i verksamheten, vilka bevis som ligger till grund för den slutsatsen, vem som får ingripa, vad som händer när systemet förändras och hur den offentliga funktionen kan fortsätta om leverantören inte kan.

Europeiska upphandlingsregler ger redan viktiga vanor: kriterier bör kopplas till föremålet för upphandlingen, information bör vara verifierbar, vikter bör anges och avtalsvillkor bör vara tydliga. Europeiska kommissionens AI-upphandlingsklausuler ger offentliga köpare ett sätt att diskutera system med hög och inte hög risk och att fördela ansvar. Det nederländska Algoritmekader omvandlar ansvarsfull upphandling till praktiska åtgärder om syfte, data, bevis, revision, mänsklig kontroll, stopp och avslut. JRC-rapporten placerar upphandling inom Europas samtal om förmåga och suveränitet. ECA:s varning om minskad konkurrens är en påminnelse om att en svag tävlan inte repareras av ett självsäkert tilldelningsbeslut.

Det svåra ordet är fortfarande nej. Nej, syftet är inte definierat. Nej, bevisen kan inte granskas. Nej, den mänskliga vägen är dekorativ. Nej, förändringsvägen är osynlig. Nej, den offentliga dokumentationen kan inte upprätthållas. Nej, tjänsten kan inte lämnas utan att förlora det arbete den var tänkt att skydda. Varje nej kan vara en vägran, en begränsning, en paus eller en begäran om ett bättre svar. Myndigheten bör avgöra vilket, dokumentera varför och hålla beslutet öppet för ifrågasättande.

Upphandling som kan säga nej är inte upphandling som fruktar teknik. Det är upphandling som vet skillnaden mellan en förmåga och ett löfte. Den betalar för ett system som kan testas, övervakas, förändras och lämnas. Den ger leverantörer en rättvisare tävlan eftersom frågan är synlig. Den ger offentliganställda en väg att ingripa innan ett problem blir en policy. Den ger de människor som berörs av tjänsten något mer användbart än ett uttalande om att en leverantör har godkänts.

Ett offentligt inköp bör sluta med en tjänst som myndigheten fortfarande kan styra. Om bevisen är starka är ett ja meningsfullt. Om bevisen är svaga är ett nej det offentliga arbetet. Upphandlingsdokumentationen bör kunna rymma båda meningarna.

Källor