Den offentlige sektor har brug for indkøb, der kan sige nej

En offentlig myndighed bliver ikke ansvarlig, når den underskriver for et AI-system. Den bliver ansvarlig, når dens krav, dokumentation, menneskelig...

Den offentlige sektor har brug for indkøb, der kan sige nej

Dokumentet, der kan afslutte et indkøb

En offentlig udbudsmappe begynder ofte med en forespørgsel, der lyder harmløs: find et system, der kan hjælpe med en opgave. Forespørgslen bevæger sig gennem en problemformulering, en markedskonsultation, et sæt krav, en evaluering, en kontrakt og, hvis processen er sund, en beslutning, der stadig kan stoppe arbejdet. Den sidste mulighed er let at miste af syne. Når penge, kalendere og politisk opmærksomhed har samlet sig om et indkøb, begynder ordet nej at lyde som en fejl i leverancen. I offentligt arbejde kan det være den mest nyttige beslutning i mappen.

Den europæiske udbudslovgivning behandler allerede et tilbud som mere end en konkurrence om attraktive løfter. Direktiv 2014/24/EU siger, at tildelingskriterier skal muliggøre effektiv og fair konkurrence og skal ledsages af ordninger, der giver den ordregivende myndighed mulighed for at verificere de oplysninger, som tilbudsgiverne har givet. Direktivet siger også, at kriterierne ikke bør give myndigheden ubegrænset valgfrihed. En offentlig køber skal beskrive, hvad der betyder noget, forklare, hvordan det vil blive vægtet, og kontrollere, om tilbuddet faktisk lever op til det. Dette er ikke en administrativ fodnote. Det er den juridiske form for en beslutning, som andre mennesker skal kunne forstå og udfordre.

AI gør den gamle disciplin sværere, fordi en leverandør kan tilbyde et system, hvis adfærd afhænger af data, modelopdateringer, prompter, tærskler, integrationer, mennesker og en service, der kan ændre sig, mens kontrakten stadig er varm. Brochuren kan forblive den samme, mens tingen bag den bevæger sig. Et udbudsteam skal derfor købe mere end en grænseflade. Det skal købe en afgrænset kapacitet, dokumentationen for at kapaciteten er egnet, myndigheden til at føre tilsyn med den og en troværdig måde at stoppe eller erstatte den på.

Den offentlige sektor har brug for udbud, der kan sige nej, fordi den offentlige sektor ikke kan outsource sin dømmekraft. En leverandør kan levere en model, en arbejdsgang, en hosted service eller et sæt værktøjer. Den kan ikke levere legitimiteten af den beslutning, der træffes med dem. Myndigheden skal stadig vide, hvilket problem den løser, hvis interesser der kan blive berørt, hvilke beviser der understøtter systemet, hvilken person der kan gribe ind, og hvordan servicen vil fortsætte, hvis leverandøren ændrer kurs. En underskrift er ikke en overførsel af ansvar. Det er en registrering af, at ansvaret er blevet arrangeret.

Denne artikel følger det arrangement fra den første sætning i et krav til den sidste linje i en exitjournal. Den bruger europæisk offentlig vejledning og udbudsmateriale som dokumentation. De praktiske mønstre er anbefalinger, ikke påstande om, at enhver myndighed skal bruge én form. Enhver opdigtet situation er mærket som hypotetisk. Et plausibelt kontor, et pænt tilbud og en dramatisk fejl er ikke beviser, blot fordi de passer ind i en velkendt historie.

En offentlig køber køber et løfte to gange

Ethvert offentligt indkøb bærer to løfter. Det første er leverandørens løfte om et produkt eller en service. Det andet er myndighedens løfte til de mennesker, der er afhængige af arbejdet: at pengene blev brugt til et defineret offentligt formål, at beslutningen kan forklares, at relevante rettigheder blev overvejet, og at nogen forbliver ansvarlig, når systemet tager fejl. Det andet løfte er det, der overlever lanceringsbegivenheden.

AI-udbud gør ofte det første løfte levende og det andet vagt. En demonstration kan vise en flydende opsummering, en rangeret liste eller et hurtigt svar. Den viser sjældent, hvem der kan afvise outputtet, hvad der sker, når en kilde mangler, hvordan en ændring godkendes, om journalerne kan eksporteres, eller hvilken person der kan sætte servicen på pause uden at forhandle sin egen autoritet midt i en hændelse. De spørgsmål er mindre filmiske. De er også de spørgsmål, der afgør, om en offentlig myndighed kan forblive ved roret.

Europa-Kommissionens Public Buyers Community beskriver sine opdaterede EU-modelklausuler om kunstig intelligens i kontrakter i tre dele: en fuld version til højrisiko-KI i overensstemmelse med AI-forordningen, en let version, der kan tilpasses til ikke-højrisiko-KI, og en kommentar til, hvordan klausulerne bruges og tilpasses. Forskellen er vigtig. En modelklausul er ikke et magisk stempel, der gør et indkøb egnet. Det er et udgangspunkt for at fordele forpligtelser mellem en offentlig organisation og en leverandør i en kontrakt, hvis omfang, formål og dokumentation stadig skal besluttes af køberen.

En køber bør derfor spørge, hvad den reelt lover offentligheden, før den spørger, hvad en leverandør kan dokumentere. Lover myndigheden en hurtigere vej gennem en sagsbunke, en mere ensartet førstegangsbehandling, en sikrere inspektion, en bedre udnyttelse af knappe ekspertise eller blot et eksperiment, hvis grænser er synlige? Hvert formål skaber forskellig dokumentation og forskellige grunde til at stoppe. Et system, der udkaster interne notater, kan have brug for en anden myndighedsgrænse end et, der rangerer ansøgninger til en service, som folk ikke kan undgå.

Forestil dig et evalueringsteam, der gennemgår et værktøj, som opsummerer leverandørers indsendelser. Teamet kan beslutte, at opgaven er egnet til assistance, men kun hvis opsummeringen bevarer undtagelser, betingelser og datoer og henviser gennemgåere tilbage til kildepassagerne. Hvis leverandøren ikke kan vise, hvordan disse krav vil blive testet, bør teamet kunne afvise værktøjet eller indsnævre kontrakten. Det er ikke en beskyldning mod leverandøren. Det er en konklusion om den dokumentation, der er tilgængelig for det definerede formål.

Den samme logik gælder, når problemet er tillokkende, men dårligt afgrænset. En offentlig myndighed kan ønske at forudsige efterspørgsel, prioritere inspektioner eller dirigere korrespondance. Disse verber skjuler de beslutninger, der ligger under. Hvad tæller som efterspørgsel. Hvad ændrer prioritering. Hvilken korrespondance kan sikkert dirigeres uden at et menneske læser den. Det første nej kan være til problemets omfang, ikke til brugen af software. At afvise et uklart indkøb er ofte, hvordan en myndighed beskytter den nyttige del af arbejdet mod en del, der ikke kan testes.

Beskriv problemet, før du beskriver løsningen

Indkøb bliver skrøbelige, når en produktkategori ankommer, før et offentligt problem er blevet navngivet. Kunstig intelligens er særligt god til at skabe denne rækkefølge, fordi den samme model kan præsenteres som en skriveassistent, en klassifikator, et søgelag eller en agent afhængigt af præsentationen. Myndigheden skal beskrive arbejdet i termer, der forbliver meningsfulde, når leverandøren, modelfamilien og grænsefladen fjernes.

Den hollandske Algoritmekader, som vedligeholdes for offentlige organisationer, placerer dette arbejde blandt sine anbefalede foranstaltninger. Den beder organisationer om at beskrive det tilsigtede formål og de anvendte data, fastlægge den relevante risikogruppe, fastslå konsekvensen, hvis algoritmen ikke fungerer som tilsigtet, og beslutte, om en løsning skal udvikles eller købes. Den peger også på en projektstartarkitektur for udvikling eller indkøb af algoritmer. Dette er ikke indkøbsdekoration. Det er måder at gøre problemet læsbart, før et svar tilbydes.

Et godt krav begynder med den beslutning eller service, der skal forbedres, de mennesker, der udfører eller modtager den, de oplysninger, systemet må bruge, de oplysninger, det ikke må bruge, og den menneskelige myndighed, der forbliver. Det angiver de betingelser, hvorunder systemet er nyttigt, og de betingelser, hvorunder det ikke må bruges. Det nævner de registreringer, der skal eksistere, når outputtet accepteres, afvises, korrigeres eller eskaleres. Det behøver ikke at forudsige leverandørens interne design. Det skal definere den offentlige kapacitet, der kan inspiceres.

Det er her, funktionelle og præstationsmæssige krav har betydning. Direktiv 2014/24/EU kræver, at tekniske specifikationer er præcise nok til, at tilbudsgivere kan forstå genstanden, og at myndigheder kan vurdere, hvordan tilbud opfylder kriterierne. Et krav som "lever en intelligent løsning" er ikke en brugbar test. Et krav som "bevar de kildeafsnit, der er brugt i et udkast, vis hentningsdatoen, giv en gennemgående mulighed for at afvise udkastet og eksporter den resulterende registrering" er tættere på et testbart offentligt behov. Det beskriver en adfærd og en evidensvej snarere end en mode.

Krav bør også afgrænse opgavens grænser. En offentlig myndighed kan sige, at et system må foreslå en rute, men ikke må træffe den endelige afgørelse. Den kan fastslå, at en anbefaling ikke må bruges, når en specificeret kilde er fraværende eller modstridende. Den kan kræve en menneskelig vej for en person, der er berørt og ønsker at udfordre resultatet. Det er ikke fjendtlige begrænsninger. Det er de betingelser, hvorunder indkøbet forbliver en offentlig tjeneste snarere end en privat arbejdsgang med et regeringslogo.

En snæver problemformulering er ikke mangel på ambition. Det er en måde at gøre ambition ansvarlig på. Hvis myndigheden ikke kan forklare, hvilket trin systemet ændrer, hvem der drager fordel, hvad der kan gå galt, og hvad en person kan gøre derefter, er den ikke klar til at sammenligne leverandører. Den korrekte handling kan være mere afdækning, en ikke-AI-løsning, et lille kontrolleret pilotprojekt eller slet intet indkøb. Indkøbsfilen bør have plads til hvert svar.

Gør krav til evidens

Ordet evidens bruges løst i teknologiindkøb. En leverandørs præsentation, en produkttur og en erklæring om, at systemet er troværdigt, kan alle være nyttige input. Intet af det er automatisk bevis for, at et krav er opfyldt. Evidens skal være forbundet med en påstand, en test, en afgrænsning og en person, der kan inspicere den. Uden den forbindelse bliver evalueringen en konkurrence, hvor den mest polerede sætning vinder.

Indkøbsdirektivet er klart om det grundlæggende forhold: tildelingskriterier skal ledsages af ordninger, der gør det muligt effektivt at verificere de oplysninger, tilbudsgiverne har givet. Det princip er særligt vigtigt for AI, fordi et resultat kan se overbevisende ud, mens de betingelser, der har skabt det, forbliver skjulte. Køberen bør spørge, hvad der vil blive vist, under hvilke data- og opgavebetingelser, med hvilken baseline, og hvordan en gennemgående kan reproducere eller udfordre resultatet.

Det hollandske Algoritmekader stiller samme krav i praktisk sprog. Dets offentlige indkøbsforanstaltninger omfatter at gøre algoritmekrav til en del af indkøbsdokumenterne og kontrakten, kræve, at leverandører fremlægger evidens for, at kravene er opfyldt som en del af evalueringen, vurdere leverandørens ansvarsbetingelser, kræve revisionskapacitet i kontrakten, aftale, hvad der sker med data og artefakter, og bede om en plan for at stoppe algoritmen. Listen er vejledning, ikke en universel juridisk tjekliste. Dens værdi er, at den behandler bevis som et indkøbsobjekt.

En køber kan opdele evidens i tre nyttige kategorier. Demonstreret evidens er, hvad leverandøren viser i en kontrolleret evaluering: input, output, fejlhåndtering, kildebrugen og den menneskelige vej kan observeres. Inspicerbar evidens er, hvad myndigheden kan undersøge uden at stole på en demonstration: dokumentation, testresultater, logfiler, grænseflader, ændringsregistre, databeskrivelser og muligheden for at køre en aftalt kontrol. Kontraktuel evidens er, hvad leverandøren skal fortsætte med at levere: meddelelser om væsentlige ændringer, hændelsesoplysninger, adgang til revision, serviceregistre, eksportfaciliteter og støtte til en kontrolleret udtræden. Kategorierne overlapper, men de forhindrer, at én imponerende session bærer hele kontrakten.

Dokumentation har også brug for en afgrænsning. En leverandør kan vise, at et system klarer sig godt på en række eksempler. Køberen skal stadig vide, om eksemplerne repræsenterer det tilsigtede sprog, dokumentkvalitet, sagsfordeling, tilgængelighedsbehov og operationelle begrænsninger. Et udsagn om en model i et laboratorium er ikke automatisk et udsagn om en offentlig tjeneste. Det er et udsagn om det eksperiment, der blev udført. Indkøbsteamet bør bevare opgaven, dataforholdene, versionen og resultatet, så den senere beslutning ikke flyder frit fra testen.

Forestil dig som et hypotetisk eksempel, at en tilbudsgiver leverer et udsnit af genererede resuméer og en generel præcisionserklæring. Myndigheden kan bede om kildedokumenterne, udvælgelsesreglen, den anvendte version, behandlingen af manglende materiale, gennemgangsproceduren og det artefakt, der vil forblive efter accept. Hvis svaret er, at detaljerne er forretningshemmeligheder og ikke kan inspiceres, har teamet lært noget vigtigt. Det har ikke lært, at systemet er dårligt. Det har lært, at den foreslåede dokumentationsafgrænsning kan være for svag til det offentlige formål.

Dokumentation bør stå mål med formålet. Et lille internt skrivehjælpeværktøj behøver ikke samme inspektionspakke som et system, der påvirker adgangen til en offentlig tjeneste. Proportionalitet betyder ikke at acceptere et slogan ved lav risiko. Det betyder at matche bevisdybden med konsekvensen, reversibiliteten, de berørte personer og evnen til at opdage og rette en fejl. Leverandøren bør kende den krævede dokumentation, før tilbuddet indsendes. Ellers ændrer myndigheden konkurrencen efter løbet, hvilket er en velkendt måde at skabe en dyr overraskelse på.

Et krav bør føre til dokumentation, og dokumentation bør have lov til at ændre tildelingsbeslutningen.

Køberen skal kunne være uenig

Offentlig ansvarlighed er ikke det samme som leverandørtransparens. En leverandør kan forklare sin tjeneste, mens myndigheden stadig mangler en vej for en borger, medarbejder, virksomhed eller fagperson til at udfordre den måde, tjenesten blev brugt på. Indkøbsfilen bør derfor spørge ind til, hvordan uenighed håndteres, ikke kun hvordan systemet producerer et svar.

Algoritmekaderen placerer menneskelig kontrol, grundlæggende rettigheder, transparens og klageveje blandt sine emner for den offentlige sektor. Dens anbefalede foranstaltninger omfatter meningsfuld menneskelig indgriben i beslutningstagning, en proces, hvorigennem borgere eller andre interessenter kan indsende en klage, indsigelse eller appel, en offentlig beslutning om at bruge algoritmen og en måde at offentliggøre effektrelaterede algoritmer i det hollandske algoritmeregister. Disse foranstaltninger gør ikke enhver algoritme til et offentligt skue. De gør myndighedens ansvar synligt nok til at kunne drages til ansvar.

Et indkøbskrav om menneskeligt tilsyn bør navngive den menneskelige handling. Kan revieweren se de oplysninger, der lå til grund for anbefalingen. Kan de rette i registreringen. Kan de afvise resultatet uden først at skulle have tilladelse fra systemet. Kan de bede om en anden vej, når en kilde mangler. Kan de stoppe en batch, isolere en version eller eskalere en bekymring til en med beslutningskompetence. Hvis svaret kun er, at en person er til stede et sted i processen, beskriver kravet inventar, ikke tilsyn.

Uenighed kræver også tid. En reviewer, der forventes at kontrollere hvert eneste output samtidig med at de bærer den oprindelige arbejdsbyrde, kan teknisk set være i loopet og i praksis stå udenfor. Indkøb kan kræve træning, support, brugbar dokumentation og en antagelse om arbejdsbyrde for gennemgang. Det kan definere, hvilke sager der kræver godkendelse før handling, og hvilke reversible handlinger med lav konsekvens der kan fortsætte med logning og senere stikprøvekontrol. Det kan bede leverandøren om at understøtte vejen frem for at gemme den væk bag en applikationsprogrammeringsgrænseflade.

Myndigheden skal også være uenig med sin egen begejstring. En vellykket pilot kan skabe pres for at udvide et værktøj til en befolkningsgruppe eller en beslutning, der aldrig var en del af testen. Kontrakten bør bevare det oprindelige formål og kræve en ny beslutning, når formålet, dataene, de berørte personer eller konsekvensen ændrer sig. En opdatering er ikke automatisk harmløs, fordi den leveres som en tjeneste. En ny anvendelse er ikke automatisk dækket, fordi det samme logo står øverst på skærmen.

Når en leverandør siger, at modellen kun er rådgivende, bør myndigheden se på, hvad arbejdet faktisk gør. Hvis personalet får besked på at acceptere rangordenen, hvis der ikke er tid til at gennemgå den, eller hvis systemet styrer, hvilke sager der når frem til en person, kan rådgivning i praksis være blevet til en beslutning. Indkøbsteamet behøver ikke at diskutere, hvad den perfekte betegnelse er. Det skal dokumentere vejen fra output til konsekvens og bevare myndigheden til at ændre den vej.

Leverandørens grænser er en del af kontrakten

AI-indkøb beskrives ofte som et valg mellem at bygge og at købe. Det sværere valg er, hvordan man trækker grænsen mellem leverandør og offentlig organisation. Leverandøren kan kontrollere en model, en tjeneste, en opdateringssti, infrastruktur, et supportteam og en del af databehandlingen. Myndigheden kontrollerer det offentlige formål, beslutningen, den berørte befolkning og pligten til at levere en lovlig og anvendelig tjeneste. En kontrakt skal forbinde disse ansvarsområder frem for at lade dem stå som to pæne diagrammer.

De opdaterede EU-modelklausuler for kontraktlige AI-vilkår er nyttige, fordi de anerkender, at offentlige købere har brug for forskellige tilgange til højrisiko- og ikke-højrisiko-AI og brug for vejledning i at tilpasse klausulerne i praksis. De er ikke en erstatning for en indkøbsstrategi eller en juridisk gennemgang. De er et fælles sprog til at gøre ansvar eksplicit. Køberen skal stadig beslutte, hvilke beviser, datarettigheder, revisionsadgang, ændringsmeddelelser, support, ansvar og exitbetingelser der står mål med det system, der købes.

Data og artefakter fortjener særlig opmærksomhed. Et system kan berøre kildedokumenter, labels, prompter, indlejringer, genererede udkast, menneskelige rettelser, evalueringssæt, logfiler og endelige registreringer. Kontrakten bør skelne mellem, hvad myndigheden leverer, hvad leverandøren opretter, hvad hver part må bruge, hvad der skal returneres, hvad der skal slettes, og hvilket bevis for sletning eller opbevaring der kræves. At sige, at myndigheden ejer sine data, besvarer ikke spørgsmålet om, hvor afledte artefakter befinder sig, eller hvordan myndigheden kan hente de registreringer, der forklarer et resultat.

Auditrettigheder skal have en praktisk form. Køberen skal vide, hvilke registre der kan inspiceres, hvordan adgang anmodes, hvilket varsel der er rimeligt, hvilke fortrolighedsbeskyttelser der gælder, og hvad der sker, når en revision finder en mangel. En auditklausul uden en brugbar vej er en dom, der venter på en tvist. Det samme gælder en hændelsesklausul, der siger, at leverandøren vil samarbejde, uden at nævne de oplysninger, den tidsfrist og den ansvarlige, der er nødvendige for samarbejdet.

Ændringsstyring bør ikke overlades til release notes. Myndigheden kan kræve varsel om en væsentlig ændring af modellen, datakilderne, behandlingsstedet, underleverandører, grænseflader, tærskler, evalueringsmetoden eller den menneskelige vej. Den kan definere, hvilke beviser der kræves, før en ændret version bruges til den offentlige opgave. Den kan kræve en ret til at pause, afvise eller rulle tilbage, hvor den ændrede tjeneste ikke længere opfylder et væsentligt krav. Disse er anbefalinger til at gøre kontrakten operationel. De er ikke påstande om, at én klausul kan løse ethvert leverandørforhold.

Ansvaret omfatter også det, leverandøren ikke kan levere. En tjeneste kan afhænge af en tredjepartsmodel eller infrastruktur, hvis ændringer ligger uden for den umiddelbare leverandørs kontrol. Køberen bør informeres om denne afhængighed og vide, hvilke forpligtelser der overføres til den. En offentlig organisation kan ikke vurdere en kæde ved kun at inspicere hoveddøren. Kontrakten bør bevare en vej til de relevante beviser, eller også bør køberen erkende, at usikkerheden er en grund til at indsnævre eller afstå fra købet.

Gode grænser beskytter også leverandører. En offentlig køber, der beder om alle tænkelige dokumenter, alle kildekodedetaljer og ubegrænset support uden et defineret formål, kan reducere konkurrencen og gøre kontrakten uattraktiv for mindre europæiske udbydere. Proportionalitet, klarhed og et troværdigt bevisomfang lader en leverandør sige, hvad den kan, og lader en køber sige, hvad den har brug for. Offentlige indkøb bør være krævende uden at være teatralske. En mur af umulige krav holder dårlige systemer ude og gode systemer ude med samme effektivitet.

Ændringer efter tildeling er stadig indkøb

Tildelingen er ikke slutningen på beslutningen. Det er det punkt, hvor tjenesten kommer under en anden form for granskning. Under drift ændrer data sig, politikker ændres, grænseflader udskiftes, medarbejdere lærer genveje, leverandører reviderer modeller, og et system kan bruges i situationer, som det oprindelige team ikke forestillede sig. Myndigheden har brug for en måde at opdage disse ændringer på, før de ved et tilfælde bliver et nyt offentligt formål.

Algoritmekader anbefaler regelmæssige kontroller af, at en algoritme fungerer som tilsigtet, overvågning af ændringer i data og evaluering af ydeevne og output, når data ændres, samt vedligeholdelse af en plan for løbende overvågning. Det indeholder også et tiltag for en nødplan til at stoppe algoritmen. Disse anbefalinger placerer tid inde i styringsmodellet. Et indkøb, der kun fanger den oprindelige specifikation, har købt et fotografi af en tjeneste i bevægelse.

Ikke alle opdateringer bør udløse samme ceremoni. En sikkerhedsopdatering, der efterlader modellen, datagrænsen og beslutningsrollen uændret, kan følge en anden vej end en ny modelfamilie, en ændret hentekilde eller en ny tærskel. Kontrakten kan definere væsentlighed i operationelle vendinger: en ændring er væsentlig, når den ændrer opgaven, de berørte personer, bevisvejen, beslutningskonsekvensen, implementeringsjurisdiktionen, underleverandøren, dataanvendelsen eller muligheden for at gribe ind. Den præcise definition kræver juridisk og teknisk vurdering. Princippet er enkelt: ændring er en del af den købte kapacitet.

Overvågning bør bevare de oplysninger, der er nødvendige for at træffe en beslutning. Et dashboard kan vise, at en tjeneste er travl; det viser måske ikke, at en kilde er blevet forældet, eller at reviewere tilsidesætter den samme anbefaling. Myndigheden bør gemme den relevante version, opgavens omfang, evidensbetingelser, menneskelig handling og begrundelsen for en ændring. Den bør vide, hvilke ændringer der blev accepteret, hvilke der blev rullet tilbage, hvilke der blev begrænset, og hvilke der skabte et nyt udbudsspørgsmål.

En leverandør er måske ikke i stand til at give forhåndsvarsel om enhver intern ændring. Kontrakten kan stadig kræve en brugbar meddelelse og en evidenspakke, før den ændrede adfærd gøres til genstand for tillid. Myndigheden kan vælge en trinvis udrulning, en kontrolleret evaluering eller en midlertidig pause. Evnen til at pause er ikke en straf. Det er det, der gør det muligt for en offentlig tjeneste at forblive ansvarlig, mens fakta bliver fastlagt.

En ændringsregistrering beskytter også mod falsk sikkerhed. Hvis myndigheden ikke kan afgøre, om en forskel skyldtes en ny model, en dataændring, en prompt, en menneskelig omgåelse eller en ekstern afhængighed, bør den ikke hævde, at systemet opførte sig konsekvent. Det korrekte svar kan være at indsnævre brugen, indsamle bedre evidens eller stoppe den berørte rute. Offentlige midler bliver ikke sikrere, fordi forklaringen er pæn.

Interoperabilitet er det pæne ord for at forlade

Folk diskuterer ofte interoperabilitet, som om det var en teknisk høflighed mellem systemer. I offentlige udbud er det også en kontinuitetskontrol. Hvis en offentlig tjeneste ikke kan flytte sine registreringer, konfigurationer, evidens, grænseflader og driftsviden til en anden rute, kan myndigheden være juridisk fri til at forlade og praktisk ude af stand til at gøre det. Kontrakten har skabt en afhængighed, som udbudsfilen ikke navngav.

Kommissionens JRC-rapport om fremme af AI-anvendelse i EU's offentlige forvaltninger kalder udbud en afgørende muliggørende rolle og siger, at interoperabilitet bør indbygges fra starten. Den præsenterer også strategiske indkøb som en måde at reducere afhængigheden af ikke-EU-leverandører og støtte europæiske AI-startups, open source- og GovTech-løsninger. Dette er ikke et argument for at købe europæisk som slogan eller for at behandle open source som en automatisk garanti. Det er et argument for at gøre den tekniske og institutionelle evne til at ændre kurs til en del af den værdi, der købes.

Exit begynder med en liste over, hvad der skal overleve. Det kan omfatte kilderegistreringer, identifikatorer, etiketter, prompts, model- og konfigurationsversioner, evalueringssæt, revisionsregistreringer, bruger- og rolletilknytninger, integrationskontrakter, opbevaringsstatus, sikkerhedsmateriale og betydningen af felter. Listen afhænger af tjenesten. En bærbar fil uden kontekst kan være mindre nyttig end en mindre registrering med dens semantik og tilladelser intakte. Eksport er en kapacitet, der skal testes, ikke en boks, der skal afkrydses.

Interoperabilitet betyder også, at myndigheden kan foretage en meningsfuld sammenligning. Kan en destination behandle registreringerne uden stille at ændre deres betydning. Kan reviewere sammenligne et gammelt og nyt output under de samme opgavebetingelser. Kan den offentlige tjeneste fortsætte i en reduceret tilstand, hvis en afhængighed er utilgængelig. Kan evidens forblive læsbar, efter at grænsefladen er væk. Disse spørgsmål hører til i kravene, evalueringen og kontrakten, fordi en exit opdaget under en nødsituation normalt er en arkæologisk udgravning.

Portabilitet betyder ikke nødvendigvis, at en leverandør skal udlevere alle interne implementeringsdetaljer. Det betyder, at myndigheden kan bevare den offentlige funktion og de dokumenter, den er ansvarlig for, med forbehold for lovlige rettigheder og sikkerhedsbegrænsninger. Grænsen bør fastlægges, før kontrakten underskrives. Hvis leverandørens model er utilgængelig, kan myndigheden stadig kræve portable input, output, beslutningsregistreringer, evalueringer, konfiguration og en vej til at rekonstruere serviceydelsens offentlige forpligtelser. Hvis den ikke kan få den vej, bør den prissætte afhængigheden ærligt eller afvise den.

En exitøvelse er værdifuld, fordi den forvandler et kontraktligt løfte til en observeret kapacitet. En offentlig køber kan teste en eksport, inspicere felterne, køre en repræsentativ arbejdsbyrde i en kontrolleret destination og sammenligne de resulterende registreringer. Den kan registrere, hvad der ikke flyttede sig, og beslutte, om hullet er acceptabelt. Øvelsen behøver ikke være dramatisk. En lille øvelse udført før fornyelse er bedre end en heroisk migration udført, efter at leverandøren er blevet den eneste, der husker systemet.

At forlade er en sekvens af autoritet, eksport, betydning, verifikation, kontinuitet og afslutning. En knap mærket eksport er ikke sekvensen.

Omkostninger er mere end linjen i udbuddet

Pris er let at sammenligne, når det, der købes, er stabilt. AI-indkøb har en længere omkostningshorisont. Der kan være integrationsarbejde, kildeforberedelse, gennemgangstid, sikkerhedskontroller, lagring, evaluering, modelopdateringer, tilgængelighedsarbejde, håndtering af hændelser, support, eksport og udskiftning. Nogle omkostninger bæres af myndigheden. Andre overføres til medarbejdere eller offentligheden, når en service bliver sværere at udfordre. Et udbud, der kun sammenligner det oprindelige gebyr, er ikke nødvendigvis økonomisk. Det tæller blot en synlig del.

Direktiv 2014/24/EU giver mulighed for livscyklusomkostninger, hvor myndigheden vælger denne tilgang. Direktivet beskriver omkostninger såsom anskaffelse, brug, vedligeholdelse, udfasning og, hvor relevant og verificerbart, miljømæssige eksternaliteter. Det kræver også, at udbudsdokumenterne angiver, hvilke data tilbudsgiverne skal fremlægge, og hvilken metode der anvendes til at vurdere livscyklusomkostningen. Dette er en nyttig disciplin for AI, fordi det kræver, at køberen angiver, hvad der vil blive talt med, i stedet for at invitere hver leverandør til at bringe en anden definition af billig.

Det samme princip gælder for menneskelig opmærksomhed. Hvis et system producerer anbefalinger, der skal gennemgås, hører arbejdet med at gennemgå dem til i driftsmodellen. Hvis en offentlig service har brug for en klagevej, skal vejen have en ejer og tid. Hvis en leverandørs opdatering kræver en ny evaluering, skal myndigheden have kapaciteten til at udføre den. Det er ikke argumenter imod automatisering. Det er påmindelser om, at automatisering ændrer, hvor arbejdet foregår. En besparelse på fakturaen kan blive en udgift i køen, hvis indkøbet ikke navngiver det nye arbejde.

Omkostninger bør også omfatte omkostningen ved ikke at kunne komme væk. En afhængighed kan se billig ud, mens den er ny, og blive dyr, når der har samlet sig registreringer, ekspertise, integrationer og offentlige forventninger omkring den. Køberen kan bede om et migrationsestimat, en fortegnelse over data og artefakter, en supportforpligtelse og en øvelsesplan. Den kan sammenligne disse betingelser som en del af værdien af tilbuddet. Valget er ikke mellem optimisme og pessimisme. Det er mellem en afhængighed, der er synlig, og en, der er skjult i fremtidig tid.

Livscyklustænkning hjælper et indkøbsteam med at sige nej uden at lade som om, at det billigste synlige tilbud er den neutrale mulighed. Teamet kan afvise et forslag, fordi dets dokumentation, gennemgangsbyrde, ændringsvej eller exitomkostning ikke er forenelig med det offentlige formål. Det kan forklare beslutningen ud fra offentliggjorte kriterier. Det er ikke en anti-markedsgestus. Det er, hvad et marked med verificerbare krav skal tillade.

Offentlige købere har brug for myndighed til at sige nej

Et indkøbsteam kan ikke udøve en beføjelse, som organisationen ikke har givet det. Mange myndigheder har folk, der kan vurdere juridiske, tekniske, økonomiske og serviceorienterede spørgsmål, men myndigheden til at kombinere disse vurderinger til en pause eller et afslag er uklar. Resultatet er velkendt: bekymringer registreres i ét dokument, entusiasme i et andet, og tildelingen fortsætter, fordi ingen ved, hvilken rolle der kan lukke porten.

Myndigheden bør navngive de roller, der kan acceptere, afvise, indsnævre eller pause et køb på hvert trin. Rollerne har brug for adgang til de relevante beviser og en måde at registrere begrundelsen på. En indkøbsansvarlig kan eje processen, en serviceejer det offentlige formål, en databeskyttelsesansvarlig en privatlivsbetingelse, en sikkerhedsansvarlig en kontrol, en teknisk gennemgåer en test og en senioransvarlig rolle den endelige beslutning. Den præcise ordning varierer. Fraværet af en ordning er den farlige del.

En nyttig stopbetingelse er ikke et rødt mærke, der siger høj risiko. Det er en kendsgerning, der blokerer den næste beslutning. Det tilsigtede formål er ikke tilstrækkeligt defineret. Leverandøren kan ikke fremlægge dokumentation for et væsentligt krav. Den berørte person har ingen brugbar klagevej. Myndigheden kan ikke inspicere den relevante ændring. Rettighederne til data eller artefakter er uklare. Systemet kan ikke eksporteres eller erstattes inden for kontinuitetsplanen. Den menneskelige gennemgåer har ansvar, men ingen myndighed. Hver betingelse kan have en anden løsning. Nogle kræver afklaring, nogle en kontraktændring, nogle et snævrere omfang og nogle et nej.

Stopbetingelser bør være kendt, før tilbuddet evalueres. De bør være forbundet med tildelingskriterier og med kontrakten, så en køber ikke opfinder en ny standard efter at have set leverandørens svar. De bør også genovervejes efter tildelingen. Et krav, der var opfyldt ved lanceringen, kan blive uopfyldt efter en væsentlig ændring eller en ny anvendelse. Evnen til at sige nej er ikke en enkelt port til sidst. Det er en opretholdt myndighed gennem hele servicelevetiden.

Forestil dig et offentligt team, der overvejer at anskaffe en tjeneste til routing af dokumenter. De offentliggjorte krav omfatter sporbarhed til kilden, en menneskelig gennemgangsproces, en meddelelse om væsentlige modelændringer, en eksport af registreringer og en defineret procedure for standsning. En byder leverer en stærk demonstration, men kan ikke give myndigheden mulighed for at inspicere kildeudvælgelsen eller bevare den versionsstyrede routingdokumentation. En anden byder tilbyder færre funktioner, men opfylder dokumentations- og udtrædelseskravene. Teamet er ikke forpligtet til at foretrække den mere imponerende demonstration. Det kan anvende de angivne kriterier, stille proportionerede spørgsmål og afslå det første tilbud, hvis et væsentligt krav forbliver udokumenteret.

Den beslutning bør ikke formuleres som en moralsk vurdering af leverandøren eller teknologien. Den skal angive det offentlige formål, kravet, den modtagne dokumentation, den uafklarede betingelse og den beslutning, som udbudsdokumenterne giver mulighed for. Et klart nej er mere respektfuldt end et vagt måske, der senere bliver til en tvungen forlængelse. Det sender også et nyttigt signal til markedet: offentlige købere vil betale for dokumentation og kontrol, ikke kun for evnedemonstration.

Den menneskelige beføjelse til at standse skal kunne bruges under en hændelse. Operatøren skal vide, hvem der skal kontaktes, hvilken systemtilstand der skal bevares, hvilken servicerute der kan fortsætte, og hvilken kommunikation der kræves. Beslutningsregistreringen skal adskille øjeblikkelig inddæmning fra en længerevarende udbudsbeslutning. Et offentligt organ behøver ikke at vente på en perfekt undersøgelse, før det forhindrer yderligere skade, men det bør undgå at hævde større sikkerhed, end det har. Standsningen er en kontrolforanstaltning. Forklaringen kan udvikle sig.

Udbud former markedet

Offentlige udbud er en af de måder, hvorpå Europa beslutter, hvilke kapaciteter der er værd at opbygge. JRC-rapporten om fremme af AI-anvendelse i EU's offentlige forvaltninger beskriver den offentlige sektor som en væsentlig markedsformende kraft. Den kæder succesfuld anvendelse sammen med styring, arbejdsstyrkens parathed, ansvarlige indkøb, interoperabilitet og offentlig tillid. Den siger også, at strategiske indkøb kan reducere afhængigheden af leverandører uden for EU og støtte europæiske startups, open source- og GovTech-løsninger. Pointen er ikke, at en offentlig myndighed skal blive en venturefond. Pointen er, at dens krav enten kan belønne ansvarlig kapacitet eller belønne en overbevisende indpakning omkring afhængighed.

Den Europæiske Revisionsrets særberetning nr. 28/2023 har titlen Public procurement in the EU: less competition for contracts awarded for works, goods and services in the ten years up to 2021. Dens offentlige resumé beskriver konkurrencen om offentlige udbud i Europa som svindende. Et marked med færre effektive konkurrenter er et dårligt sted at skjule vage krav. Hvis myndigheden ikke kan sammenligne dokumentation, kan den komme til at vælge mellem markedsføringsstile snarere end mellem tjenester. At sige nej til et tilbud, der ikke kan testes, kan bevare betingelserne for en bedre konkurrence senere.

Samtidig kan en køber ved et uheld udelukke nyttige leverandører ved at kræve dokumentation i en form, som kun den største leverandør kan producere. Proportionerede krav, klare grænseflader, åbne formater og trinvise evalueringer kan give mindre organisationer mulighed for at demonstrere en afgrænset kapacitet uden at lade, som om de har en multinational virksomheds ressourcer. Køberen bør være streng omkring det offentlige formål og fleksibel omkring implementeringen, hvor implementeringen ikke påvirker dette formål. Sådan bliver et nej til et bedre spørgsmål i stedet for en lukket dør.

Markedsformning betyder også at nægte at lade én leverandørs private arkitektur definere det offentlige behov. Hvis et krav nævner en bestemt model, cloud eller proprietær arbejdsgang uden en begrundet forbindelse til opgaven, kan konkurrencen blive indsnævret, før dokumentationen overhovedet er set. Funktionelle krav og verificerbare resultater giver offentlige købere mere plads til at sammenligne tilgange. De gør også kontrakten mindre skrøbelig, når den valgte komponent ændres.

En offentlig myndighed kan være en krævende kunde uden at blive en vanskelig kunde. Den kan offentliggøre de beviser, den forventer, forklare årsagen til en stopbetingelse, tilbyde en vej til afklaring og betale for arbejde, der skaber varig offentlig kapacitet. Markedet har så noget nyttigt at reagere på. Det behøver ikke at gætte på, om det afgørende var en skjult præference, en flot demo eller prisen på et fremtidigt problem.

En arbejdsmodel for et udbud, der kan sige nej

Følgende model er en praktisk anbefaling, ikke en ny juridisk procedure. Den er en måde at holde den offentlige beslutning synlig, mens et system bevæger sig fra idé til drift. En myndighed bør tilpasse den til sin lovgivning, sektor, risiko og udbudsmetode. Det vigtige er, at hver gate har en ejer, beviser og et tilladt resultat, der inkluderer pause eller afvisning.

For det første: skriv det offentlige formål. Navngiv tjenesten, de mennesker, der udfører den, de mennesker, der modtager den, den beslutning eller handling, der kan ændre sig, og grunden til, at et system overvejes. Angiv, hvad der er uden for scope. Hvis formålet ikke kan beskrives uden leverandørens produktordforråd, er myndigheden stadig i markedsafdækning. Resultatet af denne gate er en problemformulering og en beslutning om, hvorvidt udbud er det rigtige næste skridt.

For det andet: skriv bevisgrænsen. For hver væsentlig påstand skal du angive, hvad der ville vise, at den er sand i den påtænkte opgave. Navngiv databetingelser, sprog, tilgængelighedsbehov, kilderegistre, version, baseline og gennemgangsvej, der gør testen meningsfuld. Specificér, hvad der skal kunne inspiceres, hvad der kan holdes fortroligt, og hvad der skal leveres som en kontraktmæssig registrering. Resultatet af denne gate er et sæt krav, som tilbudsgivere kan forstå, og en evalueringsplan, der kan ændre tildelingen.

For det tredje: skriv myndighedsgrænsen. Navngiv de handlinger, systemet kan foreslå, de handlinger, det kan udføre, de handlinger, der kræver godkendelse, og de handlinger, der er forbudt. Navngiv, hvem der kan rette en kilde, afvise et output, ændre en regel, sætte en tjeneste på pause og tale med en berørt person. Definér, hvad der sker, når systemet er usikkert, eller beviserne er i konflikt. Resultatet af denne gate er en menneskelig vej, der er mere specifik end et afkrydsningsfelt.

For det fjerde: skriv ændringsgrænsen. Identificér de ændringer, der kræver varsel, evaluering, godkendelse eller en ny udbudsbeslutning. Inkluder model, data, leverandør, underleverandør, infrastruktur, behandlingssted, grænseflade, tærskel, population, formål og menneskelig vej. Beslut, hvilke beviser der følger med ændringsregistret, og hvilke der kan redigeres af lovlige årsager. Resultatet af denne gate er et vedligeholdt register snarere end et løfte om, at systemet forbliver statisk.

For det femte: skriv udgangsgrænsen. List de registre, data, konfiguration, beviser, tilladelser, integrationer og operationel viden, der skal overleve. Definér formater, timing, support, verifikation, reduceret service, overgang, adgangslukning og sletning. Øv en lille eksport før fornyelse eller en væsentlig udvidelse. Resultatet af denne gate er en vej, der kan testes, mens leverandøren stadig er en partner, ikke kun efter at forholdet er blevet en tvist.

For det sjette: skriv den offentlige registrering. Beslut, hvad der kan offentliggøres om formål, systemrolle, beviser, menneskelig vej, ændringer, hændelser og kontakt for udfordring. Beskyt fortrolige og personlige oplysninger uden at gøre hele beslutningen til en privat samtale. En offentlig registrering kan sige, hvad der er kendt, hvad der ikke er kendt, og hvornår den næste gennemgang finder sted. Dens opgave er ikke at få systemet til at se perfekt ud. Det er at gøre myndighedens vurdering inspektérbar.

Til sidst skal afslaget formuleres. Afslaget er ikke en dramatisk pressemeddelelse. Det er en normal udfaldsmulighed i beslutningsprotokollen: kravet var væsentligt, dokumentationen levede ikke op til det, afhjælpningen blev overvejet, og myndigheden valgte at afslå, indsnævre, pause eller søge en anden vej. En indkøbsproces, der ikke kan fremlægge denne protokol, har fået indkøbet til at se uundgåeligt ud, før det har fortjent den konklusion.

Disse porte kan repræsenteres i et tilbudssvar, en arkitektur for projektstart, en kontraktplan, et reviewmøde og en incidentplaybook. De bør ikke blive til en større formular for dens egen skyld. Hvis en port ikke ændrer, hvad teamet kan beslutte, er det formentlig dokumentationsteater. Hvis den giver en person dokumentation og autoritet til at handle, er den en del af servicen.

Spørgsmål, der er værd at stille i et udbud

De bedste spørgsmål er ikke dem, der får en leverandør til at gentage sit marketingsprog. Det er dem, der gør det offentlige formål og dokumentationsgrænsen synlige. En indkøber kan tilpasse følgende spørgsmål til systemet og proceduren:

  • Hvilken præcis offentlig opgave understøtter den foreslåede kapacitet, og hvilke opgaver ligger uden for dens tilsigtede anvendelse?
  • Hvilke personer, registre og datakilder er omfattet, og hvilke skal udelukkes?
  • Hvilket output producerer systemet, og hvilken beslutning eller handling kan følge af det?
  • Hvilket krav kan demonstreres, hvilket kan inspiceres, og hvilket vil blive opretholdt kontraktligt?
  • Hvordan vil myndigheden reproducere et resultat med den relevante version, kilder, konfiguration og opgavebetingelser?
  • Hvad kan en menneskelig reviewer se, ændre, afvise, eskalere eller standse, før en konsekvensbærende handling finder sted?
  • Hvilke ændringer i model, data, infrastruktur, underleverandør eller politik kræver varsel og fornyet vurdering?
  • Hvilke registre og artefakter kan myndigheden eksportere, i hvilke formater, med hvilken betydning, rettigheder og opbevaringsstatus?
  • Hvad sker der, når servicen er utilgængelig, dokumentationen er ufuldstændig, eller en person udfordrer resultatet?
  • Hvilke forpligtelser vedrørende support, revision, incidenter, oplæring og exit fortsætter efter den første udgivelse?

Disse spørgsmål er ikke en erstatning for udbudsdirektivet, AI-forordningen, databeskyttelsesloven eller sektorregler. De er ansporinger til, at myndigheden gør sine egne forpligtelser operationelle. En leverandør, der kan besvare dem klart, er måske stadig ikke den rigtige leverandør. En leverandør, der ikke kan besvare dem, kan stadig have en nyttig komponent, men myndigheden bør ikke forveksle en nyttig komponent med en komplet offentlig kapacitet.

Vores lille note

Hos Dweve omfatter vores AI Compas en leverandørneutral indkøbs- og governance-rute for regulerede europæiske organisationer. RFI- og RFP-materialet beder teams om at klassificere use casen, anvende knockout-kriterier, sammenligne leverandører, køre et proof-of-concept og bevare dokumentation gennem monitorering. Det er vores implementeringskontekst, ikke uafhængig dokumentation om offentlige indkøb og ikke en påstand om, at én ramme passer til alle myndigheder. Vi nævner det, fordi den disciplin, der beskrives her, også er den disciplin, vi forsøger at bruge i vores eget arbejde: definér grænsen, kræv bevis, hold beslutningen menneskelig, og gør exit synlig.

Vores Trust Centre gør samme sondring i en anden tone. En offentlig registrering kan beskrive, hvad der er dokumenteret, hvad der er forberedt, og hvad der fortsat er en fremtidig begivenhed, uden at gøre en hensigtserklæring til bevis. Et indkøbsteam fortjener samme ærlighed fra sine leverandører. Indkøberen bør kunne se status for en påstand, dokumentationen bag den og ruten for at udfordre den.

Lærdommen

En offentlig myndighed bliver ikke ansvarlig, når den underskriver en kontrakt om et AI-system. Den bliver ansvarlig, når indkøbet kan forklare, hvorfor systemet hører til i arbejdet, hvilke beviser der understøtter den konklusion, hvem der kan gribe ind, hvad der sker, når systemet ændres, og hvordan den offentlige funktion kan fortsætte, hvis leverandøren ikke kan.

Europæiske indkøbsregler giver allerede vigtige vaner: kriterier skal knyttes til genstanden, oplysninger skal kunne verificeres, vægtninger skal angives, og kontraktvilkår skal være klare. Europa-Kommissionens AI-indkøbsklausuler giver offentlige købere en måde at drøfte højrisiko- og ikke-højrisikosystemer på og at fordele ansvar. Det hollandske Algoritmekader omsætter ansvarligt indkøb til konkrete foranstaltninger om formål, data, beviser, revision, menneskelig kontrol, standsning og udtræden. JRC-rapporten placerer indkøb i Europas samtale om kapacitet og suverænitet. Revisionsrettens advarsel om svindende konkurrence er en påmindelse om, at en svag konkurrence ikke repareres af en selvsikker tildeling.

Det svære ord er stadig nej. Nej, formålet er ikke defineret. Nej, beviserne kan ikke inspiceres. Nej, den menneskelige vej er dekorativ. Nej, ændringsvejen er usynlig. Nej, den offentlige registrering kan ikke opretholdes. Nej, tjenesten kan ikke forlade uden at miste det arbejde, den skulle beskytte. Hvert nej kan være en afvisning, en indsnævring, en pause eller en anmodning om et bedre svar. Myndigheden bør beslutte, hvilket det er, registrere hvorfor og holde beslutningen åben for udfordring.

Indkøb, der kan sige nej, er ikke indkøb, der frygter teknologi. Det er indkøb, der kender forskellen på en kapacitet og et løfte. Det betaler for et system, der kan testes, overvåges, ændres og forlades. Det giver leverandører en mere fair konkurrence, fordi spørgsmålet er synligt. Det giver offentligt ansatte en vej til at gribe ind, før et problem bliver til en politik. Det giver de mennesker, der berøres af tjenesten, noget mere nyttigt end en erklæring om, at en leverandør er blevet godkendt.

Et offentligt køb bør ende med en tjeneste, som myndigheden stadig kan styre. Hvis beviserne er stærke, er det meningsfuldt at sige ja. Hvis beviserne er svage, er det at sige nej det offentlige arbejde. Indkøbsfilen bør kunne indeholde begge sætninger.

Kilder