Verejný sektor potrebuje obstarávanie, ktoré vie povedať nie

Verejný orgán sa nestáva zodpovedným podpisom za systém umelej inteligencie. Zodpovedným sa stáva vtedy, keď sú jeho požiadavky, dôkazy, ľudská autorita,...

Verejný sektor potrebuje obstarávanie, ktoré vie povedať nie

Dokument, ktorý môže ukončiť nákup

Súbor verejného obstarávania sa často začína žiadosťou, ktorá znie nevinne: nájsť systém, ktorý pomôže s určitou úlohou. Žiadosť prechádza cez opis problému, trhovú konzultáciu, súbor požiadaviek, hodnotenie, zmluvu a, ak je proces zdravý, rozhodnutie, ktoré môže ešte zastaviť prácu. Túto poslednú možnosť je ľahké stratiť zo zreteľa. Keď sa okolo nákupu zhromaždia peniaze, kalendáre a politická pozornosť, slovo nie začne znieť ako zlyhanie dodania. Vo verejnej práci to môže byť najužitočnejšie rozhodnutie v celom spise.

Európske právo verejného obstarávania už dnes vníma ponuku ako viac než súťaž atraktívnych sľubov. Smernica 2014/24/EÚ uvádza, že kritériá na vyhodnotenie ponúk musia umožňovať účinnú a spravodlivú hospodársku súťaž a musia byť sprevádzané opatreniami, ktoré verejnému obstarávateľovi umožnia overiť informácie poskytnuté uchádzačmi. Smernica tiež uvádza, že kritériá by nemali obstarávateľovi poskytnúť neobmedzenú slobodu voľby. Verejný kupujúci musí opísať, čo je dôležité, vysvetliť, ako sa to bude posudzovať, a overiť, či ponuka skutočne spĺňa stanovené požiadavky. Toto nie je administratívna poznámka pod čiarou. Je to právna podoba rozhodnutia, ktorému musia byť schopní porozumieť iní ľudia a ktoré musia mať možnosť napadnúť.

Umelá inteligencia sťažuje starú disciplínu, pretože dodávateľ môže ponúknuť systém, ktorého správanie závisí od údajov, aktualizácií modelu, výziev, prahov, integrácií, ľudí a služby, ktorá sa môže meniť, kým je zmluva ešte stále v platnosti. Brožúra môže zostať rovnaká, zatiaľ čo vec za ňou sa pohybuje. Obstarávací tím preto musí kúpiť viac než len rozhranie. Musí kúpiť ohraničenú schopnosť, dôkazy o tom, že táto schopnosť je vhodná, právomoc ju dohliadať a dôveryhodný spôsob, ako ju zastaviť alebo nahradiť.

Verejný sektor potrebuje obstarávanie, ktoré vie povedať nie, pretože verejný sektor nemôže outsourcovať svoj úsudok. Dodávateľ môže poskytnúť model, pracovný postup, hostovanú službu alebo súbor nástrojov. Nemôže poskytnúť legitimitu rozhodnutia prijatého s ich pomocou. Obstarávateľ stále musí vedieť, aký problém rieši, koho záujmy môžu byť dotknuté, aké dôkazy podporujú systém, ktorá osoba môže zasiahnuť a ako bude služba pokračovať, ak dodávateľ zmení smer. Podpis nie je prevod zodpovednosti. Je záznamom o tom, že zodpovednosť bola usporiadaná.

Tento článok sleduje toto usporiadanie od prvej vety požiadavky až po posledný riadok záznamu o ukončení. Ako dôkazy používa európske verejné usmernenia a materiály o obstarávaní. Praktické vzory sú odporúčania, nie tvrdenia, že každý obstarávateľ musí použiť jednu formu. Akákoľvek vymyslená situácia je označená ako hypotetická. Hodnoverná kancelária, úhľadná ponuka a dramatické zlyhanie nie sú dôkazom len preto, že zapadajú do známeho príbehu.

Verejný kupujúci kupuje sľub dvakrát

Každý verejný nákup nesie dva sľuby. Prvým je sľub dodávateľa o produkte alebo službe. Druhým je sľub obstarávateľa ľuďom, ktorí sú na práci závislí: že peniaze boli vynaložené na stanovený verejný účel, že rozhodnutie možno vysvetliť, že sa zohľadnili príslušné práva a že niekto zostáva zodpovedný, keď systém zlyhá. Druhý sľub je ten, ktorý prežije uvedenie do prevádzky.

Obstarávanie umelej inteligencie často robí prvý sľub živým a druhý vágnym. Ukážka môže predviesť plynulé zhrnutie, zoradený zoznam alebo rýchlu odpoveď. Málokedy ukáže, kto môže výstup odmietnuť, čo sa stane, keď zdroj chýba, ako sa schvaľuje zmena, či možno záznamy exportovať, alebo ktorá osoba môže pozastaviť službu bez toho, aby uprostred incidentu vyjednávala o svojej vlastnej právomoci. Tieto otázky sú menej pôsobivé. Sú to však práve otázky, ktoré rozhodujú o tom, či verejný orgán môže zostať vo vedení.

Komunita verejných kupujúcich Európskej komisie opisuje svoje aktualizované modelové klauzuly EÚ o umelej inteligencii v zmluvách v troch častiach: plnú verziu pre vysokorizikovú umelú inteligenciu v súlade s aktom o umelej inteligencii, ľahkú verziu, ktorú možno prispôsobiť pre umelú inteligenciu, ktorá nie je vysokoriziková, a komentár k tomu, ako klauzuly používať a upravovať. Tento rozdiel je dôležitý. Modelová klauzula nie je čarovná pečiatka, ktorá robí obstarávanie vhodným. Je východiskovým bodom na rozdelenie povinností medzi verejnú organizáciu a dodávateľa v zmluve, ktorej rozsah, účel a dôkazy musí kupujúci ešte len určiť.

Kupujúci by sa preto mal najprv opýtať, čo vlastne sľubuje verejnosti, a až potom sa pýtať, čo môže predajca preukázať. Sľubuje inštitúcia rýchlejšie vybavenie backlogu, konzistentnejšie prvé posúdenie, bezpečnejšiu kontrolu, lepšie využitie vzácnych odborných znalostí, alebo jednoducho experiment, ktorého hranice sú viditeľné? Každý účel vytvára iné dôkazy a iné dôvody na zastavenie. Systém, ktorý navrhuje interné poznámky, môže potrebovať inú hranicu právomocí ako systém, ktorý zoraďuje žiadosti o službu, ktorej sa ľudia nemôžu vyhnúť.

Predstavme si hypotetický hodnotiaci tím, ktorý posudzuje nástroj zhrňujúci podania dodávateľov. Tím sa môže rozhodnúť, že úloha je vhodná na asistenciu, ale len vtedy, ak zhrnutie zachováva výnimky, podmienky a dátumy a odkazuje posudzovateľov späť na zdrojové pasáže. Ak dodávateľ nedokáže preukázať, ako sa tieto požiadavky budú testovať, tím by mal mať možnosť nástroj odmietnuť alebo zúžiť zmluvu. To nie je obvinenie voči dodávateľovi. Je to záver o dôkazoch dostupných pre definovaný účel.

Rovnaká logika platí, keď je problém príťažlivý, ale slabo ohraničený. Verejný orgán môže chcieť predvídať dopyt, stanoviť priority kontrol alebo smerovať korešpondenciu. Tieto slovesá skrývajú rozhodnutia pod nimi. Čo sa považuje za dopyt. Čo priorita mení. Ktorú korešpondenciu možno bezpečne smerovať bez toho, aby si ju prečítal človek. Prvé nie sa môže týkať rozsahu problému, nie používania softvéru. Odmietnutie nejasného nákupu je často spôsob, akým inštitúcia chráni užitočnú časť práce pred netestovateľnou časťou.

Opíšte problém pred riešením

Obstarávanie sa stáva krehkým, keď kategória produktu príde skôr, ako je pomenovaný verejný problém. Umelá inteligencia je obzvlášť dobrá vo vytváraní tohto poradia, pretože ten istý model možno prezentovať ako asistenta písania, klasifikátor, vyhľadávaciu vrstvu alebo agenta v závislosti od prezentácie. Inštitúcia musí opísať prácu spôsobom, ktorý zostáva zmysluplný, keď sa odstránia dodávateľ, rodina modelov a rozhranie.

Holandský Algoritmekader, udržiavaný pre verejné organizácie, zaraďuje túto prácu medzi odporúčané opatrenia. Žiada organizácie, aby opísali zamýšľaný účel a použité údaje, určili príslušnú rizikovú skupinu, stanovili vplyv, ak algoritmus nefunguje podľa očakávania, a rozhodli, či sa má riešenie vyvinúť alebo kúpiť. Poukazuje tiež na architektúru štartu projektu na vývoj alebo obstarávanie algoritmov. Toto nie sú dekorácie obstarávania. Sú to spôsoby, ako urobiť problém čitateľným skôr, ako sa ponúkne odpoveď.

Dobrá požiadavka začína rozhodnutím alebo službou, ktorá sa musí zlepšiť, ľuďmi, ktorí ju vykonávajú alebo prijímajú, informáciami, ktoré systém môže použiť, informáciami, ktoré nesmie použiť, a ľudskou právomocou, ktorá zostáva. Uvádza podmienky, za ktorých je systém užitočný, a podmienky, za ktorých sa nesmie použiť. Pomenúva záznamy, ktoré musia existovať, keď je výstup prijatý, odmietnutý, opravený alebo postúpený. Nemusí predvídať interný návrh dodávateľa. Musí definovať verejnú schopnosť, ktorú možno kontrolovať.

Tu je miesto, kde záleží na funkčných a výkonnostných požiadavkách. Smernica 2014/24/EÚ vyžaduje, aby technické špecifikácie boli dostatočne presné na to, aby uchádzači pochopili predmet zákazky a aby orgány vedeli posúdiť, ako ponuky spĺňajú kritériá. Požiadavka typu poskytnite inteligentné riešenie nie je užitočným testom. Požiadavka typu zachovajte zdrojové pasáže použité v návrhu, zobrazte dátum získania informácií, umožnite posudzovateľovi odmietnuť návrh a exportovať výsledný záznam sa bližšie podobá testovateľnej verejnej potrebe. Opisuje správanie a cestu k dôkazom, nie módny trend.

Požiadavky by mali tiež vymedziť hranice úlohy. Verejný orgán môže uviesť, že systém môže navrhnúť postup, ale nesmie urobiť konečné rozhodnutie. Môže stanoviť, že odporúčanie sa nesmie použiť, keď určený zdroj chýba alebo je protirečivý. Môže vyžadovať ľudský postup pre osobu, ktorej sa výsledok týka a ktorá ho chce napadnúť. Toto nie sú nepriateľské obmedzenia. Sú to podmienky, za ktorých nákup zostáva verejnou službou, nie súkromným pracovným postupom s logom vlády.

Úzko vymedzený problém nie je nedostatok ambícií. Je to spôsob, ako urobiť ambície zodpovednými. Ak orgán nedokáže vysvetliť, ktorý krok systém mení, kto z toho profituje, čo sa môže pokaziť a čo môže človek urobiť ďalej, nie je pripravený porovnávať dodávateľov. Správnym krokom môže byť ďalší prieskum, riešenie bez umelej inteligencie, malý kontrolovaný pilot alebo žiadny nákup. Dokumentácia k verejnej zákazke by mala mať priestor pre každú z týchto odpovedí.

Premeniť požiadavky na dôkazy

Slovo dôkaz sa v obstarávaní technológií používa voľne. Prezentácia dodávateľa, ukážka produktu a vyhlásenie, že systém je dôveryhodný, môžu byť užitočnými vstupmi. Žiadny z nich automaticky nepreukazuje splnenie požiadavky. Dôkaz musí byť spojený s tvrdením, testom, rozsahom a osobou, ktorá ho môže preskúmať. Bez tohto spojenia sa hodnotenie stáva súťažou, v ktorej vyhráva najvybrúsenejšia veta.

Smernica o obstarávaní jasne vymedzuje základný vzťah: kritériá na udelenie zákazky musia byť sprevádzané opatreniami, ktoré umožňujú účinne overiť informácie poskytnuté uchádzačmi. Táto zásada je obzvlášť dôležitá pre umelú inteligenciu, pretože výsledok môže vyzerať presvedčivo, zatiaľ čo podmienky, za ktorých vznikol, zostávajú skryté. Kupujúci by sa mal pýtať, čo sa ukáže, za akých podmienok týkajúcich sa údajov a úloh, s akou základnou hodnotou a ako môže posudzovateľ výsledok zopakovať alebo napadnúť.

Holandský Algoritmekader kladie rovnakú požiadavku praktickým jazykom. Jeho opatrenia pre verejné obstarávanie zahŕňajú začlenenie požiadaviek na algoritmy do dokumentácie a zmluvy, povinnosť dodávateľov predložiť dôkazy o splnení požiadaviek ako súčasť hodnotenia, posúdenie podmienok zodpovednosti dodávateľa, požiadavku na možnosť auditu v zmluve, dohodu o tom, čo sa stane s údajmi a artefaktmi, a požiadavku na plán ukončenia algoritmu. Zoznam je usmernením, nie univerzálnym právnym kontrolným zoznamom. Jeho hodnota spočíva v tom, že s dôkazom zaobchádza ako s predmetom obstarávania.

Kupujúci môže rozdeliť dôkazy do troch užitočných kategórií. Preukázané dôkazy sú to, čo dodávateľ ukáže v kontrolovanom hodnotení: vstup, výstup, spracovanie chýb, použitie zdrojov a ľudský postup možno pozorovať. Preskúmateľné dôkazy sú to, čo môže orgán preskúmať bez spoliehania sa na ukážku: dokumentácia, výsledky testov, protokoly, rozhrania, záznamy o zmenách, opisy údajov a možnosť vykonať dohodnutú kontrolu. Zmluvné dôkazy sú to, čo musí dodávateľ naďalej poskytovať: oznámenia o podstatných zmenách, informácie o incidentoch, prístup na audit, servisné záznamy, exportné funkcie a podporu kontrolovaného ukončenia. Kategórie sa prekrývajú, ale zabraňujú tomu, aby jedna pôsobivá ukážka uniesla celú zmluvu.

Dôkazy potrebujú aj rozsah. Dodávateľ môže preukázať, že systém funguje dobre na súbore príkladov. Kupujúci však stále potrebuje vedieť, či príklady reprezentujú zamýšľaný jazyk, kvalitu dokumentov, mix prípadov, požiadavky na prístupnosť a prevádzkové obmedzenia. Tvrdenie o modeli v laboratóriu nie je automaticky tvrdením o verejnej službe. Je tvrdením o experimente, ktorý sa vykonal. Nákupný tím by mal zachovať úlohu, dátové podmienky, verziu a výsledok, aby sa neskoršie rozhodnutie neodpútalo od testu.

Predstavme si ako hypotézu, že uchádzač poskytne vzorovú sadu vygenerovaných súhrnov a všeobecné vyhlásenie o presnosti. Orgán môže požiadať o zdrojové dokumenty, pravidlo výberu, použitú verziu, spôsob nakladania s chýbajúcim materiálom, postup preskúmania a artefakt, ktorý zostane po akceptácii. Ak je odpoveďou, že podrobnosti sú chránené a nemožno ich preskúmať, tím sa dozvedel niečo dôležité. Nedozvedel sa, že systém je zlý. Dozvedel sa, že navrhovaná hranica dôkazov môže byť pre verejný účel príliš slabá.

Dôkazy by mali byť primerané. Malá interná pomôcka na tvorbu textov nepotrebuje rovnaký balík preskúmania ako systém, ktorý ovplyvňuje prístup k verejnej službe. Primeranosť neznamená prijať slogan pri nízkom riziku. Znamená to zosúladiť hĺbku dôkazov s dôsledkom, reverzibilitou, dotknutými ľuďmi a schopnosťou odhaliť a opraviť chybu. Dodávateľ by mal poznať požadované dôkazy pred predložením ponuky. Inak orgán mení súťaž po jej skončení, čo je známy spôsob, ako vyprodukovať drahé prekvapenie.

Požiadavka by mala viesť k dôkazu a dôkaz by mal mať možnosť zmeniť rozhodnutie o zadaní zákazky.

Kupujúci musí mať možnosť nesúhlasiť

Verejná zodpovednosť nie je to isté ako transparentnosť dodávateľa. Dodávateľ môže vysvetliť svoju službu, zatiaľ čo orgán stále nemá cestu, ako by obyvateľ, pracovník, podnik alebo odborník mohol napadnúť spôsob, akým sa služba používala. Súbor obstarávania by sa preto mal pýtať, ako funguje nesúhlas, nielen to, ako systém vytvára odpoveď.

Algoritmekader zaraďuje ľudskú kontrolu, základné práva, transparentnosť a sťažnostné cesty medzi svoje témy vo verejnom sektore. Jeho odporúčané opatrenia zahŕňajú zmysluplný ľudský zásah do rozhodovania, proces, prostredníctvom ktorého môžu občania alebo iné zainteresované strany podať sťažnosť, námietku alebo odvolanie, verejné rozhodnutie o používaní algoritmu a spôsob zverejňovania algoritmov ovplyvňujúcich dosah v holandskom registri algoritmov. Tieto opatrenia nerobia z každého algoritmu verejnú podívanú. Robia zodpovednosť orgánu dostatočne viditeľnou, aby mohla byť spochybnená.

Požiadavka na verejné obstarávanie, ktorá sa týka ľudského dohľadu, by mala pomenovať konkrétny ľudský úkon. Vidí kontrolór informácie, ktoré formovali odporúčanie? Môže opraviť záznam? Môže odmietnuť výsledok bez toho, aby najprv získal povolenie od systému? Môže požiadať o alternatívny postup, keď zdroj chýba? Môže zastaviť dávku, izolovať verziu alebo postúpiť obavu niekomu s právomocami? Ak je odpoveďou len to, že sa v procese niekde nachádza osoba, požiadavka opisuje nábytok, nie dohľad.

Nesúhlas si tiež vyžaduje čas. Kontrolór, ktorý má kontrolovať každý výstup a popri tom vykonávať pôvodnú prácu, môže byť technicky v slučke, ale prakticky mimo nej. Verejné obstarávanie môže vyžadovať školenie, podporu, použiteľné dôkazy a predpoklad pracovného zaťaženia na kontrolu. Môže určiť, ktoré prípady si vyžadujú schválenie pred vykonaním úkonu a ktoré reverzibilné úkony s nízkymi následkami môžu pokračovať so zaznamenávaním a neskorším výberovým auditom. Môže od dodávateľa požadovať, aby podporoval tento postup, a neskrýval ho za rozhraním na programovanie aplikácií.

Orgán verejnej moci musí tiež spochybniť vlastné nadšenie. Úspešný pilotný projekt môže vytvoriť tlak na rozšírenie nástroja na populáciu alebo rozhodnutie, ktoré nebolo súčasťou testu. Zmluva by mala zachovať pôvodný účel a vyžadovať nové rozhodnutie, keď sa zmení účel, údaje, dotknutí ľudia alebo následky. Aktualizácia nie je automaticky neškodná len preto, že sa dodáva ako služba. Nové použitie nie je automaticky pokryté len preto, že sa v hornej časti obrazovky nachádza rovnaké logo.

Keď dodávateľ tvrdí, že model je len odporúčací, orgán verejnej moci by sa mal pozrieť na to, čo práca v skutočnosti robí. Ak sú zamestnanci poučení, aby prijali poradie, ak nemajú čas ho kontrolovať alebo ak systém určuje, ktoré prípady sa dostanú k človeku, odporúčanie sa v praxi môže stať rozhodnutím. Tím verejného obstarávania nemusí viesť spory o dokonalom označení. Musí zdokumentovať cestu od výstupu k následku a zachovať si právomoc túto cestu zmeniť.

Hranice dodávateľa sú súčasťou zmluvy

Obstarávanie umelej inteligencie sa často opisuje ako voľba medzi vývojom a kúpou. Náročnejšou voľbou je, ako rozdeliť hranicu medzi dodávateľom a verejnou organizáciou. Dodávateľ môže kontrolovať model, službu, cestu aktualizácií, infraštruktúru, podporný tím a časť spracúvania údajov. Orgán verejnej moci kontroluje verejný účel, rozhodnutie, dotknutú populáciu a povinnosť poskytovať zákonnú a použiteľnú službu. Zmluva musí tieto zodpovednosti prepojiť, a nie ich nechať ako dva zdvorilé diagramy.

Aktualizované vzorové zmluvné doložky EÚ o umelej inteligencii sú užitočné, pretože uznávajú, že verejní kupujúci potrebujú odlišné prístupy pre vysokorizikovú a nie vysokorizikovú umelú inteligenciu a potrebujú usmernenie na prispôsobenie doložiek v praxi. Nie sú náhradou za stratégiu obstarávania ani za právne preskúmanie. Sú spoločným jazykom na explicitné vymedzenie zodpovedností. Kupujúci stále musí rozhodnúť, ktoré dôkazy, práva na údaje, prístup na audit, oznamovanie zmien, podpora, zodpovednosť a podmienky ukončenia sú primerané kupovanému systému.

Údaje a artefakty si zaslúžia osobitnú pozornosť. Systém sa môže dotýkať zdrojových dokumentov, označení, výziev, vložení, vygenerovaných návrhov, ľudských opráv, vyhodnocovacích súborov, záznamov a konečných dokumentov. Zmluva by mala rozlišovať, čo dodáva orgán verejnej moci, čo vytvára dodávateľ, čo môže každá strana používať, čo sa musí vrátiť, čo sa musí vymazať a aký dôkaz o vymazaní alebo uchovaní sa vyžaduje. Konštatovanie, že orgán verejnej moci vlastní svoje údaje, neodpovedá na otázku, kde sa nachádzajú odvodené artefakty ani ako môže orgán získať záznamy, ktoré vysvetľujú výsledok.

Auditné práva potrebujú praktickú podobu. Kupujúci by mal vedieť, ktoré záznamy možno kontrolovať, ako sa žiada o prístup, aká výpovedná lehota je primeraná, ktoré ochrany dôvernosti sa uplatňujú a čo sa stane, keď audit odhalí nedostatok. Audítorská klauzula bez použiteľného postupu je rozsudkom čakajúcim na spor. To isté platí pre klauzulu o incidente, ktorá hovorí, že dodávateľ bude spolupracovať, no neuvádza informácie, termíny ani zodpovednú osobu potrebné na spoluprácu.

Riadenie zmien by sa nemalo nechať na poznámky k vydaniu. Orgán môže vyžadovať oznámenie podstatnej zmeny modelu, zdrojov údajov, miesta spracovania, subdodávateľov, rozhraní, prahov, metódy hodnotenia alebo ľudského zásahu. Môže definovať, aké dôkazy sú potrebné pred použitím zmenenej verzie na verejnú úlohu. Môže si vyhradiť právo pozastaviť, odmietnuť alebo vrátiť sa k predchádzajúcemu stavu, ak zmenená služba už nespĺňa podstatnú požiadavku. Toto sú odporúčania, aby bola zmluva funkčná. Nie sú to tvrdenia, že jedna klauzula dokáže vyriešiť každý vzťah s dodávateľom.

Zodpovednosť zahŕňa aj to, čo dodávateľ nemôže poskytnúť. Služba môže závisieť od modelu alebo infraštruktúry tretej strany, ktorých zmeny sú mimo priamej kontroly dodávateľa. Kupujúci by mal byť o tejto závislosti informovaný a mal by vedieť, ktoré povinnosti sa naňho prenášajú. Verejná organizácia nemôže posúdiť reťazec kontrolou iba vstupných dverí. Zmluva by mala zachovať cestu k príslušným dôkazom, alebo by kupujúci mal uznať, že neistota je dôvodom na zúženie alebo odmietnutie nákupu.

Dobré hranice chránia aj dodávateľov. Verejný kupujúci, ktorý žiada každý možný dokument, každý detail zdrojového kódu a neobmedzenú podporu bez definovaného účelu, môže znížiť konkurenciu a urobiť zmluvu neatraktívnou pre menších európskych poskytovateľov. Proporcionalita, jasnosť a dôveryhodný rozsah dôkazov umožňujú dodávateľovi povedať, čo dokáže, a kupujúcemu povedať, čo potrebuje. Verejné obstarávanie má byť náročné, nie divadelné. Múr z nemožných požiadaviek drží mimo zlé systémy aj dobré s rovnakou účinnosťou.

Zmena po zadaní zákazky je stále obstarávaním

Zadanie zákazky nie je koniec rozhodovania. Je to bod, v ktorom služba vstupuje do iného druhu kontroly. Počas prevádzky sa menia údaje, menia sa politiky, rozhrania sa nahrádzajú, zamestnanci si osvojujú skratky, dodávatelia upravujú modely a systém sa môže používať v situáciách, ktoré pôvodný tím nepredpokladal. Orgán potrebuje spôsob, ako si tieto zmeny všimnúť skôr, než sa náhodou stanú novým verejným účelom.

Algoritmekader odporúča pravidelné kontroly, či algoritmus funguje podľa očakávania, monitorovanie zmien v údajoch a hodnotenie výkonu a výstupov pri zmene údajov, ako aj udržiavanie plánu priebežného monitorovania. Zahŕňa aj opatrenie pre núdzový plán na zastavenie algoritmu. Tieto odporúčania vkladajú čas do modelu riadenia. Obstarávanie, ktoré zachytí iba pôvodnú špecifikáciu, kúpilo fotografiu pohybujúcej sa služby.

Nie každá aktualizácia by mala spustiť rovnaký postup. Bezpečnostná záplata, ktorá nemení model, hranice údajov ani rozhodovaciu úlohu, môže ísť inou cestou ako nová rodina modelov, zmenený zdroj vyhľadávania alebo nový prah. Zmluva môže definovať podstatnosť v prevádzkových pojmoch: zmena je podstatná, keď mení úlohu, dotknuté osoby, cestu dôkazov, dôsledok rozhodnutia, jurisdikciu nasadenia, subdodávateľa, použitie údajov alebo schopnosť zasiahnuť. Presná definícia si vyžaduje právny a technický úsudok. Princíp je jednoduchý: zmena je súčasťou zakúpenej schopnosti.

Monitorovanie by malo zachovať informácie potrebné na rozhodovanie. Dashboard môže ukázať, že služba je vyťažená; nemusí však ukázať, že zdroj zastaral alebo že posudzovatelia prepisujú rovnaké odporúčanie. Orgán by mal uchovávať príslušnú verziu, rozsah úlohy, podmienky dôkazov, ľudský zásah a dôvod zmeny. Mal by vedieť, ktoré zmeny boli prijaté, ktoré boli vrátené, ktoré boli obmedzené a ktoré vytvorili novú otázku vo verejnom obstarávaní.

Dodávateľ nemusí byť schopný vopred oznámiť každú internú zmenu. Zmluva môže napriek tomu vyžadovať použiteľné oznámenie a balík dôkazov skôr, než sa na zmenené správanie bude spoliehať. Orgán si môže zvoliť postupné nasadenie, riadené vyhodnotenie alebo dočasné pozastavenie. Schopnosť pozastaviť nie je trest. Je to to, čo umožňuje verejnej službe zostať zodpovednou, kým sa zisťujú fakty.

Záznam o zmene tiež chráni pred falošnou istotou. Ak orgán nedokáže rozlíšiť, či rozdiel vznikol z nového modelu, zmeny údajov, promptu, ľudského obchádzania alebo externej závislosti, nemal by tvrdiť, že systém fungoval konzistentne. Správnou reakciou môže byť zúženie použitia, zhromaždenie lepších dôkazov alebo zastavenie dotknutej cesty. Verejné peniaze sa nestanú bezpečnejšími tým, že vysvetlenie je upratané.

Interoperabilita je zdvorilé slovo pre odchod

Ľudia často hovoria o interoperabilite, akoby to bola technická zdvorilosť medzi systémami. Vo verejnom obstarávaní je to aj kontrolný mechanizmus kontinuity. Ak verejná služba nedokáže presunúť svoje záznamy, konfigurácie, dôkazy, rozhrania a prevádzkové znalosti na inú cestu, orgán môže byť právne slobodný odísť, ale prakticky to nedokáže. Zmluva vytvorila závislosť, ktorú spis o obstarávaní nepomenoval.

Správa JRC Komisie o podpore zavádzania umelej inteligencie vo verejných správach EÚ označuje obstarávanie za kľúčovú podpornú úlohu a uvádza, že interoperabilita by mala byť zakomponovaná od začiatku. Zároveň predstavuje strategické obstarávanie ako spôsob zníženia závislosti od poskytovateľov mimo EÚ a podpory európskych startupov v oblasti umelej inteligencie, open-source a GovTech riešení. Toto nie je argument na nákup európskeho tovaru podľa hesiel ani na to, aby sa open source považoval za automatickú záruku. Je to argument, aby sa technická a inštitucionálna schopnosť zmeniť kurz stala súčasťou kupovanej hodnoty.

Odchod začína zoznamom toho, čo musí prežiť. Môže zahŕňať zdrojové záznamy, identifikátory, označenia, prompty, verzie modelov a konfigurácií, vyhodnocovacie súbory, audítorské záznamy, mapovania používateľov a rolí, integračné zmluvy, stav uchovávania, bezpečnostný materiál a význam polí. Zoznam závisí od služby. Prenosný súbor bez kontextu môže byť menej užitočný ako menší záznam s neporušenou sémantikou a povoleniami. Export je schopnosť, ktorú treba testovať, nie políčko, ktoré treba zaškrtnúť.

Interoperabilita tiež znamená, že orgán môže vykonať zmysluplné porovnanie. Dokáže cieľové miesto spracovať záznamy bez toho, aby ticho zmenilo ich význam. Môžu posudzovatelia porovnať starý a nový výstup za rovnakých podmienok úlohy. Môže verejná služba pokračovať v obmedzenom režime, ak jedna závislosť nie je dostupná. Môžu dôkazy zostať čitateľné po tom, čo rozhranie zanikne. Tieto otázky patria do požiadaviek, vyhodnotenia a zmluvy, pretože odchod objavený počas núdze je zvyčajne archeologický výskum.

Prenosnosť nemusí nutne znamenať, že dodávateľ musí odovzdať každý interný detail implementácie. Znamená to, že orgán môže zachovať verejnú funkciu a záznamy, za ktoré zodpovedá, v medziach zákonných práv a bezpečnostných obmedzení. Hranica by mala byť stanovená pred podpisom. Ak je model dodávateľa neprístupný, orgán môže stále vyžadovať prenosné vstupy, výstupy, rozhodovacie záznamy, hodnotenia, konfiguráciu a cestu k rekonštrukcii verejných záväzkov služby. Ak túto cestu nezíska, mal by závislosť čestne oceniť alebo ju odmietnuť.

Skúška výstupu je hodnotná, pretože mení zmluvný sľub na overenú schopnosť. Verejný obstarávateľ môže otestovať export, skontrolovať polia, spustiť reprezentatívnu záťaž v kontrolovanom prostredí a porovnať výsledné záznamy. Môže zaznamenať, čo sa nepresunulo, a rozhodnúť, či je medzera prijateľná. Cvičenie nemusí byť dramatické. Malá skúška vykonaná pred obnovením zmluvy je lepšia ako hrdinský prechod uskutočnený v čase, keď sa dodávateľ stal jediným človekom, ktorý si systém pamätá.

Odchod je postupnosťou autority, exportu, významu, overenia, kontinuity a uzavretia. Tlačidlo označené ako export nie je touto postupnosťou.

Náklady sú viac než riadok v ponuke

Cenu je ľahké porovnať, keď je kupovaná vec stabilná. Obstarávanie AI má dlhší nákladový horizont. Môže zahŕňať integračné práce, prípravu zdrojov, čas na posúdenie, bezpečnostné kontroly, úložisko, hodnotenie, aktualizácie modelov, práce na prístupnosti, reakciu na incidenty, podporu, export a výmenu. Niektoré náklady znáša orgán. Iné sa prenášajú na pracovníkov alebo na verejnosť, keď je služba ťažšie spochybniteľná. Obstarávanie, ktoré porovnáva iba počiatočný poplatok, nemusí byť nevyhnutne hospodárne. Jednoducho počíta jednu viditeľnú časť.

Smernica 2014/24/EÚ umožňuje nákladové oceňovanie životného cyklu, ak sa orgán pre tento prístup rozhodne. Smernica opisuje náklady, ako sú obstaranie, používanie, údržba, koniec životnosti a tam, kde je to relevantné a overiteľné, environmentálne externality. Taktiež vyžaduje, aby obstarávacie dokumenty uvádzali údaje, ktoré musia uchádzači poskytnúť, a metódu použitú na posúdenie nákladov životného cyklu. Toto je užitočná disciplína pre AI, pretože od kupujúceho vyžaduje, aby povedal, čo sa bude počítať, namiesto toho, aby každému dodávateľovi umožnil priniesť inú definíciu lacného.

Rovnaký princíp platí pre ľudskú pozornosť. Ak systém vytvára odporúčania, ktoré treba posúdiť, práca s ich posudzovaním patrí do prevádzkového modelu. Ak verejná služba potrebuje cestu na nápravu, táto cesta potrebuje vlastníka a čas. Ak aktualizácia dodávateľa vyžaduje nové hodnotenie, orgán musí mať schopnosť ho vykonať. Toto nie sú argumenty proti automatizácii. Sú pripomienkou, že automatizácia mení miesto, kde sa práca vykonáva. Úspora na faktúre sa môže stať výdavkom v poradovníku, ak obstarávanie nepomenuje novú prácu.

Do nákladov treba zahrnúť aj náklady na neschopnosť odísť. Závislosť môže vyzerať lacno, kým je nová, a stať sa drahou, keď sa okolo nej nahromadia záznamy, odborné znalosti, integrácie a očakávania verejnosti. Kupujúci môže požiadať o odhad migrácie, inventár údajov a artefaktov, povinnosť podpory a harmonogram nácviku. Tieto podmienky môže porovnať ako súčasť hodnoty ponuky. Voľba nie je medzi optimizmom a pesimizmom. Je medzi závislosťou, ktorá je viditeľná, a tou, ktorá je skrytá v budúcom čase.

Myslenie v životnom cykle pomáha obstarávaciemu tímu povedať nie bez toho, aby predstieral, že najlacnejšia viditeľná ponuka je neutrálnou voľbou. Tím môže odmietnuť návrh, pretože jeho dôkazy, záťaž na posudzovanie, cesta zmien alebo náklady na odchod nie sú zlučiteľné s verejným účelom. Rozhodnutie môže vysvetliť podľa zverejnených kritérií. Toto nie je gesto proti trhu. Je to to, čo má trh s overiteľnými požiadavkami umožňovať.

Verejní kupujúci potrebujú právomoc povedať nie

Obstarávací tím nemôže vykonávať právomoc, ktorú mu organizácia nedala. Mnohé orgány majú ľudí, ktorí vedia posúdiť právne, technické, finančné a servisné otázky, ale právomoc spojiť tieto posúdenia do pozastavenia alebo odmietnutia nie je jasná. Výsledok je známy: obavy sa zaznamenajú do jedného dokumentu, nadšenie do druhého a zákazka pokračuje, pretože nikto nevie, ktorá rola môže zatvoriť bránu.

Orgán by mal pomenovať roly, ktoré môžu v každej fáze prijať, odmietnuť, zúžiť alebo pozastaviť nákup. Roly potrebujú prístup k príslušným dôkazom a cestu na zaznamenanie dôvodu. Obstarávací pracovník môže vlastniť proces, vlastník služby verejný účel, pracovník ochrany údajov podmienku súkromia, vedúci bezpečnosti kontrolu, technický posudzovateľ test a vyššia zodpovedná rola konečné rozhodnutie. Presné usporiadanie sa líši. Absencia usporiadania je nebezpečná časť.

Užitočná podmienka zastavenia nie je červený odznak, ktorý hovorí vysoké riziko. Je to skutočnosť, ktorá blokuje ďalšie rozhodnutie. Zamýšľaný účel nie je dostatočne definovaný. Dodávateľ nemôže poskytnúť dôkazy pre podstatnú požiadavku. Dotknutá osoba nemá použiteľnú cestu na nápravu. Orgán nemôže skontrolovať príslušnú zmenu. Práva na údaje alebo artefakty nie sú jasné. Systém nie je možné exportovať ani nahradiť v rámci plánu kontinuity. Ľudský posudzovateľ má zodpovednosť, ale nemá právomoc. Každá podmienka môže mať iný nápravný prostriedok. Niektoré vyžadujú objasnenie, niektoré zmenu zmluvy, niektoré užší rozsah a niektoré nie.

Podmienky zastavenia by mali byť známe pred hodnotením ponuky. Mali by byť prepojené s kritériami hodnotenia a so zmluvou, aby kupujúci nevymýšľal nový štandard až po tom, čo uvidí odpoveď dodávateľa. Mali by sa tiež prehodnotiť po zadaní zákazky. Požiadavka, ktorá bola splnená pri spustení, sa môže stať nesplnenou po podstatnej zmene alebo novom použití. Schopnosť povedať nie nie je jediná brána na konci. Je to udržiavaná právomoc počas celého života služby.

Predstavme si hypotetický verejný tím obstarávajúci službu smerovania dokumentov. Jeho zverejnené požiadavky zahŕňajú vysledovateľnosť zdroja, cestu ľudskej kontroly, oznámenie o podstatných zmenách modelu, export záznamov a definovaný postup ukončenia. Jeden uchádzač ponúka presvedčivú demonštráciu, ale nemôže orgánu umožniť kontrolu výberu zdroja ani zachovanie verzovaných dôkazov o smerovaní. Ďalší uchádzač ponúka menej funkcií, ale spĺňa požiadavky na dôkazy a ukončenie. Tím nie je povinný uprednostniť okázalejšiu demonštráciu. Môže uplatniť stanovené kritériá, klásť primerané otázky a odmietnuť prvú ponuku, ak podstatná požiadavka zostane nepreukázaná.

Toto rozhodnutie by nemalo byť formulované ako morálny súd o dodávateľovi alebo technológii. Malo by uviesť verejný účel, požiadavku, prijaté dôkazy, nevyriešenú podmienku a rozhodnutie, ktoré povoľujú obstarávacie dokumenty. Jasné nie je úctivejšie ako vágne možno, ktoré sa neskôr zmení na povinné obnovenie. Zároveň vysiela trhu užitočný signál: verejní kupujúci zaplatia za dôkazy a kontrolu, nielen za divadlo schopností.

Ľudská právomoc zastaviť musí byť použiteľná počas incidentu. Operátor by mal vedieť, koho kontaktovať, aký stav systému zachovať, ktorá trasa služby môže pokračovať a aká komunikácia sa vyžaduje. Záznam o rozhodnutí by mal rozlišovať medzi okamžitou izoláciou a dlhodobejším obstarávacím rozhodnutím. Verejný orgán nemusí čakať na dokonalé vyšetrovanie, kým zabráni ďalšej škode, ale mal by sa vyhnúť tvrdeniam o väčšej istote, než akú má. Zastavenie je kontrola. Vysvetlenie sa môže vyvíjať.

Obstarávanie formuje trh

Verejné obstarávanie je jedným zo spôsobov, akým Európa rozhoduje o tom, ktoré schopnosti stojí za to budovať. Správa JRC o podpore zavádzania umelej inteligencie vo verejných správach EÚ opisuje verejný sektor ako významnú silu formujúcu trh. Spája úspešné zavádzanie so správou, pripravenosťou pracovnej sily, zodpovedným obstarávaním, interoperabilitou a dôverou verejnosti. Zároveň uvádza, že strategické obstarávanie môže znížiť závislosť od poskytovateľov mimo EÚ a podporiť európske startupy, open-source a GovTech riešenia. Nejde o to, aby sa verejný orgán stal venture fondom. Ide o to, že jeho požiadavky môžu buď odmeňovať zodpovedné schopnosti, alebo odmeňovať presvedčivý obal okolo závislosti.

Osobitná správa Európskeho dvora audítorov č. 28/2023 má názov Public procurement in the EU: less competition for contracts awarded for works, goods and services in the ten years up to 2021. Jej verejné zhrnutie opisuje konkurenciu vo verejných tendroch v Európe ako klesajúcu. Trh s menším počtom efektívnych konkurentov je zlým miestom na skrývanie vágnych požiadaviek. Ak orgán nemôže porovnať dôkazy, môže si vyberať medzi marketingovými štýlmi, nie medzi službami. Povedať nie netestovateľnej ponuke môže zachovať podmienky pre lepšiu súťaž neskôr.

Zároveň môže kupujúci náhodne vylúčiť užitočných dodávateľov, ak požaduje dôkazy vo forme, ktorú dokáže vyprodukovať len najväčší predajca. Primerané požiadavky, jasné rozhrania, otvorené formáty a etapové hodnotenia môžu menším organizáciám umožniť preukázať ohraničenú schopnosť bez toho, aby predstierali zdroje nadnárodnej spoločnosti. Kupujúci by mal byť prísny voči verejnému účelu a flexibilný voči implementácii tam, kde implementácia neovplyvňuje tento účel. Takto sa nie stáva lepšou otázkou namiesto zatvorených dverí.

Formovanie trhu tiež znamená odmietnuť, aby sa súkromná architektúra jedného dodávateľa stala definíciou verejnej potreby. Ak požiadavka pomenúva konkrétny model, cloud alebo proprietárny pracovný postup bez odôvodnenej väzby na úlohu, konkurencia sa môže zúžiť skôr, než sa vôbec uvidia dôkazy. Funkčné požiadavky a overiteľné výsledky dávajú verejným kupujúcim väčší priestor na porovnanie prístupov. Zároveň robia zmluvu menej krehkou, keď sa zvolený komponent zmení.

Orgán verejnej moci môže byť náročným zákazníkom bez toho, aby sa stal obtiažnym zákazníkom. Môže zverejniť dôkazy, ktoré očakáva, vysvetliť dôvod podmienky zastavenia, ponúknuť cestu na objasnenie a zaplatiť za prácu, ktorá vytvára trvalú verejnú schopnosť. Trh potom má na čo reagovať. Nemusí hádať, či rozhodujúcim faktorom bola skrytá preferencia, krásna ukážka alebo cena budúceho problému.

Funkčný vzor pre obstarávanie, ktoré vie odmietnuť

Nasledujúci vzor je praktické odporúčanie, nie nový právny postup. Je to spôsob, ako udržať verejné rozhodnutie viditeľné, kým sa systém presúva od myšlienky k prevádzke. Orgán by ho mal prispôsobiť svojmu právu, sektoru, riziku a metóde obstarávania. Dôležité je, že každá brána má vlastníka, dôkazy a povolený výsledok, ktorý zahŕňa pozastavenie alebo odmietnutie.

Po prvé, napíšte verejný účel. Pomenujte službu, ľudí, ktorí ju vykonávajú, ľudí, ktorí ju prijímajú, rozhodnutie alebo činnosť, ktorá sa môže zmeniť, a dôvod, prečo sa zvažuje systém. Uveďte, čo je mimo rozsahu. Ak účel nemožno opísať bez slovníka produktov dodávateľa, orgán je stále v prieskume trhu. Výstupom tejto brány je vyhlásenie problému a rozhodnutie, či je obstarávanie správnym ďalším krokom.

Po druhé, napíšte hranicu dôkazov. Pre každé podstatné tvrdenie uveďte, čo by preukázalo, že je pravdivé v zamýšľanej úlohe. Pomenujte podmienky údajov, jazyk, potreby prístupnosti, zdrojové záznamy, verziu, základnú líniu a cestu preskúmania, ktoré robia test zmysluplným. Špecifikujte, čo musí byť kontrolovateľné, čo môže zostať dôverné a čo musí byť dodané ako záznam zmluvy. Výstupom tejto brány je súbor požiadaviek, ktorým uchádzači rozumejú, a plán hodnotenia, ktorý môže zmeniť zadanie.

Po tretie, napíšte hranicu právomocí. Pomenujte činnosti, ktoré systém môže navrhovať, činnosti, ktoré môže vykonávať, činnosti, ktoré si vyžadujú schválenie, a činnosti, ktoré sú zakázané. Pomenujte, kto môže opraviť zdroj, odmietnuť výstup, zmeniť pravidlo, pozastaviť službu a hovoriť s dotknutou osobou. Definujte, čo sa stane, keď je systém neistý alebo sú dôkazy v rozpore. Výstupom tejto brány je ľudská cesta, ktorá je konkrétnejšia ako začiarkavacie políčko.

Po štvrté, napíšte hranicu zmien. Identifikujte zmeny, ktoré si vyžadujú oznámenie, hodnotenie, schválenie alebo nové rozhodnutie o obstarávaní. Zahrňte model, údaje, dodávateľa, subdodávateľa, infraštruktúru, miesto spracovania, rozhranie, prah, populáciu, účel a ľudskú cestu. Rozhodnite, ktoré dôkazy zostávajú so záznamom o zmene a ktoré možno začierniť z oprávnených dôvodov. Výstupom tejto brány je udržiavaný záznam, nie sľub, že systém zostane statický.

Po piate, napíšte hranicu odchodu. Uveďte záznamy, údaje, konfiguráciu, dôkazy, povolenia, integrácie a prevádzkové znalosti, ktoré musia prežiť. Definujte formáty, načasovanie, podporu, overenie, zníženú službu, prepnutie, uzavretie prístupu a výmaz. Nacvičte si malý export pred obnovením alebo podstatným rozšírením. Výstupom tejto brány je cesta, ktorú možno otestovať, kým je dodávateľ ešte partnerom, nielen až keď sa vzťah stal sporom.

Po šieste, napíšte verejný záznam. Rozhodnite, čo možno zverejniť o účele, úlohe systému, dôkazoch, ľudskej ceste, zmenách, incidentoch a kontakte na napadnutie. Chráňte dôverné a osobné informácie bez toho, aby sa celé rozhodnutie zmenilo na súkromný rozhovor. Verejný záznam môže povedať, čo je známe, čo nie je známe a kedy sa uskutoční ďalšie preskúmanie. Jeho úlohou nie je, aby systém vyzeral dokonale. Jeho úlohou je, aby bol úsudok orgánu kontrolovateľný.

Napokon napíšte odmietnutie. Odmietnutie nie je dramatická tlačová správa. Je to bežný výsledok v zázname rozhodnutia: požiadavka bola podstatná, dôkazy ju nesplnili, náprava sa zvážila a orgán sa rozhodol odmietnuť, zúžiť, pozastaviť alebo hľadať iný postup. Verejné obstarávanie, ktoré nedokáže vytvoriť tento záznam, vyvoláva dojem, že nákup bol nevyhnutný skôr, než si tento záver zaslúžil.

Tieto brány možno zachytiť v ponuke do verejného obstarávania, v architektúre na začiatku projektu, v harmonograme zmluvy, na kontrolnom stretnutí a v pláne riešenia incidentov. Nemali by sa stať rozsiahlejším formulárom len pre samotný formulár. Ak brána nemení to, o čom môže tím rozhodovať, je to pravdepodobne divadlo dokumentácie. Ak dáva človeku dôkazy a právomoc konať, je súčasťou služby.

Otázky, ktoré sa oplatí zaradiť do verejného obstarávania

Najlepšie otázky nie sú tie, ktoré nútia dodávateľa opakovať svoj marketingový jazyk. Sú to tie, ktoré zviditeľňujú verejný účel a hranicu dôkazov. Obstarávateľ môže nasledujúce otázky prispôsobiť systému a postupu:

  • Akú presnú verejnú úlohu podporuje navrhovaná schopnosť a ktoré úlohy sú mimo jej zamýšľaného použitia?
  • Ktoré osoby, záznamy a zdroje údajov sú v rozsahu a ktoré musia byť vylúčené?
  • Aký výstup systém vytvára a aké rozhodnutie alebo opatrenie môže z neho vyplynúť?
  • Ktorú požiadavku možno preukázať, ktorú možno skontrolovať a ktorá sa bude udržiavať zmluvne?
  • Ako orgán zopakuje výsledok s príslušnou verziou, zdrojmi, konfiguráciou a podmienkami úlohy?
  • Čo môže ľudský kontrolór vidieť, zmeniť, odmietnuť, eskalovať alebo zastaviť pred vykonaním závažného opatrenia?
  • Ktoré zmeny modelu, údajov, infraštruktúry, subdodávateľa alebo politiky si vyžadujú oznámenie a opätovné vyhodnotenie?
  • Ktoré záznamy a artefakty môže orgán exportovať, v akých formátoch, s akým významom, právami a stavom uchovávania?
  • Čo sa stane, keď služba nie je dostupná, dôkazy sú neúplné alebo osoba napadne výsledok?
  • Ktoré povinnosti týkajúce sa podpory, auditu, incidentov, školenia a odchodu pokračujú po prvom vydaní?

Tieto otázky nenahrádzajú smernicu o verejnom obstarávaní, akt o umelej inteligencii, zákon o ochrane údajov ani sektorové pravidlá. Sú podnetmi na to, aby orgán zoperacionalizoval svoje vlastné povinnosti. Dodávateľ, ktorý na ne vie jasne odpovedať, stále nemusí byť tým správnym dodávateľom. Dodávateľ, ktorý na ne nevie odpovedať, môže mať užitočný komponent, ale orgán by si nemal zamieňať užitočný komponent s úplnou verejnou schopnosťou.

Naša krátka poznámka

V spoločnosti Dweve náš AI Compas zahŕňa dodávateľsky neutrálnu cestu obstarávania a správy pre regulované európske organizácie. Materiály RFI a RFP žiadajú tímy, aby klasifikovali prípad použitia, uplatnili vylučovacie kritériá, porovnali dodávateľov, spustili overenie koncepcie a uchovávali dôkazy prostredníctvom monitorovania. To je náš implementačný kontext, nie nezávislý dôkaz o verejnom obstarávaní a nie tvrdenie, že jeden rámec vyhovuje každému orgánu. Spomíname to, pretože disciplína opísaná tu je aj disciplínou, ktorú sa snažíme používať vo vlastnej práci: definujte hranicu, vyžadujte dôkazy, ponechajte rozhodnutie na ľuďoch a zviditeľnite odchod.

Naše Trust Centre robí rovnaký rozdiel v inom registri. Verejný záznam môže opísať, čo je zdokumentované, čo je pripravené a čo zostáva budúcou udalosťou, bez toho, aby sa vyhlásenie o zámere zmenilo na dôkaz. Tím obstarávania si zaslúži rovnakú čestnosť od svojich dodávateľov. Kupujúci by mal vidieť stav tvrdenia, dôkazy za ním a cestu na jeho napadnutie.

Ponaučenie

Orgán verejnej moci sa nestáva zodpovedným tým, že podpíše zmluvu o systéme umelej inteligencie. Zodpovedným sa stáva vtedy, keď obstarávanie dokáže vysvetliť, prečo systém patrí do danej práce, aké dôkazy toto rozhodnutie podporujú, kto môže zasiahnuť, čo sa stane, keď sa systém zmení, a ako môže verejná funkcia pokračovať, ak dodávateľ nedokáže plniť.

Európske pravidlá obstarávania už prinášajú dôležité návyky: kritériá by mali súvisieť s predmetom zákazky, informácie by mali byť overiteľné, váhy by mali byť stanovené a zmluvné podmienky jasné. Klauzuly o obstarávaní umelej inteligencie Európskej komisie dávajú verejným obstarávateľom spôsob, ako diskutovať o systémoch s vysokým aj nízkym rizikom a rozdeliť zodpovednosti. Holandský Algoritmekader premieňa zodpovedné obstarávanie na praktické opatrenia týkajúce sa účelu, údajov, dôkazov, auditu, ľudského dohľadu, zastavenia a odchodu. Správa JRC zaraďuje obstarávanie do európskej diskusie o kapacitách a suverenite. Varovanie ECA o zmenšujúcej sa konkurencii pripomína, že slabú súťaž nenapraví sebavedomé udelenie zákazky.

Ťažkým slovom je stále nie. Nie, účel nie je definovaný. Nie, dôkazy nemožno preskúmať. Nie, ľudská cesta je len dekoratívna. Nie, cesta zmeny je neviditeľná. Nie, verejný záznam nemožno udržiavať. Nie, služba nemôže odísť bez straty práce, ktorú mala chrániť. Každé nie môže byť odmietnutím, zúžením, pozastavením alebo žiadosťou o lepšiu odpoveď. Orgán by sa mal rozhodnúť, ktoré to je, zaznamenať prečo a ponechať rozhodnutie otvorené námietkam.

Obstarávanie, ktoré vie povedať nie, nie je obstarávaním, ktoré sa bojí technológie. Je to obstarávanie, ktoré pozná rozdiel medzi schopnosťou a sľubom. Platí za systém, ktorý možno testovať, dohliadať naň, meniť ho a opustiť. Dodávateľom dáva spravodlivejšiu súťaž, pretože otázka je viditeľná. Verejným zamestnancom dáva cestu zasiahnuť skôr, než sa problém stane politikou. Ľuďom, ktorých sa služba týka, dáva niečo užitočnejšie než vyhlásenie, že dodávateľ bol schválený.

Verejný nákup by sa mal skončiť službou, ktorú orgán stále dokáže riadiť. Ak sú dôkazy silné, povedať áno má zmysel. Ak sú dôkazy slabé, povedať nie je verejnou prácou. Spis obstarávania by mal byť schopný obsiahnuť obe vety.

Zdroje