Javni sektor potrebuje javna naročila, ki znajo reči ne.

Javni organ ne postane odgovoren, ko podpiše pogodbo za sistem umetne inteligence. Odgovoren postane, ko so njegove zahteve, dokazi, človeška avtoriteta,...

Javni sektor potrebuje javna naročila, ki znajo reči ne.

Dokument, ki lahko konča nakup

Javnonaročniška dokumentacija se pogosto začne z zahtevo, ki zveni nedolžno: poiščite sistem, ki lahko pomaga pri nalogi. Zahteva potuje skozi opis problema, posvet s trgom, nabor pogojev, ocenjevanje, pogodbo in, če je postopek zdrav, odločitev, ki lahko delo še vedno ustavi. To zadnjo možnost je lahko izgubiti izpred oči. Ko se okoli nakupa zberejo denar, koledarji in politična pozornost, beseda ne začne zveneti kot neuspeh pri dobavi. Pri javnem delu je lahko to najbolj uporabna odločitev v dokumentaciji.

Evropsko naročniško pravo ponudbo že obravnava kot več kot le tekmovanje privlačnih obljub. Direktiva 2014/24/EU določa, da morajo merila za oddajo naročila omogočati učinkovito in pošteno konkurenco ter morajo biti dopolnjena z ureditvami, ki naročniku omogočajo preverjanje informacij, ki jih predložijo ponudniki. Direktiva prav tako določa, da merila ne smejo dati naročniku neomejene svobode izbire. Javni kupec mora opisati, kaj je pomembno, pojasniti, kako bo to ovrednoteno, in preveriti, ali ponudba to dejansko izpolnjuje. To ni upravna opomba pod črto. To je pravna oblika odločitve, ki jo morajo drugi moči razumeti in izpodbijati.

Umetna inteligenca otežuje staro disciplino, ker lahko ponudnik ponudi sistem, katerega obnašanje je odvisno od podatkov, posodobitev modela, pozivov, pragov, integracij, ljudi in storitve, ki se lahko spremeni, medtem ko je pogodba še vedno sveža. Brošura lahko ostane enaka, medtem ko se stvar za njo premika. Naročniška ekipa mora zato kupiti več kot le vmesnik. Kupiti mora omejeno zmogljivost, dokaze, da je zmogljivost primerna, pooblastilo za nadzor ter verodostojen način za zaustavitev ali zamenjavo.

Javni sektor potrebuje naročanje, ki zna reči ne, ker javni sektor ne more prenesti svoje presoje na druge. Ponudnik lahko zagotovi model, potek dela, gostovano storitev ali nabor orodij. Ne more zagotoviti legitimnosti odločitve, sprejete z njimi. Oblast mora še vedno vedeti, kateri problem rešuje, čigavi interesi so lahko prizadeti, kateri dokazi podpirajo sistem, katera oseba lahko posreduje in kako se bo storitev nadaljevala, če ponudnik spremeni smer. Podpis ni prenos odgovornosti. Je zapis, da je bila odgovornost urejena.

Ta članek sledi tej ureditvi od prvega stavka zahteve do zadnje vrstice evidenc ob izstopu. Kot dokaze uporablja evropske javne smernice in naročniško gradivo. Praktični vzorci so priporočila, ne trditve, da mora vsaka oblast uporabljati eno obliko. Vsaka izmišljena situacija je označena kot hipotetična. Verjeten urad, urejena ponudba in dramatičen neuspeh niso dokazi zgolj zato, ker ustrezajo znani zgodbi.

Javni kupec obljubo kupi dvakrat

Vsak javni nakup nosi dve obljubi. Prva je ponudnikova obljuba o izdelku ali storitvi. Druga je obljuba oblasti ljudem, ki so odvisni od dela: da je bil denar porabljen za določen javni namen, da je odločitev mogoče pojasniti, da so bile upoštevane ustrezne pravice in da nekdo ostaja odgovoren, ko sistem ne deluje pravilno. Druga obljuba je tista, ki preživi dogodek ob zagonu.

Naročanje umetne inteligence pogosto naredi prvo obljubo živo, drugo pa nejasno. Predstavitev lahko pokaže tekoč povzetek, razvrščen seznam ali hiter odgovor. Redko pokaže, kdo lahko zavrne rezultat, kaj se zgodi, ko vir manjka, kako je odobrena sprememba, ali je mogoče izvoziti zapise ali katera oseba lahko začasno ustavi storitev, ne da bi sredi incidenta pogajala o svojem lastnem pooblastilu. Ta vprašanja so manj kinematografska. So pa tista vprašanja, ki odločajo, ali lahko javni organ ostane na oblasti.

Javna skupnost kupcev Evropske komisije opisuje posodobljene vzorčne klavzule EU o umetni inteligenci v pogodbah v treh delih: polno različico za visoko tvegano umetno inteligenco, usklajeno z aktom o umetni inteligenci, lahko različico, ki jo je mogoče prilagoditi za umetno inteligenco, ki ni visoko tvegana, ter komentar o tem, kako klavzule uporabljati in prilagajati. Razlika je pomembna. Vzorčna klavzula ni čarobni žig, ki bi javno naročilo naredil primerno. Je izhodišče za razdelitev obveznosti med javno organizacijo in dobaviteljem v pogodbi, katere obseg, namen in dokaze mora še vedno določiti kupec.

Kupec bi si moral zato najprej zastaviti vprašanje, kaj dejansko obljublja javnosti, preden vpraša, kaj lahko dobavitelj dokaže. Ali organ obljublja hitrejšo pot skozi zaostanek, doslednejši prvi pregled, varnejši nadzor, boljšo izrabo redkega strokovnega znanja ali zgolj poskus, katerega meje so vidne? Vsak namen ustvarja drugačne dokaze in drugačne razloge za ustavitev. Sistem, ki pripravlja osnutke notranjih zapiskov, lahko potrebuje drugačno mejo pooblastil kot sistem, ki razvršča vloge za storitev, ki se ji ljudje ne morejo izogniti.

Predstavljajmo si hipotetično ocenjevalno ekipo, ki pregleduje orodje za povzemanje prispevkov dobaviteljev. Ekipa se lahko odloči, da je naloga primerna za pomoč, vendar le, če povzetek ohrani izključitve, pogoje in datume ter pregledovalce usmeri nazaj na izvorne odlomke. Če dobavitelj ne more pokazati, kako bodo te zahteve preizkušene, bi morala imeti ekipa možnost orodje zavrniti ali zožiti pogodbo. To ni obtožba na račun dobavitelja. Gre za ugotovitev o dokazih, ki so na voljo za opredeljeni namen.

Enaka logika velja, kadar je problem privlačen, a slabo opredeljen. Javni organ si lahko želi napovedati povpraševanje, določiti prednost pri nadzorih ali usmerjati korespondenco. Te besede prikrivajo odločitve, ki se skrivajo pod njimi. Kaj se šteje za povpraševanje. Kaj prednost spremeni. Katero korespondenco je mogoče varno usmerjati brez človeškega branja. Prvi ne se lahko nanaša na obseg problema, ne na uporabo programske opreme. Zavrnitev nejasnega nakupa je pogosto način, kako organ zaščiti uporabni del dela pred delom, ki ga ni mogoče preizkusiti.

Problem zapišite pred rešitvijo

Javno naročanje postane krhko, ko kategorija izdelka pride pred imenovanjem javnega problema. Umetna inteligenca je še posebej dobra pri ustvarjanju takega vrstnega reda, ker je isti model mogoče predstaviti kot pomočnika pri pisanju, klasifikator, iskalno plast ali agenta, odvisno od predstavitve. Organ mora delo opisati na način, ki ostane smiseln, ko odstranimo dobavitelja, družino modelov in vmesnik.

Nizozemski Algoritmekader, ki ga vzdržujejo za javne organizacije, uvršča to delo med priporočene ukrepe. Organizacije poziva, naj opišejo predvideni namen in uporabljene podatke, določijo ustrezno skupino tveganja, ugotovijo vpliv, če algoritem ne deluje, kot je predvideno, in se odločijo, ali je treba rešitev razviti ali kupiti. Prav tako opozarja na arhitekturo za začetek projekta za razvoj ali nakup algoritmov. To niso okraski za javno naročanje. To so načini, kako problem postati berljiv, preden se ponudi odgovor.

Dobra zahteva se začne z odločitvijo ali storitvijo, ki se mora izboljšati, z ljudmi, ki jo izvajajo ali prejemajo, s podatki, ki jih sistem lahko uporablja, s podatki, ki jih ne sme uporabljati, in s človeškim pooblastilom, ki ostane. Navaja pogoje, v katerih je sistem uporaben, in pogoje, v katerih se ne sme uporabljati. Imenuje evidence, ki morajo obstajati, ko je rezultat sprejet, zavrnjen, popravljen ali posredovan višji stopnji. Ni treba napovedovati notranje zasnove dobavitelja. Opredeliti mora javno zmogljivost, ki jo je mogoče preveriti.

Tu so pomembne funkcionalne in izvedbene zahteve. Direktiva 2014/24/EU zahteva, da so tehnične specifikacije dovolj natančne, da ponudniki razumejo predmet javnega naročila in da lahko organi ocenijo, kako ponudbe izpolnjujejo merila. Zahteva, kot je zagotoviti inteligentno rešitev, ni uporaben preizkus. Zahteva, kot je ohraniti izvorne odlomke, uporabljene v osnutku, prikazati datum pridobitve, omogočiti pregledovalcu, da zavrne osnutek, in izvoziti nastali zapis, je bližje preverljivi javni potrebi. Opisuje vedenje in pot dokazovanja, ne pa modne muhe.

Zahteve morajo tudi opredeliti meje naloge. Javni organ lahko določi, da sistem lahko predlaga pot, vendar ne sme sprejeti končne odločitve. Lahko določi, da se priporočilo ne sme uporabiti, kadar določen vir manjka ali je protisloven. Lahko zahteva človeško pot za osebo, na katero odločitev vpliva in ki želi izpodbijati izid. To niso sovražne omejitve. To so pogoji, pod katerimi nakup ostaja javna storitev in ne zasebni delovni proces z logotipom vlade.

Ozko opredeljen problem ni pomanjkanje ambicij. Je način, kako ambicije narediti odgovorne. Če organ ne more pojasniti, kateri korak sistem spreminja, kdo ima koristi, kaj lahko gre narobe in kaj lahko oseba stori naprej, ni pripravljen na primerjavo ponudnikov. Pravilno ravnanje je lahko dodatno raziskovanje, rešitev brez umetne inteligence, majhen nadzorovan pilotni projekt ali nič nakupa. Dokumentacija o javnem naročilu mora pustiti prostor za vsak odgovor.

Spremenite zahteve v dokaze

Beseda dokaz se v javnem naročanju tehnologije uporablja ohlapno. Predstavitev ponudnika, ogled izdelka in izjava, da je sistem zaupanja vreden, so lahko koristni viri. Nobena od teh stvari samodejno ne dokazuje, da je zahteva izpolnjena. Dokaz mora biti povezan z zahtevkom, preizkusom, obsegom in osebo, ki ga lahko pregleda. Brez te povezave ocenjevanje postane tekmovanje, v katerem zmaga najbolj prepričljiv stavek.

Direktiva o javnem naročanju je jasna glede osnovnega razmerja: merila za oddajo naročila morajo spremljati ureditve, ki omogočajo učinkovito preverjanje informacij, ki jih predložijo ponudniki. To načelo je še posebej pomembno pri umetni inteligenci, ker je rezultat lahko videti prepričljiv, medtem ko pogoji, ki so ga ustvarili, ostanejo skriti. Naročnik se mora vprašati, kaj bo prikazano, pod kakšnimi pogoji glede podatkov in nalog, s kakšno izhodiščno vrednostjo in kako lahko pregledovalec rezultat ponovi ali izpodbija.

Nizozemski Algoritmekader enako zahtevo izraža v praktičnem jeziku. Njegovi ukrepi za javno naročanje vključujejo vključitev zahtev za algoritme v dokumentacijo in pogodbo o javnem naročilu, zahtevo, da ponudniki kot del ocenjevanja predložijo dokaze o izpolnjevanju zahtev, oceno pogojev odgovornosti ponudnika, zahtevo po možnosti revizije v pogodbi, dogovor o tem, kaj se zgodi s podatki in izdelki, ter zahtevo po načrtu za ustavitev algoritma. Seznam je smernica, ne univerzalni pravni kontrolni seznam. Njegova vrednost je v tem, da dokaz obravnava kot predmet javnega naročila.

Naročnik lahko dokaze razdeli v tri uporabne kategorije. Dokazani dokazi so tisto, kar ponudnik pokaže v nadzorovanem ocenjevanju: vhod, izhod, obravnava napak, uporaba virov in človeška pot so opazni. Pregledljivi dokazi so tisto, kar lahko organ preuči brez zanašanja na predstavitev: dokumentacija, rezultati preizkusov, dnevniki, vmesniki, zapisi o spremembah, opisi podatkov in zmožnost izvedbe dogovorjenega preverjanja. Pogodbeni dokazi so tisto, kar mora ponudnik še naprej zagotavljati: obvestila o pomembnih spremembah, informacije o incidentih, dostop za revizijo, evidence storitev, možnosti izvoza in podpora za nadzorovan izstop. Kategorije se prekrivajo, vendar preprečujejo, da bi ena prepričljiva predstavitev nosila celotno pogodbo.

Dokazi potrebujejo tudi okvir. Ponudnik lahko pokaže, da sistem dobro deluje na nizu primerov. Kupec mora še vedno vedeti, ali primeri predstavljajo predvideni jezik, kakovost dokumentov, mešanico primerov, potrebe po dostopnosti in operativne omejitve. Trditev o modelu v laboratoriju ni samodejno trditev o javni storitvi. Je trditev o izvedenem poskusu. Nabavna ekipa mora ohraniti nalogo, pogoje podatkov, različico in rezultat, da poznejša odločitev ne lebdi ločeno od preizkusa.

Predstavljajmo si kot hipotetičen primer, da ponudnik predloži vzorčni niz ustvarjenih povzetkov in splošno izjavo o točnosti. Organ lahko zaprosi za izvorne dokumente, pravilo izbire, uporabljeno različico, obravnavo manjkajočega gradiva, postopek pregleda in artefakt, ki ostane po sprejemu. Če je odgovor, da so podrobnosti lastniške in jih ni mogoče pregledati, se je ekipa naučila nekaj pomembnega. Ni se naučila, da je sistem slab. Naučila se je, da je predlagani okvir dokazov morda prešibek za javni namen.

Dokazi morajo biti sorazmerni. Majhen notranji pripomoček za pripravo osnutkov ne potrebuje enakega paketa pregledov kot sistem, ki vpliva na dostop do javne storitve. Sorazmernost ne pomeni sprejemanja gesla pri nizkem tveganju. Pomeni uskladitev globine dokazov s posledicami, reverzibilnostjo, prizadetimi ljudmi in zmožnostjo odkrivanja ter odpravljanja napake. Ponudnik mora poznati zahtevane dokaze, preden je ponudba oddana. V nasprotnem primeru organ spreminja tekmovanje po koncu dirke, kar je znan način za nastanek dragega presenečenja.

Zahteva naj vodi do dokazov, dokazi pa naj bodo lahko spremenili odločitev o oddaji naročila.

Kupec mora imeti možnost nestrinjanja

Javna odgovornost ni enaka preglednosti ponudnika. Ponudnik lahko pojasni svojo storitev, medtem ko organ še vedno nima poti, po kateri bi prebivalec, delavec, podjetje ali strokovnjak lahko izpodbijal način uporabe storitve. Nabavna dokumentacija bi morala zato spraševati, kako deluje nestrinjanje, ne le, kako sistem ustvari odgovor.

Algoritmekader med svoje javnopravne subjekte uvršča človeški nadzor, temeljne pravice, preglednost in poti za pritožbe. Med priporočenimi ukrepi so smiselni človeški poseg pri odločanju, postopek, po katerem lahko državljani ali drugi deležniki vložijo pritožbo, ugovor ali zahtevo za revizijo, javna odločitev o uporabi algoritma ter način objave algoritmov z vplivom v nizozemskem algoritemskem registru. Ti ukrepi ne spremenijo vsakega algoritma v javno predstavo. Naredijo odgovornost organa dovolj vidno, da jo je mogoče postaviti pod vprašaj.

Zahteva za javno naročilo glede človeškega nadzora mora poimenovati človeško dejanje. Ali lahko pregledovalec vidi informacije, ki so oblikovale priporočilo. Ali lahko popravi zapis. Ali lahko zavrne rezultat, ne da bi prej pridobil dovoljenje sistema. Ali lahko zaprosi za drugo pot, ko vir manjka. Ali lahko ustavi serijo, izolira različico ali posreduje pomislek nekomu s pooblastili. Če je odgovor le, da je oseba nekje prisotna v procesu, zahteva opisuje pohištvo, ne nadzora.

Nestrinjanje potrebuje tudi čas. Pregledovalec, od katerega se pričakuje, da preveri vsak rezultat in hkrati nosi prvotno delovno obremenitev, je lahko tehnično v zanki in praktično zunaj nje. Javno naročanje lahko zahteva usposabljanje, podporo, uporabne dokaze in predpostavko o delovni obremenitvi za pregled. Opredeli lahko, kateri primeri zahtevajo odobritev pred ukrepanjem in kateri reverzibilni ukrepi z nizkimi posledicami lahko potekajo z beleženjem in naknadnim vzorčenjem. Od dobavitelja lahko zahteva, da podpre pot, namesto da jo skriva za aplikacijskim programskim vmesnikom.

Organ mora nasprotovati tudi lastnemu navdušenju. Uspešen pilotni projekt lahko ustvari pritisk za razširitev orodja na populacijo ali odločitev, ki ni bila nikoli del preizkusa. Pogodba mora ohraniti prvotni namen in zahtevati novo odločitev, ko se spremenijo namen, podatki, prizadete osebe ali posledice. Posodobitev ni samodejno neškodljiva, ker se zagotavlja kot storitev. Nova uporaba ni samodejno zajeta, ker se na vrhu zaslona pojavi isti logotip.

Ko dobavitelj reče, da je model le svetovalen, mora organ pogledati, kaj delo dejansko počne. Če je osebje napoteno, naj sprejme razvrstitev, če ni časa za pregled ali če sistem nadzoruje, kateri primeri dosežejo osebo, lahko nasvet v praksi postane odločitev. Nabavna ekipa se ni treba prepirati o popolni oznaki. Dokumentirati mora pot od rezultata do posledice in obdržati pooblastilo za spremembo te poti.

Meje dobavitelja so del pogodbe

Javno naročanje umetne inteligence je pogosto opisano kot izbira med gradnjo in nakupom. Težja izbira je, kako razdeliti mejo med dobaviteljem in javno organizacijo. Dobavitelj lahko nadzoruje model, storitev, pot posodabljanja, infrastrukturo, podporno ekipo in del obdelave podatkov. Organ nadzoruje javni namen, odločitev, prizadeto populacijo in dolžnost zagotavljanja zakonite in uporabne storitve. Pogodba mora te odgovornosti povezati, ne pa jih pustiti kot dva vljudna diagrama.

Posodobljene pogodbene klavzule EU za umetno inteligenco so uporabne, ker priznavajo, da javni kupci potrebujejo različne pristope za visoko tvegane in nevisoko tvegane sisteme umetne inteligence ter potrebujejo smernice za prilagajanje klavzul v praksi. Niso nadomestilo za strategijo javnega naročanja ali pravni pregled. So skupni besednjak za izrecno opredelitev odgovornosti. Kupec mora še vedno odločiti, kateri dokazi, pravice do podatkov, dostop do revizije, obvestilo o spremembah, podpora, odgovornost in pogoji izstopa so sorazmerni s sistemom, ki se kupuje.

Podatki in artefakti si zaslužijo posebno pozornost. Sistem se lahko dotika izvornih dokumentov, oznak, pozivov, vdelav, ustvarjenih osnutkov, človeških popravkov, naborov za vrednotenje, dnevnikov in končnih zapisov. Pogodba mora razlikovati, kaj zagotovi organ, kaj ustvari dobavitelj, kaj sme uporabljati vsaka stranka, kaj je treba vrniti, kaj izbrisati in kakšen dokaz o izbrisu ali hrambi se zahteva. Trditev, da organ lasti svoje podatke, ne odgovarja, kje živijo izpeljani artefakti ali kako lahko organ pridobi zapise, ki pojasnjujejo rezultat.

Revizijske pravice potrebujejo praktično obliko. Kupec mora vedeti, katere evidence je mogoče pregledati, kako se zaprosi za dostop, kakšno obvestilo je razumno, katere zaščite zaupnosti veljajo in kaj se zgodi, ko revizija odkrije vrzel. Klavzula o reviziji brez uporabne poti je stavek, ki čaka na spor. Enako velja za klavzulo o incidentu, ki pravi, da bo dobavitelj sodeloval, ne da bi navedel informacije, časovni okvir in odgovorno osebo, potrebne za sodelovanje.

Upravljanja sprememb ne bi smeli prepustiti opombam ob izdaji. Pristojni organ lahko zahteva obvestilo o vsebinski spremembi modela, virov podatkov, lokacije obdelave, podizvajalcev, vmesnikov, pragov, metode vrednotenja ali človeške poti. Opredeli lahko, kakšni dokazi so potrebni, preden se spremenjena različica uporabi za javno nalogo. Lahko zahteva pravico do začasne ustavitve, zavrnitve ali vrnitve na prejšnje stanje, kadar spremenjena storitev ne izpolnjuje več vsebinske zahteve. To so priporočila, da bi bila pogodba izvedljiva. Niso trditve, da lahko ena klavzula reši vsak odnos z dobaviteljem.

Odgovornost vključuje tudi tisto, česar dobavitelj ne more zagotoviti. Storitev je lahko odvisna od modela ali infrastrukture tretje osebe, katerih spremembe so zunaj neposrednega nadzora dobavitelja. Kupec mora biti o tej odvisnosti obveščen in mora vedeti, katere obveznosti se prenašajo nanj. Javna organizacija ne more oceniti verige samo s pregledom vhodnih vrat. Pogodba mora ohraniti pot do ustreznih dokazov, sicer pa mora kupec priznati, da je negotovost razlog za zožitev ali opustitev nakupa.

Dobre meje ščitijo tudi dobavitelje. Javni kupec, ki zahteva vse mogoče dokumente, vse podrobnosti izvorne kode in neomejeno podporo brez opredeljenega namena, lahko zmanjša konkurenco in naredi pogodbo neprivlačno za manjše evropske ponudnike. Sorazmernost, jasnost in verodostojen obseg dokazov omogočajo dobavitelju, da pove, kaj zmore, kupcu pa, kaj potrebuje. Javno naročanje mora biti zahtevno, ne pa teatralno. Zid iz nemogočih zahtev enako učinkovito zadržuje slabe sisteme kot dobre.

Sprememba po oddaji naročila je še vedno javno naročanje

Oddaja naročila ni konec odločitve. To je točka, na kateri storitev vstopi v drugačno vrsto nadzora. Med delovanjem se podatki spreminjajo, politike se posodabljajo, vmesniki se zamenjujejo, osebje spozna bližnjice, dobavitelji posodabljajo modele, sistem pa se lahko uporablja v situacijah, ki si jih prvotna ekipa ni predstavljala. Pristojni organ potrebuje način, da te spremembe opazi, preden po naključju postanejo nov javni namen.

Algoritmekader priporoča redne preglede, da algoritem deluje, kot je predvideno, spremljanje sprememb podatkov ter vrednotenje delovanja in rezultatov ob spremembah podatkov ter vzdrževanje načrta za stalno spremljanje. Vključuje tudi ukrep za načrt ukrepanja ob izrednih dogodkih za zaustavitev algoritma. Ta priporočila vključijo čas v model upravljanja. Javno naročilo, ki zajame samo začetno specifikacijo, je kupilo fotografijo storitve, ki se giblje.

Vsaka posodobitev ne bi smela sprožiti enakega postopka. Varnostni popravek, ki ne spremeni modela, podatkovnih meja in vloge pri odločanju, lahko sledi drugačni poti kot nova družina modelov, spremenjen vir pridobivanja ali nov prag. Pogodba lahko opredeli vsebinskost v operativnem smislu: sprememba je vsebinska, kadar spremeni nalogo, prizadete osebe, pot dokazov, posledico odločitve, jurisdikcijo izvajanja, podizvajalca, uporabo podatkov ali možnost posredovanja. Natančna opredelitev zahteva pravno in tehnično presojo. Načelo je preprosto: sprememba je del kupljene zmogljivosti.

Nadzor mora ohraniti informacije, potrebne za odločanje. Nadzorna plošča lahko pokaže, da je storitev zasedena; morda pa ne pokaže, da je vir zastarel ali da ocenjevalci znova in znova razveljavljajo isto priporočilo. Organ mora hraniti ustrezno različico, obseg naloge, pogoje glede dokazov, človeško dejanje in razlog za spremembo. Vedeti mora, katere spremembe so bile sprejete, katere umaknjene, katere omejene in katere so sprožile novo vprašanje v zvezi z javnim naročilom.

Dobavitelj morda ne more vnaprej napovedati vsake notranje spremembe. Pogodba lahko kljub temu zahteva uporabno obvestilo in sveženj dokazov, preden se spremenjeno vedenje začne uporabljati. Organ se lahko odloči za postopno uvajanje, nadzorovano vrednotenje ali začasno zaustavitev. Zmožnost prekinitve ni kazen. Je tisto, kar javni servis ohranja odgovornega, dokler se dejstva ne ugotovijo.

Zapis sprememb ščiti tudi pred lažno gotovostjo. Če organ ne more ugotoviti, ali razlika izvira iz novega modela, spremembe podatkov, poziva, človeške rešitve ali zunanje odvisnosti, ne sme trditi, da je sistem deloval dosledno. Pravilen odziv je lahko zožitev uporabe, zbiranje boljših dokazov ali ustavitev prizadete poti. Javni denar ni varnejši zato, ker je razlaga urejena.

Interoperabilnost je vljudna beseda za odhod

Interoperabilnost ljudje pogosto obravnavajo, kot da bi bila tehnična vljudnost med sistemi. V javnem naročanju je tudi nadzor kontinuitete. Če javni servis ne more prenesti svojih evidenc, konfiguracij, dokazov, vmesnikov in operativnega znanja na drugo pot, je organ morda pravno svoboden, da odide, a praktično tega ne zmore. Pogodba je ustvarila odvisnost, ki je v evidenci javnega naročila ni bilo.

Poročilo JRC Komisije o spodbujanju uvajanja umetne inteligence v javnih upravah EU označuje javno naročanje kot ključno omogočitveno vlogo in pravi, da je treba interoperabilnost vgraditi že od začetka. Prav tako strateško javno naročanje predstavlja kot način za zmanjšanje odvisnosti od dobaviteljev zunaj EU ter podporo evropskim zagonskim podjetjem na področju umetne inteligence, rešitvam odprte kode in rešitvam GovTech. To ni argument za nakup evropskega zaradi slogana ali za obravnavanje odprte kode kot samodejnega zagotovila. Je argument, da se tehnična in institucionalna zmožnost spremembe smeri vključi v vrednost, ki se kupuje.

Odhod se začne s seznamom tistega, kar mora preživeti. To lahko vključuje izvorne evidence, identifikatorje, oznake, pozive, različice modelov in konfiguracij, nabore za vrednotenje, revizijske zapise, preslikave uporabnikov in vlog, integracijske pogodbe, status hrambe, varnostno gradivo in pomen polj. Seznam je odvisen od storitve. Prenosljiva datoteka brez konteksta je lahko manj uporabna kot manjši zapis z nedotaknjeno semantiko in dovoljenji. Izvoz je zmožnost, ki jo je treba preizkusiti, ne polje, ki ga je treba obkljukati.

Interoperabilnost pomeni tudi, da lahko organ izvede smiselno primerjavo. Ali lahko ciljni sistem obdela evidence, ne da bi tiho spremenil njihov pomen. Ali lahko ocenjevalci primerjajo star in nov rezultat pod enakimi pogoji naloge. Ali lahko javni servis deluje v okrnjenem načinu, če ena odvisnost ni na voljo. Ali lahko dokazi ostanejo berljivi, ko vmesnika ni več. Ta vprašanja sodijo v zahteve, vrednotenje in pogodbo, ker je odhod, odkrit med izrednimi razmerami, običajno arheološko izkopavanje.

Prenosljivost ne pomeni nujno, da mora dobavitelj izročiti vse notranje podrobnosti izvedbe. Pomeni pa, da lahko naročnik ohrani javno funkcijo in evidence, za katere je odgovoren, ob upoštevanju zakonitih pravic in varnostnih omejitev. Mejo je treba določiti pred podpisom. Če dobaviteljev model ni dostopen, lahko naročnik še vedno zahteva prenosljive vnose, izpise, zapise o odločitvah, vrednotenja, konfiguracijo in pot do obnove javnih obveznosti storitve. Če te poti ne more pridobiti, mora odvisnost pošteno ovrednotiti ali jo zavrniti.

Vaja izhoda je dragocena, ker pogodbeno obljubo spremeni v opazovano zmožnost. Javni kupec lahko preizkusi izvoz, pregleda polja, zažene reprezentativno delovno obremenitev v nadzorovanem okolju in primerja nastale evidence. Zabeleži lahko, kaj se ni preneslo, in se odloči, ali je vrzel sprejemljiva. Vaja ni treba, da je dramatična. Majhna vaja pred podaljšanjem je boljša kot junaška selitev po tem, ko je dobavitelj postal edini, ki se sistem še spominja.

Izhod je zaporedje pooblastila, izvoza, pomena, preverjanja, neprekinjenosti in zaključka. Gumb z oznako izvoz ni zaporedje.

Stroški so več kot postavka v razpisni dokumentaciji

Ceno je enostavno primerjati, ko je stvar, ki se kupuje, stabilna. Pri javnem naročanju umetne inteligence je časovni horizont stroškov daljši. Lahko so tu stroški integracije, priprave virov, časa za pregled, varnostnih kontrol, shranjevanja, vrednotenja, posodobitev modelov, dela za dostopnost, odzivanja na incidente, podpore, izvoza in zamenjave. Nekatere stroške nosi naročnik. Drugi se prenesejo na delavce ali na javnost, ko postane storitev težje izpodbojna. Javno naročilo, ki primerja samo začetno pristojbino, ni nujno gospodarno. Preprosto šteje samo en vidni del.

Direktiva 2014/24/EU predvideva obračun stroškov življenjskega cikla, kadar se naročnik odloči za ta pristop. Direktiva opisuje stroške, kot so nabava, uporaba, vzdrževanje, konec življenjske dobe ter, kjer je to ustrezno in preverljivo, okoljske eksternalije. Prav tako zahteva, da naročniška dokumentacija navede podatke, ki jih morajo predložiti ponudniki, in metodo, uporabljeno za oceno stroškov življenjskega cikla. To je koristna disciplina za umetno inteligenco, ker od kupca zahteva, da pove, kaj se bo štelo, namesto da vsakemu dobavitelju pusti, da prinese svojo definicijo poceni.

Enako načelo velja za človeško pozornost. Če sistem ustvarja priporočila, ki jih je treba pregledati, sodi delo pregledovanja v operativni model. Če javna storitev potrebuje pot za popravek, mora ta pot imeti lastnika in čas. Če posodobitev dobavitelja zahteva novo oceno, mora organ imeti zmogljivost, da jo izvede. To niso argumenti proti avtomatizaciji. So opomniki, da avtomatizacija spreminja kraj, kjer poteka delo. Prihranek na računu je lahko strošek v čakalni vrsti, če javno naročilo ne opredeli novega dela.

Strošek bi moral vključevati tudi strošek nezmožnosti odhoda. Odvisnost je lahko videti poceni, ko je nova, in postane draga, ko se okoli nje naberejo evidence, strokovno znanje, integracije in javna pričakovanja. Kupec lahko zahteva oceno selitve, popis podatkov in artefaktov, obveznost podpore in urnik vaj. Te pogoje lahko primerja kot del vrednosti ponudbe. Izbira ni med optimizmom in pesimizmom. Je med odvisnostjo, ki je vidna, in tisto, ki je skrita v prihodnjiku.

Razmišljanje o življenjskem ciklu pomaga ekipi za javna naročila reči ne, ne da bi se pretvarjala, da je najcenejša vidna ponudba nevtralna možnost. Ekipa lahko zavrne predlog, ker njegovi dokazi, breme pregledovanja, pot sprememb ali stroški izhoda niso združljivi z javnim namenom. Odločitev lahko pojasni na podlagi objavljenih meril. To ni proti-tržna poteza. To je tisto, kar mora trg s preverljivimi zahtevami omogočati.

Javni kupci potrebujejo pooblastilo, da rečejo ne

Ekipa za javna naročila ne more izvajati pooblastila, ki ji ga organizacija ni podelila. Številni organi imajo ljudi, ki lahko ocenijo pravna, tehnična, finančna in storitvena vprašanja, vendar je pooblastilo za združitev teh ocen v prekinitev ali zavrnitev nejasno. Rezultat je znan: pomisleki so zapisani v enem dokumentu, navdušenje v drugem, oddaja naročila pa se nadaljuje, ker nihče ne ve, katera vloga lahko zapre vrata.

Pooblastilo bi moralo imenovati vloge, ki lahko na vsaki stopnji sprejmejo, zavrnejo, zožijo ali prekinejo nakup. Vloge potrebujejo dostop do ustreznih dokazov in pot za zapis razloga. Vodja javnega naročila je lahko lastnik procesa, lastnik storitve javnega namena, pooblaščenec za varstvo podatkov pogoja zasebnosti, vodja varnosti nadzora, tehnični pregledovalec preizkusa, višja odgovorna vloga pa končne odločitve. Natančna ureditev se razlikuje. Odsotnost ureditve je nevarni del.

Uporaben pogoj za zaustavitev ni rdeča značka, ki pravi visoko tveganje. Je dejstvo, ki blokira naslednjo odločitev. Predvideni namen ni dovolj opredeljen. Dobavitelj ne more zagotoviti dokazov za bistveno zahtevo. Prizadeta oseba nima uporabne poti za pritožbo. Organ ne more preveriti zadevne spremembe. Pravice do podatkov ali artefaktov so nejasne. Sistema ni mogoče izvoziti ali zamenjati v okviru načrta kontinuitete. Človeški pregledovalec ima odgovornost, vendar nima pooblastila. Vsak pogoj ima lahko drugačno rešitev. Nekateri zahtevajo pojasnilo, nekateri spremembo pogodbe, nekateri ožji obseg, nekateri pa ne.

Pogoji za zaustavitev morajo biti znani pred ocenjevanjem ponudb. Povezani morajo biti z merili za oddajo in s pogodbo, da kupec ne izumlja novega standarda po tem, ko je videl odgovor dobavitelja. Pregledati jih je treba tudi po oddaji naročila. Zahteva, ki je bila ob zagonu izpolnjena, lahko postane neizpolnjena po bistveni spremembi ali novi uporabi. Sposobnost reči ne ni ena sama vrata na koncu. Je vzdrževano pooblastilo skozi celotno življenjsko dobo storitve.

Razmislimo o hipotetični javni ekipi, ki naroča storitev za usmerjanje dokumentov. Njene objavljene zahteve vključujejo sledljivost vira, pot človeškega pregleda, obvestilo o pomembnih spremembah modela, izvoz zapisov in opredeljen postopek zaustavitve. En ponudnik ponudi prepričljivo predstavitev, vendar oblasti ne more omogočiti vpogleda v izbiro vira ali ohraniti različic usmerjevalnih dokazov. Drugi ponudnik ponudi manj funkcij, vendar izpolnjuje zahteve glede dokazov in izhoda. Ekipa ni dolžna dati prednosti bolj prepričljivi predstavitvi. Uporabi lahko navedena merila, postavlja sorazmerna vprašanja in zavrne prvo ponudbo, če pomembna zahteva ostane nedokazana.

Te odločitve ne bi smeli zapisati kot moralno sodbo o dobavitelju ali tehnologiji. Navesti bi morala javni namen, zahtevo, prejete dokaze, nerazrešeni pogoj in odločitev, ki jo dovoljujejo razpisni dokumenti. Jasna zavrnitev je bolj spoštljiva kot nejasen morda, ki kasneje postane obvezno podaljšanje. Trgu daje tudi koristen signal: javni kupci bodo plačali za dokaze in nadzor, ne le za predstavitveni teater.

Človeška pooblastila za zaustavitev morajo biti uporabna v incidentu. Upravljavec mora vedeti, koga poklicati, kakšno stanje sistema ohraniti, katera storitvena pot se lahko nadaljuje in kakšna komunikacija je potrebna. Zapis o odločitvi mora razlikovati takojšnjo zajezitev od dolgoročnejše odločitve o naročilu. Javni organu ni treba čakati na popolno preiskavo, preden prepreči nadaljnjo škodo, vendar se mora izogibati trditvam o večji gotovosti, kot jo dejansko ima. Zaustavitev je nadzor. Pojasnilo se lahko razvija.

Javna naročila oblikujejo trg

Javna naročila so eden od načinov, kako Evropa odloča, katere zmogljivosti je vredno razvijati. Poročilo JRC o pospeševanju uvajanja umetne inteligence v javnih upravah EU opisuje javni sektor kot pomembno silo pri oblikovanju trga. Uvajanje povezuje z upravljanjem, pripravljenostjo delovne sile, odgovornimi javnimi naročili, interoperabilnostjo in zaupanjem javnosti. Prav tako navaja, da lahko strateška javna naročila zmanjšajo odvisnost od ponudnikov zunaj EU ter podprejo evropska zagonska podjetja, rešitve odprte kode in GovTech. Bistvo ni v tem, da bi javni organ postal sklad tveganega kapitala. Bistvo je, da lahko njegove zahteve nagradijo odgovorno zmogljivost ali pa nagradijo prepričljivo ovojnico okoli odvisnosti.

Posebno poročilo Evropskega računskega sodišča št. 28/2023 nosi naslov Javna naročila v EU: manj konkurence pri pogodbah za gradbena dela, blago in storitve v desetih letih do leta 2021. Njegov javni povzetek opisuje krčenje konkurence pri javnih razpisih v Evropi. Trg z manj dejanskimi konkurenti je slab prostor za skrivanje nejasnih zahtev. Če organ ne more primerjati dokazov, lahko izbira med tržnimi pristopi namesto med storitvami. Zavrnitev nepreverljive ponudbe lahko ohrani pogoje za boljšo konkurenco pozneje.

Hkrati lahko kupec po naključju izključi uporabne dobavitelje, če zahteva dokaze v obliki, ki jo lahko pripravi le največji ponudnik. Sorazmerne zahteve, jasni vmesniki, odprti formati in postopne ocene lahko manjšim organizacijam omogočijo, da dokažejo omejeno zmogljivost, ne da bi se pretvarjale, da imajo vire multinacionalke. Kupec mora biti strog glede javnega namena in prilagodljiv glede izvedbe, kadar izvedba ne vpliva na ta namen. Tako zavrnitev postane boljše vprašanje namesto zaprtih vrat.

Oblikovanje trga pomeni tudi zavrnitev, da bi zasebna arhitektura enega dobavitelja postala opredelitev javne potrebe. Če zahteva imenuje določen model, oblak ali lastniški potek dela brez utemeljene povezave z nalogo, se lahko konkurenca zoži, še preden so dokazi pregledani. Funkcionalne zahteve in preverljivi rezultati dajejo javnim kupcem več prostora za primerjavo pristopov. Prav tako naredijo pogodbo manj krhko, ko se izbrana komponenta spremeni.

Javni organ je lahko zahteven naročnik, ne da bi postal težaven. Objavi lahko dokaze, ki jih pričakuje, pojasni razlog za pogoj ustavitve, ponudi pot za pojasnila in plača delo, ki ustvarja trajno javno zmogljivost. Trg ima nato nekaj koristnega, na kar se lahko odzove. Ni mu treba ugibati, ali je bil odločilni dejavnik skrita prednost, lepa predstavitev ali cena prihodnjega problema.

Delovni vzorec za javno naročilo, ki lahko zavrne

Naslednji vzorec je praktično priporočilo, ne nov pravni postopek. Je način, kako ohraniti javno odločitev vidno, medtem ko sistem prehaja od zamisli do delovanja. Organ naj ga prilagodi svojemu pravu, sektorju, tveganju in načinu javnega naročanja. Pomembno je, da ima vsaka vrata lastnika, dokaze in dovoljen izid, ki vključuje premor ali zavrnitev.

Prvič, zapišite javni namen. Poimenujte storitev, ljudi, ki jo izvajajo, ljudi, ki jo prejemajo, odločitev ali dejanje, ki se lahko spremeni, in razlog, zakaj se sistem obravnava. Navedite, kaj je izven obsega. Če namena ni mogoče opisati brez dobaviteljevega besednjaka izdelkov, je organ še vedno v fazi odkrivanja trga. Rezultat teh vrat so opis problema in odločitev, ali je javno naročilo pravi naslednji korak.

Drugič, zapišite mejo dokazov. Za vsako pomembno trditev navedite, kaj bi pokazalo, da je resnična pri predvideni nalogi. Poimenujte pogoje podatkov, jezik, potrebe po dostopnosti, izvorne zapise, različico, izhodišče in pot pregleda, ki naredijo preizkus smiseln. Določite, kaj mora biti pregledno, kaj lahko ostane zaupno in kaj mora biti dostavljeno kot pogodbeni zapis. Rezultat teh vrat so zahteve, ki jih ponudniki lahko razumejo, in načrt vrednotenja, ki lahko spremeni oddajo naročila.

Tretjič, zapišite mejo pooblastil. Poimenujte dejanja, ki jih sistem lahko predlaga, dejanja, ki jih lahko izvede, dejanja, ki potrebujejo odobritev, in dejanja, ki so prepovedana. Poimenujte, kdo lahko popravi vir, zavrne rezultat, spremeni pravilo, začasno ustavi storitev in govori s prizadeto osebo. Določite, kaj se zgodi, ko je sistem negotov ali ko so dokazi v nasprotju. Rezultat teh vrat je človeška pot, ki je bolj konkretna kot potrditveno polje.

Četrtič, zapišite mejo sprememb. Opredelite spremembe, ki zahtevajo obvestilo, vrednotenje, odobritev ali novo odločitev o javnem naročilu. Vključite model, podatke, dobavitelja, podizvajalca, infrastrukturo, lokacijo obdelave, vmesnik, prag, populacijo, namen in človeško pot. Odločite, kateri dokazi ostanejo pri zapisu spremembe in katere je mogoče zaradi zakonitih razlogov prekriti. Rezultat teh vrat je vzdrževan zapis, ne obljuba, da bo sistem ostal nespremenjen.

Petič, zapišite mejo izhoda. Naštejte zapise, podatke, konfiguracijo, dokaze, dovoljenja, integracije in operativno znanje, ki morajo preživeti. Določite formate, časovni okvir, podporo, preverjanje, zmanjšano storitev, preklop, zaprtje dostopa in izbris. Pred obnovitvijo ali večjo širitvijo preizkusite manjši izvoz. Rezultat teh vrat je pot, ki jo je mogoče preizkusiti, medtem ko je dobavitelj še vedno partner, ne šele potem, ko je odnos postal spor.

Šestič, zapišite javni zapis. Odločite, kaj je mogoče objaviti o namenu, vlogi sistema, dokazih, človeški poti, spremembah, incidentih in kontaktu za izpodbijanje. Zaščitite zaupne in osebne podatke, ne da bi celotno odločitev spremenili v zasebni pogovor. Javni zapis lahko pove, kaj je znano, kaj ni znano in kdaj bo naslednji pregled. Njegova naloga ni, da bi sistem prikazal kot popoln. Njegova naloga je, da omogoči pregled presoje organa.

Na koncu zapišite zavrnitev. Zavrnitev ni dramatično sporočilo za javnost. Je običajen izid v zapisniku odločanja: zahteva je bila bistvena, dokazi je niso izpolnili, ukrep je bil preučen in organ se je odločil zavrniti, zožiti, začasno ustaviti ali poiskati drugo pot. Javni razpis, ki ne more izdelati takega zapisnika, je nakup prikazal kot neizogiben, še preden si je ta sklep prislužil.

Te vstopne točke je mogoče predstaviti v odzivu na razpis, arhitekturi na začetku projekta, časovnici pogodbe, preglednem sestanku in načrtu za incidente. Ne smejo postati večji obrazec sam po sebi. Če vstopna točka ne spremeni tega, o čemer se lahko odloča ekipa, gre verjetno za dokumentacijsko gledališče. Če posamezniku daje dokaze in pooblastilo za ukrepanje, je del storitve.

Vprašanja, ki jih je vredno vključiti v razpis

Najboljša vprašanja niso tista, zaradi katerih ponudnik ponavlja svoje marketinško besedilo. So tista, ki naredijo javni namen in mejo dokazov vidni. Kupec lahko naslednja vprašanja prilagodi sistemu in postopku:

  • Katero natančno javno nalogo podpira predlagana zmogljivost in katere naloge so zunaj predvidenega namena?
  • Katere osebe, zapisi in viri podatkov so v obsegu in katere je treba izključiti?
  • Kakšen rezultat sistem ustvari in katera odločitev ali ukrepanje lahko iz njega sledi?
  • Katero zahtevo je mogoče dokazati, katero preveriti in katero bo treba vzdrževati pogodbeno?
  • Kako bo organ ponovil rezultat z ustrezno različico, viri, konfiguracijo in pogoji naloge?
  • Kaj lahko človeški pregledovalec vidi, spremeni, zavrne, posreduje višje ali ustavi, preden pride do pomembnega ukrepanja?
  • Katere spremembe modela, podatkov, infrastrukture, podizvajalca ali politik zahtevajo obvestilo in ponovno oceno?
  • Katere zapise in artefakte lahko organ izvozi, v katerih oblikah, s kakšnim pomenom, pravicami in statusom hrambe?
  • Kaj se zgodi, ko storitev ni na voljo, so dokazi nepopolni ali oseba izpodbija rezultat?
  • Katere obveznosti podpore, revizije, incidentov, usposabljanja in izhoda se nadaljujejo po prvi izdaji?

Ta vprašanja niso nadomestilo za direktivo o javnem naročanju, akt o umetni inteligenci, zakonodajo o varstvu podatkov ali sektorska pravila. So spodbuda organu, da svoje obveznosti prevede v prakso. Ponudnik, ki nanje jasno odgovori, še vedno morda ni pravi ponudnik. Ponudnik, ki nanje ne more odgovoriti, ima morda še vedno uporabno komponento, vendar organ ne sme zamenjati uporabne komponente s celovito javno zmogljivostjo.

Naša kratka opomba

Pri Dweve naš AI Compas vključuje dobaviteljsko nevtralno pot naročanja in upravljanja za regulirane evropske organizacije. Gradivo za RFI in RFP ekipe poziva, naj razvrstijo primer uporabe, uporabijo izločitvena merila, primerjajo ponudnike, izvedejo preizkus koncepta in hranijo dokaze z monitoringom. To je naš okvir izvajanja, ne neodvisni dokaz o javnem naročanju in ne trditev, da en okvir ustreza vsakemu organu. To omenjamo, ker je disciplina, opisana tukaj, tudi disciplina, ki jo poskušamo uporabljati pri lastnem delu: določite mejo, zahtevajte dokaze, ohranite odločitev človeško in naredite izhod viden.

Naš Trust Centre razlikuje enako v drugačnem registru. Javni zapis lahko opiše, kaj je dokumentirano, kaj je pripravljeno in kaj ostaja prihodnji dogodek, ne da bi izjavo o nameri spremenil v dokaz. Ekipa za javno naročanje si od svojih ponudnikov zasluži enako poštenost. Kupec bi moral videti status trditve, dokaze za njo in pot za njeno izpodbijanje.

Nauk

Javni organ ne postane odgovoren, ko podpiše pogodbo za sistem umetne inteligence. Odgovoren postane, ko javno naročilo lahko pojasni, zakaj sistem sodi v delo, kateri dokazi podpirajo to ugotovitev, kdo lahko posreduje, kaj se zgodi, ko se sistem spremeni, in kako lahko javna funkcija deluje naprej, če dobavitelj tega ne zmore.

Evropska pravila o javnem naročanju že zagotavljajo pomembne navade: merila morajo biti povezana s predmetom naročila, informacije morajo biti preverljive, uteži morajo biti navedene, pogoji pogodbe pa jasni. Pogodbene klavzule Evropske komisije o umetni inteligenci dajejo javnim naročnikom možnost, da obravnavajo visoko tvegane in nevisoko tvegane sisteme ter razdelijo odgovornosti. Nizozemski Algoritmekader spreminja odgovorno javno naročanje v praktične ukrepe glede namena, podatkov, dokazov, revizije, človeškega nadzora, zaustavitve in izhoda. Poročilo JRC umešča javno naročanje v evropski pogovor o zmogljivostih in suverenosti. Opozorilo ECA o krčenju konkurence je opomnik, da šibkega tekmovanja ne popravi samozavestna oddaja naročila.

Težka beseda je še vedno ne. Ne, namen ni opredeljen. Ne, dokazov ni mogoče preveriti. Ne, človeška pot je zgolj okrasna. Ne, pot sprememb je nevidna. Ne, javne evidence ni mogoče vzdrževati. Ne, storitev ne more oditi, ne da bi izgubila delo, ki naj bi ga varovala. Vsak ne je lahko zavrnitev, zožitev, premor ali prošnja za boljši odgovor. Organ se mora odločiti, kateri pomen velja, zapisati razlog in odločitev pustiti odprto za izpodbijanje.

Javno naročanje, ki zna reči ne, ni javno naročanje, ki se boji tehnologije. Je javno naročanje, ki pozna razliko med zmogljivostjo in obljubo. Plača za sistem, ki ga je mogoče preizkusiti, nadzorovati, spreminjati in zapustiti. Dobaviteljem omogoča pravičnejše tekmovanje, ker je vprašanje vidno. Javnim uslužbencem daje pot do posredovanja, preden problem postane politika. Ljudem, ki jih storitev zadeva, daje nekaj bolj uporabnega kot izjavo, da je bil dobavitelj odobren.

Javni nakup bi se moral končati s storitvijo, ki jo organ še vedno lahko upravlja. Če so dokazi trdni, ima pritrditev pomen. Če so dokazi šibki, je zavrnitev javno delo. Spis javnega naročila bi moral vsebovati oba stavka.

Viri