Javni sektor treba javnu nabavu koja zna reći ne

Javno tijelo ne postaje odgovorno potpisivanjem za AI sustav. Postaje odgovorno kada su njegovi zahtjevi, dokazi, ljudski autoritet, kontrole promjena i...

Javni sektor treba javnu nabavu koja zna reći ne

Dokument koji može okončati nabavu

Dokumentacija o javnoj nabavi često počinje zahtjevom koji zvuči bezazleno: pronaći sustav koji može pomoći u obavljanju zadatka. Zahtjev prolazi kroz opis problema, savjetovanje s tržištem, skup zahtjeva, evaluaciju, ugovor te, ako je postupak zdrav, odluku koja još uvijek može zaustaviti posao. Tu posljednju mogućnost lako je izgubiti iz vida. Kada se oko nabave okupe novac, kalendari i politička pozornost, riječ ne počinje zvučati kao neuspjeh u isporuci. U javnom radu to može biti najkorisnija odluka u dokumentaciji.

Europsko zakonodavstvo o nabavi već tretira ponudu kao više od natjecanja privlačnih obećanja. Direktiva 2014/24/EU navodi da kriteriji za dodjelu moraju omogućiti učinkovito i pošteno natjecanje te moraju biti popraćeni aranžmanima koji javnom naručitelju omogućuju provjeru informacija koje su dostavili ponuditelji. Direktiva također navodi da kriteriji ne bi trebali dati naručitelju neograničenu slobodu izbora. Javni kupac mora opisati što je važno, objasniti kako će se to vrednovati i provjeriti ispunjava li ponuda doista te zahtjeve. To nije administrativna fusnota. To je pravni oblik odluke koju drugi ljudi moraju moći razumjeti i osporiti.

AI otežava staru disciplinu jer dobavljač može ponuditi sustav čije ponašanje ovisi o podacima, ažuriranjima modela, uputama, pragovima, integracijama, ljudima i usluzi koja se može promijeniti dok je ugovor još svjež. Brošura može ostati ista dok se stvar iza nje mijenja. Tim za nabavu stoga mora kupiti više od sučelja. Mora kupiti ograničenu sposobnost, dokaz da je ta sposobnost prikladna, ovlast za nadzor te vjerodostojan način zaustavljanja ili zamjene.

Javni sektor treba nabavu koja može reći ne jer javni sektor ne može eksternalizirati svoju prosudbu. Dobavljač može pružiti model, tijek rada, uslugu smještenu na poslužitelju ili skup alata. Ne može pružiti legitimitet odluke donesene uz njihovu pomoć. Naručitelj i dalje mora znati koji problem rješava, čiji interesi mogu biti pogođeni, koji dokazi podupiru sustav, koja osoba može intervenirati i kako će se usluga nastaviti ako dobavljač promijeni smjer. Potpis nije prijenos odgovornosti. To je zapis da je odgovornost dogovorena.

Ovaj članak prati taj dogovor od prve rečenice zahtjeva do posljednjeg retka zapisa o izlasku. Kao dokaz koristi europske javne smjernice i materijale o nabavi. Praktični obrasci preporuke su, a ne tvrdnje da svako tijelo mora koristiti jedan oblik. Svaka izmišljena situacija označena je kao hipotetska. Vjerodostojan ured, uredna ponuda i dramatičan neuspjeh nisu dokaz samo zato što odgovaraju poznatoj priči.

Javni kupac kupuje obećanje dvaput

Svaka javna nabava nosi dva obećanja. Prvo je dobavljačevo obećanje o proizvodu ili usluzi. Drugo je obećanje naručitelja ljudima koji ovise o poslu: da je novac potrošen za definiranu javnu svrhu, da se odluka može objasniti, da su relevantna prava uzeta u obzir i da netko ostaje odgovoran kada sustav pogriješi. Drugo je obećanje ono koje preživljava događaj pokretanja.

Nabava AI-ja često prvo obećanje čini živopisnim, a drugo nejasnim. Demonstracija može pokazati tečan sažetak, rangiranu listu ili brz odgovor. Rijetko pokazuje tko može odbiti izlaz, što se događa kada izvor nedostaje, kako se promjena odobrava, mogu li se zapisi izvesti ili koja osoba može pauzirati uslugu bez pregovaranja o vlastitoj ovlasti usred incidenta. Ta pitanja nisu tako kinematografska. No to su pitanja koja odlučuju može li javno tijelo zadržati kontrolu.

Europska komisija u svojoj Zajednici javnih naručitelja opisuje ažurirane model klauzule EU-a za ugovore o umjetnoj inteligenciji u tri dijela: punu verziju za umjetnu inteligenciju visokog rizika usklađenu s Aktom o umjetnoj inteligenciji, laganu verziju koja se može prilagoditi za umjetnu inteligenciju koja nije visokog rizika te komentar o tome kako koristiti i prilagoditi klauzule. Ta je razlika važna. Model klauzula nije čarobni pečat koji jamči primjerenost nabave. Ona je polazište za raspodjelu obveza između javnog tijela i dobavljača u ugovoru čiji opseg, svrhu i dokaze još uvijek mora odrediti naručitelj.

Naručitelj bi stoga trebao najprije upitati što zapravo obećava javnosti prije nego što upita što dobavljač može dokazati. Obećava li tijelo brži prolazak kroz zaostatak, dosljedniji prvi pregled, sigurniju inspekciju, bolje iskorištavanje oskudne stručnosti ili jednostavno eksperiment čije su granice vidljive? Svaka svrha stvara različite dokaze i različite razloge za zaustavljanje. Sustav koji sastavlja interne bilješke može zahtijevati drugačiju granicu ovlasti od sustava koji rangira zahtjeve za uslugu koju ljudi ne mogu izbjeći.

Zamislite hipotetski evaluacijski tim koji pregledava alat za sažimanje podnesaka dobavljača. Tim može zaključiti da je zadatak prikladan za pomoć, ali samo ako sažetak zadržava isključenja, uvjete i rokove te upućuje recenzente natrag na izvorne odlomke. Ako dobavljač ne može pokazati kako će se ti zahtjevi testirati, tim bi trebao moći odbiti alat ili suziti ugovor. To nije optužba na račun dobavljača. To je zaključak o dokazima dostupnima za definiranu svrhu.

Isto razmišljanje vrijedi kada je problem privlačan, ali slabo ograničen. Javno tijelo može željeti predvidjeti potražnju, odrediti prioritete inspekcija ili usmjeravati korespondenciju. Ti glagoli prikrivaju odluke koje se ispod njih kriju. Što se smatra potražnjom. Što prioritet mijenja. Koja se korespondencija može sigurno usmjeriti bez ljudskog čitanja. Prvo ne može se odnositi na opseg problema, a ne na upotrebu softvera. Odbijanje nejasne kupnje često je način na koji tijelo štiti korisni dio posla od dijela koji se ne može testirati.

Opišite problem prije rješenja

Nabava postaje krhka kada kategorija proizvoda stigne prije nego što je javni problem imenovan. Umjetna inteligencija posebno je vješta u stvaranju takvog redoslijeda jer se isti model može predstaviti kao pomoćnik za pisanje, klasifikator, sloj za pretraživanje ili agent, ovisno o prezentaciji. Tijelo treba opisati posao na način koji ostaje smislen kada se uklone dobavljač, obitelj modela i sučelje.

Nizozemski Algoritmekader, koji se održava za javna tijela, ubraja taj posao među preporučene mjere. Od organizacija traži da opišu namjeravanu svrhu i podatke koji se koriste, odrede primjenjivu skupinu rizika, utvrde utjecaj ako algoritam ne radi kako je zamišljeno te odluče treba li rješenje razviti ili kupiti. Također upućuje na početnu arhitekturu projekta za razvoj ili nabavu algoritama. To nisu ukrasi nabave. To su načini da problem postane čitljiv prije nego što se ponudi odgovor.

Dobar zahtjev počinje odlukom ili uslugom koja se mora poboljšati, ljudima koji je provode ili primaju, informacijama koje sustav smije koristiti, informacijama koje ne smije koristiti te ljudskom ovlašću koja ostaje. Navodi uvjete pod kojima je sustav koristan i uvjete pod kojima se ne smije koristiti. Imenuje zapise koji moraju postojati kada se rezultat prihvati, odbije, ispravi ili proslijedi na višu razinu. Ne mora predvidjeti unutarnji dizajn dobavljača. Treba definirati javnu sposobnost koja se može nadzirati.

Ovdje su važni funkcionalni i izvedbeni zahtjevi. Direktiva 2014/24/EU zahtijeva da tehničke specifikacije budu dovoljno precizne da ponuditelji razumiju predmet nabave i da javni naručitelji mogu ocijeniti kako ponude ispunjavaju kriterije. Zahtjev poput osigurati inteligentno rješenje nije koristan test. Zahtjev poput sačuvati izvorne odlomke korištene u nacrtu, prikazati datum preuzimanja, omogućiti recenzentu da odbije nacrt i izveze dobiveni zapis bliži je testabilnoj javnoj potrebi. On opisuje ponašanje i put dokaza, a ne modu.

Zahtjevi također trebaju razotkriti granice zadatka. Javno tijelo može reći da sustav smije predložiti put, ali ne smije donijeti konačnu odluku. Može navesti da se preporuka ne smije koristiti kada navedeni izvor nedostaje ili je proturječan. Može zahtijevati ljudski put za osobu na koju se odluka odnosi i koja želi osporiti ishod. To nisu neprijateljska ograničenja. To su uvjeti pod kojima nabava ostaje javna usluga, a ne privatni tijek rada s logotipom vlade.

Usko definiran problem nije nedostatak ambicije. To je način da ambicija postane odgovorna. Ako tijelo ne može objasniti koji korak sustav mijenja, tko ima koristi, što može poći po zlu i što osoba može učiniti sljedeće, nije spremno uspoređivati ponuditelje. Ispravan postupak može biti dodatno istraživanje, rješenje bez umjetne inteligencije, mali kontrolirani pilot ili nikakva nabava. Dokumentacija o nabavi treba ostaviti prostora za svaki od tih odgovora.

Pretvorite zahtjeve u dokaze

Riječ dokaz koristi se olako u nabavi tehnologije. Prezentacija ponuditelja, demonstracija proizvoda i izjava da je sustav pouzdan mogu biti korisni inputi. Nijedan od njih automatski nije dokaz da je zahtjev ispunjen. Dokaz mora biti povezan s tvrdnjom, testom, opsegom i osobom koja ga može provjeriti. Bez te povezanosti, evaluacija postaje natjecanje u kojem pobjeđuje najuglađenija rečenica.

Direktiva o nabavi jasna je u pogledu osnovnog odnosa: kriteriji za dodjelu moraju biti popraćeni aranžmanima koji omogućuju učinkovitu provjeru informacija koje dostave ponuditelji. To je načelo posebno važno za umjetnu inteligenciju jer rezultat može izgledati uvjerljivo dok uvjeti koji su ga proizveli ostaju skriveni. Kupac treba pitati što će biti prikazano, pod kojim uvjetima podataka i zadatka, s kojom osnovnom linijom i kako recenzent može reproducirati ili osporiti rezultat.

Nizozemski Algoritmekader postavlja isti zahtjev praktičnim jezikom. Njegove mjere za javnu nabavu uključuju uključivanje zahtjeva za algoritme u dokumentaciju o nabavi i ugovor, zahtijevanje od ponuditelja da pruže dokaze da su zahtjevi ispunjeni kao dio evaluacije, procjenu uvjeta odgovornosti ponuditelja, zahtijevanje mogućnosti revizije u ugovoru, dogovor o tome što se događa s podacima i artefaktima te traženje plana za zaustavljanje algoritma. Popis je smjernica, a ne univerzalni pravni kontrolni popis. Njegova je vrijednost u tome što tretira dokaz kao predmet nabave.

Kupac može razdvojiti dokaze u tri korisne kategorije. Dokazani dokazi su ono što ponuditelj pokazuje u kontroliranoj evaluaciji: ulaz, izlaz, rukovanje pogreškama, korištenje izvora i ljudski put mogu se promatrati. Dokazi koji se mogu provjeriti su ono što tijelo može ispitati bez oslanjanja na demonstraciju: dokumentacija, rezultati testova, zapisnici, sučelja, evidencije promjena, opisi podataka i mogućnost pokretanja dogovorene provjere. Ugovorni dokazi su ono što ponuditelj mora nastaviti pružati: obavijesti o materijalnim promjenama, informacije o incidentima, pristup za reviziju, evidencije usluga, mogućnosti izvoza i podrška za kontrolirani izlazak. Kategorije se preklapaju, ali sprječavaju da jedan impresivan sastanak nosi cijeli ugovor.

Dokazi također trebaju imati opseg. Dobavljač može pokazati da sustav dobro radi na skupu primjera. Kupac i dalje mora znati predstavljaju li primjeri namjeravani jezik, kvalitetu dokumenata, mješavinu slučajeva, potrebe pristupačnosti i operativna ograničenja. Tvrdnja o modelu u laboratoriju nije automatski tvrdnja o javnoj usluzi. To je tvrdnja o pokusu koji je proveden. Tim za nabavu trebao bi sačuvati zadatak, uvjete podataka, verziju i rezultat kako kasnija odluka ne bi lebdjela odvojeno od testa.

Zamislite, kao hipotetski primjer, da ponuditelj dostavi ogledni skup generiranih sažetaka i opću izjavu o točnosti. Tijelo može zatražiti izvorne dokumente, pravilo odabira, korištenu verziju, postupanje s nedostajućim materijalom, postupak pregleda i artefakt koji će ostati nakon prihvaćanja. Ako je odgovor da su pojedinosti vlasničke i da se ne mogu pregledati, tim je naučio nešto važno. Nije naučio da je sustav loš. Naučio je da predložena granica dokaza može biti preslaba za javnu svrhu.

Dokazi trebaju biti razmjerni. Mali interni alat za izradu nacrta ne treba isti paket pregleda kao sustav koji utječe na pristup javnoj usluzi. Razmjernost ne znači prihvaćanje slogana pri niskom riziku. Znači usklađivanje dubine dokaza s posljedicom, mogućnošću poništenja, brojem pogođenih osoba i mogućnošću otkrivanja i ispravljanja pogreške. Dobavljač bi trebao znati potrebne dokaze prije podnošenja ponude. U suprotnom tijelo mijenja natječaj nakon što je utrka već počela, što je poznati način da se proizvede skupa neugodnost.

Zahtjev bi trebao voditi do dokaza, a dokazima bi trebalo biti dopušteno promijeniti odluku o dodjeli.

Kupac mora moći izraziti neslaganje

Javna odgovornost nije isto što i transparentnost dobavljača. Dobavljač može objasniti svoju uslugu, a tijelo i dalje nema put kojim bi stanovnik, radnik, poduzeće ili stručnjak mogao osporiti način na koji je usluga korištena. Spis nabave stoga treba pitati kako funkcionira neslaganje, a ne samo kako sustav proizvodi odgovor.

Algoritmekader među svojim temama za javni sektor navodi ljudsku kontrolu, temeljna prava, transparentnost i putove za pritužbe. Njegove preporučene mjere uključuju smislenu ljudsku intervenciju u donošenju odluka, postupak u kojem građani ili druge zainteresirane strane mogu podnijeti pritužbu, prigovor ili žalbu, javnu odluku o korištenju algoritma i način objave algoritama koji utječu na javnost u Nizozemskom algoritamskom registru. Te mjere ne pretvaraju svaki algoritam u javni spektakl. One čine odgovornost tijela dovoljno vidljivom da se može dovesti u pitanje.

Zahtjev za ljudski nadzor u javnoj nabavi trebao bi imenovati ljudsku radnju. Može li pregledavatelj vidjeti informacije koje su oblikovale preporuku. Može li ispraviti zapis. Može li odbiti rezultat bez prethodnog dopuštenja sustava. Može li zatražiti alternativni put kada izvor nedostaje. Može li zaustaviti seriju, izolirati verziju ili proslijediti zabrinutost nekome s ovlastima. Ako je odgovor samo da je osoba negdje prisutna u procesu, zahtjev opisuje namještaj, a ne nadzor.

Neslaganje također treba vrijeme. Pregledavatelj koji mora provjeriti svaki rezultat uz redovni radni opterećenje može tehnički biti u procesu, a praktično izvan njega. Javna nabava može zahtijevati obuku, podršku, upotrebljive dokaze i pretpostavku o radnom opterećenju za pregled. Može definirati koji slučajevi zahtijevaju odobrenje prije radnje, a koje reverzibilne radnje s niskim posljedicama mogu teći uz evidentiranje i naknadno uzorkovanje. Može od dobavljača zatražiti podršku za taj put umjesto da ga skriva iza programskog sučelja.

Tijelo se mora moći suprotstaviti i vlastitom entuzijazmu. Uspješan pilot može stvoriti pritisak da se alat proširi na populaciju ili odluku koja nikada nije bila dio testa. Ugovor bi trebao očuvati izvornu svrhu i zahtijevati novu odluku kada se promijeni svrha, podaci, pogođene osobe ili posljedice. Ažuriranje nije automatski bezopasno samo zato što se isporučuje kao usluga. Nova upotreba nije automatski pokrivena samo zato što se isti logotip pojavljuje na vrhu zaslona.

Kada dobavljač kaže da je model samo savjetodavan, tijelo bi trebalo pogledati što posao zapravo čini. Ako su zaposlenici upućeni da prihvate rangiranje, ako nema vremena za pregled ili ako sustav kontrolira koji slučajevi stižu do osobe, savjet je u praksi mogao postati odluka. Tim za javnu nabavu ne mora raspravljati o savršenoj oznaci. Treba dokumentirati put od rezultata do posljedice i zadržati ovlast da taj put promijeni.

Granice dobavljača dio su ugovora

Javna nabava umjetne inteligencije često se opisuje kao izbor između izgradnje i kupnje. Teži je izbor kako podijeliti granicu između dobavljača i javne organizacije. Dobavljač može kontrolirati model, uslugu, put ažuriranja, infrastrukturu, tim za podršku i dio obrade podataka. Tijelo kontrolira javnu svrhu, odluku, pogođenu populaciju i dužnost pružanja zakonite i upotrebljive usluge. Ugovor mora povezati te odgovornosti umjesto da ih ostavi kao dva pristojna dijagrama.

Ažurirane EU model ugovorne klauzule za umjetnu inteligenciju korisne su jer prepoznaju da javni kupci trebaju različite pristupe za visokorizičnu i nevisokorizičnu umjetnu inteligenciju te smjernice za prilagodbu klauzula u praksi. One nisu zamjena za strategiju javne nabave ili pravni pregled. One su zajednički rječnik za eksplicitno definiranje odgovornosti. Kupac i dalje mora odlučiti koji su dokazi, prava na podatke, pristup reviziji, obavijest o promjenama, podrška, odgovornost i uvjeti izlaska razmjerni sustavu koji se nabavlja.

Podaci i artefakti zaslužuju posebnu pozornost. Sustav može dodirivati izvorne dokumente, oznake, upite, ugradnje, generirane nacrte, ljudske ispravke, skupove za evaluaciju, zapise i konačne evidencije. Ugovor bi trebao razlikovati što tijelo osigurava, što dobavljač stvara, što svaka strana smije koristiti, što se mora vratiti, što se mora izbrisati i koji se dokaz brisanja ili zadržavanja zahtijeva. Tvrdnja da tijelo posjeduje svoje podatke ne odgovara na pitanje gdje žive izvedeni artefakti ili kako tijelo može dohvatiti evidencije koje objašnjavaju rezultat.

Prava na reviziju moraju imati praktičan oblik. Kupac bi trebao znati koje se evidencije mogu pregledati, kako se traži pristup, koji je rok obavijesti razuman, koje se mjere povjerljivosti primjenjuju i što se događa kada revizija otkrije nedostatak. Klauzula o reviziji bez upotrebljivog puta je presuda koja čeka spor. Isto vrijedi i za klauzulu o incidentima koja kaže da će dobavljač surađivati, a ne navodi informacije, rokove i odgovornu osobu potrebne za suradnju.

Upravljanje promjenama ne bi trebalo biti prepušteno bilješkama o izdanju. Naručitelj može zahtijevati obavijest o materijalnoj promjeni modela, izvora podataka, mjesta obrade, podizvođača, sučelja, pragova, metode evaluacije ili ljudskog puta. Može definirati koji su dokazi potrebni prije nego se izmijenjena verzija upotrijebi za javnu zadaću. Može zahtijevati pravo na pauzu, odbijanje ili povratak na prethodnu verziju kada izmijenjena usluga više ne ispunjava materijalni zahtjev. To su preporuke koje ugovor čine operativnim. One nisu tvrdnja da jedna klauzula može riješiti svaki odnos s dobavljačem.

Odgovornost uključuje i ono što dobavljač ne može pružiti. Usluga može ovisiti o modelu ili infrastrukturi treće strane čije su promjene izvan izravne kontrole dobavljača. Kupac bi trebao biti obaviješten o toj ovisnosti i trebao bi znati koje se obveze na njega prenose. Javna organizacija ne može procijeniti lanac pregledavajući samo ulazna vrata. Ugovor bi trebao očuvati put do relevantnih dokaza, ili bi kupac trebao priznati da je ta neizvjesnost razlog za sužavanje ili odustajanje od kupnje.

Dobre granice štite i dobavljače. Javni kupac koji traži svaki mogući dokument, svaki detalj izvornog koda i neograničenu podršku bez definirane svrhe može smanjiti konkurenciju i učiniti ugovor neatraktivnim za manje europske pružatelje. Proporcionalnost, jasnoća i vjerodostojan opseg dokaza omogućuju dobavljaču da kaže što može, a kupcu da kaže što mu treba. Javna nabava treba biti zahtjevna bez teatralnosti. Zid od nemogućih zahtjeva jednako učinkovito zaustavlja loše i dobre sustave.

Promjena nakon dodjele i dalje je javna nabava

Dodjela nije kraj odluke. To je točka u kojoj usluga ulazi u drugu vrstu nadzora. Tijekom rada podaci se mijenjaju, politike se mijenjaju, sučelja se zamjenjuju, osoblje uči prečace, dobavljači mijenjaju modele, a sustav se može koristiti u situacijama koje izvorni tim nije zamislio. Naručitelj treba način da uoči te promjene prije nego one slučajno postanu nova javna svrha.

Algoritmekader preporučuje redovite provjere da algoritam radi kako je zamišljeno, praćenje promjena u podacima i evaluaciju učinka i rezultata kada se podaci promijene te održavanje plana za kontinuirano praćenje. Uključuje i mjeru za plan hitnog zaustavljanja algoritma. Te preporuke unose vrijeme u model upravljanja. Nabava koja obuhvaća samo početnu specifikaciju kupila je fotografiju usluge koja se kreće.

Ne bi svako ažuriranje trebalo pokrenuti istu proceduru. Sigurnosna zakrpa koja ne mijenja model, granicu podataka i ulogu odlučivanja može slijediti drugačiji put od nove obitelji modela, promijenjenog izvora dohvaćanja ili novog praga. Ugovor može definirati materijalnost operativno: promjena je materijalna kada mijenja zadaću, pogođene osobe, put dokaza, posljedicu odluke, jurisdikciju primjene, podizvođača, upotrebu podataka ili mogućnost intervencije. Točna definicija zahtijeva pravnu i tehničku prosudbu. Načelo je jednostavno: promjena je dio kupljene sposobnosti.

Praćenje treba sačuvati informacije potrebne za donošenje odluke. Nadzorna ploča može pokazati da je usluga opterećena; možda neće pokazati da je izvor zastario ili da recenzenti poništavaju istu preporuku. Tijelo javne vlasti treba zadržati relevantnu verziju, opseg zadatka, uvjete dokaza, ljudsku radnju i razlog promjene. Trebalo bi znati koje su promjene prihvaćene, koje su poništene, koje su ograničene, a koje su stvorile novo pitanje u postupku javne nabave.

Dobavljač možda neće moći unaprijed najaviti svaku unutarnju promjenu. Ugovor i dalje može zahtijevati upotrebljivu obavijest i paket dokaza prije nego što se na promijenjeno ponašanje počne oslanjati. Tijelo javne vlasti može odabrati postupno uvođenje, kontroliranu evaluaciju ili privremenu obustavu. Mogućnost pauziranja nije kazna. To je ono što javnoj službi omogućuje da ostane odgovorna dok se utvrđuju činjenice.

Zapis o promjeni također štiti od lažne sigurnosti. Ako tijelo javne vlasti ne može utvrditi je li razlika nastala zbog novog modela, promjene podataka, upita, ljudske zaobilaznice ili vanjske ovisnosti, ne bi trebalo tvrditi da je sustav radio dosljedno. Ispravan odgovor može biti suziti upotrebu, prikupiti bolje dokaze ili zaustaviti zahvaćeni put. Javni novac ne postaje sigurniji zato što je objašnjenje uredno.

Interoperabilnost je uljudna riječ za odlazak

Ljudi često govore o interoperabilnosti kao da je riječ o tehničkoj ljubaznosti među sustavima. U javnoj nabavi ona je također kontrola kontinuiteta. Ako javna služba ne može premjestiti svoje zapise, konfiguracije, dokaze, sučelja i operativno znanje na drugi put, tijelo javne vlasti može biti pravno slobodno otići, a praktično nesposobno to učiniti. Ugovor je stvorio ovisnost koju dokumentacija o nabavi nije imenovala.

Izvješće JRC-a Komisije o unaprjeđenju usvajanja umjetne inteligencije u javnim upravama EU-a naziva nabavu ključnom omogućujućom ulogom i kaže da interoperabilnost treba biti ugrađena od samog početka. Također predstavlja stratešku nabavu kao način smanjenja ovisnosti o dobavljačima izvan EU-a i podrške europskim AI startupima, rješenjima otvorenog koda i GovTech rješenjima. To nije argument za kupnju europskog po sloganu niti za tretiranje otvorenog koda kao automatskog jamstva. To je argument da se tehnička i institucionalna sposobnost promjene smjera učini dijelom vrijednosti koja se kupuje.

Izlazak počinje popisom onoga što mora preživjeti. To može uključivati izvorne zapise, identifikatore, oznake, upite, verzije modela i konfiguracije, skupove za evaluaciju, zapise revizije, mapiranja korisnika i uloga, integracijske ugovore, status čuvanja, sigurnosne materijale i značenje polja. Popis ovisi o usluzi. Prijenosna datoteka bez konteksta može biti manje korisna od manjeg zapisa s netaknutom semantikom i dozvolama. Izvoz je sposobnost koju treba testirati, a ne okvir koji treba označiti.

Interoperabilnost također znači da tijelo javne vlasti može provesti smislenu usporedbu. Može li odredište obraditi zapise bez da im tiho promijeni značenje. Mogu li recenzenti usporediti stari i novi rezultat pod istim uvjetima zadatka. Može li se javna služba nastaviti u smanjenom načinu rada ako jedna ovisnost nije dostupna. Mogu li dokazi ostati čitljivi nakon što sučelje nestane. Ta pitanja pripadaju zahtjevima, evaluaciji i ugovoru jer je izlazak otkriven tijekom hitne situacije obično arheološko iskapanje.

Prenosivost ne znači nužno da dobavljač mora predati svaki interni detalj implementacije. Znači da tijelo može sačuvati javnu funkciju i zapise za koje je odgovorno, uz poštovanje zakonitih prava i sigurnosnih ograničenja. Granicu treba utvrditi prije potpisa. Ako je model dobavljača nedostupan, tijelo i dalje može zahtijevati prenosive ulaze, izlaze, zapise odluka, evaluacije, konfiguraciju i put prema rekonstrukciji javnih obveza usluge. Ako taj put ne može dobiti, treba pošteno uračunati taj rizik u cijenu ili odustati od nabave.

Proba izlaska vrijedna je jer pretvara ugovorno obećanje u provjerenu sposobnost. Javni kupac može isprobati izvoz, pregledati polja, pokrenuti reprezentativno opterećenje u kontroliranom odredištu i usporediti dobivene zapise. Može zabilježiti što se nije prenijelo i odlučiti je li taj nedostatak prihvatljiv. Vježba ne mora biti dramatična. Mala proba prije obnove ugovora bolja je od herojske migracije nakon što je dobavljač postao jedina osoba koja se sjeća sustava.

Izlazak je slijed ovlasti, izvoza, značenja, provjere, kontinuiteta i zatvaranja. Gumb s natpisom izvoz nije taj slijed.

Trošak je više od stavke u ponudi

Cijenu je lako usporediti kada je predmet nabave stabilan. Nabava umjetne inteligencije ima duži vremenski okvir troškova. Tu mogu biti integracijski rad, priprema izvora, vrijeme za pregled, sigurnosne kontrole, pohrana, evaluacija, ažuriranja modela, pristupačnost, odgovor na incidente, podrška, izvoz i zamjena. Neke troškove snosi tijelo. Drugi se prebacuju na radnike ili javnost kada uslugu postane teže osporiti. Nabava koja uspoređuje samo početnu naknadu nije nužno ekonomična. Ona jednostavno broji jedan vidljivi dio.

Direktiva 2014/24/EU predviđa obračun troškova životnog ciklusa kada tijelo odabere taj pristup. Direktiva opisuje troškove poput nabave, uporabe, održavanja, kraja životnog vijeka te, gdje je relevantno i provjerljivo, vanjske učinke na okoliš. Također zahtijeva da dokumentacija o nabavi navede podatke koje ponuditelji moraju dostaviti i metodu kojom se procjenjuje trošak životnog ciklusa. To je korisna disciplina za umjetnu inteligenciju jer zahtijeva od kupca da kaže što će se brojati, umjesto da svakom dobavljaču dopusti da donese vlastitu definiciju jeftinog.

Isti princip vrijedi i za ljudsku pozornost. Ako sustav proizvodi preporuke koje treba pregledati, posao pregleda pripada operativnom modelu. Ako javna usluga treba put za ispravak, taj put treba imati vlasnika i vrijeme. Ako ažuriranje dobavljača zahtijeva novu procjenu, tijelo mora imati sposobnost da je provede. To nisu argumenti protiv automatizacije. To su podsjetnici da automatizacija mijenja mjesto na kojem se posao obavlja. Ušteda na računu može postati trošak u redu čekanja ako nabava ne imenuje novi posao.

Trošak bi trebao uključivati i trošak nemogućnosti odlaska. Ovisnost može izgledati jeftino dok je nova, a postati skupa kada se oko nje nakupe evidencije, stručnost, integracije i očekivanja javnosti. Kupac može zatražiti procjenu migracije, popis podataka i artefakata, obvezu podrške i raspored proba. Te uvjete može usporediti kao dio vrijednosti ponude. Izbor nije između optimizma i pesimizma. Izbor je između ovisnosti koja je vidljiva i one koja je skrivena u budućem vremenu.

Razmišljanje o životnom ciklusu pomaže timu za nabavu da kaže ne bez pretvaranja da je najjeftinija vidljiva ponuda neutralna opcija. Tim može odbiti prijedlog jer njegovi dokazi, teret pregleda, put promjene ili trošak izlaska nisu usklađeni s javnom svrhom. Odluku može objasniti na temelju objavljenih kriterija. To nije gesta protiv tržišta. To je ono što tržište s provjerljivim zahtjevima treba omogućiti.

Javni kupci trebaju ovlast za odbijanje

Tim za nabavu ne može koristiti ovlast koju mu organizacija nije dala. Mnoga tijela imaju ljude koji mogu procijeniti pravna, tehnička, financijska i servisna pitanja, ali ovlast da te procjene spoje u pauzu ili odbijanje nije jasna. Rezultat je poznat: zabrinutosti se bilježe u jednom dokumentu, entuzijazam u drugom, a dodjela se nastavlja jer nitko ne zna koja uloga smije zatvoriti vrata.

Ovlast bi trebala imenovati uloge koje u svakoj fazi mogu prihvatiti, odbiti, suziti ili pauzirati kupnju. Uloge trebaju imati pristup relevantnim dokazima i put za bilježenje razloga. Službenik za nabavu može voditi proces, vlasnik usluge javnu svrhu, službenik za zaštitu podataka uvjet privatnosti, voditelj sigurnosti kontrolu, tehnički recenzent test, a viša odgovorna uloga konačnu odluku. Točan raspored varira. Odsutnost rasporeda je opasni dio.

Korisni uvjet zaustavljanja nije crvena oznaka koja kaže visok rizik. To je činjenica koja blokira sljedeću odluku. Namjeravana svrha nije dovoljno definirana. Dobavljač ne može pružiti dokaze za materijalni zahtjev. Pogođena osoba nema upotrebljiv put za pregled. Tijelo ne može provjeriti relevantnu promjenu. Prava na podatke ili artefakte nisu jasna. Sustav se ne može izvesti ili zamijeniti unutar plana kontinuiteta. Ljudski recenzent ima odgovornost, ali nema ovlast. Svaki uvjet može imati drugačiji lijek. Neki zahtijevaju pojašnjenje, neki promjenu ugovora, neki uži opseg, a neki odbijanje.

Uvjeti zaustavljanja trebali bi biti poznati prije nego što se ponuda ocijeni. Trebali bi biti povezani s kriterijima dodjele i s ugovorom kako kupac ne bi izmišljao novi standard nakon što vidi odgovor dobavljača. Trebalo bi ih ponovno razmotriti i nakon dodjele. Zahtjev koji je bio zadovoljen pri pokretanju može postati nezadovoljen nakon materijalne promjene ili nove upotrebe. Sposobnost da se kaže ne nije jedinstvena kapija na kraju. To je održavana ovlast tijekom cijelog životnog vijeka usluge.

Razmotrimo hipotetski javni tim koji nabavlja uslugu usmjeravanja dokumenata. Objavljeni zahtjevi uključuju sljedivost izvora, put ljudske provjere, obavijest o materijalnim promjenama modela, izvoz zapisa i definirani postupak prekida. Jedan ponuđač nudi uvjerljivu demonstraciju, ali ne može dopustiti tijelu uvid u odabir izvora niti sačuvati verzionirane dokaze o usmjeravanju. Drugi ponuđač nudi manje značajki, ali ispunjava zahtjeve za dokazima i izlazne zahtjeve. Tim nije dužan preferirati glasniju demonstraciju. Može primijeniti navedene kriterije, postaviti proporcionalna pitanja i odbiti prvu ponudu ako materijalni zahtjev ostane nedokazan.

Ta odluka ne bi trebala biti zapisana kao moralna prosudba o dobavljaču ili tehnologiji. Treba navesti javnu svrhu, zahtjev, primljene dokaze, neriješeni uvjet i odluku dopuštenu dokumentacijom o nabavi. Jasno ne je uljudnije od nejasnog možda koje kasnije postane obvezno obnavljanje. Ono također šalje koristan signal tržištu: javni kupci platit će za dokaze i kontrolu, ne samo za kazalište sposobnosti.

Ljudski ovlast za zaustavljanje mora biti upotrebljiva u incidentu. Operater treba znati koga nazvati, koje stanje sustava sačuvati, koja ruta usluge može nastaviti raditi i koja je komunikacija potrebna. Zapis o odluci treba razlikovati neposredno obuzdavanje od dugoročnije odluke o nabavi. Javno tijelo ne mora čekati savršenu istragu prije nego spriječi daljnju štetu, ali treba izbjegavati tvrdnje o većoj izvjesnosti nego što je ima. Zaustavljanje je kontrola. Objašnjenje se može razvijati.

Nabava oblikuje tržište

Javna nabava jedan je od načina na koji Europa odlučuje koje sposobnosti vrijedi graditi. Izvješće JRC-a o unaprjeđenju usvajanja umjetne inteligencije u javnim upravama EU-a opisuje javni sektor kao glavnu silu koja oblikuje tržište. Ono povezuje uspješno usvajanje s upravljanjem, spremnošću radne snage, odgovornom nabavom, interoperabilnošću i povjerenjem javnosti. Također navodi da strateška nabava može smanjiti ovisnost o dobavljačima izvan EU-a te podržati europske startupe, otvoreni kod i GovTech rješenja. Poanta nije da javno tijelo postane rizični fond. Poanta je da njegovi zahtjevi mogu nagraditi odgovornu sposobnost ili uvjerljivo pakiranje ovisnosti.

Posebno izvješće Europskog revizorskog suda br. 28/2023 nosi naslov Javna nabava u EU-u: manje natjecanja za ugovore za radove, robu i usluge u deset godina do 2021. Njegov javni sažetak opisuje natjecanje za javne natječaje u Europi kao sve manje. Tržište s manje učinkovitih natjecatelja loše je mjesto za skrivanje nejasnih zahtjeva. Ako tijelo ne može usporediti dokaze, može birati između marketinških stilova umjesto između usluga. Odbijanje neprovjerljive ponude može sačuvati uvjete za bolje natjecanje kasnije.

Istodobno, kupac može slučajno isključiti korisne dobavljače tražeći dokaze u obliku koji može proizvesti samo najveći dobavljač. Proporcionalni zahtjevi, jasna sučelja, otvoreni formati i postupna evaluacija mogu omogućiti manjim organizacijama da dokažu ograničenu sposobnost bez pretvaranja da imaju resurse multinacionalne tvrtke. Kupac treba biti strog oko javne svrhe, a fleksibilan oko provedbe tamo gdje provedba ne utječe na tu svrhu. Tako ne postaje zatvorena vrata, već bolje pitanje.

Oblikovanje tržišta također znači odbijanje da privatna arhitektura jednog dobavljača postane definicija javne potrebe. Ako zahtjev imenuje određeni model, oblak ili vlasnički tijek rada bez opravdane veze sa zadatkom, natjecanje se može suziti prije nego što se dokazi uopće pogledaju. Funkcionalni zahtjevi i provjerljivi ishodi daju javnim kupcima više prostora za usporedbu pristupa. Također čine ugovor manje krhkim kada se odabrana komponenta promijeni.

A public authority can be a demanding customer without becoming a difficult customer. It can publish the evidence it expects, explain the reason for a stop condition, offer a route for clarification and pay for work that creates durable public capability. The market then has something useful to respond to. It does not have to guess whether the winning factor was a hidden preference, a beautiful demo or the price of a future problem.

A working pattern for a procurement that can refuse

The following pattern is a practical recommendation, not a new legal procedure. It is a way to keep the public decision visible while a system moves from idea to operation. An authority should adapt it to its law, sector, risk and procurement method. The important part is that each gate has an owner, evidence and a permitted outcome that includes pause or refusal.

First, write the public purpose. Name the service, the people who perform it, the people who receive it, the decision or action that may change and the reason a system is being considered. State what is outside scope. If the purpose cannot be described without the supplier’s product vocabulary, the authority is still in market discovery. The output of this gate is a problem statement and a decision about whether procurement is the right next step.

Second, write the evidence boundary. For each material claim, state what would show that it is true in the intended task. Name the data conditions, language, accessibility needs, source records, version, baseline and review route that make the test meaningful. Specify what must be inspectable, what can be kept confidential and what must be delivered as a contract record. The output of this gate is a set of requirements that tenderers can understand and an evaluation plan that can change the award.

Third, write the authority boundary. Name the actions the system may suggest, the actions it may take, the actions that need approval and the actions that are prohibited. Name who can correct a source, reject an output, change a rule, pause a service and speak to an affected person. Define what happens when the system is uncertain or the evidence conflicts. The output of this gate is a human route that is more specific than a checkbox.

Fourth, write the change boundary. Identify the changes that require notice, evaluation, approval or a new procurement decision. Include model, data, supplier, subcontractor, infrastructure, processing location, interface, threshold, population, purpose and human route. Decide which evidence stays with the change record and which can be redacted for lawful reasons. The output of this gate is a maintained record rather than a promise that the system will remain static.

Fifth, write the exit boundary. List the records, data, configuration, evidence, permissions, integrations and operational knowledge that must survive. Define formats, timing, support, verification, reduced service, cut-over, access closure and deletion. Rehearse a small export before renewal or a material expansion. The output of this gate is a route that can be tested while the supplier is still a partner, not only after the relationship has become a dispute.

Sixth, write the public record. Decide what can be published about the purpose, system role, evidence, human route, changes, incidents and contact for challenge. Protect confidential and personal information without turning the whole decision into a private conversation. A public record can say what is known, what is not known and when the next review will occur. Its job is not to make the system look perfect. It is to make the authority’s judgement inspectable.

Na kraju, napišite odbijenicu. Odbijenica nije dramatično priopćenje za medije. To je uobičajeni ishod u zapisniku odluke: zahtjev je bio materijalan, dokazi ga nisu zadovoljili, razmotren je pravni lijek i tijelo je odlučilo odbiti, suziti, pauzirati ili potražiti drugačiji put. Nabava koja ne može proizvesti takav zapisnik učinila je kupnju neizbježnom prije nego što je zaslužila taj zaključak.

Te se kapije mogu prikazati u odgovoru na poziv na nadmetanje, početnoj arhitekturi projekta, rasporedu ugovora, sastanku za pregled i planu za incidente. Ne bi smjele postati veći obrazac sam po sebi. Ako kapija ne mijenja ono što tim može odlučiti, vjerojatno je riječ o dokumentacijskom teatru. Ako osobi daje dokaze i ovlasti za djelovanje, dio je usluge.

Pitanja vrijedna uvrštavanja u poziv na nadmetanje

Najbolja pitanja nisu ona koja tjeraju dobavljača da ponavlja svoj marketinški jezik. To su ona koja čine javnu svrhu i granicu dokaza vidljivima. Kupac može prilagoditi sljedeća pitanja sustavu i postupku:

  • Koju točnu javnu zadaću podržava predložena sposobnost i koje su zadaće izvan njezine namjene?
  • Koje su osobe, evidencije i izvori podataka u opsegu i koji moraju biti isključeni?
  • Što sustav proizvodi i koja odluka ili radnja može uslijediti iz toga?
  • Koji se zahtjev može dokazati, koji se može provjeriti i koji će se održavati ugovorno?
  • Kako će tijelo reproducirati rezultat s relevantnom verzijom, izvorima, konfiguracijom i uvjetima zadaće?
  • Što ljudski recenzent može vidjeti, promijeniti, odbiti, proslijediti na višu razinu ili zaustaviti prije nego što se dogodi značajna radnja?
  • Koje promjene modela, podataka, infrastrukture, podizvođača ili politike zahtijevaju obavijest i ponovnu procjenu?
  • Koje evidencije i artefakte tijelo može izvesti, u kojim formatima, s kojim značenjem, pravima i statusom čuvanja?
  • Što se događa kada usluga nije dostupna, dokazi su nepotpuni ili osoba ospori rezultat?
  • Koje obveze podrške, revizije, incidenta, osposobljavanja i izlaska nastavljaju nakon prvog izdanja?

Ta pitanja nisu zamjena za direktivu o nabavi, Akt o umjetnoj inteligenciji, zakon o zaštiti podataka ili sektorska pravila. Ona su poticaji tijelu da svoje obveze učini operativnima. Dobavljač koji na njih može jasno odgovoriti i dalje možda nije pravi dobavljač. Dobavljač koji na njih ne može odgovoriti i dalje može imati korisnu komponentu, ali tijelo ne bi smjelo zamijeniti korisnu komponentu s potpunom javnom sposobnošću.

Naša kratka napomena

U Dweveu, naš AI Compas uključuje dobavljački neutralan put nabave i upravljanja za regulirane europske organizacije. Materijal za RFI i RFP traži od timova da klasificiraju slučaj uporabe, primijene isključujuće kriterije, usporede dobavljače, provedu dokaz koncepta i čuvaju dokaze tijekom praćenja. To je naš kontekst provedbe, a ne neovisni dokaz o javnoj nabavi niti tvrdnja da jedan okvir odgovara svakom tijelu. Spominjemo ga jer je disciplina opisana ovdje također disciplina koju pokušavamo koristiti u vlastitom radu: definirajte granicu, zahtijevajte dokaze, zadržite odluku ljudskom i učinite izlaz vidljivim.

Naš Trust Centre čini istu razliku u drugom registru. Javni zapisnik može opisati što je dokumentirano, što je pripremljeno i što ostaje budući događaj bez pretvaranja izjave o namjeri u dokaz. Tim za nabavu zaslužuje istu iskrenost od svojih dobavljača. Kupac bi trebao moći vidjeti status tvrdnje, dokaze iza nje i put za njezino osporavanje.

Pouka

Javno tijelo ne postaje odgovorno potpisivanjem ugovora za sustav umjetne inteligencije. Ono postaje odgovorno kada nabava može objasniti zašto sustav pripada tom poslu, koji dokazi podupiru taj zaključak, tko može intervenirati, što se događa kada se sustav promijeni i kako se javna funkcija može nastaviti ako dobavljač to ne može osigurati.

Europska pravila o nabavi već pružaju važne navike: kriteriji bi trebali biti povezani s predmetom nabave, informacije bi trebale biti provjerljive, ponderi bi trebali biti navedeni, a uvjeti ugovora jasni. Klauzule Europske komisije o nabavi umjetne inteligencije javnim kupcima daju način da raspravljaju o sustavima visokog i niskog rizika te da raspodijele odgovornosti. Nizozemski Algoritmekader pretvara odgovornu nabavu u praktične mjere o svrsi, podacima, dokazima, reviziji, ljudskoj kontroli, zaustavljanju i izlasku. Izvješće JRC-a smješta nabavu u europski kontekst sposobnosti i suvereniteta. Upozorenje Europskog revizorskog suda o smanjenju tržišnog natjecanja podsjetnik je da se slaba utakmica ne popravlja samouvjerenom dodjelom ugovora.

Teška riječ i dalje je ne. Ne, svrha nije definirana. Ne, dokazi se ne mogu provjeriti. Ne, ljudska kontrola je samo dekorativna. Ne, put promjene je nevidljiv. Ne, javni zapis se ne može održavati. Ne, usluga ne može otići bez gubitka posla koji je trebala zaštititi. Svako ne može biti odbijanje, sužavanje, pauza ili zahtjev za boljim odgovorom. Tijelo bi trebalo odlučiti koje je to značenje, zabilježiti zašto i ostaviti odluku otvorenom za preispitivanje.

Nabava koja može reći ne nije nabava koja se boji tehnologije. To je nabava koja poznaje razliku između sposobnosti i obećanja. Plaća za sustav koji se može testirati, nadzirati, mijenjati i napustiti. Dobavljačima daje pošteniju utakmicu jer je pitanje vidljivo. Javnim službenicima daje put do intervencije prije nego problem postane politika. Ljudima na koje usluga utječe daje nešto korisnije od izjave da je dobavljač odobren.

Javna kupnja trebala bi završiti uslugom kojom tijelo i dalje može upravljati. Ako su dokazi čvrsti, reći da jest smisleno je. Ako su dokazi slabi, reći ne javni je posao. Spis nabave trebao bi moći sadržavati obje rečenice.

Izvori