Sectorul public are nevoie de achiziții care pot spune nu

O autoritate publică nu devine responsabilă atunci când semnează pentru un sistem de AI. Devine responsabilă atunci când cerințele, dovezile, autoritatea...

Sectorul public are nevoie de achiziții care pot spune nu

Documentul care poate opri o achiziție

Un dosar de achiziții publice începe adesea cu o cerere care pare inofensivă: găsiți un sistem care să ajute la o anumită sarcină. Cererea trece printr-o definire a problemei, o consultare a pieței, un set de cerințe, o evaluare, un contract și, dacă procesul este sănătos, o decizie care poate încă opri lucrarea. Această ultimă posibilitate se pierde ușor. Odată ce banii, calendarele și atenția politică s-au adunat în jurul unei achiziții, cuvântul „nu” începe să sune ca un eșec al livrării. În activitatea publică, poate fi cea mai utilă decizie din dosar.

Legislația europeană privind achizițiile tratează deja o ofertă ca fiind mai mult decât o competiție de promisiuni atractive. Directiva 2014/24/UE prevede că criteriile de atribuire trebuie să permită o concurență efectivă și echitabilă și trebuie însoțite de modalități care să permită autorității contractante să verifice informațiile furnizate de ofertanți. Directiva mai prevede că criteriile nu ar trebui să ofere autorității o libertate neîngrădită de alegere. Un cumpărător public trebuie să descrie ce contează, să explice cum va fi evaluat și să verifice dacă oferta îndeplinește efectiv aceste cerințe. Aceasta nu este o notă administrativă. Este forma legală a unei decizii pe care alte persoane trebuie să o poată înțelege și contesta.

Inteligența artificială face disciplina veche mai dificilă, deoarece un furnizor poate oferi un sistem al cărui comportament depinde de date, de actualizări ale modelului, de solicitări, de praguri, de integrări, de oameni și de un serviciu care se poate schimba în timp ce contractul este încă proaspăt. Broșura poate rămâne aceeași, în timp ce lucrul din spatele ei se mișcă. O echipă de achiziții trebuie, prin urmare, să cumpere mai mult decât o interfață. Trebuie să cumpere o capacitate delimitată, dovada că acea capacitate este adecvată, autoritatea de a o supraveghea și o modalitate credibilă de a o opri sau de a o înlocui.

Sectorul public are nevoie de achiziții care pot spune „nu”, deoarece sectorul public nu poate externaliza judecata sa. Un furnizor poate oferi un model, un flux de lucru, un serviciu găzduit sau un set de instrumente. Nu poate oferi legitimitatea deciziei luate cu acestea. Autoritatea trebuie să știe ce problemă rezolvă, ale cui interese pot fi afectate, ce dovezi susțin sistemul, ce persoană poate interveni și cum va continua serviciul dacă furnizorul își schimbă direcția. O semnătură nu este o transferare a responsabilității. Este o dovadă că responsabilitatea a fost organizată.

Acest articol urmărește această organizare de la prima propoziție a unei cerințe până la ultima linie a unui registru de ieșire. Folosește orientări publice europene și materiale de achiziții ca dovezi. Modelele practice sunt recomandări, nu afirmații că fiecare autoritate trebuie să folosească o singură formă. Orice situație inventată este etichetată ca fiind ipotetică. Un birou plauzibil, o ofertă îngrijită și un eșec dramatic nu sunt dovezi doar pentru că se potrivesc unei povești cunoscute.

Un cumpărător public cumpără o promisiune de două ori

Fiecare achiziție publică poartă două promisiuni. Prima este promisiunea furnizorului despre un produs sau un serviciu. A doua este promisiunea autorității către oamenii care depind de lucrare: că banii au fost cheltuiți pentru un scop public definit, că decizia poate fi explicată, că drepturile relevante au fost luate în considerare și că cineva rămâne răspunzător atunci când sistemul greșește. A doua promisiune este cea care supraviețuiește evenimentului de lansare.

Achizițiile de inteligență artificială fac adesea prima promisiune vie și pe a doua vagă. O demonstrație poate arăta un rezumat fluent, o listă ierarhizată sau un răspuns rapid. Rareori arată cine poate respinge rezultatul, ce se întâmplă când o sursă lipsește, cum este aprobată o modificare, dacă înregistrările pot fi exportate sau ce persoană poate întrerupe serviciul fără să își negocieze propria autoritate în mijlocul unui incident. Aceste întrebări sunt mai puțin spectaculoase. Dar ele sunt întrebările care decid dacă un organism public poate rămâne la conducere.

Comunitatea Cumpărătorilor Publici a Comisiei Europene descrie clauzele contractuale model actualizate pentru IA în trei părți: o versiune completă pentru IA cu risc ridicat, aliniată la Regulamentul privind IA, o versiune ușoară care poate fi personalizată pentru IA fără risc ridicat și comentarii despre cum să folosești și să adaptezi clauzele. Distincția contează. O clauză model nu este o ștampilă magică care face o achiziție adecvată. Este un punct de plecare pentru alocarea obligațiilor între o organizație publică și un furnizor, într-un contract al cărui domeniu, scop și probe trebuie încă stabilite de cumpărător.

Un cumpărător ar trebui, așadar, să se întrebe ce promite de fapt publicului înainte de a întreba ce poate demonstra un furnizor. Promite autoritatea o cale mai rapidă prin restanțe, o primă evaluare mai consecventă, o inspecție mai sigură, o utilizare mai bună a expertizei limitate sau pur și simplu un experiment ale cărui limite sunt vizibile? Fiecare scop creează probe diferite și motive diferite de oprire. Un sistem care redactează note interne poate necesita o graniță a autorității diferită de unul care clasifică cererile pentru un serviciu de care oamenii nu se pot sustrage.

Să luăm în considerare o echipă ipotetică de evaluare care analizează un instrument ce rezumă trimiterile furnizorilor. Echipa poate decide că sarcina este potrivită pentru asistență, dar numai dacă rezumatul păstrează excluderile, condițiile și datele și trimite evaluatorii înapoi la pasajele sursă. Dacă furnizorul nu poate arăta cum vor fi testate aceste cerințe, echipa ar trebui să poată refuza instrumentul sau să restrângă contractul. Aceasta nu este o acuzație la adresa furnizorului. Este o concluzie despre probele disponibile pentru scopul definit.

Același raționament se aplică atunci când problema este atractivă, dar prost delimitată. O instituție publică poate dori să prezică cererea, să prioritizeze inspecțiile sau să direcționeze corespondența. Aceste verbe ascund deciziile din spatele lor. Ce înseamnă cerere. Ce schimbă prioritatea. Ce corespondență poate fi direcționată în siguranță fără ca un om să o citească. Primul nu poate fi legat de domeniul problemei, nu de utilizarea software-ului. Refuzarea unei achiziții neclare este adesea modul în care o autoritate protejează partea utilă a activității de o parte netestabilă.

Scrie problema înainte de soluție

Achiziția devine fragilă atunci când o categorie de produs apare înainte ca o problemă publică să fi fost numită. Inteligența artificială este deosebit de bună la crearea acestei ordini, deoarece același model poate fi prezentat ca asistent de scriere, clasificator, strat de căutare sau agent, în funcție de prezentare. Autoritatea trebuie să descrie activitatea în termeni care rămân relevanți atunci când furnizorul, familia de modele și interfața sunt eliminate.

Cadrul olandez Algoritmekader, menținut pentru organizațiile publice, plasează această activitate printre măsurile sale recomandate. Acesta cere organizațiilor să descrie scopul intenționat și datele utilizate, să determine grupul de risc aplicabil, să stabilească impactul dacă algoritmul nu funcționează conform intenției și să decidă dacă o soluție ar trebui dezvoltată sau cumpărată. De asemenea, indică o arhitectură de pornire a proiectului pentru dezvoltarea sau achiziționarea de algoritmi. Acestea nu sunt decorațiuni de achiziție. Sunt modalități de a face problema lizibilă înainte de a fi oferit un răspuns.

O cerință bună începe cu decizia sau serviciul care trebuie îmbunătățit, cu persoanele care îl execută sau îl primesc, cu informațiile pe care sistemul le poate folosi, cu informațiile pe care nu trebuie să le folosească și cu autoritatea umană care rămâne. Aceasta precizează condițiile în care sistemul este util și condițiile în care nu trebuie utilizat. Numește înregistrările care trebuie să existe atunci când rezultatul este acceptat, respins, corectat sau escaladat. Nu trebuie să prezică designul intern al furnizorului. Trebuie să definească capacitatea publică care poate fi inspectată.

Aici contează cerințele funcționale și de performanță. Directiva 2014/24/UE impune ca specificațiile tehnice să fie suficient de precise pentru ca ofertanții să înțeleagă obiectul contractului și pentru ca autoritățile să poată evalua modul în care ofertele îndeplinesc criteriile. O cerință precum asigurați o soluție inteligentă nu este un test util. O cerință precum păstrați pasajele sursă utilizate într-un proiect, afișați data recuperării, permiteți unui evaluator să respingă proiectul și exportați înregistrarea rezultată este mai aproape de o nevoie publică testabilă. Descrie un comportament și o cale de verificare, nu o modă.

Cerințele ar trebui să expună și limitele sarcinii. O autoritate publică poate preciza că un sistem poate sugera o rută, dar nu poate lua decizia finală. Poate stabili că o recomandare nu trebuie utilizată atunci când o sursă specificată lipsește sau este contradictorie. Poate impune o cale umană pentru persoana afectată care dorește să conteste rezultatul. Acestea nu sunt constrângeri ostile. Sunt condițiile în care achiziția rămâne un serviciu public, nu un flux de lucru privat cu sigla guvernului.

O declarație restrânsă a problemei nu înseamnă lipsă de ambiție. Este o modalitate de a face ambiția responsabilă. Dacă autoritatea nu poate explica ce etapă schimbă sistemul, cine beneficiază, ce poate merge prost și ce poate face o persoană în continuare, nu este pregătită să compare furnizorii. Acțiunea corectă poate fi mai multă documentare, o soluție fără AI, un proiect pilot mic și controlat sau nicio achiziție. Dosarul de achiziție ar trebui să aibă loc pentru fiecare dintre aceste răspunsuri.

Transformați cerințele în dovezi

Cuvântul dovezi este folosit cu lejeritate în achizițiile de tehnologie. Prezentarea unui furnizor, un tur al produsului și o declarație că sistemul este demn de încredere pot fi toate intrări utile. Niciuna nu este automat o dovadă că o cerință este îndeplinită. Dovada trebuie conectată la o afirmație, un test, un domeniu de aplicare și o persoană care o poate inspecta. Fără această conexiune, evaluarea devine o competiție în care câștigă cea mai lustruită frază.

Directiva privind achizițiile este clară în privința relației de bază: criteriile de atribuire trebuie însoțite de modalități care să permită verificarea efectivă a informațiilor furnizate de ofertanți. Acest principiu este deosebit de important pentru AI, deoarece un rezultat poate părea convingător, în timp ce condițiile care l-au produs rămân ascunse. Cumpărătorul ar trebui să întrebe ce va fi prezentat, în ce condiții de date și de sarcină, cu ce referință și cum poate un evaluator să reproducă sau să conteste rezultatul.

Cadrul olandez Algoritmekader formulează aceeași cerință într-un limbaj practic. Măsurile sale de achiziții publice includ includerea cerințelor privind algoritmii în documentele de achiziție și în contract, obligarea furnizorilor să prezinte dovezi că cerințele sunt îndeplinite ca parte a evaluării, evaluarea condițiilor de răspundere a furnizorilor, cerința de capacitate de audit în contract, stabilirea a ceea ce se întâmplă cu datele și artefactele și solicitarea unui plan pentru oprirea algoritmului. Lista este un ghid, nu o listă de verificare juridică universală. Valoarea sa constă în faptul că tratează dovada ca pe un obiect al achiziției.

Un cumpărător poate împărți dovezile în trei categorii utile. Dovada demonstrată este ceea ce furnizorul prezintă într-o evaluare controlată: intrarea, ieșirea, gestionarea erorilor, utilizarea surselor și calea umană pot fi observate. Dovada inspectabilă este ceea ce autoritatea poate examina fără a se baza pe o demonstrație: documentație, rezultate ale testelor, jurnale, interfețe, înregistrări ale modificărilor, descrieri ale datelor și capacitatea de a rula o verificare convenită. Dovada contractuală este ceea ce furnizorul trebuie să continue să furnizeze: notificări ale modificărilor substanțiale, informații despre incidente, acces pentru audit, înregistrări ale serviciilor, facilități de export și sprijin pentru o ieșire controlată. Categoriile se suprapun, dar împiedică o singură sesiune impresionantă să susțină întregul contract.

Dovezile au nevoie și ele de un domeniu de aplicare. Un furnizor poate demonstra că un sistem funcționează bine pe un set de exemple. Cumpărătorul trebuie totuși să știe dacă exemplele reprezintă limba vizată, calitatea documentelor, mixul de cazuri, nevoile de accesibilitate și constrângerile operaționale. O afirmație despre un model în laborator nu este automat o afirmație despre un serviciu public. Este o afirmație despre experimentul care a fost efectuat. Echipa de achiziții ar trebui să păstreze sarcina, condițiile datelor, versiunea și rezultatul, astfel încât decizia ulterioară să nu plutească în gol față de test.

Imaginați-vă, ca ipoteză, că un ofertant furnizează un set de exemple de rezumate generate și o declarație generală de acuratețe. Autoritatea poate solicita documentele sursă, regula de selecție, versiunea utilizată, modul de tratare a materialului lipsă, procedura de revizuire și artefactul care va rămâne după acceptare. Dacă răspunsul este că detaliile sunt proprietate intelectuală și nu pot fi inspectate, echipa a aflat ceva important. Nu a aflat că sistemul este prost. A aflat că granița propusă pentru dovezi poate fi prea fragilă pentru scopul public.

Dovezile ar trebui să fie proporționale. Un mic instrument intern de redactare nu necesită același pachet de inspecție ca un sistem care influențează accesul la un serviciu public. Proporționalitatea nu înseamnă acceptarea unui slogan la risc scăzut. Înseamnă potrivirea profunzimii dovezilor cu consecința, reversibilitatea, persoanele afectate și capacitatea de a detecta și repara o eroare. Furnizorul ar trebui să cunoască dovezile necesare înainte de depunerea ofertei. Altfel, autoritatea schimbă concursul după cursă, ceea ce este un mod cunoscut de a produce o surpriză costisitoare.

O cerință ar trebui să ducă la dovezi, iar dovezilor ar trebui să li se permită să schimbe decizia de atribuire.

Cumpărătorul trebuie să poată fi în dezacord

Responsabilitatea publică nu este același lucru cu transparența furnizorului. Un furnizor își poate explica serviciul, dar autoritatea poate să nu aibă o cale prin care un rezident, un angajat, o afacere sau un profesionist să conteste modul în care a fost utilizat serviciul. Dosarul de achiziții ar trebui, prin urmare, să întrebe cum funcționează dezacordul, nu doar cum produce sistemul un răspuns.

Algoritmekader plasează controlul uman, drepturile fundamentale, transparența și căile de plângere printre subiectele sale din sectorul public. Măsurile recomandate includ intervenția umană semnificativă în luarea deciziilor, un proces prin care cetățenii sau alte părți interesate pot depune o plângere, o obiecție sau un apel, o decizie publică privind utilizarea algoritmului și o modalitate de publicare a algoritmilor cu impact în Registrul olandez al algoritmilor. Aceste măsuri nu transformă fiecare algoritm într-un spectacol public. Ele fac responsabilitatea autorității suficient de vizibilă pentru a putea fi chestionată.

O cerință de achiziție privind supravegherea umană ar trebui să numească acțiunea umană. Poate examinatorul să vadă informațiile care au stat la baza recomandării. Poate să corecteze datele. Poate să respingă rezultatul fără să obțină mai întâi permisiunea sistemului. Poate să ceară o rută alternativă atunci când lipsește o sursă. Poate să oprească un lot, să izoleze o versiune sau să escaladeze o problemă către cineva cu autoritate. Dacă răspunsul este doar că o persoană este prezentă undeva în proces, cerința descrie mobilier, nu supraveghere.

Disacordul are nevoie și de timp. Un examinator căruia i se cere să verifice fiecare rezultat în timp ce duce în continuare volumul inițial de muncă poate fi tehnic în circuit și practic în afara lui. Achiziția poate impune instruire, suport, dovezi utilizabile și o ipoteză privind volumul de muncă pentru examinare. Poate defini care cazuri necesită aprobare înainte de acțiune și care acțiuni reversibile, cu consecințe reduse, pot continua cu înregistrare și eșantionare ulterioară. Poate cere furnizorului să susțină ruta, nu să o ascundă în spatele unei interfețe de programare a aplicațiilor.

Autoritatea trebuie să își contrazică și propriul entuziasm. Un proiect pilot de succes poate crea presiune pentru extinderea unui instrument către o populație sau o decizie care nu a făcut niciodată parte din test. Contractul ar trebui să păstreze scopul inițial și să impună o nouă decizie atunci când scopul, datele, persoanele afectate sau consecințele se schimbă. O actualizare nu este automat inofensivă pentru că este livrată ca serviciu. O utilizare nouă nu este automat acoperită pentru că același logo apare în partea de sus a ecranului.

Când un furnizor spune că modelul este doar consultativ, autoritatea ar trebui să se uite la ce face munca în realitate. Dacă personalul este instruit să accepte clasamentul, dacă nu există timp pentru a-l examina sau dacă sistemul controlează ce cazuri ajung la o persoană, sfatul poate deveni în practică o decizie. Echipa de achiziții nu trebuie să dezbată eticheta perfectă. Trebuie să documenteze ruta de la rezultat la consecință și să își păstreze autoritatea de a schimba acea rută.

Limitele furnizorului fac parte din contract

Achiziția de IA este adesea descrisă ca o alegere între a construi și a cumpăra. Alegerea mai dificilă este cum să împarți granița dintre furnizor și organizația publică. Furnizorul poate controla un model, un serviciu, o cale de actualizare, infrastructura, echipa de suport și o parte din procesarea datelor. Autoritatea controlează scopul public, decizia, populația afectată și obligația de a furniza un serviciu legal și utilizabil. Un contract trebuie să conecteze aceste responsabilități, nu să le lase ca două diagrame politicoase.

Clauzele contractuale actualizate ale UE pentru IA sunt utile pentru că recunosc că achizitorii publici au nevoie de abordări distincte pentru IA cu risc ridicat și fără risc ridicat și de îndrumare pentru personalizarea clauzelor în practică. Ele nu înlocuiesc o strategie de achiziție sau o revizuire juridică. Sunt un vocabular comun pentru a face responsabilitățile explicite. Cumpărătorul trebuie totuși să decidă ce dovezi, drepturi asupra datelor, acces la audit, notificare de schimbare, suport, răspundere și condiții de ieșire sunt proporționale cu sistemul achiziționat.

Datele și artefactele merită o atenție deosebită. Un sistem poate atinge documente sursă, etichete, prompturi, înglobări, schițe generate, corecții umane, seturi de evaluare, jurnale și înregistrări finale. Contractul ar trebui să distingă ce furnizează autoritatea, ce creează furnizorul, ce poate folosi fiecare parte, ce trebuie returnat, ce trebuie șters și ce dovadă de ștergere sau păstrare este necesară. A spune că autoritatea deține datele sale nu răspunde unde locuiesc artefactele derivate sau cum poate autoritatea să recupereze înregistrările care explică un rezultat.

Drepturile de audit au nevoie de o formă practică. Cumpărătorul ar trebui să știe ce înregistrări pot fi inspectate, cum se solicită accesul, ce notificare este rezonabilă, ce protecții de confidențialitate se aplică și ce se întâmplă când un audit descoperă o lipsă. O clauză de audit fără o cale utilizabilă este o sentință care așteaptă un litigiu. Același lucru este valabil și pentru o clauză de incident care spune că furnizorul va coopera fără să numească informațiile, termenul și responsabilul necesare pentru cooperare.

Controlul schimbărilor nu ar trebui lăsat pe seama notelor de lansare. Autoritatea poate cere notificarea unei schimbări materiale a modelului, surselor de date, locației de procesare, subcontractorilor, interfețelor, pragurilor, metodei de evaluare sau căii umane. Poate defini ce dovezi sunt necesare înainte ca o versiune schimbată să fie utilizată pentru sarcina publică. Poate cere un drept de pauză, respingere sau revenire acolo unde serviciul schimbat nu mai îndeplinește o cerință materială. Acestea sunt recomandări pentru a face contractul operațional. Nu sunt afirmații că o singură clauză poate rezolva fiecare relație cu un furnizor.

Responsabilitatea include și ceea ce furnizorul nu poate oferi. Un serviciu poate depinde de un model sau o infrastructură terță ale căror schimbări sunt în afara controlului imediat al furnizorului. Cumpărătorul ar trebui să fie informat despre această dependență și ar trebui să știe ce obligații se transmit către el. O organizație publică nu poate evalua un lanț inspectând doar ușa din față. Contractul ar trebui să păstreze o cale către dovezile relevante, sau cumpărătorul ar trebui să recunoască faptul că incertitudinea este un motiv pentru a restrânge sau a refuza achiziția.

Limitele bune protejează și furnizorii. Un cumpărător public care cere fiecare document posibil, fiecare detaliu de cod sursă și suport nelimitat fără un scop definit poate reduce concurența și poate face contractul neatractiv pentru furnizorii europeni mai mici. Proporționalitatea, claritatea și un domeniu credibil de dovezi permit unui furnizor să spună ce poate face și unui cumpărător să spună de ce are nevoie. Achizițiile publice ar trebui să fie exigente fără a fi teatrale. Un zid din cerințe imposibile ține afară sistemele proaste și pe cele bune cu aceeași eficiență.

Schimbarea după atribuire este tot achiziție publică

Atribuirea nu este sfârșitul deciziei. Este punctul în care serviciul intră într-un alt tip de examinare. În timpul funcționării, datele se schimbă, politicile se modifică, interfețele sunt înlocuite, personalul învață scurtături, furnizorii revizuiesc modelele, iar un sistem poate fi utilizat în situații pe care echipa inițială nu le-a imaginat. Autoritatea are nevoie de o modalitate de a observa aceste schimbări înainte ca ele să devină un nou scop public din întâmplare.

Algoritmekader recomandă verificări regulate că un algoritm funcționează conform intenției, monitorizarea schimbărilor în date și evaluarea performanței și a rezultatelor atunci când datele se schimbă, precum și menținerea unui plan pentru monitorizare continuă. Include, de asemenea, o măsură pentru un plan de urgență de oprire a algoritmului. Aceste recomandări pun timpul în interiorul modelului de guvernanță. O achiziție care surprinde doar specificația inițială a cumpărat o fotografie a unui serviciu în mișcare.

Nu fiecare actualizare ar trebui să declanșeze aceeași ceremonie. Un patch de securitate care lasă modelul, granița datelor și rolul decizional neschimbate poate urma o cale diferită față de o nouă familie de modele, o sursă de regăsire schimbată sau un nou prag. Contractul poate defini materialitatea în termeni operaționali: o schimbare este materială atunci când modifică sarcina, persoanele afectate, calea dovezilor, consecința decizională, jurisdicția de implementare, subcontractorul, utilizarea datelor sau capacitatea de intervenție. Definiția exactă necesită judecată juridică și tehnică. Principiul este simplu: schimbarea face parte din capacitatea achiziționată.

Monitorizarea ar trebui să păstreze informațiile necesare pentru a lua o decizie. Un tablou de bord poate arăta că un serviciu este ocupat; este posibil să nu arate că o sursă a devenit învechită sau că evaluatorii suprascriu aceeași recomandare. Autoritatea ar trebui să rețină versiunea relevantă, domeniul de aplicare al sarcinii, condițiile privind dovezile, acțiunea umană și motivul unei modificări. Ar trebui să știe care modificări au fost acceptate, care au fost retrase, care au fost restricționate și care au creat o nouă întrebare de achiziție.

Un furnizor poate să nu poată anunța din timp fiecare modificare internă. Contractul poate impune totuși o notificare utilizabilă și un pachet de dovezi înainte ca comportamentul modificat să fie utilizat ca bază. Autoritatea poate alege o implementare etapizată, o evaluare controlată sau o suspendare temporară. Capacitatea de a suspenda nu este o pedeapsă. Este ceea ce permite unui serviciu public să rămână responsabil în timp ce faptele sunt stabilite.

Un registru al modificărilor protejează și împotriva certitudinii false. Dacă autoritatea nu poate stabili dacă o diferență provine dintr-un model nou, dintr-o modificare a datelor, dintr-o solicitare, dintr-o soluție umană de lucru sau dintr-o dependență externă, nu ar trebui să pretindă că sistemul s-a comportat consecvent. Răspunsul corect poate fi restrângerea utilizării, colectarea de dovezi mai bune sau oprirea traseului afectat. Banii publici nu devin mai siguri pentru că explicația este ordonată.

Interoperabilitatea este cuvântul politicos pentru plecare

Oamenii discută adesea despre interoperabilitate ca și cum ar fi o curtoazie tehnică între sisteme. În achizițiile publice, aceasta este și un control al continuității. Dacă un serviciu public nu își poate muta înregistrările, configurațiile, dovezile, interfețele și cunoștințele operaționale către un alt traseu, autoritatea poate fi liberă din punct de vedere juridic să plece, dar practic incapabilă să o facă. Contractul a creat o dependență pe care dosarul de achiziție nu a numit-o.

Raportul JRC al Comisiei privind promovarea adoptării IA în administrațiile publice din UE numește achizițiile un rol esențial de sprijin și afirmă că interoperabilitatea ar trebui integrată de la început. Acesta prezintă, de asemenea, achizițiile strategice ca o modalitate de a reduce dependența de furnizorii din afara UE și de a sprijini startup-urile europene de IA, soluțiile open-source și GovTech. Acesta nu este un argument pentru a cumpăra european prin slogan sau pentru a trata open-source ca pe o garanție automată. Este un argument pentru a face capacitatea tehnică și instituțională de a schimba direcția parte din valoarea achiziționată.

Ieșirea începe cu o listă a ceea ce trebuie să supraviețuiască. Aceasta poate include înregistrări sursă, identificatori, etichete, solicitări, versiuni de model și configurație, seturi de evaluare, înregistrări de audit, mapări de utilizatori și roluri, contracte de integrare, statutul de păstrare, materialul de securitate și semnificația câmpurilor. Lista depinde de serviciu. Un fișier portabil fără context poate fi mai puțin util decât o înregistrare mai mică, cu semantica și permisiunile intacte. Exportul este o capacitate de testat, nu o căsuță de bifat.

Interoperabilitatea înseamnă, de asemenea, că autoritatea poate efectua o comparație semnificativă. Poate o destinație să proceseze înregistrările fără a le schimba în mod silențios sensul. Pot evaluatorii să compare o ieșire veche și una nouă în aceleași condiții de sarcină. Poate serviciul public să continue într-un mod redus dacă o dependență nu este disponibilă. Pot dovezile să rămână lizibile după ce interfața a dispărut. Aceste întrebări aparțin cerințelor, evaluării și contractului, deoarece o ieșire descoperită în timpul unei urgențe este de obicei o săpătură arheologică.

Portabilitatea nu înseamnă neapărat că un furnizor trebuie să predea fiecare detaliu intern de implementare. Înseamnă că autoritatea poate păstra funcția publică și evidențele de care este responsabilă, sub rezerva drepturilor legale și a constrângerilor de securitate. Limita ar trebui stabilită înainte de semnare. Dacă modelul furnizorului este inaccesibil, autoritatea poate solicita oricum date de intrare și ieșire portabile, evidențe ale deciziilor, evaluări, configurare și o cale de reconstituire a obligațiilor publice ale serviciului. Dacă nu poate obține acea cale, ar trebui să prețuiască dependența în mod onest sau să o refuze.

O repetiție de ieșire este valoroasă pentru că transformă o promisiune contractuală într-o capacitate observată. Un cumpărător public poate testa o exportare, poate inspecta câmpurile, poate rula o sarcină de lucru reprezentativă într-o destinație controlată și poate compara evidențele rezultate. Poate consemna ce nu s-a mutat și poate decide dacă decalajul este acceptabil. Exercițiul nu trebuie să fie dramatic. O repetiție mică făcută înainte de reînnoire este mai bună decât o migrare eroică efectuată după ce furnizorul a devenit singura persoană care își amintește sistemul.

Ieșirea este o succesiune de autoritate, exportare, semnificație, verificare, continuitate și închidere. Un buton etichetat exportare nu este succesiunea.

Costul este mai mult decât linia din caietul de sarcini

Prețul este ușor de comparat atunci când ceea ce se cumpără este stabil. Achiziția de IA are un orizont de cost mai lung. Pot exista lucrări de integrare, pregătirea surselor, timp de revizuire, controale de securitate, stocare, evaluare, actualizări de model, lucrări de accesibilitate, răspuns la incidente, suport, exportare și înlocuire. Unele costuri sunt suportate de autoritate. Altele sunt transferate lucrătorilor sau publicului atunci când un serviciu devine mai greu de contestat. O achiziție care compară doar taxa inițială nu este neapărat economică. Pur și simplu numără o singură parte vizibilă.

Directiva 2014/24/UE prevede calcularea costului pe ciclul de viață acolo unde autoritatea alege această abordare. Directiva descrie costuri precum achiziția, utilizarea, întreținerea, sfârșitul vieții și, acolo unde este relevant și verificabil, externalitățile de mediu. De asemenea, impune ca documentele de achiziție să precizeze datele pe care ofertanții trebuie să le furnizeze și metoda folosită pentru evaluarea costului pe ciclul de viață. Aceasta este o disciplină utilă pentru IA, deoarece cere cumpărătorului să spună ce va fi numărat, în loc să invite fiecare furnizor să aducă o definiție diferită a ieftinului.

Același principiu se aplică și atenției umane. Dacă un sistem produce recomandări care trebuie verificate, munca de verificare face parte din modelul operațional. Dacă un serviciu public are nevoie de o cale de corecție, acea cale are nevoie de un responsabil și de timp. Dacă o actualizare a unui furnizor necesită o nouă evaluare, autoritatea are nevoie de capacitatea de a o efectua. Acestea nu sunt argumente împotriva automatizării. Sunt reamintiri că automatizarea schimbă locul în care se desfășoară munca. O economie pe factură poate deveni o cheltuială în coada de așteptare dacă achiziția nu numește noua muncă.

Costul ar trebui să includă și costul imposibilității de a pleca. O dependență poate părea ieftină cât timp este nouă și poate deveni costisitoare după ce în jurul ei s-au acumulat înregistrări, expertiză, integrări și așteptări publice. Cumpărătorul poate cere o estimare a migrării, un inventar al datelor și artefactelor, o obligație de suport și un program de repetiții. Poate compara aceste condiții ca parte a valorii ofertei. Alegerea nu este între optimism și pesimism. Este între o dependență vizibilă și una ascunsă în timpul viitor.

Gândirea pe ciclul de viață ajută o echipă de achiziții să spună nu fără să pretindă că cea mai ieftină ofertă vizibilă este opțiunea neutră. Echipa poate respinge o propunere pentru că dovezile, volumul de verificare, calea de schimbare sau costul de ieșire nu sunt compatibile cu scopul public. Poate explica decizia pe baza criteriilor publicate. Acesta nu este un gest anti-piață. Este ceea ce o piață cu cerințe verificabile ar trebui să permită.

Cumpărătorii publici au nevoie de autoritate pentru a spune nu

O echipă de achiziții nu poate exercita o putere pe care organizația nu i-a acordat-o. Multe autorități au oameni care pot evalua aspecte legale, tehnice, financiare și de servicii, dar autoritatea de a combina aceste evaluări într-o pauză sau o refuzare este neclară. Rezultatul este cunoscut: preocupările sunt consemnate într-un document, entuziasmul în altul, iar atribuirea continuă pentru că nimeni nu știe ce rol poate închide poarta.

Autoritatea ar trebui să numească rolurile care pot accepta, respinge, restrânge sau pune în pauză o achiziție în fiecare etapă. Rolurile au nevoie de acces la dovezile relevante și de o cale de a consemna motivul. Un ofițer de achiziții poate deține procesul, un responsabil de serviciu scopul public, un ofițer de protecție a datelor o condiție de confidențialitate, un responsabil de securitate un control, un revizor tehnic un test, iar un rol superior cu responsabilitate decizia finală. Aranjamentul exact variază. Absența unui aranjament este partea periculoasă.

O condiție de oprire utilă nu este o insignă roșie care spune risc ridicat. Este un fapt care blochează următoarea decizie. Scopul intenționat nu este suficient de definit. Furnizorul nu poate oferi dovezi pentru o cerință materială. Persoana afectată nu are o cale de revizuire utilizabilă. Autoritatea nu poate inspecta schimbarea relevantă. Drepturile asupra datelor sau artefactelor sunt neclare. Sistemul nu poate fi exportat sau înlocuit în cadrul planului de continuitate. Revizorul uman are responsabilitate, dar nu are autoritate. Fiecare condiție poate avea un remediu diferit. Unele necesită clarificări, unele o modificare a contractului, unele un domeniu mai restrâns, iar unele un nu.

Condițiile de oprire ar trebui cunoscute înainte de evaluarea ofertei. Ar trebui conectate la criteriile de atribuire și la contract, astfel încât un cumpărător să nu inventeze un nou standard după ce a văzut răspunsul furnizorului. Ar trebui, de asemenea, revizuite după atribuire. O cerință îndeplinită la lansare poate deveni neîndeplinită după o schimbare materială sau o utilizare nouă. Capacitatea de a spune nu nu este o singură poartă la final. Este o autoritate menținută pe tot parcursul vieții serviciului.

Considerăm o echipă publică ipotetică care achiziționează un serviciu de rutare a documentelor. Cerințele publicate includ trasabilitatea sursei, o cale de revizuire umană, o notificare pentru modificările materiale ale modelului, o exportare a înregistrărilor și o procedură definită de oprire. Un ofertant oferă o demonstrație solidă, dar nu poate permite autorității să inspecteze selecția sursei sau să păstreze dovezile versionate de rutare. Un alt ofertant oferă mai puține funcționalități, dar îndeplinește cerințele privind dovezile și ieșirea. Echipa nu este obligată să prefere demonstrația mai zgomotoasă. Poate aplica criteriile declarate, poate pune întrebări proporționale și poate refuza prima ofertă dacă o cerință materială rămâne nedovedită.

Această decizie nu ar trebui formulată ca o judecată morală despre furnizor sau tehnologie. Ar trebui să precizeze scopul public, cerința, dovezile primite, condiția nerezolvată și decizia permisă de documentele de achiziție. Un nu clar este mai respectuos decât un poate vag care ulterior devine o reînnoire obligatorie. Oferă, de asemenea, un semnal util pieței: cumpărătorii publici vor plăti pentru dovezi și control, nu doar pentru teatru de capacități.

Autoritatea umană de a opri trebuie să fie utilizabilă într-un incident. Operatorul ar trebui să știe pe cine să sune, ce stare a sistemului să păstreze, ce rută de serviciu poate continua și ce comunicare este necesară. Înregistrarea deciziei ar trebui să distingă între izolarea imediată și o decizie de achiziție pe termen lung. O entitate publică nu trebuie să aștepte o investigație perfectă înainte de a preveni daune suplimentare, dar ar trebui să evite să pretindă mai multă certitudine decât are. Oprirea este un control. Explicația se poate dezvolta.

Achizițiile publice modelează piața

Achizițiile publice sunt una dintre modalitățile prin care Europa decide ce capacități merită construite. Raportul JRC privind avansarea adoptării AI în administrațiile publice din UE descrie sectorul public ca o forță majoră de modelare a pieței. Acesta leagă adoptarea cu succes de guvernanță, pregătirea forței de muncă, achiziții responsabile, interoperabilitate și încrederea publică. De asemenea, menționează că achizițiile strategice pot reduce dependența de furnizorii din afara UE și pot sprijini startup-urile europene, soluțiile open-source și GovTech. Ideea nu este că o autoritate publică ar trebui să devină un fond de investiții. Ideea este că cerințele sale pot fie să recompenseze capacități responsabile, fie să recompenseze o prezentare convingătoare care ascunde dependența.

Raportul special nr. 28/2023 al Curții de Conturi Europene este intitulat Public procurement in the EU: less competition for contracts awarded for works, goods and services in the ten years up to 2021. Rezumatul public descrie competiția pentru licitațiile publice din Europa ca fiind în scădere. O piață cu mai puțini concurenți efectivi este un loc prost pentru a ascunde cerințe vagi. Dacă autoritatea nu poate compara dovezile, poate alege între stiluri de marketing, nu între servicii. A spune nu unei oferte netestabile poate păstra condițiile pentru o competiție mai bună ulterior.

În același timp, un cumpărător poate exclude accidental furnizori utili cerând dovezi într-o formă pe care doar cel mai mare furnizor o poate produce. Cerințe proporționale, interfețe clare, formate deschise și evaluări în etape pot permite organizațiilor mai mici să demonstreze o capacitate limitată fără să pretindă că au resursele unei multinaționale. Cumpărătorul ar trebui să fie strict în privința scopului public și flexibil în privința implementării acolo unde implementarea nu afectează acest scop. Astfel, un nu devine o întrebare mai bună, nu o ușă închisă.

Modelarea pieței înseamnă, de asemenea, refuzul de a transforma arhitectura privată a unui singur furnizor în definiția nevoii publice. Dacă o cerință numește un anumit model, cloud sau flux de lucru proprietar fără o legătură justificată cu sarcina, competiția poate fi restrânsă înainte de a fi văzute dovezile. Cerințele funcționale și rezultatele verificabile oferă cumpărătorilor publici mai mult spațiu pentru a compara abordările. Ele fac, de asemenea, contractul mai puțin fragil atunci când componenta aleasă se schimbă.

O autoritate publică poate fi un client exigent fără să devină un client dificil. Poate publica dovezile pe care le așteaptă, poate explica motivul unei condiții de oprire, poate oferi o cale de clarificare și poate plăti pentru munca ce creează capacitate publică durabilă. Piața are astfel ceva util la care să răspundă. Nu trebuie să ghicească dacă factorul câștigător a fost o preferință ascunsă, o demonstrație frumoasă sau prețul unei probleme viitoare.

Un model de lucru pentru o achiziție care poate refuza

Modelul următor este o recomandare practică, nu o nouă procedură legală. Este o modalitate de a menține decizia publică vizibilă în timp ce un sistem trece de la idee la funcționare. O autoritate ar trebui să îl adapteze la legislația, sectorul, riscul și metoda de achiziție proprii. Partea importantă este ca fiecare etapă să aibă un responsabil, dovezi și un rezultat permis care include pauza sau refuzul.

În primul rând, scrieți scopul public. Numiți serviciul, persoanele care îl prestează, persoanele care îl primesc, decizia sau acțiunea care se poate schimba și motivul pentru care este luat în considerare un sistem. Precizați ce este în afara domeniului de aplicare. Dacă scopul nu poate fi descris fără vocabularul de produs al furnizorului, autoritatea este încă în faza de explorare a pieței. Rezultatul acestei etape este o declarație a problemei și o decizie privind dacă achiziția este următorul pas potrivit.

În al doilea rând, scrieți limita dovezilor. Pentru fiecare afirmație materială, precizați ce ar demonstra că este adevărată în sarcina vizată. Numiți condițiile privind datele, limba, nevoile de accesibilitate, înregistrările sursă, versiunea, valoarea de referință și calea de revizuire care fac testul relevant. Precizați ce trebuie să poată fi inspectat, ce poate rămâne confidențial și ce trebuie livrat ca înregistrare contractuală. Rezultatul acestei etape este un set de cerințe pe care ofertanții le pot înțelege și un plan de evaluare care poate schimba atribuirea.

În al treilea rând, scrieți limita autorității. Numiți acțiunile pe care sistemul le poate sugera, acțiunile pe care le poate întreprinde, acțiunile care necesită aprobare și acțiunile interzise. Numiți cine poate corecta o sursă, respinge un rezultat, schimba o regulă, întrerupe un serviciu și vorbi cu o persoană afectată. Definiți ce se întâmplă atunci când sistemul este nesigur sau dovezile sunt contradictorii. Rezultatul acestei etape este o cale umană mai specifică decât o bifă într-o casetă.

În al patrulea rând, scrieți limita schimbărilor. Identificați schimbările care necesită notificare, evaluare, aprobare sau o nouă decizie de achiziție. Includeți modelul, datele, furnizorul, subcontractantul, infrastructura, locația de procesare, interfața, pragul, populația, scopul și calea umană. Decideți ce dovezi rămân în înregistrarea schimbării și ce poate fi redactat din motive legale. Rezultatul acestei etape este o înregistrare menținută, nu o promisiune că sistemul va rămâne static.

În al cincilea rând, scrieți limita de ieșire. Enumerați înregistrările, datele, configurația, dovezile, permisiunile, integrările și cunoștințele operaționale care trebuie să supraviețuiască. Definiți formatele, calendarul, suportul, verificarea, serviciul redus, transferul, închiderea accesului și ștergerea. Repetați o exportare mică înainte de reînnoire sau de o extindere semnificativă. Rezultatul acestei etape este o cale care poate fi testată cât timp furnizorul este încă partener, nu doar după ce relația a devenit un conflict.

În al șaselea rând, scrieți registrul public. Decideți ce poate fi publicat despre scop, rolul sistemului, dovezi, calea umană, schimbări, incidente și contactul pentru contestații. Protejați informațiile confidențiale și personale fără a transforma întreaga decizie într-o conversație privată. Un registru public poate spune ce se știe, ce nu se știe și când va avea loc următoarea revizuire. Rolul său nu este de a face sistemul să pară perfect. Este de a face judecata autorității inspectabilă.

În final, redactați refuzul. Refuzul nu este un comunicat de presă dramatic. Este un rezultat normal în registrul decizional: cerința a fost materială, dovezile nu au îndeplinit-o, remediul a fost luat în considerare, iar autoritatea a ales să decline, să restrângă, să suspende sau să caute o altă cale. O achiziție care nu poate produce acest registru a făcut ca achiziția să pară inevitabilă înainte de a fi meritat această concluzie.

Aceste porți pot fi reprezentate într-un răspuns la cererea de ofertă, într-o arhitectură de pornire a proiectului, într-un calendar contractual, într-o ședință de evaluare și într-un playbook pentru incidente. Ele nu ar trebui să devină un formular mai amplu de dragul formei. Dacă o poartă nu schimbă ceea ce poate decide echipa, este probabil teatru documentar. Dacă oferă unei persoane dovezi și autoritate de a acționa, face parte din serviciu.

Întrebări care merită incluse într-o cerere de ofertă

Cele mai bune întrebări nu sunt cele care determină un furnizor să repete limbajul său de marketing. Ele sunt cele care fac vizibile scopul public și limita dovezilor. Un cumpărător poate adapta următoarele întrebări la sistem și la procedură:

  • Ce sarcină publică precisă sprijină capacitatea propusă și care sarcini sunt în afara utilizării sale preconizate?
  • Ce persoane, registre și surse de date sunt în domeniul de aplicare și care trebuie excluse?
  • Ce rezultat produce sistemul și ce decizie sau acțiune poate urma din acesta?
  • Ce cerință poate fi demonstrată, care poate fi inspectată și care va fi menținută contractual?
  • Cum va reproduce autoritatea un rezultat cu versiunea, sursele, configurația și condițiile de sarcină relevante?
  • Ce poate vedea, modifica, respinge, escalada sau opri un evaluator uman înainte ca o acțiune cu consecințe să aibă loc?
  • Ce modificări ale modelului, datelor, infrastructurii, subcontractorului sau politicilor necesită notificare și reevaluare?
  • Ce registre și artefacte poate exporta autoritatea, în ce formate, cu ce semnificație, drepturi și statut de păstrare?
  • Ce se întâmplă când serviciul este indisponibil, dovezile sunt incomplete sau o persoană contestă rezultatul?
  • Ce obligații de suport, audit, incident, formare și ieșire continuă după prima lansare?

Aceste întrebări nu înlocuiesc directiva privind achizițiile, AI Act, legislația privind protecția datelor sau normele sectoriale. Ele sunt îndemnuri pentru ca autoritatea să își transforme propriile obligații în operațiuni concrete. Un furnizor care poate răspunde clar la ele poate să nu fie totuși furnizorul potrivit. Un furnizor care nu poate răspunde la ele poate avea totuși o componentă utilă, dar autoritatea nu ar trebui să confunde o componentă utilă cu o capacitate publică completă.

Nota noastră scurtă

La Dweve, AI Compas-ul nostru include o rută de achiziție și guvernanță neutră față de furnizori pentru organizațiile europene reglementate. Materialul RFI și RFP solicită echipelor să clasifice cazul de utilizare, să aplice criterii de eliminare, să compare furnizorii, să ruleze un proof-of-concept și să păstreze dovezile prin monitorizare. Acesta este contextul nostru de implementare, nu o dovadă independentă despre achizițiile publice și nu o afirmație că un singur cadru se potrivește fiecărei autorități. Îl menționăm pentru că disciplina descrisă aici este și disciplina pe care încercăm să o folosim în propria noastră activitate: definiți limita, cereți dovezi, păstrați decizia umană și faceți ieșirea vizibilă.

Trust Centre-ul nostru face aceeași distincție într-un registru diferit. Un registru public poate descrie ce este documentat, ce este pregătit și ce rămâne un eveniment viitor, fără a transforma o declarație de intenție într-o dovadă. O echipă de achiziții merită aceeași onestitate din partea furnizorilor săi. Cumpărătorul ar trebui să poată vedea statutul unei afirmații, dovezile din spatele ei și calea pentru a o contesta.

Lecția

O autoritate publică nu devine responsabilă atunci când semnează pentru un sistem de IA. Devine responsabilă atunci când achiziția poate explica de ce sistemul își are locul în activitatea respectivă, ce dovezi susțin această concluzie, cine poate interveni, ce se întâmplă când sistemul se schimbă și cum poate continua funcția publică dacă furnizorul nu poate.

Normele europene privind achizițiile oferă deja obiceiuri importante: criteriile ar trebui să fie legate de obiectul contractului, informațiile ar trebui să fie verificabile, ponderile ar trebui să fie precizate, iar condițiile contractuale ar trebui să fie clare. Clauzele de achiziție pentru IA ale Comisiei Europene oferă cumpărătorilor publici o modalitate de a discuta despre sistemele cu risc ridicat și cele fără risc ridicat și de a aloca responsabilități. Algoritmekader-ul olandez transformă achiziția responsabilă în măsuri practice privind scopul, datele, dovezile, auditul, controlul uman, oprirea și ieșirea. Raportul JRC plasează achiziția în discuția europeană despre capacități și suveranitate. Avertismentul ECA privind diminuarea concurenței este o reamintire că o competiție slabă nu este reparată de o atribuire încrezătoare.

Cuvântul dificil rămâne nu. Nu, scopul nu este definit. Nu, dovezile nu pot fi inspectate. Nu, calea umană este decorativă. Nu, calea de schimbare este invizibilă. Nu, registrul public nu poate fi menținut. Nu, serviciul nu poate pleca fără să piardă munca pe care trebuia să o protejeze. Fiecare nu poate fi o refuzare, o restrângere, o pauză sau o cerere pentru un răspuns mai bun. Autoritatea ar trebui să decidă care dintre acestea este, să consemneze de ce și să mențină decizia deschisă contestării.

Achiziția care poate spune nu nu este o achiziție care se teme de tehnologie. Este o achiziție care cunoaște diferența dintre o capacitate și o promisiune. Plătește pentru un sistem care poate fi testat, supravegheat, schimbat și părăsit. Oferă furnizorilor o competiție mai echitabilă, pentru că întrebarea este vizibilă. Oferă funcționarilor publici o cale de a interveni înainte ca o problemă să devină o politică. Oferă persoanelor afectate de serviciu ceva mai util decât o declarație că un furnizor a fost aprobat.

O achiziție publică ar trebui să se încheie cu un serviciu pe care autoritatea îl poate încă guverna. Dacă dovezile sunt solide, a spune da are sens. Dacă dovezile sunt slabe, a spune nu este munca publică. Dosarul de achiziție ar trebui să poată cuprinde ambele fraze.

Surse