Valsts sektoram vajag iepirkumus, kas spēj pateikt nē.

Publiska iestāde nekļūst atbildīga, parakstoties par mākslīgā intelekta sistēmu. Tā kļūst atbildīga tad, kad tās prasības, pierādījumi, cilvēka autoritāte,...

Valsts sektoram vajag iepirkumus, kas spēj pateikt nē.

The document that can end a purchase

A public procurement file often begins with a request that sounds harmless: find a system that can help with a task. The request moves through a problem statement, a market consultation, a set of requirements, an evaluation, a contract and, if the process is healthy, a decision that can still stop the work. That last possibility is easy to lose. Once money, calendars and political attention have gathered around a purchase, the word no starts to sound like a failure of delivery. In public work, it can be the most useful decision in the file.

European procurement law already treats a tender as more than a contest of attractive promises. Directive 2014/24/EU says that award criteria must allow effective and fair competition and must be accompanied by arrangements that let the contracting authority verify the information supplied by tenderers. The directive also says that criteria should not give the authority unrestricted freedom of choice. A public buyer has to describe what matters, explain how it will be weighed and check whether the offer actually meets it. This is not an administrative footnote. It is the legal shape of a decision that other people must be able to understand and challenge.

AI makes the old discipline harder because a supplier can offer a system whose behaviour depends on data, model updates, prompts, thresholds, integrations, people and a service that may change while the contract is still warm. The brochure can remain the same while the thing behind it moves. A procurement team therefore has to buy more than an interface. It has to buy a bounded capability, the evidence that the capability is suitable, the authority to supervise it and a credible way to stop or replace it.

The public sector needs procurement that can say no because the public sector cannot outsource its judgement. A supplier may provide a model, a workflow, a hosted service or a set of tools. It cannot provide the legitimacy of the decision made with them. The authority still has to know what problem it is solving, whose interests may be affected, what evidence supports the system, which person can intervene and how the service will continue if the supplier changes course. A signature is not a transfer of responsibility. It is a record that responsibility has been arranged.

This article follows that arrangement from the first sentence of a requirement to the last line of an exit record. It uses European public guidance and procurement material as evidence. The practical patterns are recommendations, not claims that every authority must use one form. Any invented situation is labelled as hypothetical. A plausible office, a neat tender and a dramatic failure are not evidence merely because they fit a familiar story.

A public buyer buys a promise twice

Every public purchase carries two promises. The first is the supplier’s promise about a product or service. The second is the authority’s promise to the people who depend on the work: that the money was spent for a defined public purpose, that the decision can be explained, that relevant rights were considered and that someone remains answerable when the system is wrong. The second promise is the one that survives the launch event.

AI procurement often makes the first promise vivid and the second one vague. A demonstration can show a fluent summary, a ranked list or a fast answer. It rarely shows who may reject the output, what happens when a source is missing, how a change is approved, whether the records can be exported, or which person can pause the service without negotiating their own authority in the middle of an incident. Those questions are less cinematic. They are also the questions that decide whether a public body can remain in charge.

Eiropas Komisijas Publisko pircēju kopiena savus atjauninātos ES parauglīguma noteikumus par mākslīgo intelektu apraksta trīs daļās: pilnajā versijā augsta riska mākslīgajam intelektam atbilstoši MI aktam, vieglajā versijā, ko var pielāgot ne augsta riska mākslīgajam intelektam, un komentāros par to, kā noteikumus lietot un pielāgot. Šī nošķīruma nozīme ir būtiska. Parauglīguma noteikumi nav burvju zīmogs, kas iepirkumu padara atbilstošu. Tie ir sākumpunkts pienākumu sadalei starp publisku organizāciju un piegādātāju līgumā, kura darbības joma, mērķis un pierādījumi pircējam vēl jānosaka pašam.

Tāpēc pircējam vispirms būtu jājautā, ko tā patiesībā sola sabiedrībai, pirms tā jautā, ko piegādātājs var pierādīt. Vai iestāde sola ātrāku ceļu cauri uzkrātajam darbu apjomam, konsekventāku pirmo pārskatīšanu, drošāku pārbaudi, labāku trūcīgo speciālistu zināšanu izmantošanu vai vienkārši eksperimentu, kura robežas ir redzamas? Katrs mērķis rada citus pierādījumus un citus iemeslus pārtraukt. Sistēmai, kas sagatavo iekšējās piezīmes, var būt vajadzīga cita pilnvaru robeža nekā sistēmai, kas sarindo pieteikumus pakalpojumam, no kura cilvēki nevar izvairīties.

Aplūkosim hipotētisku vērtēšanas komandu, kas izskata rīku, kurš apkopo piegādātāju iesniegumus. Komanda var nolemt, ka uzdevums ir piemērots asistencei, bet tikai tad, ja kopsavilkumā tiek saglabāti izņēmumi, nosacījumi un datumi un vērtētāji tiek novirzīti atpakaļ uz attiecīgajām avota vietām. Ja piegādātājs nevar parādīt, kā šīs prasības tiks pārbaudītas, komandai būtu jāvar atteikties no rīka vai sašaurināt līgumu. Tas nav apsūdzējums piegādātājam. Tas ir secinājums par pieejamajiem pierādījumiem noteiktajam mērķim.

Tāda pati loģika attiecas arī tad, ja problēma ir pievilcīga, bet vāji norobežota. Publiska iestāde var vēlēties prognozēt pieprasījumu, noteikt prioritātes pārbaudēm vai novirzīt korespondenci. Šie darbības vārdi slēpj lēmumus, kas ir to pamatā. Kas tiek uzskatīts par pieprasījumu. Ko prioritāte maina. Kuru korespondenci var droši novirzīt bez cilvēka izlasīšanas. Pirmais nē var attiekties uz problēmas darbības jomu, nevis uz programmatūras izmantošanu. Atteikšanās no neskaidra pirkuma bieži ir veids, kā iestāde aizsargā lietderīgo darba daļu no nepārbaudāmās daļas.

Aprakstiet problēmu pirms risinājuma

Iepirkums kļūst trausls, ja produkta kategorija parādās pirms publiskās problēmas nosaukšanas. Mākslīgais intelekts ir īpaši labs šādas kārtības radīšanā, jo vienu un to pašu modeli var pasniegt kā rakstīšanas asistentu, klasifikatoru, meklēšanas slāni vai aģentu atkarībā no prezentācijas. Iestādei darbs jāapraksta tā, lai apraksts saglabātu nozīmi arī tad, ja piegādātājs, modeļu saime un saskarne tiek noņemti.

Nīderlandes Algoritmekader, ko uztur publiskām organizācijām, šo darbu iekļauj savu ieteikto pasākumu vidū. Tajā organizācijām tiek lūgts aprakstīt paredzēto mērķi un izmantotos datus, noteikt piemērojamo riska grupu, noteikt ietekmi, ja algoritms nedarbojas, kā paredzēts, un izlemt, vai risinājums būtu jāizstrādā vai jāiegādājas. Tas arī norāda uz projekta sākuma arhitektūru algoritmu izstrādei vai iegādei. Tie nav iepirkuma rotājumi. Tie ir veidi, kā padarīt problēmu salasāmu, pirms tiek piedāvāta atbilde.

Laba prasība sākas ar lēmumu vai pakalpojumu, kas jāuzlabo, cilvēkiem, kuri to veic vai saņem, informāciju, ko sistēma drīkst izmantot, informāciju, ko tā nedrīkst izmantot, un cilvēka pilnvarām, kas paliek. Tajā ir noteikti nosacījumi, kādos sistēma ir lietderīga, un nosacījumi, kādos to nedrīkst izmantot. Tajā ir nosaukti ieraksti, kuriem jāpastāv, kad izvade tiek pieņemta, noraidīta, labota vai nodota augstāk. Tai nav jāparedz piegādātāja iekšējais dizains. Tai ir jādefinē publiskā spēja, ko var pārbaudīt.

Šeit ir svarīgas funkcionālās un darbības prasības. Direktīva 2014/24/ES nosaka, ka tehniskajām specifikācijām jābūt pietiekami precīzām, lai pretendenti saprastu iepirkuma priekšmetu un lai iestādes varētu novērtēt, kā piedāvājumi atbilst kritērijiem. Prasība, piemēram, nodrošināt inteliģentu risinājumu, nav noderīgs pārbaudes kritērijs. Prasība, piemēram, saglabāt melnrakstā izmantotos avota fragmentus, uzrādīt izguves datumu, ļaut recenzentam noraidīt melnrakstu un eksportēt iegūto ierakstu, ir tuvāk pārbaudāmai sabiedrības vajadzībai. Tā apraksta uzvedību un pierādījumu ceļu, nevis modes tendenci.

Prasībām būtu arī jāatklāj uzdevuma robežas. Publiska iestāde var noteikt, ka sistēma drīkst ieteikt maršrutu, bet nedrīkst pieņemt galīgo lēmumu. Tā var noteikt, ka ieteikumu nedrīkst izmantot, ja konkrēts avots nav pieejams vai ir pretrunīgs. Tā var pieprasīt cilvēka iesaisti personai, kuru lēmums skar un kura vēlas to apstrīdēt. Šie nav naidīgi ierobežojumi. Tie ir nosacījumi, kādos iepirkums paliek sabiedrisks pakalpojums, nevis privāts darba process ar valdības logotipu.

Šauri definēta problēma nav ambīciju trūkums. Tas ir veids, kā padarīt ambīcijas atbildīgas. Ja iestāde nevar izskaidrot, kuru darbību sistēma maina, kam tā dod labumu, kas var noiet greizi un ko cilvēks var darīt tālāk, tā nav gatava salīdzināt piegādātājus. Pareizā rīcība var būt papildu izpēte, risinājums bez mākslīgā intelekta, neliels kontrolēts izmēģinājums vai vispār atteikšanās no iepirkuma. Iepirkuma dokumentācijā jābūt vietai katrai no šīm atbildēm.

Pārvērtiet prasības pierādījumos

Vārds pierādījums tehnoloģiju iepirkumos tiek lietots brīvi. Piegādātāja prezentācija, produkta demonstrācija un apgalvojums, ka sistēma ir uzticama, var būt noderīgi avoti. Neviens no tiem automātiski nav pierādījums tam, ka prasība ir izpildīta. Pierādījumam jābūt saistītam ar apgalvojumu, testu, tvērumu un personu, kas to var pārbaudīt. Bez šīs saiknes vērtēšana kļūst par sacensību, kurā uzvar visskaistāk formulētais teikums.

Iepirkuma direktīva skaidri nosaka pamata attiecības: vērtēšanas kritērijiem jāpievieno pasākumi, kas ļauj efektīvi pārbaudīt pretendentu sniegto informāciju. Šis princips ir īpaši svarīgs mākslīgā intelekta gadījumā, jo rezultāts var izskatīties pārliecinošs, kamēr apstākļi, kādos tas radīts, paliek neredzami. Pircējam būtu jājautā, kas tiks uzrādīts, kādos datu un uzdevuma apstākļos, ar kādu bāzes līniju un kā recenzents var atkārtot vai apstrīdēt rezultātu.

Nīderlandes Algoritmekader izsaka to pašu prasību praktiskā valodā. Tās publiskā iepirkuma pasākumi ietver algoritmu prasību iekļaušanu iepirkuma dokumentos un līgumā, piegādātāju pienākumu sniegt pierādījumus par prasību izpildi vērtēšanas ietvaros, piegādātāju atbildības nosacījumu izvērtēšanu, revīzijas iespēju prasīšanu līgumā, vienošanos par datu un artefaktu apstrādi un plāna pieprasīšanu algoritma apturēšanai. Šis saraksts ir vadlīnijas, nevis universāls juridisks kontrolsaraksts. Tā vērtība ir tajā, ka tā pierādījumu uzskata par iepirkuma objektu.

Pircējs var iedalīt pierādījumus trīs noderīgās kategorijās. Demonstrētie pierādījumi ir tas, ko piegādātājs uzrāda kontrolētā vērtēšanā: ievadi, izvadi, kļūdu apstrādi, avotu izmantošanu un cilvēka iesaistes ceļu var novērot. Pārbaudāmie pierādījumi ir tas, ko iestāde var izvērtēt bez demonstrācijas: dokumentāciju, testu rezultātus, žurnālus, saskarnes, izmaiņu ierakstus, datu aprakstus un iespēju veikt saskaņotu pārbaudi. Līgumiskie pierādījumi ir tas, kas piegādātājam jānodrošina pastāvīgi: paziņojumi par būtiskām izmaiņām, incidentu informācija, piekļuve revīzijai, pakalpojumu ieraksti, eksporta iespējas un atbalsts kontrolētai iziešanai. Kategorijas pārklājas, taču tās neļauj vienai iespaidīgai sesijai nest visu līguma svaru.

Pierādījumiem ir vajadzīgs arī tvērums. Piegādātājs var parādīt, ka sistēma labi darbojas uz noteiktu piemēru kopas. Pircējam tomēr jāzina, vai piemēri atspoguļo paredzēto valodu, dokumentu kvalitāti, lietu sastāvu, piekļūstamības vajadzības un darbības ierobežojumus. Apgalvojums par modeli laboratorijā automātiski nav apgalvojums par publisko pakalpojumu. Tas ir apgalvojums par veikto eksperimentu. Iepirkuma komandai būtu jāsaglabā uzdevums, datu nosacījumi, versija un rezultāts, lai vēlākais lēmums nebūtu atrauts no testa.

Iedomāsimies hipotētisku situāciju, ka pretendents sniedz ģenerētu kopsavilkumu paraugkopu un vispārīgu precizitātes apgalvojumu. Iestāde var pieprasīt avota dokumentus, atlases noteikumu, izmantoto versiju, trūkstošā materiāla apstrādi, pārskatīšanas procedūru un artefaktu, kas paliks pēc pieņemšanas. Ja atbilde ir tāda, ka detaļas ir komerciāli konfidenciālas un tās nevar pārbaudīt, komanda ir uzzinājusi kaut ko svarīgu. Tā nav uzzinājusi, ka sistēma ir slikta. Tā ir uzzinājusi, ka piedāvātais pierādījumu tvērums var būt pārāk vājš publiskajam mērķim.

Pierādījumiem jābūt samērīgiem. Nelielam iekšējam dokumentu sagatavošanas palīglīdzeklim nav vajadzīga tāda pati pārbaudes pakete kā sistēmai, kas ietekmē piekļuvi publiskajam pakalpojumam. Samērīgums nenozīmē pieņemt saukli pie zema riska. Tas nozīmē pierādījumu dziļumu saskaņot ar sekām, atgriezeniskumu, skartajiem cilvēkiem un spēju atklāt un labot kļūdu. Piegādātājam būtu jāzina nepieciešamie pierādījumi pirms piedāvājuma iesniegšanas. Pretējā gadījumā iestāde maina konkursu pēc sacensības beigām, kas ir pazīstams veids, kā radīt dārgu pārsteigumu.

Prasībai būtu jāved uz pierādījumu, un pierādījumiem būtu jāļauj mainīt lēmumu par līguma piešķiršanu.

Pircējam jābūt iespējai nepiekrist

Publiskā atbildība nav tas pats, kas piegādātāja pārredzamība. Piegādātājs var izskaidrot savu pakalpojumu, bet iestādei joprojām var trūkt ceļa, kā iedzīvotājs, darbinieks, uzņēmums vai profesionālis var apstrīdēt pakalpojuma izmantošanas veidu. Tāpēc iepirkuma dokumentācijā būtu jājautā, kā darbojas iebildumu process, nevis tikai tas, kā sistēma sniedz atbildi.

Algoritmekader starp saviem publiskā sektora jautājumiem iekļauj cilvēka kontroli, pamattiesības, pārredzamību un sūdzību iespējas. Tā ieteiktie pasākumi ietver jēgpilnu cilvēka iejaukšanos lēmumu pieņemšanā, procesu, kurā iedzīvotāji vai citas ieinteresētās personas var iesniegt sūdzību, iebildumu vai apelāciju, publisku lēmumu par algoritma izmantošanu un veidu, kā publicēt ar ietekmi saistītos algoritmus Nīderlandes Algoritmu reģistrā. Šie pasākumi nepārvērš katru algoritmu par publisku izrādi. Tie padara iestādes atbildību pietiekami redzamu, lai to varētu apšaubīt.

A procurement requirement for human oversight should name the human action. Can the reviewer see the information that shaped the recommendation. Can they correct the record. Can they reject the result without first obtaining permission from the system. Can they ask for a second route when a source is missing. Can they stop a batch, isolate a version or escalate a concern to someone with authority. If the answer is only that a person is present somewhere in the process, the requirement describes furniture, not oversight.

Disagreement also needs time. A reviewer who is expected to check every output while carrying the original workload may be technically in the loop and practically outside it. Procurement can require training, support, usable evidence and a workload assumption for review. It can define which cases need pre-action approval and which reversible, low-consequence actions may proceed with logging and later sampling. It can ask the supplier to support the route rather than hiding it behind an application programming interface.

The authority has to disagree with its own enthusiasm as well. A successful pilot can create pressure to extend a tool to a population or decision that was never part of the test. The contract should preserve the original purpose and require a new decision when the purpose, data, affected people or consequence changes. An update is not automatically harmless because it is delivered as a service. A new use is not automatically covered because the same logo appears at the top of the screen.

When a supplier says that the model is only advisory, the authority should look at what the work actually does. If staff are instructed to accept the ranking, if there is no time to review it or if the system controls which cases reach a person, advice may have become a decision in practice. The procurement team does not need to argue about the perfect label. It needs to document the route from output to consequence and retain the authority to change that route.

The supplier’s boundaries are part of the contract

AI procurement is often described as a choice between building and buying. The harder choice is how to divide the boundary between supplier and public organisation. The supplier may control a model, service, update path, infrastructure, support team and part of the data processing. The authority controls the public purpose, the decision, the affected population and the duty to provide a lawful and usable service. A contract must connect these responsibilities rather than leave them as two polite diagrams.

The updated EU model contractual AI clauses are useful because they recognise that public buyers need distinct approaches for high-risk and non-high-risk AI and need guidance on customising the clauses in practice. They are not a substitute for a procurement strategy or a legal review. They are a common vocabulary for making responsibilities explicit. The buyer still has to decide which evidence, data rights, audit access, change notice, support, liability and exit conditions are proportionate to the system being purchased.

Data and artefacts deserve particular care. A system may touch source documents, labels, prompts, embeddings, generated drafts, human corrections, evaluation sets, logs and final records. The contract should distinguish what the authority supplies, what the supplier creates, what each party may use, what must be returned, what must be deleted and what proof of deletion or retention is required. Saying that the authority owns its data does not answer where derived artefacts live or how the authority can retrieve the records that explain a result.

Revīzijas tiesībām ir vajadzīga praktiska forma. Pircējam būtu jāzina, kurus ierakstus var pārbaudīt, kā tiek pieprasīta piekļuve, kāds paziņošanas termiņš ir saprātīgs, kuri konfidencialitātes aizsardzības pasākumi ir piemērojami un kas notiek, ja revīzijā tiek konstatēta nepilnība. Revīzijas klauzula bez izmantojamas kārtības ir teikums, kas gaida strīdu. Tas pats attiecas uz incidentu klauzulu, kas nosaka, ka piegādātājs sadarbosies, nenorādot informāciju, termiņus un atbildīgo personu, kas nepieciešami sadarbībai.

Izmaiņu pārvaldību nevajadzētu atstāt izlaidumu piezīmju ziņā. Iestāde var pieprasīt paziņojumu par būtiskām izmaiņām modelī, datu avotos, apstrādes vietā, apakšuzņēmējos, saskarnēs, sliekšņos, novērtēšanas metodē vai cilvēka iesaistes kārtībā. Tā var noteikt, kādi pierādījumi ir nepieciešami, pirms mainīta versija tiek izmantota publiskajam uzdevumam. Tā var pieprasīt tiesības apturēt, noraidīt vai atgriezties pie iepriekšējās versijas, ja mainītais pakalpojums vairs neatbilst būtiskai prasībai. Tie ir ieteikumi, lai līgums būtu darbināms. Tie nav apgalvojumi, ka viena klauzula var atrisināt visas attiecības ar piegādātāju.

Atbildība ietver arī to, ko piegādātājs nevar nodrošināt. Pakalpojums var būt atkarīgs no trešās puses modeļa vai infrastruktūras, kuru izmaiņas nav tiešā piegādātāja kontrolē. Pircējam būtu jāzina par šo atkarību un jāsaprot, kuras saistības attiecas arī uz to. Publiska organizācija nevar novērtēt ķēdi, pārbaudot tikai priekšējās durvis. Līgumā būtu jāsaglabā ceļš uz attiecīgajiem pierādījumiem, vai arī pircējam būtu jāatzīst, ka nenoteiktība ir iemesls sašaurināt vai atteikties no pirkuma.

Labas robežas aizsargā arī piegādātājus. Publisks pircējs, kas pieprasa visus iespējamos dokumentus, visas pirmkoda detaļas un neierobežotu atbalstu bez noteikta mērķa, var samazināt konkurenci un padarīt līgumu nepievilcīgu mazākiem Eiropas piegādātājiem. Proporcionalitāte, skaidrība un ticams pierādījumu apjoms ļauj piegādātājam pateikt, ko tas var darīt, un pircējam pateikt, kas tam ir nepieciešams. Publiskais iepirkums prasīgs, bet ne teatrāls. Siena no neiespējamām prasībām vienlīdz efektīvi tur ārā gan sliktas, gan labas sistēmas.

Izmaiņas pēc līguma slēgšanas joprojām ir iepirkums

Līguma slēgšana nav lēmuma beigas. Tas ir brīdis, kad pakalpojums nonāk citāda veida pārbaudē. Darbības laikā dati mainās, politika mainās, saskarnes tiek nomainītas, darbinieki apgūst īsceļus, piegādātāji pārskata modeļus, un sistēma var tikt izmantota situācijās, kuras sākotnējā komanda nebija iedomājusies. Iestādei ir nepieciešams veids, kā pamanīt šīs izmaiņas, pirms tās nejauši kļūst par jaunu publisku mērķi.

Algoritmekader iesaka regulāras pārbaudes, ka algoritms darbojas kā paredzēts, datu izmaiņu uzraudzību un veiktspējas un rezultātu novērtēšanu, kad dati mainās, kā arī nepārtrauktas uzraudzības plāna uzturēšanu. Tajā ir arī pasākums par ārkārtas rīcības plānu algoritma apturēšanai. Šie ieteikumi iekļauj laiku pārvaldības modelī. Iepirkums, kas aptver tikai sākotnējo specifikāciju, ir nopircis kustīga pakalpojuma fotogrāfiju.

Ne katram atjauninājumam būtu jāizraisa tā pati procedūra. Drošības ielāps, kas nemaina modeli, datu robežas un lēmumu pieņemšanas lomu, var sekot citam ceļam nekā jauna modeļu saime, mainīts izguves avots vai jauns slieksnis. Līgums var definēt būtiskumu darbības izteiksmē: izmaiņas ir būtiskas, ja tās maina uzdevumu, skartās personas, pierādījumu ceļu, lēmuma sekas, izvietošanas jurisdikciju, apakšuzņēmēju, datu izmantošanu vai iespēju iejaukties. Precīzai definīcijai nepieciešams juridisks un tehnisks vērtējums. Princips ir vienkāršs: izmaiņas ir daļa no iegādātās spējas.

Uzraudzībai būtu jāsaglabā informācija, kas nepieciešama lēmuma pieņemšanai. Informācijas panelis var parādīt, ka pakalpojums ir noslogots; tas var neparādīt, ka datu avots ir novecojis vai ka recenzenti ignorē vienu un to pašu ieteikumu. Iestādei būtu jāsaglabā attiecīgā versija, uzdevuma tvērums, pierādījumu nosacījumi, cilvēka rīcība un izmaiņu iemesls. Tai būtu jāzina, kuras izmaiņas tika pieņemtas, kuras atsauktas, kuras ierobežotas un kuras radījušas jaunu iepirkuma jautājumu.

Piegādātājs var nespēt iepriekš paziņot par katrām iekšējām izmaiņām. Līgums joprojām var pieprasīt izmantojamu paziņojumu un pierādījumu paketi, pirms tiek paļauts uz mainīto darbību. Iestāde var izvēlēties pakāpenisku ieviešanu, kontrolētu novērtējumu vai pagaidu apturēšanu. Spēja apturēt nav sods. Tas ir tas, kas ļauj publiskajam pakalpojumam palikt atbildīgam, kamēr tiek noskaidroti fakti.

Izmaiņu reģistrs arī aizsargā pret viltus pārliecību. Ja iestāde nevar noteikt, vai atšķirība radusies no jauna modeļa, datu izmaiņām, uzvednes, cilvēka risinājuma vai ārējas atkarības, tai nevajadzētu apgalvot, ka sistēma darbojusies konsekventi. Pareizā atbilde var būt lietojuma sašaurināšana, labāku pierādījumu vākšana vai attiecīgā maršruta apturēšana. Publiskā nauda nekļūst drošāka tāpēc, ka skaidrojums ir glīts.

Savietojamība ir pieklājīgs vārds aiziešanai

Cilvēki bieži runā par savietojamību tā, it kā tā būtu tehniska pieklājība starp sistēmām. Publiskajā iepirkumā tā ir arī nepārtrauktības kontrole. Ja publiskais pakalpojums nevar pārvietot savus ierakstus, konfigurācijas, pierādījumus, saskarnes un darbības zināšanas uz citu maršrutu, iestāde juridiski var būt brīva aiziet, bet praktiski nespēj to izdarīt. Līgums ir radījis atkarību, kuru iepirkuma dokumentācija nav nosaukusi.

Komisijas JRC ziņojums par mākslīgā intelekta ieviešanas veicināšanu ES publiskajās pārvaldēs sauc iepirkumu par būtisku iespējojošu lomu un saka, ka savietojamība būtu jāiebūvē jau no paša sākuma. Tajā arī stratēģiskais iepirkums tiek parādīts kā veids, kā samazināt atkarību no ārpus ES esošiem piegādātājiem un atbalstīt Eiropas mākslīgā intelekta jaunuzņēmumus, atvērtā koda un GovTech risinājumus. Tas nav arguments pirkt Eiropas preces pēc saukļa vai uzskatīt atvērto kodu par automātisku garantiju. Tas ir arguments padarīt tehnisko un institucionālo spēju mainīt kursu par daļu no iegādātās vērtības.

Aiziešana sākas ar sarakstu par to, kam ir jāizdzīvo. Tajā var ietilpt avota ieraksti, identifikatori, etiķetes, uzvednes, modeļa un konfigurācijas versijas, novērtēšanas kopas, audita ieraksti, lietotāju un lomu kartējumi, integrācijas līgumi, saglabāšanas statuss, drošības materiāli un lauku nozīme. Saraksts ir atkarīgs no pakalpojuma. Pārnēsājams fails bez konteksta var būt mazāk noderīgs nekā mazāks ieraksts ar neskartu semantiku un atļaujām. Eksports ir iespēja, kas jātestē, nevis izvēles rūtiņa, kas jāatzīmē.

Savietojamība nozīmē arī to, ka iestāde var veikt jēgpilnu salīdzinājumu. Vai galamērķis var apstrādāt ierakstus, nemainot to nozīmi. Vai recenzenti var salīdzināt vecu un jaunu izvadi vienādos uzdevuma apstākļos. Vai publiskais pakalpojums var turpināt darboties samazinātā režīmā, ja viena atkarība nav pieejama. Vai pierādījumi var palikt salasāmi pēc saskarnes izzušanas. Šie jautājumi pieder prasībām, novērtējumam un līgumam, jo aiziešana, kas atklāta ārkārtas situācijā, parasti ir arheoloģisks izrakums.

Pārnesamība nenozīmē, ka piegādātājam obligāti jānodod katra iekšējā īstenošanas detaļa. Tas nozīmē, ka iestāde var saglabāt publisko funkciju un ierakstus, par kuriem tā ir atbildīga, ievērojot tiesiskās tiesības un drošības ierobežojumus. Robeža jānosaka pirms līguma parakstīšanas. Ja piegādātāja modelis nav pieejams, iestāde joprojām var pieprasīt pārnesamus ievaddatus, izvaddatus, lēmumu ierakstus, novērtējumus, konfigurāciju un ceļu, kā atjaunot pakalpojuma publiskās saistības. Ja tā nevar iegūt šo ceļu, tai godīgi jānovērtē atkarības izmaksas vai no tās jāatsakās.

Iziešanas mēģinājums ir vērtīgs, jo tas pārvērš līgumsaistības par novērotu spēju. Publiskais pircējs var pārbaudīt eksportu, pārbaudīt laukus, palaist reprezentatīvu darba slodzi kontrolētā galamērķī un salīdzināt iegūtos ierakstus. Tas var fiksēt, kas nepārvietojās, un izlemt, vai plaisa ir pieņemama. Vingrinājumam nav jābūt dramatiskam. Neliels mēģinājums pirms atjaunošanas ir labāks nekā varonīga migrācija, kas veikta pēc tam, kad piegādātājs ir kļuvis par vienīgo, kurš atceras sistēmu.

Iziešana ir autoritātes, eksporta, nozīmes, verifikācijas, nepārtrauktības un noslēguma secība. Poga ar uzrakstu eksports nav šī secība.

Izmaksas ir vairāk nekā rinda iepirkuma dokumentācijā

Cenu ir viegli salīdzināt, ja pērkamā lieta ir stabila. AI iepirkumam ir garāks izmaksu horizonts. Var būt integrācijas darbs, avota sagatavošana, pārskatīšanas laiks, drošības kontroles, krātuve, novērtēšana, modeļu atjauninājumi, pieejamības darbs, incidentu reaģēšana, atbalsts, eksports un nomaiņa. Dažas izmaksas sedz iestāde. Citas tiek pārnestas uz darbiniekiem vai sabiedrību, kad pakalpojumu kļūst grūtāk apstrīdēt. Iepirkums, kas salīdzina tikai sākotnējo maksu, ne vienmēr ir ekonomisks. Tas vienkārši skaita vienu redzamu daļu.

Direktīva 2014/24/ES paredz dzīves cikla izmaksu aprēķināšanu, ja iestāde izvēlas šo pieeju. Direktīva apraksta tādas izmaksas kā iegāde, lietošana, uzturēšana, dzīves beigas un, ja tas ir būtiski un pārbaudāmi, vides ārējās ietekmes. Tā arī pieprasa, lai iepirkuma dokumentos būtu norādīti dati, kas pretendenti jāsniedz, un metode, ko izmanto dzīves cikla izmaksu novērtēšanai. Tā ir noderīga disciplīna AI jomā, jo tā prasa, lai pircējs pateiktu, kas tiks skaitīts, nevis aicinātu katru piegādātāju atnest citu lētuma definīciju.

Šis pats princips attiecas arī uz cilvēka uzmanību. Ja sistēma sniedz ieteikumus, kas jāpārskata, pārskatīšanas darbs ir jāiekļauj darbības modelī. Ja publiskajam pakalpojumam ir nepieciešams labojumu ceļš, šim ceļam ir vajadzīgs īpašnieks un laiks. Ja piegādātāja atjauninājums prasa jaunu novērtējumu, iestādei ir jābūt spējai to veikt. Tie nav argumenti pret automatizāciju. Tie ir atgādinājumi, ka automatizācija maina vietu, kur notiek darbs. Ietaupījums rēķinā var kļūt par izdevumiem rindā, ja iepirkumā nav nosaukts jaunais darbs.

Izmaksās būtu jāiekļauj arī izmaksas, kas saistītas ar nespēju aiziet. Atkarība var šķist lēta, kamēr tā ir jauna, un kļūt dārga, kad ap to ir uzkrājušies ieraksti, ekspertīze, integrācijas un sabiedrības cerības. Pircējs var pieprasīt migrācijas tāmi, datu un artefaktu inventarizāciju, atbalsta saistības un mēģinājumu grafiku. Šos nosacījumus var salīdzināt kā daļu no piedāvājuma vērtības. Izvēle nav starp optimismu un pesimismu. Tā ir izvēle starp atkarību, kas ir redzama, un tādu, kas ir paslēpta nākotnes formā.

Dzīves cikla domāšana palīdz iepirkuma komandai pateikt nē, neizliekoties, ka lētākais redzamais piedāvājums ir neitrāla izvēle. Komanda var noraidīt priekšlikumu, ja tā pierādījumi, pārskatīšanas slogs, izmaiņu ceļš vai iziešanas izmaksas nav savienojamas ar publisko mērķi. Tā var izskaidrot lēmumu, atsaucoties uz publicētajiem kritērijiem. Tas nav pret tirgu vērsts žests. Tas ir tas, ko tirgum ar pārbaudāmām prasībām ir paredzēts pieļaut.

Publiskajiem pircējiem ir vajadzīga pilnvaras pateikt nē

Iepirkuma komanda nevar izmantot pilnvaras, ko organizācija tai nav piešķīrusi. Daudzās iestādēs ir cilvēki, kas spēj izvērtēt juridiskus, tehniskus, finanšu un pakalpojumu jautājumus, bet pilnvaras apvienot šos vērtējumus apturēšanā vai atteikumā ir neskaidras. Rezultāts ir pazīstams: bažas tiek ierakstītas vienā dokumentā, entuziasms citā, un līguma piešķiršana turpinās, jo neviens nezina, kura loma drīkst aizvērt vārtus.

Pilnvarām būtu jānosauc lomas, kas katrā posmā var pieņemt, noraidīt, sašaurināt vai apturēt pirkumu. Lomām ir nepieciešama piekļuve attiecīgajiem pierādījumiem un iespēja reģistrēt iemeslu. Iepirkuma speciālists var pārvaldīt procesu, pakalpojuma īpašnieks publisko mērķi, datu aizsardzības speciālists privātuma nosacījumu, drošības vadītājs kontroli, tehniskais recenzents testu, un vecākā atbildīgā loma galīgo lēmumu. Precīzs izkārtojums atšķiras. Bīstamā daļa ir izkārtojuma neesamība.

Noderīgs apturēšanas nosacījums nav sarkana zīme, kas norāda uz augstu risku. Tas ir fakts, kas bloķē nākamo lēmumu. Paredzētais mērķis nav pietiekami definēts. Piegādātājs nevar sniegt pierādījumus par būtisku prasību. Ietekmētajai personai nav izmantojama pārskatīšanas ceļa. Iestāde nevar pārbaudīt attiecīgās izmaiņas. Datu vai artefaktu tiesības ir neskaidras. Sistēmu nevar eksportēt vai aizstāt nepārtrauktības plāna ietvaros. Cilvēka recenzentam ir atbildība, bet nav pilnvaru. Katram nosacījumam var būt atšķirīgs risinājums. Daži prasa precizējumu, daži līguma izmaiņas, daži šaurāku darbības jomu, bet daži nē.

Apturēšanas nosacījumiem ir jābūt zināmiem pirms piedāvājuma vērtēšanas. Tiem ir jābūt saistītiem ar piešķiršanas kritērijiem un līgumu, lai pircējs neizgudrotu jaunu standartu pēc tam, kad redzējis piegādātāja atbildi. Tie būtu arī jāpārskata pēc līguma piešķiršanas. Prasība, kas bija izpildīta sākumā, var kļūt neizpildīta pēc būtiskām izmaiņām vai jauna lietojuma. Spēja pateikt nē nav vieni vārti beigās. Tā ir uzturēta pilnvara visā pakalpojuma dzīves laikā.

Iedomāsimies hipotētisku publisku komandu, kas iepērk dokumentu maršrutēšanas pakalpojumu. Tās publicētās prasības ietver avota izsekojamību, cilvēka pārskatīšanas ceļu, paziņojumu par būtiskām modeļa izmaiņām, ierakstu eksportu un noteiktu pārtraukšanas procedūru. Viens pretendents piedāvā pārliecinošu demonstrāciju, bet neļauj iestādei pārbaudīt avota atlasi vai saglabāt versijoto maršrutēšanas pierādījumu. Cits pretendents piedāvā mazāk funkciju, bet atbilst pierādījumu un iziešanas prasībām. Komandai nav pienākuma dot priekšroku skaļākajai demonstrācijai. Tā var piemērot noteiktos kritērijus, uzdot samērīgus jautājumus un noraidīt pirmo piedāvājumu, ja būtiska prasība paliek nepierādīta.

Šis lēmums nav jānoformulē kā morāls spriedums par piegādātāju vai tehnoloģiju. Tajā jānorāda publiskais mērķis, prasība, saņemtie pierādījumi, neatrisinātais nosacījums un lēmums, ko pieļauj iepirkuma dokumenti. Skaidrs nē ir cieņpilnāks par neskaidru varbūt, kas vēlāk pārtop par obligātu atjaunošanu. Tas arī sniedz tirgum noderīgu signālu: publiskie pircēji maksās par pierādījumiem un kontroli, nevis tikai par spēju šovu.

Cilvēka pilnvarām apturēt ir jābūt izmantojamām incidenta gadījumā. Operatoram jāzina, kam zvanīt, kādu sistēmas stāvokli saglabāt, kurš pakalpojuma maršruts var turpināties un kāda komunikācija ir nepieciešama. Lēmuma ierakstā jānošķir tūlītēja ierobežošana no ilgāka iepirkuma lēmuma. Publiskai iestādei nav jāgaida ideāla izmeklēšana, pirms tā novērš turpmāku kaitējumu, taču tai nevajadzētu apgalvot lielāku noteiktību, nekā tai ir. Apturēšana ir kontrole. Skaidrojums var attīstīties.

Iepirkums veido tirgu

Publiskais iepirkums ir viens no veidiem, kā Eiropa izlemj, kuras spējas ir vērts attīstīt. JRC ziņojumā par mākslīgā intelekta ieviešanas veicināšanu ES publiskajās pārvaldēs publiskais sektors raksturots kā nozīmīgs tirgu veidojošs spēks. Tajā veiksmīga ieviešana saistīta ar pārvaldību, darbaspēka gatavību, atbildīgu iepirkumu, sadarbspēju un sabiedrības uzticēšanos. Tajā arī teikts, ka stratēģisks iepirkums var mazināt atkarību no piegādātājiem ārpus ES un atbalstīt Eiropas jaunuzņēmumus, atvērtā koda un GovTech risinājumus. Būtība nav tāda, ka publiskai iestādei būtu jākļūst par riska kapitāla fondu. Būtība ir tāda, ka tās prasības var vai nu atalgot atbildīgu spēju, vai arī atalgot pārliecinošu iesaiņojumu ap atkarību.

Eiropas Revīzijas palātas Īpašais ziņojums Nr. 28/2023 ir nosaukts Public procurement in the EU: less competition for contracts awarded for works, goods and services in the ten years up to 2021. Tā publiskais kopsavilkums raksturo konkurenci publiskajos iepirkumos Eiropā kā sarūkošu. Tirgus ar mazāk efektīviem konkurentiem ir slikta vieta, kur slēpt neskaidras prasības. Ja iestāde nevar salīdzināt pierādījumus, tā var izvēlēties starp mārketinga stiliem, nevis starp pakalpojumiem. Sakot nē nepārbaudāmam piedāvājumam, var saglabāt apstākļus labākai konkurencei vēlāk.

Vienlaikus pircējs var nejauši izslēgt noderīgus piegādātājus, pieprasot pierādījumus tādā formā, kādu var sagatavot tikai lielākais piegādātājs. Samērīgas prasības, skaidras saskarnes, atvērti formāti un pakāpenisks novērtējums var ļaut mazākām organizācijām demonstrēt ierobežotu spēju, neizliekoties, ka tām ir starptautiska uzņēmuma resursi. Pircējam jābūt stingram attiecībā uz publisko mērķi un elastīgam attiecībā uz ieviešanu, ja ieviešana neietekmē šo mērķi. Tā nē kļūst par labāku jautājumu, nevis par aizvērtām durvīm.

Tirgus veidošana nozīmē arī atteikšanos padarīt viena piegādātāja privāto arhitektūru par publiskās vajadzības definīciju. Ja prasība nosauc konkrētu modeli, mākoni vai patentētu darbplūsmu bez pamatotas saiknes ar uzdevumu, konkurence var tikt sašaurināta jau pirms pierādījumu redzēšanas. Funkcionālās prasības un pārbaudāmi rezultāti dod publiskajiem pircējiem vairāk iespēju salīdzināt pieejas. Tie arī padara līgumu mazāk trauslu, kad izvēlētā sastāvdaļa mainās.

A public authority can be a demanding customer without becoming a difficult customer. It can publish the evidence it expects, explain the reason for a stop condition, offer a route for clarification and pay for work that creates durable public capability. The market then has something useful to respond to. It does not have to guess whether the winning factor was a hidden preference, a beautiful demo or the price of a future problem.

A working pattern for a procurement that can refuse

The following pattern is a practical recommendation, not a new legal procedure. It is a way to keep the public decision visible while a system moves from idea to operation. An authority should adapt it to its law, sector, risk and procurement method. The important part is that each gate has an owner, evidence and a permitted outcome that includes pause or refusal.

First, write the public purpose. Name the service, the people who perform it, the people who receive it, the decision or action that may change and the reason a system is being considered. State what is outside scope. If the purpose cannot be described without the supplier’s product vocabulary, the authority is still in market discovery. The output of this gate is a problem statement and a decision about whether procurement is the right next step.

Second, write the evidence boundary. For each material claim, state what would show that it is true in the intended task. Name the data conditions, language, accessibility needs, source records, version, baseline and review route that make the test meaningful. Specify what must be inspectable, what can be kept confidential and what must be delivered as a contract record. The output of this gate is a set of requirements that tenderers can understand and an evaluation plan that can change the award.

Third, write the authority boundary. Name the actions the system may suggest, the actions it may take, the actions that need approval and the actions that are prohibited. Name who can correct a source, reject an output, change a rule, pause a service and speak to an affected person. Define what happens when the system is uncertain or the evidence conflicts. The output of this gate is a human route that is more specific than a checkbox.

Fourth, write the change boundary. Identify the changes that require notice, evaluation, approval or a new procurement decision. Include model, data, supplier, subcontractor, infrastructure, processing location, interface, threshold, population, purpose and human route. Decide which evidence stays with the change record and which can be redacted for lawful reasons. The output of this gate is a maintained record rather than a promise that the system will remain static.

Fifth, write the exit boundary. List the records, data, configuration, evidence, permissions, integrations and operational knowledge that must survive. Define formats, timing, support, verification, reduced service, cut-over, access closure and deletion. Rehearse a small export before renewal or a material expansion. The output of this gate is a route that can be tested while the supplier is still a partner, not only after the relationship has become a dispute.

Sixth, write the public record. Decide what can be published about the purpose, system role, evidence, human route, changes, incidents and contact for challenge. Protect confidential and personal information without turning the whole decision into a private conversation. A public record can say what is known, what is not known and when the next review will occur. Its job is not to make the system look perfect. It is to make the authority’s judgement inspectable.

Visbeidzot uzrakstiet atteikumu. Atteikums nav dramatisks preses paziņojums. Tas ir parasts lēmumu reģistra ieraksts: prasība bija būtiska, pierādījumi to neizpildīja, risinājums tika izvērtēts, un iestāde izvēlējās atteikt, sašaurināt, apturēt vai meklēt citu ceļu. Iepirkums, kas nevar uzrādīt šādu reģistru, ir licis pirkumam izskatīties neizbēgamam, pirms tas to ir nopelnījis.

Šos vārtus var attēlot piedāvājuma atbildē, projekta sākuma arhitektūrā, līguma grafikā, pārskata sanāksmē un incidentu rīcības plānā. Tiem nevajadzētu kļūt par lielāku formu pašas dēļ. Ja vārti nemaina to, ko komanda var izlemt, tie, iespējams, ir dokumentācijas teātris. Ja tie sniedz cilvēkam pierādījumus un pilnvaras rīkoties, tie ir daļa no pakalpojuma.

Jautājumi, ko vērts iekļaut iepirkumā

Labākie jautājumi nav tie, kas liek piegādātājam atkārtot tā mārketinga valodu. Tie ir tie, kas padara redzamu publisko mērķi un pierādījumu robežu. Pircējs var pielāgot šādus jautājumus sistēmai un procedūrai:

  • Kādu precīzu publisku uzdevumu atbalsta piedāvātā iespēja, un kuri uzdevumi ir ārpus tās paredzētā lietojuma?
  • Kuri cilvēki, ieraksti un datu avoti ir ietverti, un kuri ir jāizslēdz?
  • Kādu izvadi sistēma rada, un kāds lēmums vai darbība var tai sekot?
  • Kuru prasību var demonstrēt, kuru var pārbaudīt un kuru uzturēs līgumiski?
  • Kā iestāde reproducēs rezultātu ar attiecīgo versiju, avotiem, konfigurāciju un uzdevuma nosacījumiem?
  • Ko cilvēks pārskatītājs var redzēt, mainīt, noraidīt, paaugstināt vai apturēt pirms nozīmīgas darbības?
  • Kuras modeļa, datu, infrastruktūras, apakšuzņēmēja vai politikas izmaiņas prasa paziņojumu un atkārtotu izvērtēšanu?
  • Kādus ierakstus un artefaktus iestāde var eksportēt, kādos formātos, ar kādu nozīmi, tiesībām un saglabāšanas statusu?
  • Kas notiek, ja pakalpojums nav pieejams, pierādījumi ir nepilnīgi vai cilvēks apstrīd rezultātu?
  • Kādi atbalsta, audita, incidentu, apmācības un iziešanas pienākumi turpinās pēc pirmās laidiena?

Šie jautājumi neaizstāj iepirkuma direktīvu, AI aktu, datu aizsardzības tiesību aktus vai nozares noteikumus. Tie ir pamudinājumi iestādei padarīt savus pienākumus darbināmus. Piegādātājs, kas uz tiem var skaidri atbildēt, joprojām var nebūt īstais piegādātājs. Piegādātājam, kas uz tiem nevar atbildēt, joprojām var būt noderīga sastāvdaļa, bet iestāde nedrīkst sajaukt noderīgu sastāvdaļu ar pilnīgu publisku iespēju.

Mūsu īsā piezīme

Uzņēmumā Dweve mūsu AI Compas ietver piegādātāju neatkarīgu iepirkuma un pārvaldības ceļu regulētām Eiropas organizācijām. RFI un RFP materiāls lūdz komandām klasificēt lietošanas gadījumu, piemērot izslēgšanas kritērijus, salīdzināt piegādātājus, veikt koncepcijas pierādījumu un saglabāt pierādījumus uzraudzības laikā. Tas ir mūsu ieviešanas konteksts, nevis neatkarīgs pierādījums par publisko iepirkumu un nevis apgalvojums, ka viens ietvars der katrai iestādei. Mēs to pieminam, jo disciplīna, kas šeit aprakstīta, ir arī disciplīna, ko mēs cenšamies izmantot savā darbā: noteikt robežu, prasīt pierādījumus, saglabāt lēmumu cilvēcisku un padarīt iziešanu redzamu.

Mūsu Trust Centre izsaka to pašu atšķirību citā reģistrā. Publisks ieraksts var aprakstīt, kas ir dokumentēts, kas ir sagatavots un kas paliek nākotnes notikums, nepārvēršot nodomu paziņojumu par pierādījumu. Iepirkuma komanda ir pelnījusi tādu pašu godīgumu no saviem piegādātājiem. Pircējam jāspēj redzēt apgalvojuma statusu, pierādījumus aiz tā un ceļu tā apstrīdēšanai.

Mācība

Publiska iestāde nekļūst atbildīga tad, kad paraksta līgumu par mākslīgā intelekta sistēmu. Tā kļūst atbildīga tad, kad iepirkums spēj izskaidrot, kāpēc sistēma iederas darbā, kādi pierādījumi pamato šo secinājumu, kas drīkst iejaukties, kas notiek, kad sistēma mainās, un kā publiskā funkcija var turpināties, ja piegādātājs to nespēj.

Eiropas iepirkuma noteikumi jau nodrošina svarīgus ieradumus: kritērijiem jābūt saistītiem ar iepirkuma priekšmetu, informācijai jābūt pārbaudāmai, svērumiem jābūt norādītiem un līguma nosacījumiem jābūt skaidriem. Eiropas Komisijas mākslīgā intelekta iepirkuma klauzulas dod publiskajiem pircējiem iespēju apspriest augsta un neaugsta riska sistēmas un sadalīt atbildību. Nīderlandes Algoritmekader pārvērš atbildīgu iepirkumu praktiskos pasākumos par mērķi, datiem, pierādījumiem, revīziju, cilvēka kontroli, apturēšanu un iziešanu. JRC ziņojums iekļauj iepirkumu Eiropas spēju un suverenitātes sarunā. ECA brīdinājums par sarūkošu konkurenci atgādina, ka vāju konkursu neizlabo pārliecinošs lēmums par līguma piešķiršanu.

Grūtais vārds joprojām ir nē. Nē, mērķis nav definēts. Nē, pierādījumus nevar pārbaudīt. Nē, cilvēka iesaistes ceļš ir dekoratīvs. Nē, izmaiņu ceļš nav redzams. Nē, publisko ierakstu nevar uzturēt. Nē, pakalpojums nevar beigties, nezaudējot darbu, ko tam bija paredzēts aizsargāt. Katrs nē var būt atteikums, sašaurinājums, pauze vai lūgums pēc labākas atbildes. Iestādei jāizlemj, kurš no tiem tas ir, jāpieraksta, kāpēc, un jāatstāj lēmums atvērts apstrīdēšanai.

Iepirkums, kas spēj pateikt nē, nav iepirkums, kas baidās no tehnoloģijas. Tas ir iepirkums, kas zina atšķirību starp spēju un solījumu. Tas maksā par sistēmu, ko var pārbaudīt, uzraudzīt, mainīt un pārtraukt. Tas piegādātājiem nodrošina godīgāku konkursu, jo jautājums ir redzams. Tas publiskajiem darbiniekiem dod ceļu iejaukties, pirms problēma kļūst par politiku. Tas cilvēkiem, kurus pakalpojums skar, sniedz kaut ko noderīgāku par apgalvojumu, ka piegādātājs ir apstiprināts.

Publiskam pirkumam vajadzētu beigties ar pakalpojumu, ko iestāde joprojām spēj pārvaldīt. Ja pierādījumi ir spēcīgi, teikt jā ir jēgpilni. Ja pierādījumi ir vāji, teikt nē ir publiskais darbs. Iepirkuma dokumentācijai jāspēj saturēt abus teikumus.

Avoti