Veřejný sektor potřebuje zadávání zakázek, které umí říct ne

Veřejný orgán se nestává odpovědným tím, že podepíše smlouvu o systému AI. Odpovědným se stává tehdy, když jsou jeho požadavky, důkazy, lidská autorita,...

Veřejný sektor potřebuje zadávání zakázek, které umí říct ne

Dokument, který může ukončit nákup

Dokumentace k veřejné zakázce často začíná požadavkem, který zní neškodně: najděte systém, který pomůže s určitým úkolem. Požadavek prochází přes popis problému, tržní konzultaci, soubor požadavků, hodnocení, smlouvu a, pokud proces probíhá správně, až k rozhodnutí, které může práci ještě zastavit. Tuto poslední možnost lze snadno ztratit ze zřetele. Jakmile se kolem nákupu shromáždí peníze, kalendáře a politická pozornost, začne slovo „ne“ znít jako selhání dodávky. Ve veřejném sektoru to může být nejužitečnější rozhodnutí v celém spisu.

Evropské právo zadávání veřejných zakázek už dnes nepovažuje nabídku pouze za soutěž atraktivních slibů. Směrnice 2014/24/EU uvádí, že kritéria pro zadání zakázky musí umožnit účinnou a spravedlivou hospodářskou soutěž a musí být doprovázena opatřeními, která zadavateli umožní ověřit informace poskytnuté uchazeči. Směrnice rovněž uvádí, že kritéria by neměla zadavateli poskytovat neomezenou volnost volby. Veřejný zadavatel musí popsat, co je důležité, vysvětlit, jak bude hodnoceno, a ověřit, zda nabídka skutečně splňuje stanovené požadavky. Toto není administrativní poznámka pod čarou. Je to právní podoba rozhodnutí, kterému musí ostatní lidé rozumět a které musí být možné napadnout.

Umělá inteligence činí starou disciplínu obtížnější, protože dodavatel může nabídnout systém, jehož chování závisí na datech, aktualizacích modelu, výzvách, prahových hodnotách, integracích, lidech a službě, která se může změnit, dokud je smlouva ještě čerstvá. Brožura může zůstat stejná, zatímco věc za ní se mění. Tým pro zadávání zakázek proto musí koupit víc než jen rozhraní. Musí koupit ohraničenou schopnost, důkazy, že je tato schopnost vhodná, oprávnění ji dohlížet a věrohodný způsob, jak ji zastavit nebo nahradit.

Veřejný sektor potřebuje zadávání zakázek, které umí říci ne, protože veřejný sektor nemůže outsourcovat svůj úsudek. Dodavatel může poskytnout model, pracovní postup, hostovanou službu nebo sadu nástrojů. Nemůže poskytnout legitimitu rozhodnutí učiněného s jejich pomocí. Orgán veřejné moci stále musí vědět, jaký problém řeší, čí zájmy mohou být dotčeny, jaké důkazy systém podporují, která osoba může zasáhnout a jak bude služba pokračovat, pokud dodavatel změní směr. Podpis není převodem odpovědnosti. Je záznamem o tom, že odpovědnost byla uspořádána.

Tento článek sleduje toto uspořádání od první věty požadavku až po poslední řádek záznamu o ukončení. Využívá evropské veřejné pokyny a materiály k zadávání zakázek jako důkazy. Praktické postupy jsou doporučeními, nikoli tvrzením, že každý orgán musí použít jednu konkrétní formu. Jakákoli vymyšlená situace je označena jako hypotetická. Věrohodná kancelář, úhledná nabídka a dramatické selhání nejsou důkazem jen proto, že zapadají do známého příběhu.

Veřejný zadavatel kupuje slib dvakrát

Každý veřejný nákup nese dva sliby. Prvním je slib dodavatele o produktu nebo službě. Druhým je slib zadavatele lidem, kteří na dané práci závisí: že peníze byly vynaloženy na definovaný veřejný účel, že rozhodnutí lze vysvětlit, že byla zvážena relevantní práva a že někdo zůstává odpovědný, když systém selže. Druhý slib je ten, který přežije slavnostní zahájení.

Zadávání zakázek na AI často činí první slib živým a druhý vágním. Demonstrace může ukázat plynulé shrnutí, seřazený seznam nebo rychlou odpověď. Málokdy ukáže, kdo může výstup odmítnout, co se stane, když zdroj chybí, jak se schvaluje změna, zda lze záznamy exportovat, nebo která osoba může pozastavit službu, aniž by uprostřed incidentu vyjednávala o vlastní pravomoci. Tyto otázky jsou méně efektní. Jsou to však právě otázky, které rozhodují o tom, zda veřejný orgán může zůstat u kormidla.

The European Commission’s Public Buyers Community describes its updated EU model contractual AI clauses in three parts: a full version for high-risk AI aligned with the AI Act, a light version that can be customised for non-high-risk AI, and commentary on how to use and adapt the clauses. The distinction matters. A model clause is not a magic stamp that makes a procurement suitable. It is a starting point for allocating obligations between a public organisation and a supplier, in a contract whose scope, purpose and evidence still have to be decided by the buyer.

A buyer should therefore ask what it is actually promising to the public before it asks what a vendor can demonstrate. Is the authority promising a faster route through a backlog, a more consistent first review, a safer inspection, a better use of scarce expertise, or simply an experiment whose limits are visible? Each purpose creates different evidence and different reasons to stop. A system that drafts internal notes may need a different authority boundary from one that ranks applications for a service that people cannot avoid.

Consider a hypothetical evaluation team reviewing a tool that summarises supplier submissions. The team may decide that the task is suitable for assistance, but only if the summary preserves exclusions, conditions and dates and points reviewers back to the source passages. If the supplier cannot show how those requirements will be tested, the team should be able to decline the tool or narrow the contract. That is not an accusation about the supplier. It is a conclusion about the evidence available for the defined purpose.

The same reasoning applies when the problem is attractive but poorly bounded. A public body may want to predict demand, prioritise inspections or route correspondence. Those verbs conceal the decisions underneath. What counts as demand. What does priority change. Which correspondence can be safely routed without a human reading it. The first no may be to the scope of the problem, not to the use of software. Refusing an unclear purchase is often how an authority protects the useful part of the work from an untestable part.

Write the problem before the solution

Procurement becomes fragile when a product category arrives before a public problem has been named. Artificial intelligence is especially good at creating this order because the same model can be presented as a writing assistant, a classifier, a search layer or an agent depending on the slide. The authority needs to describe the work in terms that remain meaningful when the supplier, model family and interface are removed.

The Dutch Algoritmekader, maintained for public organisations, puts this work among its recommended measures. It asks organisations to describe the intended purpose and the data used, determine the applicable risk group, establish the impact if the algorithm does not work as intended and decide whether a solution should be developed or bought. It also points to a project start architecture for developing or procuring algorithms. These are not procurement decorations. They are ways of making the problem legible before an answer is offered.

A good requirement begins with the decision or service that must improve, the people who perform or receive it, the information the system may use, the information it must not use and the human authority that remains. It states the conditions under which the system is useful and the conditions under which it must not be used. It names the records that need to exist when the output is accepted, rejected, corrected or escalated. It does not need to predict the supplier’s internal design. It needs to define the public capability that can be inspected.

Právě zde záleží na funkčních a výkonnostních požadavcích. Směrnice 2014/24/EU vyžaduje, aby technické specifikace byly dostatečně přesné, aby uchazeči pochopili předmět zakázky a aby zadavatelé mohli posoudit, jak nabídky splňují kritéria. Požadavek typu „zajistěte inteligentní řešení“ není užitečným testem. Požadavek typu „zachovejte zdrojové pasáže použité v návrhu, zobrazte datum vyhledání, umožněte posuzovateli návrh odmítnout a exportovat výsledný záznam“ se blíží testovatelné veřejné potřebě. Popisuje chování a cestu k prokázání, nikoli módní trend.

Požadavky by měly také vymezit hranice úkolu. Veřejný zadavatel může uvést, že systém může navrhnout trasu, ale nesmí učinit konečné rozhodnutí. Může stanovit, že doporučení nesmí být použito, pokud chybí určený zdroj nebo si protiřečí. Může vyžadovat lidskou cestu pro osobu, které se rozhodnutí týká a která chce výsledek napadnout. Nejedná se o nepřátelská omezení. Jsou to podmínky, za nichž zůstává nákup veřejnou službou, nikoli soukromým pracovním postupem s logem vlády.

Úzce vymezený problém není nedostatkem ambicí. Je to způsob, jak ambice učinit zodpovědnými. Pokud zadavatel nedokáže vysvětlit, který krok systém mění, kdo z toho těží, co se může pokazit a co může člověk udělat dál, není připraven porovnávat dodavatele. Správným krokem může být další průzkum, řešení bez umělé inteligence, malý řízený pilotní projekt nebo žádný nákup. Zadávací dokumentace by měla mít prostor pro každou z těchto odpovědí.

Proměňte požadavky na důkazy

Slovo důkaz se v zadávání technologií používá volně. Prezentace dodavatele, prohlídka produktu a prohlášení, že je systém důvěryhodný, mohou být užitečnými vstupy. Žádný z nich však automaticky neprokazuje splnění požadavku. Důkaz musí být spojen s tvrzením, testem, rozsahem a osobou, která jej může přezkoumat. Bez tohoto spojení se hodnocení stává soutěží, v níž vyhrává nejpropracovanější věta.

Zadávací směrnice jasně stanoví základní vztah: kritéria pro zadání zakázky musí být doprovázena opatřeními, která umožňují účinně ověřit informace poskytnuté uchazeči. Tento princip je obzvláště důležitý u umělé inteligence, protože výsledek může vypadat přesvědčivě, zatímco podmínky, které jej vytvořily, zůstávají skryté. Zadavatel by se měl ptát, co bude zobrazeno, za jakých datových a úkolových podmínek, s jakým výchozím stavem a jak může posuzovatel výsledek reprodukovat nebo zpochybnit.

Nizozemský Algoritmekader klade stejný požadavek praktickým jazykem. Jeho opatření pro zadávání veřejných zakázek zahrnují začlenění požadavků na algoritmy do zadávací dokumentace a smlouvy, povinnost dodavatelů poskytnout důkazy o splnění požadavků jako součást hodnocení, posouzení podmínek odpovědnosti dodavatele, požadavek na schopnost auditu ve smlouvě, dohodu o tom, co se stane s daty a artefakty, a žádost o plán ukončení algoritmu. Tento seznam je vodítkem, nikoli univerzálním právním kontrolním seznamem. Jeho hodnota spočívá v tom, že zachází s důkazem jako s předmětem zadávacího řízení.

Zadavatel může rozdělit důkazy do tří užitečných kategorií. Předvedený důkaz je to, co dodavatel ukáže v řízeném hodnocení: vstup, výstup, zpracování chyb, použití zdrojů a lidská cesta mohou být pozorovány. Přezkoumatelný důkaz je to, co může zadavatel prozkoumat bez spoléhání se na předvedení: dokumentace, výsledky testů, protokoly, rozhraní, záznamy o změnách, popisy dat a schopnost provést dohodnutou kontrolu. Smluvní důkaz je to, co musí dodavatel nadále poskytovat: oznámení o podstatných změnách, informace o incidentech, přístup pro audit, provozní záznamy, exportní možnosti a podporu pro řízené ukončení. Kategorie se překrývají, ale zabraňují tomu, aby jeden působivý zážitek nesl celou smlouvu.

Důkazy potřebují také vymezený rozsah. Dodavatel může prokázat, že systém funguje dobře na sadě příkladů. Zadavatel ale stále potřebuje vědět, zda příklady reprezentují zamýšlený jazyk, kvalitu dokumentů, skladbu případů, potřeby přístupnosti a provozní omezení. Tvrzení o modelu v laboratoři není automaticky tvrzením o veřejné službě. Je to tvrzení o provedeném experimentu. Tým zadavatele by měl uchovat úlohu, datové podmínky, verzi a výsledek, aby se pozdější rozhodnutí nevznášelo ve vzduchu bez vazby na test.

Představme si jako hypotetickou situaci, že uchazeč poskytne vzorovou sadu vygenerovaných shrnutí a obecné prohlášení o přesnosti. Úřad může požádat o zdrojové dokumenty, pravidlo výběru, použitou verzi, způsob nakládání s chybějícím materiálem, postup přezkumu a artefakt, který zůstane k dispozici po přijetí. Pokud je odpovědí, že podrobnosti jsou chráněné obchodním tajemstvím a nelze je kontrolovat, tým se dozvěděl něco důležitého. Nedozvěděl se, že je systém špatný. Dozvěděl se, že navržená hranice důkazů může být pro veřejný účel příliš slabá.

Důkazy by měly být přiměřené. Malá interní pomůcka pro psaní nepotřebuje stejný rozsah kontroly jako systém, který ovlivňuje přístup k veřejné službě. Přiměřenost neznamená přijmout heslo při nízkém riziku. Znamená to sladit hloubku prokazování s důsledky, vratností, dotčenými lidmi a schopností chybu odhalit a napravit. Dodavatel by měl znát požadované důkazy ještě před podáním nabídky. Jinak úřad mění pravidla soutěže až po jejím skončení, což je známý způsob, jak vyrobit drahé překvapení.

Požadavek by měl vést k důkazům a důkazy by měly mít možnost změnit rozhodnutí o zadání zakázky.

Zadavatel musí mít možnost nesouhlasit

Veřejná odpovědnost není totéž co transparentnost dodavatele. Dodavatel může vysvětlit svou službu, ale úřad stále nemá cestu, jak by obyvatel, pracovník, podnik nebo odborník mohl napadnout způsob, jakým byla služba použita. Zadávací dokumentace by se proto měla ptát, jak funguje nesouhlas, nejen jak systém vytváří odpověď.

Algoritmekader řadí lidskou kontrolu, základní práva, transparentnost a možnosti podání stížností mezi svá témata pro veřejný sektor. Mezi doporučená opatření patří smysluplný lidský zásah do rozhodování, proces, kterým mohou občané nebo jiné zainteresované strany podat stížnost, námitku nebo odvolání, veřejné rozhodnutí o použití algoritmu a způsob zveřejňování algoritmů s dopadem v nizozemském Algoritmovém registru. Tato opatření nedělají z každého algoritmu veřejnou podívanou. Dělají odpovědnost úřadu natolik viditelnou, aby ji bylo možné zpochybnit.

Požadavek na zadávání veřejných zakázek týkající se lidského dohledu by měl pojmenovat konkrétní lidský úkon. Může recenzent vidět informace, které formovaly doporučení? Může opravit záznam? Může odmítnout výsledek, aniž by musel nejprve získat povolení od systému? Může požádat o alternativní postup, když zdroj chybí? Může zastavit dávku, izolovat verzi nebo postoupit obavu někomu s pravomocí? Pokud je odpovědí pouze to, že je v procesu někde přítomna osoba, požadavek popisuje nábytek, nikoli dohled.

Nesouhlas také potřebuje čas. Recenzent, který má kontrolovat každý výstup a přitom si ponechat původní pracovní zátěž, může být technicky v procesu, ale prakticky mimo něj. Zadávací řízení může vyžadovat školení, podporu, použitelné důkazy a předpoklad pracovní zátěže pro kontrolu. Může definovat, které případy vyžadují schválení před provedením úkonu a které vratné úkony s nízkými důsledky mohou proběhnout s protokolováním a pozdějším vzorkováním. Může od dodavatele požadovat, aby tuto cestu podporoval, a neskrýval ji za aplikačním programovým rozhraním.

Orgán veřejné moci musí také umět nesouhlasit se svým vlastním nadšením. Úspěšný pilotní projekt může vytvořit tlak na rozšíření nástroje na populaci nebo rozhodnutí, které nikdy nebyly součástí testu. Smlouva by měla zachovat původní účel a vyžadovat nové rozhodnutí, když se změní účel, data, dotčené osoby nebo důsledky. Aktualizace není automaticky neškodná jen proto, že je dodávána jako služba. Nové použití není automaticky pokryto jen proto, že se v horní části obrazovky objeví stejné logo.

Když dodavatel tvrdí, že model je pouze poradní, měl by se orgán veřejné moci podívat na to, co práce skutečně dělá. Pokud jsou pracovníci instruováni, aby přijali pořadí, pokud nemají čas ho zkontrolovat, nebo pokud systém řídí, které případy se dostanou k člověku, může se z poradenství v praxi stát rozhodnutí. Zadávací tým nemusí vést spory o dokonalém označení. Musí zdokumentovat cestu od výstupu k důsledku a zachovat si pravomoc tuto cestu měnit.

Hranice dodavatele jsou součástí smlouvy

Zadávání zakázek na AI je často popisováno jako volba mezi vytvořením a nákupem. Těžší volbou je, jak rozdělit hranici mezi dodavatelem a veřejnou organizací. Dodavatel může ovládat model, službu, cestu aktualizací, infrastrukturu, tým podpory a část zpracování dat. Orgán veřejné moci kontroluje veřejný účel, rozhodnutí, dotčenou populaci a povinnost poskytovat zákonnou a použitelnou službu. Smlouva musí tyto odpovědnosti propojit, nikoli je ponechat jako dva zdvořilé diagramy.

Aktualizované modelové smluvní doložky EU pro AI jsou užitečné, protože uznávají, že veřejní zadavatelé potřebují odlišné přístupy pro AI s vysokým a nízkým rizikem a potřebují pokyny pro přizpůsobení doložek v praxi. Nejsou náhradou za strategii zadávání zakázek nebo právní přezkum. Jsou společným jazykem pro explicitní stanovení odpovědností. Kupující stále musí rozhodnout, které důkazy, práva k datům, přístup k auditu, oznámení o změnách, podpora, odpovědnost a podmínky ukončení jsou přiměřené kupovanému systému.

Data a artefakty si zaslouží zvláštní pozornost. Systém se může dotýkat zdrojových dokumentů, popisků, výzev, vložení, generovaných návrhů, lidských oprav, vyhodnocovacích sad, protokolů a konečných záznamů. Smlouva by měla rozlišovat, co dodává orgán veřejné moci, co vytváří dodavatel, co může každá strana používat, co musí být vráceno, co musí být smazáno a jaký důkaz o smazání nebo uchování se vyžaduje. Tvrzení, že orgán veřejné moci vlastní svá data, neodpovídá na otázku, kde žijí odvozené artefakty nebo jak může orgán získat záznamy, které vysvětlují výsledek.

Práva na audit potřebují praktickou podobu. Kupující by měl vědět, které záznamy lze kontrolovat, jak se o přístup žádá, jaká výpovědní lhůta je přiměřená, jaká pravidla důvěrnosti se uplatní a co se stane, když audit odhalí nedostatek. Klauzule o auditu bez použitelné cesty je rozsudek čekající na spor. Totéž platí pro klauzuli o incidentu, která říká, že dodavatel bude spolupracovat, aniž by uvedla informace, lhůty a odpovědnou osobu potřebné pro spolupráci.

Řízení změn by nemělo být ponecháno na poznámkách k vydání. Orgán může vyžadovat oznámení o podstatné změně modelu, zdrojů dat, místa zpracování, subdodavatelů, rozhraní, prahových hodnot, metody hodnocení nebo lidské cesty. Může definovat, jaké důkazy jsou potřebné, než se změněná verze použije pro veřejný úkol. Může vyžadovat právo pozastavit, odmítnout nebo vrátit se k předchozí verzi, pokud změněná služba již nesplňuje podstatný požadavek. Toto jsou doporučení, aby byla smlouva použitelná. Nejsou to tvrzení, že jedna klauzule může vyřešit každý vztah s dodavatelem.

Odpovědnost zahrnuje také to, co dodavatel poskytnout nemůže. Služba může záviset na modelu nebo infrastruktuře třetí strany, jejichž změny jsou mimo přímou kontrolu daného dodavatele. Kupující by měl být o této závislosti informován a měl by vědět, které povinnosti se na něj přenášejí. Veřejná organizace nemůže posoudit řetězec tím, že zkontroluje pouze přední dveře. Smlouva by měla zachovat cestu k příslušným důkazům, nebo by kupující měl uznat, že nejistota je důvodem k zúžení nebo odmítnutí nákupu.

Kvalitní hranice chrání i dodavatele. Veřejný kupující, který požaduje každý možný dokument, každý detail zdrojového kódu a neomezenou podporu bez definovaného účelu, může snížit konkurenci a učinit smlouvu neatraktivní pro menší evropské poskytovatele. Proporcionalita, jasnost a důvěryhodný rozsah důkazů umožňují dodavateli říci, co umí, a kupujícímu říci, co potřebuje. Veřejné zakázky by měly být náročné, aniž by byly divadelní. Zeď z nemožných požadavků drží ven špatné systémy i ty dobré se stejnou účinností.

Změna po zadání zakázky je stále zadáváním zakázky

Zadání zakázky není koncem rozhodování. Je to okamžik, kdy služba vstupuje do jiného druhu kontroly. Během provozu se data mění, politiky se mění, rozhraní se nahrazují, zaměstnanci si osvojují zkratky, dodavatelé revidují modely a systém může být používán v situacích, které si původní tým nepředstavil. Orgán potřebuje způsob, jak si těchto změn všimnout dříve, než se náhodou stanou novým veřejným účelem.

Algoritmekader doporučuje pravidelné kontroly, že algoritmus funguje tak, jak má, sledování změn v datech a vyhodnocování výkonu a výstupů při změně dat, a udržování plánu průběžného monitorování. Zahrnuje také opatření pro nouzový plán zastavení algoritmu. Tato doporučení vnášejí čas do modelu řízení. Zadávací řízení, které zachytí pouze počáteční specifikaci, koupilo fotografii pohybující se služby.

Ne každá aktualizace by měla spustit stejný ceremoniál. Bezpečnostní záplata, která nemění model, hranice dat a roli rozhodování, může jít jinou cestou než nová rodina modelů, změněný zdroj vyhledávání nebo nová prahová hodnota. Smlouva může definovat podstatnost provozně: změna je podstatná, pokud mění úkol, dotčené osoby, cestu důkazů, důsledek rozhodnutí, jurisdikci nasazení, subdodavatele, použití dat nebo možnost zásahu. Přesná definice vyžaduje právní a technický úsudek. Princip je jednoduchý: změna je součástí zakoupené schopnosti.

Monitoring by měl zachovat informace potřebné k rozhodování. Dashboard může ukázat, že je služba vytížená; už nemusí ukázat, že zdroj zastaral nebo že revizoři přehlasovávají stejné doporučení. Úřad by měl uchovávat příslušnou verzi, rozsah úkolu, podmínky pro důkazy, lidský zásah a důvod změny. Měl by vědět, které změny byly přijaty, které vráceny, které omezeny a které vyvolaly novou otázku v zadávacím řízení.

Dodavatel nemusí být schopen předem oznámit každou interní změnu. Smlouva může přesto vyžadovat použitelné oznámení a balíček důkazů dříve, než se na změněné chování začne spoléhat. Úřad může zvolit postupné nasazení, řízené vyhodnocení nebo dočasné pozastavení. Možnost pozastavit není trest. Je to to, co veřejné službě umožňuje zůstat odpovědná, dokud se nezjistí fakta.

Záznam o změně také chrání před falešnou jistotou. Pokud úřad nedokáže rozlišit, zda rozdíl vznikl kvůli novému modelu, změně dat, promptu, lidskému obcházení nebo externí závislosti, neměl by tvrdit, že se systém choval konzistentně. Správnou reakcí může být zúžení použití, shromáždění lepších důkazů nebo zastavení dotčené cesty. Veřejné peníze nejsou bezpečnější jen proto, že je vysvětlení úhledné.

Interoperabilita je zdvořilé slovo pro odchod

Lidé často hovoří o interoperabilitě, jako by šlo o technickou zdvořilost mezi systémy. Ve veřejném zadávání je také kontrolou kontinuity. Pokud veřejná služba nemůže přesunout své záznamy, konfigurace, důkazy, rozhraní a provozní znalosti na jinou cestu, může být úřad právně svobodný odejít, ale prakticky toho neschopný. Smlouva vytvořila závislost, kterou zadávací dokumentace nepojmenovala.

Zpráva JRC Komise o podpoře zavádění umělé inteligence ve veřejných správách EU označuje zadávání veřejných zakázek za klíčovou podpůrnou roli a uvádí, že interoperabilita by měla být začleněna od samého počátku. Zároveň představuje strategické zadávání jako způsob, jak snížit závislost na dodavatelích mimo EU a podpořit evropské startupy v oblasti AI, open source a řešení GovTech. To není argument pro nákup evropského zboží podle hesla ani pro to, aby se open source považoval za automatickou záruku. Je to argument pro to, aby se technická a institucionální schopnost změnit kurz stala součástí kupované hodnoty.

Odchod začíná seznamem toho, co musí přežít. Může zahrnovat zdrojové záznamy, identifikátory, popisky, prompty, verze modelů a konfigurací, vyhodnocovací sady, záznamy o auditu, mapování uživatelů a rolí, integrační smlouvy, stav uchovávání, bezpečnostní materiál a význam polí. Seznam závisí na službě. Přenosný soubor bez kontextu může být méně užitečný než menší záznam s neporušenou sémantikou a oprávněními. Export je schopnost, kterou je třeba testovat, ne políčko k odškrtnutí.

Interoperabilita také znamená, že úřad může provést smysluplné srovnání. Dokáže cílová destinace zpracovat záznamy, aniž by tiše změnila jejich význam. Mohou revizoři porovnat starý a nový výstup za stejných podmínek úkolu. Může veřejná služba pokračovat v omezeném režimu, pokud jedna závislost není k dispozici. Mohou důkazy zůstat čitelné poté, co rozhraní zmizí. Tyto otázky patří do požadavků, hodnocení a smlouvy, protože odchod objevený během nouze je obvykle archeologický výkop.

Přenositelnost nutně neznamená, že dodavatel musí předat každý vnitřní detail implementace. Znamená to, že zadavatel může zachovat veřejnou funkci a záznamy, za které odpovídá, s ohledem na zákonná práva a bezpečnostní omezení. Hranice by měla být stanovena před podpisem. Pokud je model dodavatele nepřístupný, může zadavatel stále požadovat přenosné vstupy, výstupy, rozhodovací záznamy, hodnocení, konfiguraci a cestu k rekonstrukci veřejných povinností služby. Pokud tuto cestu nezíská, měl by závislost ocenit poctivě, nebo ji odmítnout.

Zkouška odchodu je cenná, protože mění smluvní slib v pozorovanou schopnost. Veřejný zadavatel může otestovat export, prozkoumat pole, spustit reprezentativní pracovní zátěž v kontrolovaném cílovém prostředí a porovnat výsledné záznamy. Může zaznamenat, co se nepřeneslo, a rozhodnout, zda je mezera přijatelná. Cvičení nemusí být dramatické. Malá zkouška provedená před obnovením smlouvy je lepší než hrdinská migrace provedená poté, co se dodavatel stal jediným, kdo si systém pamatuje.

Odchod je posloupnost autority, exportu, významu, ověření, kontinuity a uzavření. Tlačítko označené export není touto posloupností.

Náklady jsou víc než řádek v nabídce

Cena se snadno porovnává, když je kupovaná věc stabilní. Nákup AI má delší nákladový horizont. Může zahrnovat integrační práci, přípravu zdrojů, čas na revize, bezpečnostní kontroly, úložiště, hodnocení, aktualizace modelů, práci na přístupnosti, řešení incidentů, podporu, export a náhradu. Některé náklady nese zadavatel. Jiné jsou přeneseny na pracovníky nebo na veřejnost, když je služba obtížněji zpochybnitelná. Nákup, který porovnává pouze počáteční poplatek, není nutně hospodárný. Jednoduše počítá jednu viditelnou část.

Směrnice 2014/24/EU umožňuje nákladové hodnocení životního cyklu tam, kde zadavatel tento přístup zvolí. Směrnice popisuje náklady, jako jsou pořízení, používání, údržba, konec životnosti a případně, pokud je to relevantní a ověřitelné, environmentální externality. Rovněž vyžaduje, aby zadávací dokumentace uváděla údaje, které musí uchazeči poskytnout, a metodu použitou k posouzení nákladů životního cyklu. To je užitečná disciplína pro AI, protože vyžaduje, aby kupující řekl, co se bude počítat, místo aby každého dodavatele vyzýval k jiné definici slova levný.

Stejný princip platí pro lidskou pozornost. Pokud systém vytváří doporučení, která je třeba posuzovat, patří práce s jejich posuzováním do provozního modelu. Pokud veřejná služba potřebuje cestu pro nápravu, musí mít tato cesta vlastníka a čas. Pokud aktualizace dodavatele vyžaduje nové hodnocení, musí mít úřad schopnost ho provést. To nejsou argumenty proti automatizaci. Jsou to připomínky, že automatizace mění místo, kde se práce odehrává. Úspora na faktuře se může stát výdajem ve frontě, pokud zadávací řízení novou práci nepojmenuje.

Do nákladů by měly patřit i náklady na nemožnost odejít. Závislost může vypadat levně, dokud je nová, a prodražit se, když se kolem ní nashromáždí záznamy, odbornost, integrace a očekávání veřejnosti. Kupující si může vyžádat odhad migrace, inventář dat a artefaktů, povinnost podpory a harmonogram zkoušek. Tyto podmínky může porovnat jako součást hodnoty nabídky. Volba není mezi optimismem a pesimismem. Je mezi závislostí, která je viditelná, a závislostí, která je skrytá v budoucím čase.

Myšlení v životním cyklu pomáhá zadávacímu týmu říci ne, aniž by předstíral, že nejlevnější viditelná nabídka je neutrální volba. Tým může návrh odmítnout, protože jeho důkazy, zátěž posuzování, cesta změny nebo náklady na odchod nejsou slučitelné s veřejným účelem. Rozhodnutí může vysvětlit podle zveřejněných kritérií. To není proti tržní gesto. To je to, co má trh s ověřitelnými požadavky umožňovat.

Veřejní zadavatelé potřebují pravomoc říci ne

Zadávací tým nemůže vykonávat pravomoc, kterou mu organizace nedala. Mnoho úřadů má lidi, kteří umějí posoudit právní, technické, finanční a servisní otázky, ale pravomoc spojit tato posouzení do pozastavení nebo odmítnutí je nejasná. Výsledek je známý: obavy jsou zaznamenány v jednom dokumentu, nadšení v jiném a zakázka pokračuje, protože nikdo neví, která role smí zavřít bránu.

Pravomoc by měla pojmenovat role, které mohou nákup v každé fázi přijmout, odmítnout, zúžit nebo pozastavit. Role potřebují přístup k příslušným důkazům a cestu k zaznamenání důvodu. Pracovník zadávacího řízení může vlastnit proces, vlastník služby veřejný účel, pověřenec pro ochranu osobních údajů podmínku soukromí, vedoucí bezpečnosti kontrolu, technický posuzovatel test a odpovědná vedoucí role konečné rozhodnutí. Přesné uspořádání se liší. Nebezpečná je právě absence uspořádání.

Užitečná podmínka zastavení není červený odznak s nápisem vysoké riziko. Je to skutečnost, která blokuje další rozhodnutí. Zamýšlený účel není dostatečně definován. Dodavatel nemůže poskytnout důkazy pro podstatný požadavek. Dotčená osoba nemá použitelnou cestu přezkumu. Úřad nemůže zkontrolovat příslušnou změnu. Práva k datům nebo artefaktům jsou nejasná. Systém nelze exportovat ani nahradit v rámci plánu kontinuity. Lidský posuzovatel má odpovědnost, ale nemá pravomoc. Každá podmínka může mít jiný nápravný prostředek. Některé vyžadují upřesnění, některé změnu smlouvy, některé užší rozsah a některé ne.

Podmínky zastavení by měly být známy před hodnocením nabídek. Měly by být propojeny s hodnoticími kritérii a se smlouvou, aby kupující nevymýšlel nový standard až poté, co uvidí odpověď dodavatele. Měly by být také přezkoumávány po zadání zakázky. Požadavek, který byl splněn při spuštění, se může stát nesplněným po podstatné změně nebo novém použití. Schopnost říci ne není jediná brána na konci. Je to udržovaná pravomoc po celou dobu životnosti služby.

Představme si hypotetický veřejný tým, který pořizuje službu pro směrování dokumentů. Jeho zveřejněné požadavky zahrnují dohledatelnost zdroje, cestu lidské kontroly, oznámení o podstatných změnách modelu, export záznamů a definovaný postup ukončení. Jeden uchazeč nabídne přesvědčivou demonstraci, ale neumožní úřadu nahlédnout do výběru zdroje ani uchovat verzované důkazy o směrování. Další uchazeč nabídne méně funkcí, ale splní požadavky na důkazy a ukončení. Tým není povinen upřednostnit hlasitější demonstraci. Může uplatnit stanovená kritéria, klást přiměřené otázky a odmítnout první nabídku, pokud zůstane podstatný požadavek neprokázaný.

Toto rozhodnutí by nemělo být formulováno jako morální soud o dodavateli nebo technologii. Mělo by uvést veřejný účel, požadavek, obdržené důkazy, nevyřešenou podmínku a rozhodnutí, které zadávací dokumentace umožňuje. Jasné ne je ohleduplnější než vágní možná, které se později změní v povinné obnovení. Zároveň vysílá trhu užitečný signál: veřejní zadavatelé zaplatí za důkazy a kontrolu, nejen za divadlo schopností.

Lidská pravomoc zastavit musí být použitelná při incidentu. Operátor by měl vědět, koho kontaktovat, jaký stav systému zachovat, která trasa služby může pokračovat a jaká komunikace je vyžadována. Záznam o rozhodnutí by měl rozlišovat okamžitou izolaci od dlouhodobějšího rozhodnutí o zadání. Veřejný orgán nemusí čekat na dokonalé vyšetřování, než zabrání další újmě, ale neměl by si nárokovat větší jistotu, než má. Zastavení je kontrola. Vysvětlení se může vyvíjet.

Zadávání veřejných zakázek utváří trh

Veřejné zakázky jsou jedním ze způsobů, jak Evropa rozhoduje o tom, které schopnosti stojí za to budovat. Zpráva JRC o pokroku v zavádění umělé inteligence ve veřejných správách EU popisuje veřejný sektor jako významnou sílu utvářející trh. Spojuje úspěšné zavádění se správou, připraveností pracovní síly, odpovědným zadáváním zakázek, interoperabilitou a důvěrou veřejnosti. Rovněž uvádí, že strategické zadávání zakázek může snížit závislost na dodavatelích mimo EU a podpořit evropské startupy, řešení s otevřeným zdrojovým kódem a GovTech. Nejde o to, aby se veřejný orgán stal rizikovým fondem. Jde o to, že jeho požadavky mohou buď odměňovat odpovědné schopnosti, nebo odměňovat přesvědčivý obal kolem závislosti.

Zvláštní zpráva Evropského účetního dvora č. 28/2023 má název Public procurement in the EU: less competition for contracts awarded for works, goods and services in the ten years up to 2021. Její veřejné shrnutí popisuje hospodářskou soutěž o veřejné zakázky v Evropě jako klesající. Trh s menším počtem skutečně konkurenceschopných subjektů je špatným místem pro skrývání vágních požadavků. Pokud orgán nemůže porovnat důkazy, může si vybírat mezi marketingovými styly, nikoli mezi službami. Říci ne netestovatelné nabídce může zachovat podmínky pro lepší soutěž v budoucnu.

Zároveň může zadavatel neúmyslně vyloučit užitečné dodavatele tím, že bude požadovat důkazy ve formě, kterou dokáže vyprodukovat jen největší dodavatel. Přiměřené požadavky, jasná rozhraní, otevřené formáty a postupné hodnocení mohou menším organizacím umožnit prokázat ohraničenou schopnost, aniž by předstíraly, že mají zdroje nadnárodní společnosti. Zadavatel by měl být přísný ohledně veřejného účelu a flexibilní ohledně implementace tam, kde implementace tento účel neovlivňuje. Tak se z ne stane lepší otázka, nikoli zavřené dveře.

Utváření trhu také znamená odmítnout, aby se soukromá architektura jednoho dodavatele stala definicí veřejné potřeby. Pokud požadavek jmenuje konkrétní model, cloud nebo proprietární pracovní postup bez odůvodněné vazby na úkol, může být soutěž zúžena dříve, než budou vidět důkazy. Funkční požadavky a ověřitelné výsledky dávají veřejným zadavatelům větší prostor pro porovnání přístupů. Také činí smlouvu méně křehkou, když se zvolená součást změní.

A public authority can be a demanding customer without becoming a difficult customer. It can publish the evidence it expects, explain the reason for a stop condition, offer a route for clarification and pay for work that creates durable public capability. The market then has something useful to respond to. It does not have to guess whether the winning factor was a hidden preference, a beautiful demo or the price of a future problem.

A working pattern for a procurement that can refuse

The following pattern is a practical recommendation, not a new legal procedure. It is a way to keep the public decision visible while a system moves from idea to operation. An authority should adapt it to its law, sector, risk and procurement method. The important part is that each gate has an owner, evidence and a permitted outcome that includes pause or refusal.

First, write the public purpose. Name the service, the people who perform it, the people who receive it, the decision or action that may change and the reason a system is being considered. State what is outside scope. If the purpose cannot be described without the supplier’s product vocabulary, the authority is still in market discovery. The output of this gate is a problem statement and a decision about whether procurement is the right next step.

Second, write the evidence boundary. For each material claim, state what would show that it is true in the intended task. Name the data conditions, language, accessibility needs, source records, version, baseline and review route that make the test meaningful. Specify what must be inspectable, what can be kept confidential and what must be delivered as a contract record. The output of this gate is a set of requirements that tenderers can understand and an evaluation plan that can change the award.

Third, write the authority boundary. Name the actions the system may suggest, the actions it may take, the actions that need approval and the actions that are prohibited. Name who can correct a source, reject an output, change a rule, pause a service and speak to an affected person. Define what happens when the system is uncertain or the evidence conflicts. The output of this gate is a human route that is more specific than a checkbox.

Fourth, write the change boundary. Identify the changes that require notice, evaluation, approval or a new procurement decision. Include model, data, supplier, subcontractor, infrastructure, processing location, interface, threshold, population, purpose and human route. Decide which evidence stays with the change record and which can be redacted for lawful reasons. The output of this gate is a maintained record rather than a promise that the system will remain static.

Fifth, write the exit boundary. List the records, data, configuration, evidence, permissions, integrations and operational knowledge that must survive. Define formats, timing, support, verification, reduced service, cut-over, access closure and deletion. Rehearse a small export before renewal or a material expansion. The output of this gate is a route that can be tested while the supplier is still a partner, not only after the relationship has become a dispute.

Sixth, write the public record. Decide what can be published about the purpose, system role, evidence, human route, changes, incidents and contact for challenge. Protect confidential and personal information without turning the whole decision into a private conversation. A public record can say what is known, what is not known and when the next review will occur. Its job is not to make the system look perfect. It is to make the authority’s judgement inspectable.

Na závěr formulujte zamítnutí. Zamítnutí není dramatická tisková zpráva. Je to běžný výsledek v záznamu o rozhodnutí: požadavek byl podstatný, důkazy jej nesplnily, náprava byla zvážena a orgán se rozhodl odmítnout, zúžit, pozastavit nebo hledat jinou cestu. Zadávací řízení, které takový záznam nedokáže vytvořit, působí, jako by byl nákup nevyhnutelný dříve, než si tento závěr zasloužil.

Tyto brány lze zachytit v nabídce do zadávacího řízení, ve výchozí architektuře projektu, v harmonogramu smlouvy, v přezkumném jednání a v plánu pro řešení incidentů. Neměly by se stát rozsáhlejším formulářem jen pro ně samotné. Pokud brána nezmění to, o čem může tým rozhodovat, je to pravděpodobně divadlo dokumentace. Pokud dává člověku důkazy a pravomoc jednat, je součástí služby.

Otázky, které stojí za to uvést do zadávacího řízení

Nejlepší otázky nejsou ty, které nutí dodavatele opakovat jeho marketingový jazyk. Jsou to ty, které zviditelňují veřejný účel a hranici důkazů. Zadavatel může následující otázky přizpůsobit systému a postupu:

  • Jaký přesný veřejný úkol podporuje navrhovaná schopnost a které úkoly jsou mimo její zamýšlené použití?
  • Které osoby, záznamy a zdroje dat jsou v rozsahu a které musí být vyloučeny?
  • Jaký výstup systém vytváří a jaké rozhodnutí nebo opatření z něj může vyplynout?
  • Který požadavek lze prokázat, který lze zkontrolovat a který bude udržován smluvně?
  • Jak orgán reprodukuje výsledek s příslušnou verzí, zdroji, konfigurací a podmínkami úkolu?
  • Co může lidský recenzent vidět, změnit, odmítnout, postoupit nebo zastavit dříve, než dojde k závažnému opatření?
  • Které změny modelu, dat, infrastruktury, subdodavatele nebo politik vyžadují oznámení a nové posouzení?
  • Které záznamy a artefakty může orgán exportovat, v jakých formátech, s jakým významem, právy a statusem uchování?
  • Co se stane, když je služba nedostupná, důkazy jsou neúplné nebo osoba zpochybní výsledek?
  • Které povinnosti týkající se podpory, auditu, incidentů, školení a ukončení pokračují po prvním vydání?

Tyto otázky nenahrazují směrnici o zadávání veřejných zakázek, nařízení o umělé inteligenci, právní předpisy o ochraně údajů ani odvětvová pravidla. Jsou podněty, aby orgán převedl své vlastní povinnosti do praxe. Dodavatel, který na ně dokáže jasně odpovědět, přesto nemusí být tím správným dodavatelem. Dodavatel, který na ně odpovědět nedokáže, může mít stále užitečnou součást, ale orgán by neměl zaměňovat užitečnou součást za úplnou veřejnou schopnost.

Naše krátká poznámka

Ve společnosti Dweve zahrnuje náš AI Compas dodavatelsky neutrální cestu pro zadávání zakázek a správu pro regulované evropské organizace. Materiály RFI a RFP žádají týmy, aby klasifikovaly případ použití, uplatnily vylučovací kritéria, porovnaly dodavatele, provedly ověření konceptu a uchovávaly důkazy prostřednictvím monitorování. To je náš implementační kontext, nikoli nezávislý důkaz o veřejném zadávání zakázek a nikoli tvrzení, že jeden rámec vyhovuje každému orgánu. Zmiňujeme to, protože disciplína popsaná zde je také disciplínou, kterou se snažíme používat ve vlastní práci: definujte hranici, vyžadujte důkazy, ponechte rozhodnutí na lidech a zajistěte viditelný odchod.

Naše Trust Centre činí stejné rozlišení v jiném rejstříku. Veřejný záznam může popsat, co je zdokumentováno, co je připraveno a co zůstává budoucí událostí, aniž by se prohlášení o záměru změnilo v důkaz. Zadávací tým si zaslouží stejnou poctivost od svých dodavatelů. Kupující by měl být schopen vidět status tvrzení, důkazy za ním a cestu k jeho zpochybnění.

Poučení

Veřejný orgán se nestane odpovědným tím, že podepíše smlouvu na systém umělé inteligence. Odpovědným se stává tehdy, když zadávací řízení dokáže vysvětlit, proč systém do dané agendy patří, jaké důkazy tento závěr podporují, kdo může zasáhnout, co se stane, když se systém změní, a jak může veřejná funkce pokračovat, pokud dodavatel selže.

Evropská pravidla zadávání veřejných zakázek již poskytují důležité návyky: kritéria by měla souviset s předmětem zakázky, informace by měly být ověřitelné, váhy by měly být stanoveny a smluvní podmínky jasné. Klauzule Evropské komise pro zadávání zakázek na umělou inteligenci dávají veřejným zadavatelům možnost projednat systémy s vysokým i jiným než vysokým rizikem a rozdělit odpovědnosti. Nizozemský Algoritmekader proměňuje odpovědné zadávání zakázek v praktická opatření týkající se účelu, dat, důkazů, auditu, lidské kontroly, zastavení a ukončení. Zpráva JRC zasazuje zadávání zakázek do evropské debaty o kapacitách a suverenitě. Varování ECA před zmenšující se konkurencí připomíná, že slabou soutěž nenapraví sebevědomé zadání zakázky.

Těžké slovo je stále ne. Ne, účel není definován. Ne, důkazy nelze zkontrolovat. Ne, lidská cesta je jen dekorativní. Ne, cesta změny je neviditelná. Ne, veřejný záznam nelze udržet. Ne, služba nemůže odejít, aniž by ztratila práci, kterou měla chránit. Každé ne může být odmítnutím, zúžením, pauzou nebo žádostí o lepší odpověď. Orgán by se měl rozhodnout, které to je, zaznamenat proč a ponechat rozhodnutí otevřené výzvám.

Zadávání zakázek, které umí říci ne, není zadáváním, které se bojí technologie. Je to zadávání, které zná rozdíl mezi schopností a slibem. Platí za systém, který lze testovat, dohlížet na něj, měnit jej a opustit. Dodavatelům dává spravedlivější soutěž, protože otázka je viditelná. Veřejným činitelům dává cestu, jak zasáhnout dříve, než se z problému stane politika. Lidem, kterých se služba týká, dává něco užitečnějšího než prohlášení, že dodavatel byl schválen.

Veřejný nákup by měl skončit službou, kterou orgán může i nadále řídit. Pokud jsou důkazy silné, říci ano má smysl. Pokud jsou důkazy slabé, říci ne je veřejná práce. Spis k zadávacímu řízení by měl být schopen pojmout obě věty.

Zdroje