Malý model může nést velký závazek

Velikost modelu je technická vlastnost. Odpovědnost vyplývá z účelu, kontextu, dat, pravomocí a lidí kolem systému.

Malý model může nést velký závazek

Zákon se neptá, jak je model velký

Otevřete-li evropský akt o umělé inteligenci, nenarazíte na žádný pult s modely. Neexistuje první stránka, na níž by se stroj vážil, měřil a ukládal do úhledné právní přihrádky. Akt začíná systémem: strojovým systémem, který pracuje s různou mírou autonomie, může se po nasazení přizpůsobovat a ze vstupů odvozuje, jak generovat předpovědi, obsah, doporučení nebo rozhodnutí, která mohou ovlivnit fyzické či virtuální prostředí. Jeho definice se týká toho, co systém dělá a co mohou jeho výstupy změnit.

To je užitečné místo, kde začít, protože technologická debata se stále snaží, aby velikost zastala práci kontextu. Menší model působí skromně. Může se vejít na běžný hardware, odpovědět na jednu úzkou otázku nebo vrátit štítek místo odstavce. To mohou být cenné technické vlastnosti. Mohou zmenšit plochu, kterou je třeba testovat, snížit nároky nasazení na zdroje nebo usnadnit výměnu součásti. Žádná z nich nám však neřekne, zda člověk kvůli štítku může přijít o právo, službu, zaměstnání nebo bezpečnou cestu.

Povinnost se objevuje ve vztahu mezi systémem a světem kolem něj. Kdo výstup používá. Jaké rozhodnutí následuje. Která data vstupují do procesu. Jak velkou pravomoc systém má. Může člověk výsledek napadnout. Může ho někdo zvrátit dřív, než se újma stane trvalou. Je dotčená osoba na výsledku závislá, třeba proto, že neexistuje praktická alternativa. Model může být technicky malý a institucionálně velký. O tom je tento článek a slovo institucionálně nese hlavní tíhu.

Nejde o argument, aby se každý klasifikátor bral jako veřejná pohotovost. Jde o argument pro přiměřenost. Přiměřenost neznamená, že malé systémy dostanou slavnostní úsměv a žádné otázky. Znamená to, že otázky následují skutečný důsledek. Model používaný k třídění soukromé sbírky poznámek a model používaný k rozhodování o tom, kdo bude podroben kontrole, mohou v úložišti vypadat podobně. Ve světě podobné nejsou.

Velikost modelu popisuje součást. Účel, dotčené osoby a kontrola určují povinnost, kterou tato součást nese.

Malý je měření, ne kontext

Slovo „malý“ může znamenat několik různých věcí a tyto významy se často nenápadně zaměňují. Může znamenat méně parametrů, menší paměťovou stopu, menší výpočetní náročnost při trénování, omezenou slovní zásobu, úzké výstupní schéma nebo krátké vstupní okno. Může znamenat, že model běží na zařízení spíše než prostřednictvím vzdálené služby. Může také znamenat, že tým modelu přidělil úzkou roli. Tato tvrzení nejsou totéž. Nízký počet parametrů neznamená malou společenskou roli, stejně jako vysoký počet parametrů neříká, kde smí systém působit.

Existuje i druhý zmatek. Lidé používají slovo malý ve smyslu lokální a lokální ve smyslu neškodný. Lokální nasazení může zlepšit kontrolu nad pohybem dat, dostupností nebo provozním vlastnictvím. Může také umístit rozhodnutí přímo do pracoviště, na přepážku, do zdravotnického postupu nebo do zařízení, které člověk nemůže snadno opustit. Fyzická blízkost může snížit jeden druh závislosti, ale zároveň zvýšit význam lidí, kteří systém provozují. Server ve stejné budově není morální kategorií.

Pak je tu malý jako příslib ohledně schopností. Komponenta může být trénovaná na jeden úkol a přesto ovlivňovat větší proces. Může vracet pouze schválit, posoudit nebo odmítnout. Navazující pracovní postup může s těmito třemi slovy zacházet jako s bránou. Komponenta nemusí psát esej, aby učinila smysluplné rozhodnutí. Stačí ji umístit tam, kde ji další systém nebo další člověk nemůže snadno zpochybnit.

Pro správu a řízení proto užitečnou jednotkou není samotný model. Je to model v nasazení, s účelem, provozovatelem, hranicí vstupů, výstupní smlouvou, navazující akcí a cestou pro nápravu. To je méně uklizené než žebříček. Je to také blíže realitě. Žebříček vám může říct, jak si model vedl v úkolu. Nemůže vám říct, zda byl úkol povolen, zda se dotčení lidé mohli ohradit, nebo zda měla organizace oprávnění výsledek použít.

Jazyk Evropské komise kolem modelů umělé inteligence pro obecné účely tento rozdíl nenápadně ilustruje. Komise uvádí technická kritéria, která pomáhají určit, kdy model může spadat pod povinnosti pro GPAI, ale zároveň říká, že kritéria jsou orientační a že nezbytné zůstává posouzení případ od případu. Tento pokyn nepředstírá, že jedno číslo může popsat každou roli, kterou model může hrát. Snaží se učinit jednu klasifikační otázku použitelnou, aniž by z ní dělal univerzální teorii škod.

Práh není verdikt

V aktu o umělé inteligenci jsou čísla, což je jeden z důvodů, proč lidé sahají po číslech, když chtějí jistotu. Článek 51 vytváří domněnku vysoce účinných schopností pro model umělé inteligence pro obecné účely trénovaný s kumulativním množstvím výpočtů větším než 1025 operací s plovoucí desetinnou čárkou. Tato domněnka patří do klasifikace modelů GPAI se systémovým rizikem. Není to pravidlo, že model pod prahem je bezpečný, ani pravidlo, že každý model nad prahem způsobuje stejnou škodu.

Pokyny Komise ke GPAI používají jiný orientační práh, nad 1023 operací s plovoucí desetinnou čárkou spolu s širokou generativní schopností, aby pomohly určit modely, které mohou být pro obecné účely. Stránka je v omezeních explicitní. Model pod ukazatelem může stále splňovat podmínky, pokud vykazuje významnou obecnost. Model, který ukazatel splňuje, může výjimečně podmínky nesplňovat, pokud mu příslušná obecnost chybí. Pokyn je interpretací pro konkrétní právní otázku, nikoli svolením pro každé navazující použití.

Tyto dva prahy jsou užitečné právě proto, že jsou úzké. Pomáhají úřadům a poskytovatelům třídit konkrétní třídu povinností pro modely. Neřeší, zda malý model zabudovaný do vysoce rizikového systému zasluhuje pozornost. Neřeší, zda je zpracování údajů zákonné. Neřeší, zda může člověk napadnout rozhodnutí. Práh může stanovit, že je třeba položit otázku. Nemůže odpovědět na otázku, která patří do jiné vrstvy.

Technické prahy také stárnou. Nařízení říká, že Komise může upravit práh systémového rizika s ohledem na technologický vývoj, včetně zlepšení algoritmů a efektivity hardwaru. Pokyny Komise uvádějí, že její vlastní kritérium není absolutní. To je rozumné přiznání. Číslo, které v tabulce pro zadávání zakázek vypadá stabilně, se může změnit, když se změní okolní technologie. Zodpovědnou reakcí není nedůvěřovat každému číslu. Je jí udržet číslo spojené s otázkou, na kterou bylo navrženo odpovědět.

Pro týmy, které zveřejňují modelové karty nebo interní architektonické poznámky, z toho plyne praktické poučení. Uveďte práh, jednotku, právní ustanovení a hranici. Řekněte, zda je číslo právní domněnkou, indikátorem Komise, podmínkou benchmarku nebo interním konstrukčním cílem. Nedovolte, aby jedna metrika získala vznešenější význam jen proto, že se to hodí do prezentace. I malá metrika může nést velkou povinnost. Číslo potřebuje svůj vlastní původ.

Systém je víc než model v něm

Nařízení o umělé inteligenci činí hranici systému viditelnou. Definuje poskytovatele a nasazovatele, odděluje modely od systémů a přiděluje povinnosti podél hodnotového řetězce. Poskytovatelem může být osoba nebo organizace, která systém vyvíjí nebo nechá vyvinout a uvádí jej na trh nebo do provozu pod vlastním jménem. Nasazovatelem je osoba nebo organizace, která systém používá v rámci své pravomoci. Tyto role jsou důležité, protože stejná základní součást může být v různých uspořádáních s různými povinnostmi.

Představte si kompaktní textový klasifikátor, který vrací jednu ze čtyř kategorií. Model nemá uživatelské rozhraní, žádnou paměť a žádnou schopnost volat nástroj. V jednom prostředí třídí dokumenty vlastního týmu do složek. V jiném označuje žádosti pro veřejnou službu tak, že někteří lidé jsou odesláni k dalšímu přezkumu. Součást může být technicky identická. Druhý systém má jiný účel, jiné dotčené osoby, jiný mocenský vztah a jinou potřebu vysvětlení a nápravy.

Pravidla klasifikace vysoce rizikových systémů podle nařízení sledují právě tento druh rozdílu. Zkoumají, zda je systém bezpečnostní součástí, zda se používá v oblasti uvedené v příloze III a zda představuje významné riziko pro zdraví, bezpečnost nebo základní práva. Cesta přes uvedené použití není soudem o eleganci modelu. Je soudem o tom, co systém dělá v prostředí, kde na chybném výstupu může záležet. Úzký procedurální úkol může spadat do pečlivě formulované výjimky tam, kde materiálně neovlivňuje rozhodnutí, ale poskytovatel musí toto posouzení zdokumentovat.

Tento požadavek na dokumentaci je snadné podcenit. Tým, který tvrdí, že systém je pouze přípravný, činí tvrzení o kauzalitě. Říká, že výstup materiálně neovlivňuje rozhodnutí, které následuje. Pokud recenzent zachází se štítkem jako s důvodem k otevření spisu, pokud se pracovníci řídí pořadím, nebo pokud žadatel nemá smysluplný způsob, jak opravit údaje za příznakem, může být praktický vliv větší, než rozhraní naznačuje. Slovo přípravný nesmí znamenat neviditelný.

Hranice systému zahrnují i nenápadnou infrastrukturu kolem modelu: zdroj dat, práh, frontu, osobu, která výsledek obdrží, záznam, který přetrvá, smlouvu s dodavatelem, proces aktualizace a cestu k zastavení pracovního postupu. Malý model může být viditelným objektem, zatímco skutečné riziko se skrývá v předání. Proto je hodnocení rizik, které se ptá pouze na to, co model předpovídá, neúplné. Těžší otázka zní, co organizace udělá na základě této předpovědi.

Účel mění význam stejného výstupu

Výstup sám o sobě nemá žádnou závaznost. Stejná pravděpodobnost, kategorie nebo doporučení může být v jednom úkolu neškodná a v jiném závažná. Není to proto, že by slova měnila svůj slovníkový význam. Je to proto, že výstup vstupuje do rozhodovací struktury. Pořadí použité k výběru, které výzkumné poznámky přečíst jako první, není totéž jako pořadí použité k rozhodnutí, která domácnost bude předmětem vyšetřování podvodu. Stroj může používat stejnou matematiku. Instituce ale nemá stejný vztah k lidem na druhém konci.

Článek 7 nařízení o umělé inteligenci uvádí kritéria, která musí Komise zvážit při doplňování nebo úpravě případů použití s vysokým rizikem. Patří mezi ně zamýšlený účel, jak široce je systém používán nebo pravděpodobně bude používán, povaha a množství dat, autonomie a možnost lidského zásahu, rozsah a intenzita možné újmy, závislost na výsledku, nerovnováha moci, zranitelnost, vratnost, přínos a dostupnost nápravy. Tato kritéria čtená společně tvoří užitečnou protiváhu myšlení založenému na velikosti modelu. Popisují vztah, nikoli soubor vah.

Komponenta zůstává malá, zatímco okolní účel, moc, závislost a vratnost mění otázku kontroly.

Závislost je obzvláště důležitá. Člověk může někdy doporučení ignorovat, vyhledat jinou službu nebo požádat kolegu o ověření odpovědi. Člověk také může nemít žádnou praktickou alternativu. Pokud automatizovaný screeningový krok určuje, zda je služba zpožděna, zda se žádosti dostane pozornosti nebo zda je pracovník pozván na schůzi, dotčená osoba může být nucena žít s prvotní interpretací systému, zatímco organizace rozhoduje, zda se podívá znovu. Čím menší je viditelné rozhodnutí, tím snazší je přehlédnout závislost pod ním.

Reversibilita je důležitá ze stejného důvodu. Překlep v interní značce lze opravit dříve, než se na ni někdo začne spoléhat. Příznak rizika může změnit pořadí, v jakém se případ řeší, a zpoždění se samo může stát závažným. Odmítnutí může vést k zmeškání termínu. Pořadí se může stát jediným pořadím, které zaneprázdněný tým uvidí. Skutečnost, že administrátor může technicky upravit databázi, nedokazuje, že sociální důsledek lze snadno zvrátit. Technická reverzibilita a prožitá reverzibilita spolu souvisejí, ale nejsou totožné.

Právě zde má proporcionalita svůj obsah. Návrh s nízkým dopadem, který je interní, může potřebovat jen stručný záznam a jasného vlastníka. Systém, který ovlivňuje přístup k veřejné službě, potřebuje silnější důkazní cestu, informovanou lidskou cestu a způsob, jak zpochybnit vstup i výstup. Proporcionální kontroly nejsou absencí kontrol. Jsou to kontroly zvolené proto, že si je daný vztah zaslouží.

Data si ponechávají své závazky

Velikost modelu nedělá data anonymní jen svou atmosférou. Stanovisko Evropského sboru pro ochranu osobních údajů 28/2024 říká, že to, zda lze model umělé inteligence považovat za anonymní, musí být posuzováno případ od případu. Test ve veřejném shrnutí EDPB se ptá, zda je velmi nepravděpodobné, že by model mohl přímo či nepřímo identifikovat osoby, jejichž údaje byly použity k jeho vytvoření, a zda je velmi nepravděpodobné, že by jejich osobní údaje mohly být získány prostřednictvím dotazů. Menší model může obsahovat méně informací, ale méně není právní závěr.

EDPB také drží v zorném poli kontext oprávněného zájmu. Jeho analýza poukazuje na nezbytnost a vyvážení a uvádí vztah mezi lidmi a správcem, povahu služby, kontext, v němž byly údaje shromážděny, zdroj, možná další použití a to, co by lidé mohli rozumně očekávat. Tyto faktory nezmizí, když je model komprimován, destilován, kvantizován nebo umístěn za úhledné API. Komprese mění technický objekt. Nepřepisuje historii toho, proč byly údaje shromážděny nebo co bylo lidem sděleno.

V tomto stanovisku je užitečná disciplína, když jej čteme spolu s modelovým inženýrstvím. Zeptejte se, k čemu byl model trénován nebo adaptován, jaká data přijímá za běhu, které záznamy jsou uchovávány a kdo se na něj může dotazovat. Pak se zeptejte, co se děje dál. Je výstup zkopírován do spisu případu. Stává se pořadí pokynem. Vidí lidský recenzent zdrojový materiál, nebo pouze štítek modelu. Existuje cesta, jak může dotčená osoba opravit věcnou chybu. To jsou otázky dat a správy, ne pouze otázky přesnosti.

Veřejné shrnutí EDPB rovněž uvádí, že použití nezákonně zpracovaných osobních údajů při vývoji modelu může ovlivnit zákonnost nasazení, pokud model nebyl řádně anonymizován. Tato věta odolává známé únikové cestě. Tým nemůže nechat problém zmizet tím, že řekne, že konečný model je malý, data již nejsou viditelná nebo že model je pouze jednou součástí. Právní a etická historie dat zůstává součástí příběhu systému.

Pro inženýry to znamená, že záznam o trénování a záznam o nasazení by neměly být považovány za oddělené světy. Pro nákup to znamená, že prohlášení dodavatele o velikosti modelu nenahrazuje původ dat, účel, uchovávání, nakládání s právy ani dokumentaci o dalším použití. Pro dotčenou osobu to znamená, že užitečná otázka není, kolik parametrů bylo zapojeno. Je to to, co se stalo s jejími informacemi a co může organizace udělat, když je výsledek chybný.

Malý signál může posunout velkou frontu

Představme si hypotetickou servisní linku, která přijímá žádosti od obyvatel. Kompaktní klasifikátor přečte první zprávu a přiřadí jí směr: informace, běžná práce, naléhý přezkum nebo vyřízení specialistou. Příklad je záměrně obyčejný a čistě ilustrativní. Není v něm žádný jmenovaný úřad, žádné skutečné nasazení, žádné časové razítko ani tvrzení, že se to skutečně stalo. Smyslem je zpřehlednit hranici.

Pokud kategorie jen pomáhají pracovníkovi uspořádat si soukromé poznámky, riziko může být mírné. Pokud naléhavá trasa určuje, kdo dostane bezpečnostní kontrolu, výstup se posouvá blíže k veřejnému rozhodnutí. Pokud chybějící klíčové slovo pošle žádost člověka do běžné práce, zpoždění může mít význam, i když model s obyvatelem nikdy nemluví. Pokud pracovník vidí původní zprávu, může změnit trasu, zaznamenat důvod a rychle reagovat na námitku, má systém jinou míru kontroly než ten, v němž se štítek stane skrytou bránou.

Model se nezvětšil. Povinnost se vyjasnila. Vede po cestě od vstupu k důsledku. Organizace musí vědět, co kategorie znamenají, jaké důkazy může model použít, které případy vyžadují odmítnutí nebo eskalaci, kdo může trasu přepsat a jaký záznam umožní pozdějšímu posuzovateli rozhodnutí pochopit. Skromnost modelu není důvodem tyto otázky přeskočit. Může být důvodem odpovědět na ně přesněji, protože smlouvu této součásti lze vymezit úzce.

Podobná hypotéza se objevuje v zaměstnání. Malý model by mohl z životopisu vytáhnout dovednosti, zařadit roli nebo označit chybějící certifikát. Extrakce zní méně závažně než výběr, ale může ovlivnit pořadí, které následuje. Pokud se výstup nikdy nepoužije k rozhodnutí o tom, kdo postoupí dál, může systém zůstat na přípravné straně hranice. Pokud lidé začnou považovat extrahovaný štítek za objektivní shrnutí a přestanou se dívat na dokument, hranice se posune. Povinnost žije v použití, ne ve slovese zvoleném pro popis práce modelu.

V obou ilustracích není správnou reakcí panika kvůli malému modelu. Je jí zviditelnění předání. Pojmenujte zamýšlený účel. Prohlaste, co výstup může a nemůže změnit. Uchovejte zdroj a verzi modelu tam, kde na nich rozhodnutí závisí. Dejte člověku dostatek informací a pravomoc nesouhlasit. Otestujte úseky, u nichž se očekává, že si systém nebude jistý. Přezkoumejte pracovní postup, když organizace změní data, práh, publikum nebo navazující krok.

Co skutečně učí nizozemský rozsudek SyRI

Evropa už má zdokumentovaný příklad kompaktně vypadajícího rizikového systému s povinností odpovídající právům lidí. Dne 5. února 2020 označil Okresní soud v Haagu systém SyRI za zákonný vládní nástroj používaný k boji proti podvodům v dávkách, příspěvcích a daních. Soud případ nerozhodl tím, že by se ptal, kolik parametrů systém měl. Posoudil právní rámec podle článku 8 Evropské úmluvy o lidských právech, včetně toho, zda zásah do soukromého života zachovával spravedlivou rovnováhu.

Soud dospěl k závěru, že právní úprava systému SyRI touto zkouškou neprošla. Podle soudu bylo používání systému SyRI nedostatečně transparentní a kontrolovatelné. Právní rámec byl proto neslučitelný s právem vyšší právní síly a nemohl v dosavadní podobě obstát. Veřejná stránka případu je stručná, ale její poučení není malé: když stát používá systém indikace rizik proti lidem, kteří mají jen malou možnost mu porozumět nebo ho napadnout, potřebuje systém takovou úroveň nahlédnutí a kontroly, která tomuto vztahu odpovídá.

SyRI byl nizozemský zákonný nástroj pro indikaci rizik, nikoli případová studie o moderním neuronovém modelu, a soudní stránka nám neposkytuje počet parametrů, o kterém bychom mohli diskutovat. Právě proto sem patří. Tento příklad nám brání v tom, abychom považovali architekturu modelu za jediný zajímavý objekt. Pravidlový engine, skórovací karta, statistický model nebo malý klasifikátor se všechny mohou stát součástí institucionálního rozhodnutí. Otázka práv přichází skrze použití.

Rozsudek také staví transparentnost na správné místo. Není to pouze žádost o vysvětlení poté, co byla osoba poškozena. Je součástí podmínek, za kterých lze systém posuzovat před jeho provozem a během něj. Pokud lidé nevidí dostatek účelu, nakládání s daty, záruk a cesty k odvolání, aby porozuměli zásahu, organizace nemusí být schopna prokázat spravedlivou rovnováhu, kterou tvrdí, že dosáhla.

Není třeba měnit SyRI v univerzální analogii. Nizozemský právní rámec, skutkové okolnosti případu a Evropská úmluva jsou specifické. Užitečný přenos je užší: neptejte se, zda je systém technicky působivý, dříve než se zeptáte, zda je jeho institucionální vztah viditelný, kontrolovatelný a napadnutelný. Menší stroj neomlouvá větší mlčení.

Tam, kam se štítek šíří, je jeho další použití

Model může být představen jako součást a přesto se stát součástí systému, který nese jinou povinnost. Pokyny Komise pro GPAI vysvětlují, proč poskytovatelé v další fázi potřebují informace o schopnostech a omezeních modelu. Tyto informace potřebují k odpovědné integraci modelu a ke splnění vlastních povinností podle aktu o AI. Poskytovatel modelu a poskytovatel systému nepíší stejný dokument, protože neodpovídají na stejnou otázku.

Tento rozdíl je důležitý, když týmy zacházejí s kartou modelu jako s pasem. Karta modelu může popisovat architekturu, školení, vyhodnocení, známá omezení a zamýšlená použití. Sama o sobě nemůže popsat každé prostředí, do kterého by tým v další fázi mohl model umístit. Systém v další fázi přidává uživatele, účel, datové toky, rozhraní, lidské role, rozhodnutí a skupinu dotčených osob. Tyto dodatky mohou změnit povinnost, i když váhy modelu zůstanou nedotčeny.

Odpovědnost se může také změnit, když organizace upraví zamýšlený účel nebo provede podstatnou změnu. Ustanovení aktu o AI o hodnotovém řetězci popisují okolnosti, za kterých se aktér může ujmout povinností poskytovatele, včetně změny zamýšleného účelu systému AI tak, aby se stal vysoce rizikovým. Toto je užitečné varování před smluvní mlhou. Dodavatel může poskytnout součást, ale nasazovatel nemůže způsobit, že jeho vlastní použití zmizí tím, že součást nazve knihovnou.

Praktické předání by proto mělo nést více než odkaz ke stažení. Mělo by uvádět zamýšlené úkoly, hranice vstupů a výstupů, požadavky na integraci, informace o školení a ověřování tam, kde jsou relevantní, známá omezení a podmínky, za kterých by součást neměla být použita. Mělo by vysvětlit, co model nevyhodnotil. Tým v další fázi by neměl muset odvozovat nepřítomnost záruky z přítomnosti sebevědomého diagramu.

Pro tuto dokumentaci existuje lidský důvod. Osoba dotčená konečným systémem se nesetkává s poskytovatelem modelu v abstraktu. Setkává se s organizací, která zvolila pracovní postup. Organizace musí být schopna říci, co součást dělala, co s ní organizace dělala a jak může osoba napadnout výsledek. Pokud odpovědi žijí ve třech smlouvách a žádném provozním záznamu, systém není dobře integrován. Je pouze dobře distribuován.

Lidská cesta musí být skutečná

Lidský dohled je často představován jako člověk sedící u obrazovky. Nařízení o umělé inteligenci je přesnější. U vysoce rizikových systémů musí být dohled účinný a přiměřený rizikům, míře autonomie a kontextu použití. Osoba pověřená dohledem by měla být schopna porozumět příslušným schopnostem a omezením, sledovat anomálie, interpretovat výstup, rozhodnout se jej nepoužít, ignorovat jej nebo jej přepsat, zvrátit jej a bezpečně zasáhnout nebo zastavit systém.

Žádné z těchto sloves není malým modelem zaručeno. Úzký výstup může být snáze interpretovatelný, ale interpretace není totéž co autorita. Tlačítko pro přepsání, které nikdo nemůže použít, protože fronta je příliš dlouhá, není účinným dohledem. Recenzent, který vidí pouze barvu nebo štítek, nemůže smysluplně zkontrolovat zdroj. Člověk, který je obviňován za rozhodnutí, ale nemůže pozastavit pracovní postup, není kontrolním bodem. Je ozdobnou mezerou ve tvaru člověka v diagramu.

Přiměřený dohled může být tichý. Může to být jasná cesta pro pracovníka, jak označit nedostatečné důkazy, druhá kontrola citlivé kategorie, záznam o tom, proč bylo doporučení zamítnuto, nebo automatická pauza, když chybí povinná pole. Může to být člověk, který vlastní rozhodnutí a má čas prošetřit případy, které mu systém přiřadí. Podrobnosti závisí na kontextu. Požadavkem je, aby cesta fungovala, když je systém nejistý, chybný, nedostupný nebo zpochybněný.

U malých modelů může být strukturované odmítnutí výhodou. Pokud klasifikátor dokáže říci chybějící zdroj, mimo rozsah nebo vyžaduje kontrolu, má organizace konkrétní událost, kterou může řešit. To je lepší než plynulý odstavec, který tiše promění nejistotu v pokyn. Ale odmítnutí stále potřebuje vlastníka. Pokud se každé odmítnutí stane slepou uličkou, systém jednoduše přesunul zátěž na někoho, aniž by mu dal cestu, jak ji projít.

Lidská cesta se vztahuje i na dotčenou osobu. Člověk by neměl potřebovat terminologii dodavatele, aby mohl napadnout výsledek. Organizace by měla vědět, jaké informace lze vysvětlit, co lze opravit, kdo případ přezkoumává a co se děje, dokud je přezkum otevřený. Malý model může usnadnit popis vnitřní stopy. Nesnižuje to důležitost osoby mimo systém.

Přiměřené kontroly jsou stále kontroly

Přiměřená správa začíná odmítnutím dvou špatných obchodů. První říká, že každý systém si zaslouží stejný těžký proces, což mění řízení rizik v papírování a nakonec naučí týmy práci skrývat. Druhý říká, že malé modely si nezaslouží žádný vážný proces, což zaměňuje úzkou součást za neškodnou instituci. Přiměřený přístup se ptá, co může systém změnit, koho může ovlivnit a jaké důkazy by organizaci umožnily opravit chybu.

První kontrolou je prohlášení o účelu, kterému laik porozumí. Mělo by pojmenovat úkol, zamýšlené uživatele, dotčené osoby, povolený vstup, výstup a akce, které systém nemůže provést. Účel jako podpora prioritizace je příliš vágní, pokud by mohl znamenat uspořádání soukromého backlogu, rozhodování o tom, kdo obdrží zákonnou kontrolu, nebo výběr kandidátů pro disciplinární přezkum. Tato věta není marketingový text. Je hranicí, proti které se pozdější změny kontrolují.

Druhou kontrolou je hranice vstupu a důkazů. Jaké zdroje může systém číst. Která pole jsou směrodatná. Jak čerstvá musí být. Co se stane, když hodnota chybí nebo je v konfliktu s jiným zdrojem. Mohou do cesty vstoupit osobní údaje. Který záznam je uchován. Kompaktní model může být přísný na vstup a přesto selhat, pokud okolní pracovní postup tiše rozšiřuje data. Rozsah potřebuje vlastníka, ne pouze schéma.

Třetím kontrolním prvkem je výstupní kontrakt. Uveďte povolené štítky, stavy nejistoty, podmínky odmítnutí a navazující kroky pro každý výsledek. Pokud systém vrátí skóre, řekněte, co skóre znamená a co neznamená. Pokud vrátí pořadí, řekněte, zda je pořadí návrhem, nebo bránou. Pokud vrátí kategorii, řekněte, kdo ji může změnit a jaký záznam změnu zachycuje. Malý slovník je užitečný pouze tehdy, když instituce souhlasí s tím, že do něj nebude propašovávat další pravomoc.

Čtvrtým kontrolním prvkem je cesta změny. Aktualizace modelu, změny prahů, nové zdroje dat, jiná skupina uživatelů, nový dodavatel nebo změněný navazující krok mohou změnit riziko systému. Jazyk životního cyklu v aktu o umělé inteligenci připomíná, že řízení rizik je iterativní. Součást, která byla v lednu úzká, se může v srpnu ocitnout v jiném rozhodnutí. Povinnost se řídí změněným vztahem, nikoli datem na prvním návrhovém dokumentu.

Pátým kontrolním prvkem je výstup. Může organizace pozastavit součást, vrátit se k lidské cestě, exportovat záznamy, vysvětlit historii rozhodnutí a vyměnit dodavatele, aniž by ztratila důkazy potřebné k nápravě případů. Výstup není luxusem pro velké systémy. Malý model se může stát jediným bodem institucionální paměti, pokud nikdo nezachová zdroj, verzi a cestu rozhodování kolem něj.

Přiměřený soubor důkazů

Přiměřený soubor důkazů není skladištěm všech myšlenek, které kdokoli o modelu měl. Je čitelnou odpovědí na otázky, které může recenzent, provozovatel, dotčená osoba nebo regulátor rozumně položit. Jaký byl zamýšlený účel. Která verze běžela. Jaká data obdržela. Co vrátila. Které pravidlo nebo práh přeměnilo tento výstup na krok. Kdo měl pravomoc změnit výsledek. Co se stalo, když důkazy chyběly. Jak lze rozhodnutí přehrát nebo napadnout.

U návrhu s nízkými důsledky může být soubor malý. Může obsahovat účel, zdroj, verzi, základní vyhodnocení, vlastníka, pravidlo uchovávání a odkaz na cestu opravy. U systému, který ovlivňuje přístup, bezpečnost, zaměstnání nebo práva, potřebuje soubor více. Měl by propojit analýzu rizik s daty a výstupním kontraktem, ukázat, jak lidský dohled funguje v praxi, zdokumentovat známá omezení a uchovat dostatek provozní historie k prošetření sporného výsledku. Přiměřenost roste s důsledky, nikoli s počtem parametrů.

Testování by mělo sledovat stejnou logiku. Jediný údaj o přesnosti nemůže popsat vhodnost systému pro každý kontext. Testujte datové výřezy a podmínky, které jsou pro účel důležité. Zahrňte chybějící a konfliktní vstupy. Zahrňte případy, kdy je odmítnutí správné. Ověřte, zda různé týmy používají výstup modelu odlišně. Zaznamenejte, co bylo měřeno, za jakých podmínek a co zůstává neznámé. Model, který funguje dobře na čisté testovací sadě, může být v neuspořádané instituci špatně umístěn.

Monitorování není ozdobou přístrojové desky. Je to způsob, jakým se organizace dozví, že se skutečný pracovní postup změnil. Sledujte posuny ve vstupních datech, míru neshod, míru odmítání, změny v lidských zásazích, nová navazující použití a stížnosti nebo žádosti o opravu. Přesné signály závisí na systému. Princip je stabilní: důkazy by měly zahrnovat vztah, který vytváří povinnost, nejen interní skóre modelu.

Kvalitní důkazy mají také datum vypršení platnosti, i když jsou záznamy uchovávány déle. Právní výklad se může změnit. Služba může oslovit novou populaci. Dodavatel může aktualizovat model. Cesta, která byla vratná, se může stát součástí jiného systému. Označte, co bylo posouzeno, kdy, kým a vůči jakému účelu. Záznam se pak stává historií rozhodnutí, nikoli statickým osvědčením, které přežije podmínky, jež mu dávaly smysl.

Způsoby selhání malých modelů

Malé systémy selhávají rozpoznatelnými způsoby. Klasifikátor může minout kategorii, protože definice popisku je nejednoznačná. Extraktor může vrátit věrohodné pole z nesprávné věty. Rankingový model může upřednostňovat známé případy a skrývat neobvyklé. Práh může proměnit spojitou nejistotu ve falešnou binární volbu. Lokální model může spolehlivě běžet, zatímco zdrojová data jsou zastaralá. Žádné z těchto selhání není automaticky katastrofické. Každé se stane důležitým, když pracovní postup zachází s výstupem jako s autoritativnějším, než dovoluje smlouva komponenty.

První způsob selhání je falešná skromnost. Tým říká, že model pouze označuje, třídí nebo asistuje, a pak navrhne pracovní postup tak, že se pracovníci málokdy odchýlí. Popisek se stane rozhodnutím ze zvyku. To není chyba v počtu parametrů modelu. Je to chyba v tom, jak instituce nakládá s autoritou. Lékem je zviditelnit předávání, měřit přepsání a neshody a dát lidem praktickou cestu, jak výsledek změnit.

Druhým je skrytá kompozice. Malý model může stát vedle vyhledávání, pravidel, fronty, rankingu a notifikační služby. Každá komponenta vypadá omezeně. Dohromady mohou vytvořit silnou rozhodovací cestu. Přezkum rizik by měl sledovat cestu od začátku do konce. Který zdroj vstupuje první. Která transformace odstraňuje kontext. Který popisek spouští akci. Který záznam přežije. Která osoba může zastavit řetězec. Ověřování na úrovni komponent je nutné, ale není to pohled na systém.

Třetím je zastaralý závazek. Model zůstává nezměněn, zatímco se mění jeho účel nebo publikum. Tým přidá nový zdroj dat, pošle výstup jinému oddělení nebo začne používat soukromý nástroj pro prioritizaci ve veřejně viditelném pracovním postupu. Modelová karta zůstává stejná, takže všichni předpokládají, že riziko je stejné. Není. Zamýšlený účel se posunul a soubor s důkazy by se měl posunout s ním.

Čtvrtým je halo malého modelu. Nízký účet za zdroje nebo úhledné lokální nasazení vyvolávají dojem, že je systém odpovědnější, než ve skutečnosti je. Organizace stále může selhat při vysvětlení výsledku, uchování vstupu, zajištění nápravy nebo přidělení osoby s pravomocí. Technická efektivita je vítaná. Není náhradou za institucionální kontrolu. Systém může být levný na provoz a drahý na obhajobu.

Pátým je chybějící východ. Malé komponenty se snadno přidávají a obtížně odstraňují, když se vetkají do rušného procesu. Náhrada změní kategorie, prahy nebo záznamy, které navazující týmy očekávají. Pokud nikdo nenacvičil přechod, systém se stane lepkavým. Model může být malý, ale migrace je nyní veřejný problém. Přenositelnost patří do první konverzace o návrhu, ne na poslední schůzku o nákupu.

Když je malý správné technické rozhodnutí

Nic z toho by se nemělo změnit v kampaň proti malým modelům. Malý může být přesně to pravé. Úzký úkol s jasnou smlouvou nemusí potřebovat obecný model. Lokální komponenta může udržet citlivé vstupy blíže lidem, kteří za ně odpovídají. Pevný výstup může usnadnit validaci a monitorování. Model, který odmítá mimo svůj rozsah, může být bezpečnější ke kompozici než ten, který odpovídá na každou otázku s elegantní sebedůvěrou.

Technický argument je nejsilnější, když tým dokáže pojmenovat, co komponenta nebude dělat. Bude klasifikovat pouze schválené kategorie. Bude číst pouze deklarovaná pole. Vrátí nedostatečné důkazy, když chybí povinné pole. Nebude volat nástroj. Neučiní konečné rozhodnutí. Ponese verzi a záznam o vyhodnocení. Bude nahraditelná, protože rozhraní a smlouva o důkazech jsou zdokumentovány. Tato omezení nedělají systém dětinským. Činí jeho odpovědnosti čitelnými.

Malé komponenty mohou také podpořit lepší dělbu práce. Široký model dokáže interpretovat nepřesný jazyk nebo připravit srozumitelné vysvětlení. Přísný komponent dokáže extrahovat pole, uplatnit pravidla, seřadit deklarovaný soubor zdrojů nebo ověřit, zda výstup odpovídá známému formátu. Pravidlový engine nebo solver může vlastnit část, která musí být přesná. Člověk může vlastnit úsudek, který nelze bezpečně redukovat. Důležité není čistota. Důležité je, že každá část má ohraničený úkol a systém zaznamenává, jak na sebe úkoly navazují.

Toto uspořádání má evropskou praktičnost. Instituce jen zřídka mohou nahradit vše najednou. Potřebují systémy, které mohou běžet v hardwarových, právních, jazykových a nákupních podmínkách, které skutečně mají. Menší komponenty lze někdy nasadit blíže k práci, vyhodnotit na základě místních důkazů a vyměnit, aniž by celá organizace musela změnit svou paměť. To je očekávání, nikoli tvrzení o každém malém modelu. Nasazení stále vyžaduje důkaz, že shoda je skutečná.

Malost je užitečná také jako disciplína. Když tým nemůže problém vyřešit přidáním obecnější schopnosti, musí rozhodnout, které informace jsou důležité, kterou nejistotu lze odhalit a které případy vyžadují člověka. Tato návrhová práce může odhalit, že model není nutný. Někdy je správným komponentem databázové omezení, vyhledávací index, podepsaný záznam nebo dobře napsaný formulář. Menší model může nést velký závazek. I ne-model ho může nést.

Když je malost použita jako kamufláž

Malost se stává kamufláží, když je nabídnuta jako odpověď dříve, než někdo popsal otázku. Nabídka může říkat, že komponent je lehký, lokální, soukromý, efektivní nebo otevřený. To všechno mohou být užitečné skutečnosti. Neříkají však dotčené osobě, zda lze systém napadnout, ani operátorovi, zda lze výsledek zvrátit, ani regulátorovi, zda organizace pochopila svůj účel.

Kamufláž se často objevuje v nákupním jazyce. Kupujícímu je ukázána velikost modelu, hodnota latence a náklady na inferenci. Smlouva říká, že dodavatel poskytuje nástroj pro podporu rozhodování. Nikdo nezapíše, která rozhodnutí, čí data, které populace, jaká lidská cesta nebo které změny spouštějí přezkum. Později interní tým zjistí, že se nástroj stal bránou, protože fronta, termín nebo dashboard učinily doporučení pohodlným k dodržení. Model byl malý. Řízení bylo menší.

Další kamufláží je fráze člověk ve smyčce. Člověk se může technicky dotknout každého případu, aniž by měl smysluplný čas, informace nebo pravomoc. Smyčka pak funguje jako rituál schvalování. Malý model to může činit obzvláště lákavým, protože výstup vypadá jednoduše. Přijdou tři kategorie, člověk na jednu klikne a organizace výsledek nazve přezkoumaným. Přezkum vyžaduje schopnost porozumět, napadnout a změnit výsledek. Kliknutí samo o sobě není zárukou.

Třetí kamufláží je tvrzení, že lokální znamená suverénní. Lokální zpracování může pomoci s umístěním dat, latencí a provozním řízením, ale suverenita se také týká toho, kdo může měnit software, držet klíče, přistupovat k záznamům a udržovat službu v provozu, když dodavatel nebo síť není k dispozici. Malý model v zařízení může být lokální, zatímco jeho aktualizace, vyhodnocení a autorita zůstávají jinde. Umístění je skutečnost na mapě. Řízení je skutečnost ve vztahu.

Protijedem není větší forma. Je jím ostřejší forma. Zeptejte se na účel. Zeptejte se, co se díky výstupu změní. Zeptejte se, kdo může nesouhlasit. Zeptejte se, co může dotčená osoba udělat. Zeptejte se, jaké důkazy se uchovávají. Zeptejte se, jak se systém pozastavuje, nahrazuje a znovu vyhodnocuje. Pokud jsou odpovědi jasné, může se velikost modelu vrátit na své správné místo jako jedna z mnoha technických voleb.

Otázky kupujícího

Než malý model vstoupí do důležitého pracovního postupu, měl by kupující umět odpovědět na řadu prostých otázek. Jaký je zamýšlený účel v jedné větě. Co je mimo rozsah. Kterých lidí se to může týkat, přímo nebo prostřednictvím navazujícího úkonu. Která data jsou vyžadována a která jsou zakázána. Co každý výstup organizaci umožňuje dělat. Co jí nedovoluje dělat.

Pak se ptejte na pravomoc. Kdo rozhodnutí vlastní. Kdo může model přebít. Kdo může pracovní postup zastavit. Jaké informace tato osoba vidí. Kolik času má. Co se stane, když nesouhlasí. Je dotčená osoba informována dostatečně na to, aby mohla požádat o přezkum. Může organizace opravit vstup i výstup. Tyto otázky nejsou obviněním dodavatele. Jsou minimálním popisem instituce, která nástroj kupuje.

Ptejte se na důkazy. Která verze běžela. Která konfigurace modelu a zásad byla aktivní. Které zdroje byly k dispozici. Která prahová hodnota nebo pravidlo přeměnila výstup na další úkon. Co se zaznamenává, když člověk změní výsledek. Může organizace přehrát případ, aniž by předstírala, že nové spuštění je tím starým. Může exportovat záznamy ve formě, kterou přečte jiný systém. Odpověď nemusí být velkolepá platforma. Musí to být skutečný záznam.

Ptejte se na změny. Co se počítá jako aktualizace modelu. Co se počítá jako nový zdroj dat. Co se stane, když se změní účel. Které změny vyžadují nové posouzení. Kdo je informován. Jak jsou dotčené osoby chráněny během vrácení zpět nebo migrace. Pokud dodavatel nedokáže odpovědět, kupující nekupuje malé riziko. Kupující přijímá malý popis velké neznámé.

Nakonec se ptejte na odchod. Může pracovní postup běžet bezpečně bez modelu. Může organizace získat zpět vstupy, výstupy, rozhodnutí a historii oprav. Může jiná součást splnit stejné rozhraní bez nové závislosti. Může být systém stažen, aniž by lidé zůstali v nejistotě. Model není skutečně malý, pokud jeho odstranění vyžaduje, aby instituce zapomněla, jak rozhodovala.

Krátká poznámka od nás

Ve společnosti Dweve je Loom jedním z příkladů designového postoje, který k této otázce přinášíme. Jeho veřejný popis produktu představuje malé jazykové součásti jako renderery kolem typovaného grafu uvažování, se stopami, přehráváním a explicitními hranicemi odmítnutí. To je prohlášení o naší architektuře a o tom, jak chceme, aby byla odpovědnost součásti viditelná. Není to nezávislý důkaz, regulační klasifikace, nasazení u zákazníka ani slib, že malá součást je automaticky vhodná pro důležité použití.

Užitečnou částí příkladu je hranice. Součást může být malá a přesto si zasloužit přesnou smlouvu. Může být umístěna do většího grafu, aniž by se stala vlastníkem každého rozhodnutí. Může nést stopu, aniž by tvrdila, že stopa dokazuje, že celá instituce jednala v souladu se zákonem. Zmiňujeme zde Loom pouze proto, abychom ukázali, jak se naše vlastní práce snaží oddělit schopnost modelu, účel systému, důkazy a lidskou pravomoc. Evropská otázka zůstává pro nás stejná jako pro kohokoli jiného: co může tento systém změnit a mohou odpovědné osoby stále kontrolovat a opravovat jej?

Povinnost nese vztah

Malý model může být snadněji spustitelný, snadněji testovatelný a snadněji nahraditelný. To jsou dobré důvody si jej vybrat. Nejsou to důvody ke zmenšení okolní povinnosti péče. Definice a pravidla rizik v aktu o AI, pokyny Komise ke GPAI, přístup EDPB k údajům případ od případu a nizozemský rozsudek SyRI všechny ukazují stejným praktickým směrem, aniž by se staly jediným právním testem: podívejte se na účel, kontext, pravomoc, důkazy, dotčené osoby a možnost nápravy.

Správná otázka tedy nezní, zda je model malý. Ale co smí model měnit. Pokud pouze pomáhá člověku prohledávat vlastní poznámky, odpověď může být skromná. Pokud mění to, kdo se dostane do centra pozornosti, který záznam je považován za důvěryhodný, nebo zda veřejná služba otevře dveře, odpověď je větší. Pokud organizace nedokáže vysvětlit předání, uchovat důkazy nebo dát někomu možnost výsledek napadnout, povinnost již přesahuje danou součást.

Dobrá správa nechává prostor pro přiměřenost. Nevyžaduje, aby se každý model stal výborem. Žádá tým, aby zviditelnil důležité vztahy, aby spojil tvrzení s důkazy a aby dal lidem skutečnou pravomoc, když je systém nejistý nebo chybný. Malé modely mohou při této práci pomoci, protože ohraničenou součást lze pojmenovat a otestovat. Ohraničenost je ale konstrukční úspěch, nikoli výchozí vlastnost malosti.

Velikost patří do technického záznamu. Účel patří do systémového záznamu. Důsledky patří do lidského záznamu. Když tyto tři záznamy mohou spolu mluvit, lze malý model používat opatrně, aniž by byl považován za neškodný. Když jsou drženy odděleně, skromnost modelu se stává divadlem a lidé, kteří nesou výsledek, platí za chybějící kontext.

Zdroje