Pieni malli voi kantaa suuren vastuun

Mallin koko on tekninen ominaisuus. Velvoite seuraa tarkoitusta, kontekstia, dataa, toimivaltaa ja järjestelmän ympärillä olevia ihmisiä.

Pieni malli voi kantaa suuren vastuun

Laki ei kysy, kuinka suuri se on

Avaa Euroopan unionin tekoälyasetus, etkä kohtaa mallien mittaria. Ei ole ensimmäistä sivua, jolla kone punnitaan, mitataan ja asetetaan siistiin oikeudelliseen lokeroon. Asetus alkaa järjestelmästä: konepohjaisesta järjestelmästä, joka toimii vaihtelevalla autonomian tasolla, voi mukautua käyttöönoton jälkeen ja päättelee syötteistä, miten tuottaa ennusteita, sisältöä, suosituksia tai päätöksiä, jotka voivat vaikuttaa fyysiseen tai virtuaaliseen ympäristöön. Sen määritelmä kertoo, mitä järjestelmä tekee ja mitä sen tuotokset voivat muuttaa.

Tämä on hyödyllinen lähtökohta, koska teknologiakeskustelu yrittää jatkuvasti antaa koon tehdä kontekstin työn. Pienempi malli kuulostaa vaatimattomalta. Se voi mahtua tavalliseen laitteistoon, vastata yhteen kapeaan kysymykseen tai palauttaa tunnisteen kappaleen sijaan. Nämä voivat olla arvokkaita teknisen suunnittelun ominaisuuksia. Ne voivat pienentää testattavaa pinta-alaa, vähentää käyttöönoton resurssinälkää tai tehdä komponentista helpommin korvattavan. Yksikään niistä ei kerro, voiko ihminen menettää oikeuden, palvelun, työpaikan tai turvallisen reitin tunnisteen vuoksi.

Velvollisuus näkyy järjestelmän ja sitä ympäröivän maailman välisessä suhteessa. Kuka käyttää tuotosta. Mikä päätös seuraa. Mitkä tiedot kulkevat polulle. Kuinka paljon valtaa järjestelmällä on. Voiko ihminen haastaa tuloksen. Voiko joku kääntää sen ennen kuin haitta muuttuu pysyväksi. Onko asianomainen henkilö riippuvainen lopputuloksesta, ehkä siksi, ettei käytännöllistä vaihtoehtoa ole. Malli voi olla teknisesti pieni ja institutionaalisesti suuri. Tämä on tämän artikkelin väite, ja sana institutionaalisesti kantaa päävastuun.

Tämä ei ole argumentti sen puolesta, että jokaista luokittelijaa kohdeltaisiin yleisenä hätätilanteena. Se on argumentti suhteellisuuden puolesta. Suhteellisuus ei tarkoita, että pienet järjestelmät saavat seremoniallisen hymyn eivätkä kysymyksiä. Se tarkoittaa, että kysymykset seuraavat todellista seurausta. Malli, jota käytetään yksityisen muistikokoelman järjestämiseen, ja malli, jota käytetään päättämään, kuka joutuu tarkastelun kohteeksi, voivat näyttää samanlaisilta tietovarastossa. Ne eivät ole samanlaisia maailmassa.

Mallin koko kuvaa komponenttia. Tarkoitus, asianosaiset ja hallinta määräävät velvollisuuden, jonka komponentti kantaa.

Pieni on mittaus, ei konteksti

Pieni voi tarkoittaa useita eri asioita, ja näitä merkityksiä vaihdetaan usein huomaamatta. Se voi tarkoittaa vähemmän parametreja, pienempää muistijalanjälkeä, vähemmän laskentatehoa koulutukseen, rajoitettua sanastoa, kapeaa tulostusskeemaa tai lyhyttä syöttöikkunaa. Se voi tarkoittaa, että malli toimii laitteella etäpalvelun sijaan. Se voi myös tarkoittaa, että tiimi on antanut mallille kapean tehtävän. Nämä eivät ole sama väite. Pieni parametrimäärä ei tarkoita pientä yhteiskunnallista roolia, aivan kuten suuri parametrimäärä ei kerro, missä järjestelmä saa toimia.

On olemassa toinenkin sekaannus. Ihmiset käyttävät sanaa pieni tarkoittamaan paikallista ja paikallista tarkoittamaan vaaratonta. Paikallinen käyttöönotto voi parantaa hallintaa datan liikkumisesta, saatavuudesta tai operatiivisesta omistajuudesta. Se voi myös sijoittaa päätöksen suoraan työpaikalle, julkiselle tiskille, lääketieteelliseen työnkulkuun tai laitteeseen, jota henkilö ei voi helposti jättää. Fyysinen läheisyys voi vähentää yhdenlaista riippuvuutta samalla kun se lisää järjestelmää operoivien ihmisten merkitystä. Palvelin samassa rakennuksessa ei ole moraalinen luokka.

Sitten on pieni lupauksena kyvykkyydestä. Komponentti voidaan kouluttaa yhteen tehtävään, ja se voi silti vaikuttaa laajempaan prosessiin. Se voi palauttaa vain hyväksy, tarkista tai hylkää. Alavirran työnkulku voi kohdella näitä kolmea sanaa porttina. Komponentin ei tarvitse kirjoittaa esseetä tehdäkseen merkityksellisen päätöksen. Sen tarvitsee vain olla sijoitettuna sinne, missä seuraava järjestelmä tai seuraava henkilö ei voi helposti kyseenalaistaa sitä.

Hallinnon kannalta hyödyllinen yksikkö ei siis ole pelkkä malli. Se on malli sellaisena kuin se on käyttöönotettu, tarkoituksella, operaattorilla, syöttörajalla, tulostussopimuksella, alavirran toiminnolla ja korjausreitillä. Tämä on vähemmän siistiä kuin tulostaulukko. Se on myös lähempänä todellisuutta. Tulostaulukko voi kertoa, miten malli suoriutui tehtävästä. Se ei voi kertoa, oliko tehtävä sallittu, pystyivätkö asianosaiset vastustamaan sitä tai oliko organisaatiolla valtuudet käyttää tulosta.

Euroopan komission kielenkäyttö yleiskäyttöisestä tekoälystä havainnollistaa tämän eron huomaamattomasti. Komissio antaa teknisiä kriteerejä, joiden avulla voidaan tunnistaa, milloin malli voi kuulua GPAI-velvoitteiden piiriin, mutta se myös toteaa, että kriteerit ovat ohjeellisia ja että tapauskohtainen arviointi on edelleen tarpeen. Ohjeistus ei teeskentele, että yksi luku voisi kuvata jokaista roolia, jota malli voi näytellä. Se yrittää tehdä yhdestä luokittelukysymyksestä toimivan muuttamatta sitä yleiseksi haittateoriaksi.

Kynnysarvo ei ole tuomio

AI-asetuksessa on lukuja, mikä on yksi syy siihen, miksi ihmiset tarttuvat lukuihin halutessaan varmuutta. 51 artikla luo olettaman korkean vaikutuksen kyvykkyyksistä yleiskäyttöiselle tekoälymallille, joka on koulutettu yli 1025 liukulukuoperaation kumulatiivisella laskentamäärällä. Tämä olettama kuuluu systeemisen riskin omaavien GPAI-mallien luokitteluun. Se ei ole sääntö, jonka mukaan kynnysarvon alapuolella oleva malli on turvallinen, eikä sääntö, jonka mukaan jokainen sen yläpuolella oleva malli aiheuttaa saman haitan.

Komission GPAI-ohjeistus käyttää erilaista ohjeellista kynnysarvoa, yli 1023 liukulukuoperaatiota yhdessä laajan generatiivisen kyvykkyyden kanssa, auttaakseen tunnistamaan malleja, jotka voivat olla yleiskäyttöisiä. Sivu on nimenomainen rajoituksistaan. Kynnysarvon alapuolella oleva malli voi silti täyttää vaatimukset, jos se osoittaa merkittävää yleiskäyttöisyyttä. Malli, joka täyttää kynnysarvon, voi poikkeuksellisesti olla täyttämättä vaatimuksia, jos siltä puuttuu asiaankuuluva yleiskäyttöisyys. Ohjeistus on tulkinta tiettyä oikeudellista kysymystä varten, ei lupalappu jokaiseen alavirran käyttötarkoitukseen.

Nämä kaksi kynnysarvoa ovat hyödyllisiä juuri siksi, että ne ovat kapeita. Ne auttavat viranomaisia ja tarjoajia luokittelemaan tietyn mallivelvoitteiden luokan. Ne eivät ratkaise, ansaitseeko korkean riskin järjestelmään upotettu pieni malli huolellista käsittelyä. Ne eivät ratkaise, onko tietojenkäsittely lainmukaista. Ne eivät ratkaise, voiko henkilö riitauttaa päätöksen. Kynnysarvo voi vahvistaa, että kysymys on syytä esittää. Se ei voi vastata kysymykseen, joka kuuluu toiselle tasolle.

Tekniset kynnysarvot myös vanhenevat. Asetuksessa todetaan, että komissio voi mukauttaa järjestelmäriskin kynnysarvoa teknologisen kehityksen valossa, mukaan lukien algoritmien parannukset ja laitteiston tehokkuus. Komission ohjeistuksessa todetaan, ettei sen oma kriteeri ole ehdoton. Tämä on järkevä myönnytys. Luku, joka näyttää vakaalta hankintataulukossa, voi muuttua, kun ympäröivä teknologia kehittyy. Vastuullinen vastaus ei ole epäillä jokaista lukua. Se on pitää luku kiinnitettynä siihen kysymykseen, johon se on suunniteltu vastaamaan.

Tiimeille, jotka julkaisevat mallikortteja tai sisäisiä arkkitehtuurimuistiinpanoja, on käytännön opetus. Ilmoita kynnysarvo, yksikkö, oikeudellinen säännös ja raja. Kerro, onko luku oikeudellinen olettama, komission indikaattori, vertailuarvoedellytys vai sisäinen suunnittelutavoite. Älä anna yhden mittarin saada suurempaa merkitystä vain siksi, että se on kätevä diaesityksessä. Pieni mittari voi kantaa myös suuren velvoitteen. Luku tarvitsee oman alkuperänsä.

Järjestelmä on enemmän kuin sen sisällä oleva malli

AI-asetus tekee järjestelmän rajan näkyväksi. Se määrittelee tarjoajat ja käyttöönottaajat, erottaa mallit järjestelmistä ja jakaa velvollisuudet arvoketjussa. Tarjoaja voi olla henkilö tai organisaatio, joka kehittää järjestelmän tai kehityttää sen ja saattaa sen markkinoille tai ottaa sen käyttöön omissa nimissään. Käyttöönottaaja on henkilö tai organisaatio, joka käyttää järjestelmää omassa määräysvallassaan. Näillä rooleilla on merkitystä, koska sama taustalla oleva komponentti voi sijaita erilaisissa järjestelyissä, joihin liittyy erilaisia vastuita.

Kuvittele kompakti tekstiluokittelija, joka palauttaa yhden neljästä luokasta. Mallilla ei ole käyttöliittymää, muistia eikä kykyä kutsua työkalua. Yhdessä ympäristössä se lajittelee tiimin omia asiakirjoja kansioihin. Toisessa se luokittelee hakemuksia julkiseen palveluun siten, että jotkut ihmiset ohjataan lisätarkastukseen. Komponentti voi olla teknisesti identtinen. Jälkimmäisellä järjestelmällä on eri tarkoitus, eri vaikutuspiirissä olevat ihmiset, eri valtasuhde sekä erilainen selityksen ja oikaisun tarve.

Asetuksen korkean riskin luokittelusäännöt noudattavat tällaista eroa. Ne tarkastelevat, onko järjestelmä turvallisuuskomponentti, käytetäänkö sitä liitteessä III luetellulla alueella ja aiheuttaako se merkittävän riskin terveydelle, turvallisuudelle tai perusoikeuksille. Lueteltuun käyttöön perustuva reitti ei ole arvio mallin tyylikkyydestä. Se on arvio siitä, mitä järjestelmä tekee ympäristössä, jossa väärällä tuloksella voi olla merkitystä. Kapea menettelyllinen tehtävä voi kuulua huolellisesti muotoillun poikkeuksen piiriin silloin, kun se ei olennaisesti vaikuta päätökseen, mutta tarjoajan on dokumentoitava tämä arvio.

Tämä dokumentointivaatimus on helppo aliarvioida. Tiimi, joka sanoo järjestelmän olevan vain valmisteleva, on tehnyt väitteen kausaalisuudesta. Se sanoo, että tulos ei olennaisesti vaikuta sitä seuraavaan päätökseen. Jos käsittelijä pitää merkintää syynä avata asia, jos henkilökunta luottaa luokitukseen tai jos hakijalla ei ole mielekästä tapaa korjata lipun taustalla olevia tietoja, käytännön vaikutus voi olla suurempi kuin käyttöliittymä antaa ymmärtää. Sanaa valmisteleva ei voida sallia tarkoittavan näkymätöntä.

Järjestelmän rajat kattavat myös mallin ympärillä olevan arkisen koneiston: tietolähteen, kynnyksen, jonon, henkilön, joka vastaanottaa tuloksen, säilyvän tallenteen, toimittajasopimuksen, päivitysprosessin ja reitin työnkulun pysäyttämiselle. Pieni malli voi olla näkyvä kohde, kun taas todellinen riski piilee luovutuksessa. Siksi riskiarvio, joka kysyy vain, mitä malli ennustaa, on puutteellinen. Vaikeampi kysymys on, mitä organisaatio tekee, koska malli teki ennusteen.

Tarkoitus muuttaa saman tuotoksen merkitystä

Tuotoksella ei ole velvoitteita tyhjiössä. Sama todennäköisyys, luokka tai suositus voi olla harmiton yhdessä tehtävässä ja merkityksellinen toisessa. Tämä ei johdu siitä, että sanat muuttaisivat sanakirjamerkitystään. Se johtuu siitä, että tuotos astuu päätöksenteon rakenteeseen. Järjestys, jota käytetään valittaessa, mitkä tutkimusmuistiinpanot luetaan ensin, ei ole sama asia kuin järjestys, jota käytetään päätettäessä, mikä kotitalous saa petostutkinnan. Kone voi käyttää samaa matematiikkaa. Instituutiolla ei ole samanlaista suhdetta ihmisiin toisessa päässä.

AI-asetuksen 7 artikla luettelee kriteerit, joita komission on harkittava lisätessään tai muuttaessaan suuren riskin käyttötapauksia. Niihin kuuluvat aiottu tarkoitus, järjestelmän käytön laajuus tai todennäköinen käytön laajuus, tietojen luonne ja määrä, autonomia ja mahdollisuus ihmisen puuttumiseen, mahdollisen haitan laajuus ja voimakkuus, riippuvuus tuloksesta, valtaepätasapaino, haavoittuvuus, palautuvuus, hyöty ja oikeussuojan saatavuus. Yhdessä luettuina nämä kriteerit muodostavat hyödyllisen vastauksen mallin kokoon keskittyvälle ajattelulle. Ne kuvaavat suhdetta, eivät painotiedostoa.

Komponentti pysyy pienenä, kun taas ympäröivä tarkoitus, valta, riippuvuus ja palautuvuus muuttavat valvontakysymyksen.

Riippuvuus on erityisen tärkeää. Henkilö voi joskus jättää suosituksen huomiotta, hakeutua toisen palvelun piiriin tai pyytää kollegaa tarkistamaan vastauksen. Henkilöllä ei kuitenkaan välttämättä ole käytännön vaihtoehtoa. Jos automatisoitu seulontavaihe määrää, viivästyykö palvelu, saako hakemus huomiota tai kutsutaanko työntekijä kokoukseen, asianomainen henkilö voi joutua elämään järjestelmän ensimmäisen tulkinnan kanssa sillä välin, kun organisaatio päättää, tarkistaako se asian uudelleen. Mitä pienempi näkyvä päätös on, sitä helpommin sen alla oleva riippuvuus voi jäädä huomaamatta.

Käännettävyys on tärkeää samasta syystä. Kirjoitusvirhe sisäisessä tunnisteessa voidaan korjata ennen kuin kukaan ehtii luottaa siihen. Riskilippu voi muuttaa järjestystä, jossa asiaa käsitellään, ja viive voi itsessään muodostua merkitykselliseksi. Kielteinen päätös voi johtaa määräajan ylittymiseen. Sijoitus voi jäädä ainoaksi sijoitukseksi, jonka kiireinen tiimi näkee. Se, että ylläpitäjä voi teknisesti muokata tietokantaa, ei todista, että sosiaalinen lopputulos olisi helppo kumota. Tekninen käännettävyys ja koettu käännettävyys liittyvät toisiinsa, mutta ne eivät ole sama asia.

Tässä kohtaa suhteellisuus saa sisältöä. Vähämerkityksinen sisäinen ehdotus voi vaatia kevyen kirjauksen ja selkeän vastuuhenkilön. Järjestelmä, joka vaikuttaa pääsyyn julkiseen palveluun, tarvitsee vahvemman näyttöpolun, tietoon perustuvan inhimillisen reitin sekä keinon haastaa sekä syöte että tulos. Suhteelliset valvontatoimet eivät ole valvontatoimien puuttumista. Ne ovat valvontatoimia, jotka on valittu, koska suhde ansaitsee ne.

Tieto säilyttää velvoitteensa

Mallin koko ei tee tiedosta anonyymiä pelkällä ilmapiirillä. Euroopan tietosuojaneuvoston lausunto 28/2024 toteaa, että sitä, voidaanko tekoälymallia pitää anonyyminä, on arvioitava tapauskohtaisesti. Euroopan tietosuojaneuvoston julkisen yhteenvedon testi kysyy, onko erittäin epätodennäköistä, että malli voi suoraan tai epäsuorasti tunnistaa henkilöt, joiden tietoja sen luomiseen on käytetty, ja onko erittäin epätodennäköistä, että heidän henkilötietonsa voidaan poimia kyselyillä. Pienempi malli voi sisältää vähemmän tietoa, mutta vähemmän ei ole oikeudellinen johtopäätös.

Euroopan tietosuojaneuvosto pitää myös oikeutetun edun asiayhteyden näkyvillä. Sen analyysi viittaa välttämättömyyteen ja punnintaan, ja se luettelee henkilöiden ja rekisterinpitäjän välisen suhteen, palvelun luonteen, asiayhteyden, jossa tiedot kerättiin, lähteen, mahdolliset jatkokäytöt sekä sen, mitä henkilöt voisivat kohtuudella odottaa. Nämä tekijät eivät katoa, kun malli pakataan, tislataan, kvantisoidaan tai asetetaan siistin rajapinnan taakse. Pakkaaminen muuttaa teknistä objektia. Se ei kirjoita uusiksi historiaa siitä, miksi tiedot kerättiin tai mitä henkilöille kerrottiin.

Lausunnon lukemisessa rinnakkain mallisuunnittelun kanssa on hyödyllistä kurinalaisuutta. Kysy, mihin malli on koulutettu tai mukautettu, mitä tietoja se vastaanottaa suorituksen aikana, mitkä tietueet säilytetään ja kuka voi tehdä kyselyjä. Kysy sitten, mitä tapahtuu alavirrassa. Kopioidaanko tulos asiakirjaan. Muuttuuko sijoitus ohjeeksi. Näkeekö inhimillinen tarkastaja lähdemateriaalin vai vain mallin merkinnän. Onko asianomaisella henkilöllä reittiä korjata asiavirhe. Nämä ovat tieto- ja hallintokysymyksiä, eivät pelkästään tarkkuutta koskevia kysymyksiä.

Euroopan tietosuojaneuvoston julkinen yhteenveto huomauttaa myös, että lainvastaisesti käsiteltyjen henkilötietojen käyttö mallin kehittämisessä voi vaikuttaa käyttöönoton lainmukaisuuteen, ellei mallia ole asianmukaisesti anonymisoitu. Tämä virke vastustaa tuttua pakotietä. Tiimi ei voi saada ongelmaa katoamaan sanomalla, että lopullinen malli on pieni, tiedot eivät ole enää näkyvissä tai malli on vain yksi osa. Tietojen oikeudellinen ja eettinen historia pysyy osana järjestelmän tarinaa.

Insinööreille tämä tarkoittaa, että koulutusrekisteriä ja käyttöönottorekisteriä ei pitäisi käsitellä erillisinä maailmoina. Hankinnoille se tarkoittaa, että toimittajan lausunto mallin koosta ei korvaa tietojen alkuperää, tarkoitusta, säilytystä, oikeuksien käsittelyä tai alavirran dokumentaatiota. Asianomaiselle henkilölle se tarkoittaa, että hyödyllinen kysymys ei ole, kuinka monta parametria oli mukana. Se on, mitä hänen tiedoilleen tapahtui ja mitä organisaatio voi tehdä, kun tulos on väärä.

Pieni signaali voi liikuttaa suurta jonoon

Ajatellaanpa hypoteettista palvelupistettä, joka vastaanottaa asukkaiden pyyntöjä. Kompakti luokittelija lukee ensimmäisen viestin ja määrittää reitin: tiedotus, rutiinityö, kiireellinen käsittely tai asiantuntijakäsittely. Esimerkki on tarkoituksella tavallinen ja täysin havainnollistava. Siinä ei ole nimettyä kuntaa, ei todellista käyttöönottoa, ei aikaleimaa eikä väitettä siitä, että näin olisi tapahtunut. Tarkoitus on tehdä raja näkyväksi.

Jos luokat vain auttavat työntekijää järjestämään yksityisiä muistiinpanoja, riski voi olla vähäinen. Jos kiireellinen reitti määrää, kuka saa turvallisuustarkastuksen, tulos on nyt lähempänä julkista päätöstä. Jos puuttuva avainsana ohjaa henkilön pyynnön rutiinityöhön, viive voi olla merkityksellinen, vaikka malli ei koskaan puhuisi asukkaalle. Jos työntekijä näkee alkuperäisen viestin, voi muuttaa reittiä, kirjata syyn ja vastata nopeasti oikaisuvaatimukseen, järjestelmän hallintatapa on erilainen kuin sellaisen, jossa luokittelusta tulee piilotettu portti.

Malli ei ole kasvanut. Velvollisuus on tullut selkeämmäksi. Se seuraa polkua syötteestä seuraukseen. Organisaation on tiedettävä, mitä luokat tarkoittavat, mitä näyttöä malli saa käyttää, mitkä tapaukset edellyttävät kieltäytymistä tai eskalaatiota, kuka voi ohittaa reitin ja mikä kirjaus antaa myöhemmälle tarkastelijalle mahdollisuuden ymmärtää päätöksen. Mallin vaatimattomuus ei ole syy ohittaa näitä kysymyksiä. Se voi olla syy vastata niihin täsmällisemmin, koska komponentin sopimus voidaan tehdä kapeaksi.

Samanlainen hypoteettinen esimerkki esiintyy työelämässä. Pieni malli voisi poimia taitoja ansioluettelosta, luokitella tehtävän tai merkitä puuttuvan todistuksen. Poiminta kuulostaa vähemmän seuraukselliselta kuin valinta, mutta poiminta voi muokata sitä järjestystä, joka seuraa. Jos tulosta ei koskaan käytetä päättämään, kuka etenee, järjestelmä voi pysyä rajan valmistelevalla puolella. Jos ihmiset kohtelevat poimittua luokittelua objektiivisena yhteenvetona eivätkä enää katso asiakirjaa, raja siirtyy. Velvollisuus elää käytössä, ei siinä verbissä, joka on valittu mallin työnkuvaukseen.

Molemmissa esimerkeissä oikea vastaus ei ole panikoida pienen mallin vuoksi. Se on tehdä luovutuksesta yksiselitteinen. Nimeä aiottu tarkoitus. Kerro, mitä tulos voi ja ei voi muuttaa. Säilytä lähde ja mallin versio silloin, kun päätös riippuu niistä. Anna henkilölle riittävästi tietoa ja toimivaltaa olla eri mieltä. Testaa ne osa-alueet, joilla järjestelmän odotetaan olevan epävarma. Tarkista työnkulku, kun organisaatio muuttaa tietoja, kynnysarvoa, kohdeyleisöä tai myöhempää toimenpidettä.

Mitä hollantilainen SyRI-tuomio todella opettaa

Euroopassa on jo dokumentoitu esimerkki kompaktin näköisestä riskijärjestelmästä, johon liittyy oikeuksiin perustuva velvollisuus. 5. helmikuuta 2020 Haagin alioikeus kuvasi SyRI:n lakisääteiseksi valtion välineeksi, jota käytetään etuuksiin, avustuksiin ja veroihin liittyvän petoksen torjunnassa. Tuomioistuin ei ratkaissut asiaa kysymällä, kuinka monta parametria järjestelmässä oli. Se arvioi oikeudellista kehystä Euroopan ihmisoikeussopimuksen 8 artiklan valossa, mukaan lukien sen, oliko yksityiselämään puuttuminen tasapainossa.

Tuomioistuin päätteli, että SyRI-lainsäädäntö ei läpäissyt tätä testiä. Tuomioistuimen kuvauksen mukaan SyRI:n käyttö ei ollut riittävän läpinäkyvää eikä hallittavaa. Oikeudellinen kehys oli siten ristiriidassa ylemmänasteisen oikeuden kanssa eikä voinut säilyä nykymuodossaan. Julkinen oikeustapaussivu on ytimekäs, mutta sen opetus ei ole pieni: kun valtio käyttää riskiviitteiden järjestelmää ihmisiä vastaan, joilla voi olla vain vähän valtaa ymmärtää tai riitauttaa se, järjestelmä edellyttää sellaisen tason oivallusta ja hallintaa, joka vastaa tätä suhdetta.

SyRI oli alankomaalainen lakisääteinen riskinarviointiväline, ei tapaustutkimus modernista neuroverkkomallista, eikä oikeuden verkkosivu anna meille parametrimäärää, josta keskustella. Juuri siksi se kuuluu tähän. Esimerkki estää meitä kohtelemasta mallin arkkitehtuuria ainoana kiinnostavana kohteena. Sääntömoottori, pisteytyskortti, tilastollinen malli tai pieni luokittelija voi kaikki tulla osaksi institutionaalista päätöstä. Oikeuskysymys syntyy käytön kautta.

Tuomio asettaa myös läpinäkyvyyden oikealle paikalleen. Se ei ole pelkästään pyyntö selityksestä sen jälkeen, kun henkilö on kärsinyt vahinkoa. Se on osa niitä edellytyksiä, joiden vallitessa järjestelmää voidaan arvioida ennen toimintaa ja sen aikana. Jos ihmiset eivät näe riittävästi tarkoitusta, tietojen käyttöä, suojatoimia ja muutoksenhakureittiä ymmärtääkseen puuttumisen, organisaatio ei välttämättä pysty osoittamaan sitä oikeudenmukaista tasapainoa, jonka se väittää tehneensä.

SyRIa ei tarvitse muuttaa yleispäteväksi vertauskuvaksi. Alankomaiden oikeusjärjestelmä, tapauksen tosiasiat ja eurooppalainen yleissopimus ovat erityisiä. Hyödyllinen siirto on kapeampi: älä kysy, onko järjestelmä teknisesti vaikuttava, ennen kuin kysyt, onko sen institutionaalinen suhde näkyvä, hallittavissa ja riitautettavissa. Pienempi kone ei vapauta suuremmasta hiljaisuudesta.

Alavirran käyttö on se paikka, jossa merkintä kulkee

Malli voidaan ottaa käyttöön komponenttina ja silti tulla osaksi järjestelmää, johon liittyy toinen velvollisuus. Komission GPAI-ohjeistus selittää, miksi alavirran tarjoajat tarvitsevat tietoa mallin ominaisuuksista ja rajoituksista. He tarvitsevat tätä tietoa integroidakseen mallin vastuullisesti ja täyttääkseen omat velvollisuutensa tekoälyasetuksen mukaisesti. Mallin tarjoaja ja järjestelmän tarjoaja eivät kirjoita samaa asiakirjaa, koska he eivät vastaa samaan kysymykseen.

Tämä erottelu on tärkeä, kun tiimit kohtelevat mallikorttia passina. Mallikortti voi kuvata arkkitehtuurin, koulutuksen, arvioinnin, tunnetut rajoitukset ja käyttötarkoitukset. Se ei yksinään voi kuvata jokaista ympäristöä, johon alavirran tiimi saattaa sijoittaa mallin. Alavirran järjestelmä lisää käyttäjän, tarkoituksen, tietovirrat, käyttöliittymän, ihmisten roolit, päätöksen ja joukon asianomaisia henkilöitä. Nämä lisäykset voivat muuttaa velvollisuutta, vaikka mallin painot pysyisivät koskemattomina.

Vastuu voi myös muuttua, kun organisaatio muuttaa käyttötarkoitusta tai tekee olennaisen muutoksen. Tekoälyasetuksen arvoketjua koskevat säännökset kuvaavat tilanteita, joissa toimija voi ottaa tarjoajan vastuita, mukaan lukien tekoälyjärjestelmän käyttötarkoituksen muuttamisen niin, että siitä tulee suuren riskin järjestelmä. Tämä on hyödyllinen varoitus sopimuksellista sumutusta vastaan. Toimittaja voi toimittaa komponentin, mutta käyttöönottaja ei voi saada omaa käyttöään katoamaan kutsumalla komponenttia kirjastoksi.

Käytännön luovutuksen tulisi siis sisältää muutakin kuin latauslinkin. Siinä tulisi ilmoittaa käyttötarkoitukset, syötteen ja tulosteen rajat, integrointivaatimukset, koulutus- ja validointitiedot siltä osin kuin ne ovat olennaisia, tunnetut rajoitukset sekä olosuhteet, joissa komponenttia ei tulisi käyttää. Siinä tulisi selittää, mitä malli ei arvioinut. Alavirran tiimin ei pitäisi joutua päättelemään takuun puuttumista luottavaisen kaavion olemassaolosta.

Tälle paperityölle on inhimillinen syy. Lopullisen järjestelmän vaikutuspiirissä oleva henkilö ei kohtaa mallin tarjoajaa abstraktisti. Hän kohtaa organisaation, joka valitsi työnkulun. Organisaation on kyettävä kertomaan, mitä komponentti teki, mitä organisaatio teki sillä ja miten henkilö voi riitauttaa tuloksen. Jos vastaukset ovat kolmessa sopimuksessa eikä toiminnallista kirjausta ole, järjestelmä ei ole hyvin integroitu. Se on vain hyvin hajautettu.

Inhimillisen reitin on oltava todellinen

Ihmisen valvonta esitetään usein henkilönä, joka istuu näytön ääressä. AI-asetus on tarkempi. Korkean riskin järjestelmissä valvonnan on oltava tehokasta ja oikeassa suhteessa riskeihin, autonomian tasoon ja käyttötilanteeseen. Valvontaan määrätyn henkilön tulisi pystyä ymmärtämään olennaiset ominaisuudet ja rajoitukset, seuraamaan poikkeamia, tulkitsemaan tulostetta, päättämään olla käyttämättä sitä, jättää se huomiotta tai ohittaa se, kääntää se ja puuttua tilanteeseen tai pysäyttää järjestelmä turvallisesti.

Mikään näistä verbeistä ei ole taattu pienellä mallilla. Kapea tuloste voi olla helpompi tulkita, mutta tulkinta ei ole sama asia kuin toimivalta. Ohituspainike, jota kukaan ei voi käyttää jonon suuren koon vuoksi, ei ole tehokasta valvontaa. Arvioija, joka näkee vain värin tai tunnisteen, ei voi mielekkäästi tarkistaa lähdettä. Henkilö, jota syytetään päätöksestä mutta joka ei voi keskeyttää työnkulkua, ei ole valvontapiste. Hän on koristeellinen ihmisen muotoinen aukko kaaviossa.

Oikeasuhtainen valvonta voi olla huomaamatonta. Se voi olla selkeä reitti työntekijälle merkitä riittämätön näyttö, toinen tarkistus arkaluonteiselle luokalle, kirjaus siitä, miksi suositus hylättiin, tai automaattinen keskeytys, kun pakollisia kenttiä puuttuu. Se voi olla henkilö, joka omistaa päätöksen ja jolla on aikaa tutkia tapaukset, jotka järjestelmä ohjaa hänelle. Yksityiskohdat riippuvat tilanteesta. Vaatimus on, että reitti toimii, kun järjestelmä on epävarma, väärässä, käytettävissä oleva tai haastettu.

Pienissä malleissa jäsennelty kieltäytyminen voi olla etu. Jos luokittelija voi sanoa lähde puuttuu, soveltamisalan ulkopuolella tai vaatii tarkistuksen, organisaatiolla on konkreettinen tapahtuma käsiteltävänään. Se on parempi kuin sujuva kappale, joka hiljaa muuttaa epävarmuuden ohjeeksi. Mutta kieltäytyminen tarvitsee silti omistajan. Jos jokaisesta kieltäytymisestä tulee umpikuja, järjestelmä on yksinkertaisesti siirtänyt taakan jollekin antamatta hänelle reittiä sen läpi.

Ihmisen reitti ulottuu myös asianomaiseen henkilöön. Henkilön ei pitäisi tarvita toimittajan terminologiaa riitauttaakseen tuloksen. Organisaation tulisi tietää, mitä tietoja voidaan selittää, mitä voidaan korjata, kuka tarkistaa tapauksen ja mitä tapahtuu tarkistuksen ollessa avoinna. Pieni malli voi tehdä sisäisestä jäljityksestä helpommin kuvattavaa. Se ei vähennä järjestelmän ulkopuolisen henkilön merkitystä.

Oikeasuhtaiset valvontatoimet ovat silti valvontatoimia

Oikeasuhtainen hallinta alkaa kieltäytymällä kahdesta huonosta kaupasta. Ensimmäinen sanoo, että jokainen järjestelmä ansaitsee saman raskaan prosessin, mikä muuttaa riskienhallinnan paperityöksi ja lopulta opettaa tiimit piilottamaan työtä. Toinen sanoo, että pienet mallit eivät ansaitse vakavaa prosessia, mikä sekoittaa kapean osan vaarattomaan instituutioon. Oikeasuhtainen lähestymistapa kysyy, mitä järjestelmä voi muuttaa, keihin se voi vaikuttaa ja mikä näyttö antaisi organisaatiolle mahdollisuuden korjata virheen.

Ensimmäinen valvontatoimi on tarkoituslausuma, jonka ei-asiantuntija voi ymmärtää. Sen tulisi nimetä tehtävä, käyttäjät, joille se on tarkoitettu, asianosaiset henkilöt, sallittu syöte, tuloste ja toimet, joita järjestelmä ei voi tehdä. Tarkoitus, kuten tukipriorisointi, on liian epämääräinen, jos se voisi tarkoittaa yksityisen työjonon järjestämistä, sen päättämistä, kuka saa lakisääteisen tarkastuksen, tai ehdokkaiden valitsemista kurinpitokäsittelyyn. Lause ei ole markkinointitekstiä. Se on raja, jota vasten myöhemmät muutokset tarkistetaan.

Toinen valvontatoimi on syötteen ja näytön raja. Mitä lähteitä järjestelmä saa lukea. Mitkä kentät ovat määrääviä. Kuinka tuoreita niiden on oltava. Mitä tapahtuu, kun arvo puuttuu tai on ristiriidassa toisen lähteen kanssa. Voiko henkilötietoja päästä polulle. Mikä tietue säilytetään. Kompakti malli voi olla tiukka syötteen suhteen ja silti epäonnistua, jos ympäröivä työnkulku hiljaa laajentaa dataa. Soveltamisalalla on oltava omistaja, ei vain skeema.

Kolmas kontrolli on tulossopimus. Määrittele sallitut tunnisteet, epävarmuustilat, kieltäytymisehdot ja jatkotoimet kullekin tulokselle. Jos järjestelmä palauttaa pistemäärän, kerro, mitä pistemäärä tarkoittaa ja mitä se ei tarkoita. Jos se palauttaa järjestyksen, kerro, onko järjestys ehdotus vai portti. Jos se palauttaa luokan, kerro, kuka saa muuttaa sitä ja mikä tietue tallentaa muutoksen. Pieni sanasto on hyödyllinen vain, jos toimielin sitoutuu siihen, ettei se salakuljeta siihen ylimääräistä toimivaltaa.

Neljäs kontrolli on muutospolku. Mallipäivitykset, kynnysarvojen muutokset, uudet tietolähteet, eri käyttäjäryhmä, uusi toimittaja tai muuttunut jatkotoimi voivat muuttaa järjestelmän riskiä. AI-asetuksen elinkaarikieli muistuttaa, että riskienhallinta on iteratiivista. Komponentti, joka oli tammikuussa kapea, voi elokuussa olla osa erilaista päätöstä. Velvoite seuraa muuttunutta suhdetta, ei ensimmäisen suunnitteluasiakirjan päivämäärää.

Viides kontrolli on poistumistie. Voiko organisaatio keskeyttää komponentin, siirtyä ihmisvetoiseen reittiin, viedä tietueet, selittää päätöshistorian ja vaihtaa toimittajan menettämättä todisteita, joita tarvitaan tapausten korjaamiseen. Poistumistie ei ole suurten järjestelmien ylellisyys. Pienestä mallista voi tulla institutionaalisen muistin yksittäinen piste, jos kukaan ei säilytä sen lähdettä, versiota ja päätöspolkua.

Oikeasuhtainen näyttötiedosto

Oikeasuhtainen näyttötiedosto ei ole varasto kaikesta, mitä kukaan on ajatellut mallista. Se on luettava vastaus kysymyksiin, joita arvioija, käyttäjä, asianomainen henkilö tai sääntelijä voi kohtuudella esittää. Mikä oli tarkoitus. Mikä versio oli käytössä. Mitä dataa se sai. Mitä se palautti. Mikä sääntö tai kynnysarvo muutti tuloksen toimeksi. Kenellä oli toimivalta muuttaa tulosta. Mitä tapahtui, kun näyttö puuttui. Miten päätös voidaan toistaa tai haastaa.

Vähämerkityksisen ehdotuksen kohdalla tiedosto voi olla pieni. Se voi sisältää tarkoituksen, lähteen, version, perusarvioinnin, omistajan, säilytyssäännön ja linkin korjausreittiin. Järjestelmässä, joka vaikuttaa pääsyyn, turvallisuuteen, työllisyyteen tai oikeuksiin, tiedosto vaatii enemmän. Sen tulee yhdistää riskianalyysi dataan ja tulossopimukseen, osoittaa, miten ihmisvalvonta toimii käytännössä, dokumentoida tunnetut rajoitteet ja säilyttää riittävästi toimintahistoriaa kiistellyn tuloksen selvittämiseksi. Oikeasuhtaisuus kasvaa seurausten mukaan, ei parametrien määrän mukaan.

Testauksen tulee noudattaa samaa logiikkaa. Yksi tarkkuusluku ei voi kuvata järjestelmän soveltuvuutta jokaiseen asiayhteyteen. Testaa ne dataosuudet ja olosuhteet, joilla on merkitystä tarkoituksen kannalta. Sisällytä puuttuvat ja ristiriitaiset syötteet. Sisällytä tapaukset, joissa kieltäytyminen on oikein. Tarkista, käyttävätkö eri tiimit mallin tulosta eri tavoin. Kirjaa, mitä mitattiin, missä olosuhteissa ja mikä jää tuntemattomaksi. Malli, joka suoriutuu hyvin puhtaasta testijoukosta, voi silti olla huonosti sijoitettu sekavaan toimielimeen.

Seuranta ei ole kojelaudan koriste. Sen avulla organisaatio oppii, että todellinen työnkulku on muuttunut. Tarkkaile syöttödatan muutoksia, erimielisyysasteita, kieltäytymisasteita, ihmisen tekemien ohitusten muutoksia, uusia jatkokäyttöjä sekä valituksia ja korjauspyyntöjä. Tarkat signaalit riippuvat järjestelmästä. Periaate on vakaa: näytön tulee sisältää suhde, joka luo velvoitteen, ei vain mallin sisäistä pistemäärää.

Hyvällä näytöllä on myös viimeinen voimassaolopäivä, vaikka tietueet säilytetään pidempään. Oikeudellinen tulkinta voi muuttua. Palvelu voi tavoittaa uuden väestön. Toimittaja voi päivittää mallin. Reitti, joka oli käännettävissä, voi upota toiseen järjestelmään. Merkitse, mitä arvioitiin, milloin, kenen toimesta ja mitä tarkoitusta vasten. Tietueesta tulee tällöin päätösten historia eikä staattinen todistus, joka elää pidempään kuin olosuhteet, jotka tekivät siitä merkityksellisen.

Pienten mallien vikatilat

Pienet järjestelmät epäonnistuvat tunnistettavilla tavoilla. Luokittelija voi jättää luokan huomaamatta, koska luokan määritelmä on epäselvä. Poimija voi palauttaa uskottavan kentän väärästä lauseesta. Rankkausmalli voi suosia tuttuja tapauksia ja piilottaa epätavalliset. Kynnysarvo voi muuttaa jatkuvan epävarmuuden vääräksi binääriseksi valinnaksi. Paikallinen malli voi toimia luotettavasti, vaikka lähdedata on vanhentunutta. Mikään näistä epäonnistumisista ei ole automaattisesti katastrofaalinen. Jokaisesta tulee merkittävä, kun työnkulku kohtelee tulosta arvovaltaisempana kuin komponentin sopimus sallii.

Ensimmäinen epäonnistumistapa on väärä vaatimattomuus. Tiimi sanoo, että malli vain merkitsee, lajittelee tai avustaa, mutta suunnittelee työnkulun niin, että henkilökunta harvoin on eri mieltä. Merkinnästä tulee päätös tottumuksen kautta. Tämä ei ole vika mallin parametrimäärässä. Se on vika organisaation tavassa käsitellä auktoriteettia. Korjaus on tehdä luovutuksesta näkyvä, mitata ohituksia ja erimielisyyksiä sekä antaa ihmisille käytännöllinen reitti muuttaa tulos.

Toinen on piilotettu koostumus. Pieni malli voi sijaita haun, sääntöjen, jonon, rankkauksen ja ilmoituspalvelun rinnalla. Jokainen komponentti näyttää rajalliselta. Yhdessä ne voivat luoda voimakkaan päätöspolun. Riskitarkastelun tulisi seurata polkua päästä päähän. Mikä lähde tulee ensin. Mikä muunnos poistaa kontekstin. Mikä merkintä käynnistää toiminnon. Mikä tietue säilyy. Kuka voi pysäyttää ketjun. Komponenttitason varmistus on välttämätöntä, mutta se ei ole järjestelmänäkymä.

Kolmas on vanhentunut velvoite. Malli pysyy muuttumattomana, kun sen tarkoitus tai yleisö muuttuu. Tiimi lisää uuden datalähteen, lähettää tuloksen toiselle osastolle tai alkaa käyttää yksityistä priorisointityökalua julkisessa työnkulussa. Mallikortti pysyy samana, joten kaikki olettavat riskin olevan sama. Se ei ole. Tarkoitettu käyttötarkoitus on siirtynyt, ja näyttötiedoston tulisi siirtyä sen mukana.

Neljäs on pienen mallin sädekehä. Pieni laskentakustannus tai siisti paikallinen käyttöönotto saa järjestelmän tuntumaan vastuullisemmalta kuin se on. Organisaatio voi silti epäonnistua tuloksen selittämisessä, syötteen säilyttämisessä, oikaisun tarjoamisessa tai vastuuhenkilön nimeämisessä. Tekninen tehokkuus on tervetullutta. Se ei korvaa institutionaalista valvontaa. Järjestelmä voi olla halpa käyttää ja kallis puolustaa.

Viides on puuttuva poistumistie. Pieniä komponentteja on helppo lisätä ja vaikea poistaa, kun ne kietoutuvat kiireiseen prosessiin. Vaihto muuttaa luokat, kynnysarvot tai tietueet, joita alavirran tiimit odottavat. Jos kukaan ei harjoitellut vaihtoa, järjestelmästä tulee tahmea. Malli voi olla pieni, mutta siirrosta tulee nyt julkinen ongelma. Siirrettävyys kuuluu ensimmäiseen suunnittelukeskusteluun, ei viimeiseen hankintakokoukseen.

Kun pieni on oikea tekninen valinta

Mikään tästä ei saisi muuttua kampanjaksi pieniä malleja vastaan. Pieni voi olla täsmälleen oikein. Kapea tehtävä, jolla on selkeä sopimus, ei välttämättä tarvitse yleiskäyttöistä mallia. Paikallinen komponentti voi pitää arkaluonteiset syötteet lähempänä niistä vastuussa olevia ihmisiä. Kiinteä tuloste voi helpottaa validointia ja seurantaa. Malli, joka kieltäytyy toimialueensa ulkopuolella, voi olla turvallisempi yhdistää kuin malli, joka vastaa jokaiseen kysymykseen sulavalla varmuudella.

Tekninen perustelu on vahvin, kun tiimi osaa nimetä, mitä komponentti ei tee. Se luokittelee vain hyväksytyt luokat. Se lukee vain määritellyt kentät. Se palauttaa riittämättömän näytön, kun pakollinen kenttä puuttuu. Se ei kutsu työkalua. Se ei tee lopullista päätöstä. Se sisältää version ja arviointitietueen. Se on korvattavissa, koska rajapinta ja näyttösopimus on dokumentoitu. Nämä rajoitteet eivät tee järjestelmästä lapsellista. Ne tekevät sen vastuista luettavia.

Pienet komponentit voivat myös tukea parempaa työnjakoa. Laaja malli voi tulkita sekavaa kieltä tai laatia ihmisen luettavissa olevan selityksen. Tiukka komponentti voi poimia kentän, soveltaa käytäntöporttia, asettaa järjestykseen ilmoitetun lähdejoukon tai tarkistaa, täyttääkö tulos tunnetun muodon. Sääntömoottori tai ratkaisija voi hallita osaa, jonka on oltava täsmällinen. Ihminen voi hallita harkintaa, jota ei voi turvallisesti vähentää. Tärkeää ei ole puhtaus. Tärkeää on, että jokaisella osalla on rajattu tehtävä ja järjestelmä tallentaa, miten tehtävät liittyvät toisiinsa.

Tässä järjestelyssä on eurooppalaista käytännöllisyyttä. Laitokset pääsevät harvoin korvaamaan kaiken kerralla. Ne tarvitsevat järjestelmiä, jotka voivat toimia niissä laitteisto-, oikeudellisissa, kieli- ja hankintaolosuhteissa, joita niillä todella on. Pienemmät komponentit voidaan joskus sijoittaa lähemmäs työtä, arvioida paikallista näyttöä vasten ja korvata ilman, että koko organisaation täytyy muuttaa muistiaan. Tämä on odotus, ei väite jokaisesta pienestä mallista. Käyttöönotto vaatii silti todisteen siitä, että sovitus on todellinen.

Pienuus on hyödyllistä myös kurinalaisuutena. Kun tiimi ei voi ratkaista ongelmaa lisäämällä yleistä kapasiteettia, sen on päätettävä, millä tiedolla on merkitystä, mikä epävarmuus voidaan tuoda esiin ja mitkä tapaukset vaativat ihmistä. Tämä suunnittelutyö voi paljastaa, että mallia ei tarvita. Joskus oikea komponentti on tietokantarajoite, hakemisto, allekirjoitettu tietue tai hyvin kirjoitettu lomake. Pienempi malli voi kantaa suuren velvoitteen. Myös ei-malli voi kantaa sellaisen.

Kun pienuutta käytetään naamiointina

Pienuudesta tulee naamiointia, kun sitä tarjotaan vastauksena ennen kuin kukaan on kuvannut kysymyksen. Myyntipuhe voi sanoa, että komponentti on kevyt, paikallinen, yksityinen, tehokas tai avoin. Nämä voivat kaikki olla hyödyllisiä tietoja. Ne eivät kerro asianomaiselle henkilölle, voidaanko järjestelmää haastaa, eivätkä käyttäjälle, voidaanko tulos kumota, eivätkä valvojalle, ymmärsikö organisaatio tarkoituksensa.

Naamiointi näkyy usein hankintakielessä. Ostajalle esitellään mallin koko, viiveluku ja päättelykustannus. Sopimus sanoo, että toimittaja tarjoaa työkalun päätöksenteon tueksi. Kukaan ei kirjaa ylös, mitkä päätökset, kenen tiedot, mitkä väestöryhmät, mikä ihmisten reitti tai mitkä muutokset laukaisevat tarkastelun. Myöhemmin sisäinen tiimi huomaa, että työkalusta on tullut portti, koska jono, määräaika tai kojelauta teki suosituksesta helppoa noudattaa. Malli oli pieni. Hallinto oli pienempi.

Toinen naamiointi on ilmaus ihminen silmukassa. Henkilö voi teknisesti käsitellä jokaista tapausta ilman, että hänellä on merkityksellistä aikaa, tietoa tai valtaa. Silmukka toimii silloin hyväksymisriittinä. Pieni malli voi tehdä tästä erityisen houkuttelevaa, koska tulos näyttää yksinkertaiselta. Kolme luokkaa saapuu, henkilö napsauttaa yhtä, ja organisaatio kutsuu tulosta tarkistetuksi. Tarkistus edellyttää kykyä ymmärtää, haastaa ja muuttaa lopputulos. Napsautus ei yksinään ole suojatoimi.

Kolmas naamiointi on väite, että paikallisuus tarkoittaa suvereniteettia. Paikallinen käsittely voi auttaa sijainnin, viiveen ja toiminnallisen hallinnan kanssa, mutta suvereniteetti koskee myös sitä, kuka voi muuttaa ohjelmistoa, pitää avaimia, käyttää tietoja ja pitää palvelun toiminnassa, kun toimittaja tai verkko ei ole käytettävissä. Pieni malli laitteessa voi olla paikallinen, kun taas sen päivitykset, arviointi ja valta ovat muualla. Sijainti on tosiasia kartalla. Hallinta on tosiasia suhteessa.

Vastalääke ei ole suurempi muoto. Se on terävämpi muoto. Kysy tarkoitus. Kysy, mikä muuttuu tuloksen vuoksi. Kysy, kuka voi olla eri mieltä. Kysy, mitä asianomainen henkilö voi tehdä. Kysy, mitä näyttöä säilytetään. Kysy, miten järjestelmä keskeytetään, korvataan ja arvioidaan uudelleen. Jos vastaukset ovat selkeitä, mallin koko voi palata oikealle paikalleen yhtenä monista teknisistä valinnoista.

Ostajan kysymykset

Ennen kuin pieni malli otetaan käyttöön merkittävässä työnkulussa, ostajan pitäisi pystyä vastaamaan sarjaan yksinkertaisia kysymyksiä. Mikä on käyttötarkoitus yhdellä lauseella. Mikä jää soveltamisalan ulkopuolelle. Keihin ihmisiin voidaan vaikuttaa suoraan tai välillisesti jatkotoimenpiteen kautta. Mitä tietoja tarvitaan ja mitkä tiedot ovat kiellettyjä. Mihin kukin tuotos antaa organisaatiolle luvan. Mihin se ei anna organisaatiolle lupaa.

Kysy sitten toimivallasta. Kuka omistaa päätöksen. Kuka voi ohittaa mallin. Kuka voi pysäyttää työnkulun. Mitä tietoja tämä henkilö näkee. Kuinka paljon aikaa heillä on. Mitä tapahtuu, kun he ovat eri mieltä. Kerrotaanko asianomaiselle riittävästi, jotta hän voi pyytää uudelleenkäsittelyä. Voiko organisaatio korjata myös syötteen, ei vain tuotosta. Nämä kysymykset eivät ole syytös toimittajaa kohtaan. Ne ovat vähimmäiskuvaus työkalun ostavasta instituutiosta.

Kysy näytöstä. Mikä versio oli käytössä. Mikä malli- ja käytäntökokoonpano oli aktiivinen. Mitkä lähteet olivat saatavilla. Mikä kynnys tai sääntö muutti tuotoksen seuraavaksi toimenpiteeksi. Mitä tallennetaan, kun ihminen muuttaa tulosta. Voiko organisaatio toistaa tapauksen teeskentelemättä, että uusi ajo on sama kuin vanha. Voiko se viedä tallenteet muodossa, jota toinen järjestelmä voi lukea. Vastauksen ei tarvitse olla suuri alusta. Sen on oltava todellinen tallenne.

Kysy muutoksista. Mikä lasketaan mallipäivitykseksi. Mikä lasketaan uudeksi tietolähteeksi. Mitä tapahtuu, kun käyttötarkoitus muuttuu. Mitkä muutokset edellyttävät uutta arviointia. Ketä siitä ilmoitetaan. Miten asianomaisia suojellaan palautuksen tai siirron aikana. Jos toimittaja ei pysty vastaamaan, ostaja ei osta pientä riskiä. Ostaja hyväksyy pienen kuvauksen suuresta tuntemattomasta.

Lopuksi kysy poistumisesta. Voiko työnkulku toimia turvallisesti ilman mallia. Voiko organisaatio hakea syötteet, tuotokset, päätökset ja korjaushistorian. Voiko toinen osa täyttää saman rajapinnan ilman uutta riippuvuutta. Voiko järjestelmän poistaa jättämättä ihmisiä epätietoisuuteen. Malli ei ole todella pieni, jos sen poistaminen edellyttää, että instituutio unohtaa, miten se teki päätöksiä.

Lyhyt huomautus meiltä

Dwevellä Loom on yksi esimerkki suunnittelunäkemyksestä, jonka tuomme tähän kysymykseen. Sen julkinen tuotekuvaus esittää pienet kielikomponentit renderöijinä tyypitetyn päättelygraafin ympärillä, jäljityksineen, toistettavuutena ja nimenomaisina kieltäytymisrajoina. Tämä on kannanotto arkkitehtuuristamme ja tavasta, jolla haluamme komponentin vastuun olevan näkyvissä. Se ei ole riippumatonta näyttöä, sääntelyluokitus, asiakaskäyttöönotto tai lupaus siitä, että pieni komponentti soveltuu automaattisesti merkittävään käyttöön.

Esimerkin hyödyllinen osa on raja. Komponentti voi olla pieni ja silti ansaita tarkan sopimuksen. Se voidaan sijoittaa suurempaan graafiin tulematta jokaisen päätöksen omistajaksi. Se voi kantaa jäljitystä väittämättä, että jäljitys todistaa koko instituution toimineen lainmukaisesti. Mainitsemme Loomin tässä vain osoittaaksemme, miten oma työmme pyrkii pitämään mallin kyvykkyyden, järjestelmän tarkoituksen, näytön ja inhimillisen toimivallan erillään. Eurooppalainen kysymys on meille sama kuin kaikille muille: mitä tämä järjestelmä voi muuttaa, ja voivatko vastuuhenkilöt edelleen tarkastaa ja korjata sen?

Velvollisuus syntyy suhteesta

Pieni malli voi olla helpompi käyttää, helpompi testata ja helpompi korvata. Nämä ovat hyviä syitä valita sellainen. Ne eivät ole syitä supistaa ympäröivää huolellisuusvelvollisuutta. AI-asetuksen määritelmät ja riskisäännöt, komission GPAI-ohjeistus, EDPB:n tapauskohtainen lähestymistapa tietoihin ja Alankomaiden SyRI-tuomio osoittavat kaikki samaan käytännön suuntaan muodostumatta yhdeksi ainoaksi oikeudelliseksi testiksi: tarkastele tarkoitusta, asiayhteyttä, toimivaltaa, näyttöä, asianomaisia ihmisiä ja oikeussuojan mahdollisuutta.

Oikea kysymys ei siis ole se, onko malli pieni. Se on se, mitä mallin annetaan muuttaa. Jos se vain auttaa ihmistä hakemaan omista muistiinpanoistaan, vastaus voi olla vaatimaton. Jos se muuttaa sitä, kuka saa huomiota, mitä tietuetta luotetaan tai avaako julkinen palvelu oven, vastaus on suurempi. Jos organisaatio ei pysty selittämään luovutusta, säilyttämään todisteita tai antamaan jollekulle reittiä tuloksen riitauttamiseen, velvollisuus on jo kasvanut komponentin mittojen yli.

Hyvä hallinto jättää tilaa oikeasuhteisuudelle. Se ei vaadi, että jokaisesta mallista tulee komitea. Se pyytää tiimiä tekemään tärkeät suhteet näkyviksi, pitämään väitteet kiinni todisteissa ja antamaan ihmisille todellista valtaa, kun järjestelmä on epävarma tai väärässä. Pienet mallit voivat auttaa tässä työssä, koska rajattu komponentti voidaan nimetä ja testata. Mutta rajattu on suunnittelusaavutus, ei pienen koon oletusominaisuus.

Koko kuuluu teknisen suunnittelun tietueeseen. Tarkoitus kuuluu järjestelmän tietueeseen. Seuraus kuuluu ihmisen tietueeseen. Kun nämä kolme tietuetta saavat puhua toisilleen, pientä mallia voidaan käyttää huolellisesti ilman, että sitä kohdellaan vaarattomana. Kun ne pidetään erillään, mallin vaatimattomuudesta tulee teatteria, ja tuloksen kantajat maksavat puuttuvasta kontekstista.

Lähteet