Kõrge riskiga süsteem ei ole kõrge riskiga mudel

Risk ei ela mudeli sees nagu hoiatusmärk. See kerkib esile sihtotstarbest, kasutuselevõtust, volitusest, liidestest ja inimestest, kes peavad tulemusega...

Kõrge riskiga süsteem ei ole kõrge riskiga mudel

Silt on kinnitatud kasutusviisi külge, mitte kasti külge

Mudelit saab kopeerida ühelt serverilt teisele ilma, et see midagi õpiks. Selle kaalud, kood ja reklaamitud võimalused võivad jääda muutumatuks. Ometi võib küsimus, mida Euroopa esitab seda ümbritseva asja kohta, muutuda täielikult. Milleks see on mõeldud? Kes seda kasutab? Kelle positsiooni saab see muuta? Milline kanne jõuab töövoogu? Kes saab vastust kahtluse alla seada, seda parandada, peatada või hiljem avastada, miks seda järgiti?

See ei ole katse muuta lihtsat teemat suurejoonelisemaks, kui see on. See on tavaline erinevus komponendi ja süsteemi vahel. Piduriketas ei ole maanteesõiduk. Arvutustabeli valem ei ole maksuotsus. Üldotstarbeline tehisintellekti mudel ei ole iseenesest iga tehisintellekti süsteem, mis võidakse hiljem selle ümber ehitada. Sellel eristusel on lihtne noogutada ja seda on märkimisväärselt lihtne kaotada, kui hankekoosolekul hakatakse mudelist rääkima nii, nagu sisaldaks see juba kogu tulevast juurutust.

ELi tehisintellekti määrus hoiab selle eristuse silme ees. See määratleb tehisintellekti süsteemi ja eraldi määratleb üldotstarbelise tehisintellekti mudeli. Selle kõrge riskitasemega reeglid puudutavad tehisintellekti süsteeme teatud asjaoludel, sealhulgas süsteeme, mis on reguleeritud toodete ohutuskomponendid, ja süsteeme, mida kasutatakse loetletud valdkondades. Määrus muudab ka kavandatud kasutusotstarbe keskseteks tehisintellekti süsteemi klassifitseerimisel ja dokumenteerimisel. See ei kutsu meeskonda üles osutama mudeli nimele, kinnitama punast, kollast või rohelist silti ja kuulutama töö tehtuks.

See peaks olema vabastav ja nõudlik ühtaegu. Mudel ei kanna endaga kaasas püsivat moraalset horoskoopi. Hoolikas analüüs võib olla kitsas seal, kus kavandatud kasutusotstarve on kitsas, ja see võib muutuda tõsiseks seal, kus võim, kokkupuude ja tagajärjed muutuvad tõsiseks. Konks on selles, et analüüs peab järgima tegelikku süsteemi. Mitte demot. Mitte tarnija esitlust. Mitte kahjutut ülesannet, mis avas projekti kuus kuud tagasi. Süsteemi, mis saab sisendeid, teeb väljundeid kättesaadavaks, kujundab otsust ja mida kasutatakse tavalisel teisipäeval.

Vaatleme tahtlikult hüpoteetilist illustratsiooni. Sama keelemudel ühendatakse kõigepealt sisemise teadmiste otsingu tööriistaga. See otsib välja poliitikakohad koolitatud kolleegile, kes saab avada algallika ja kirjutada oma vastuse. Hiljem ühendab organisatsioon mudeli vastuvõtuvormiga, annab selle soovitusele koha juhtumiandmete tipus, rakendab juhtumile taimeri ja muudab soovituse vastuvõtmise kõige kiiremaks viisiks järjekorra tühjendamisel. Ühtegi väljamõeldud nõukogu, patsienti, töötajat ega juhtumit pole vaja, et muutust näha. Mudel võib olla identne. Väljundi roll, andmetee, stiimul, mõjutatud isik ja liidese praktiline autoriteet ei ole.

See on artikli väide: kõrge riskitasemega süsteem ei ole kõrge riskitasemega mudel. Mudel võib olla süsteemi oluline osa ja sellel võivad olla oma kohustused. Kuid riskianalüüs muutub tähendusrikkaks alles siis, kui see jõuab kavandatud kasutusotstarbeni, juurutamise kontekstini, kasutajateni, mõjutatud isikuteni ja allavoolu integratsioonini. Need üksikasjad ei ole paberitöö, mis lisatakse pärast inseneritööd. Need on asjaolud, mis annavad väljundile institutsionaalse jõu.

Hõljutage kursorit või valige kiht. Mudel on üks kiht; tagajärg ilmneb alles siis, kui kihid kokku saavad.

Euroopa kasutab teadlikult kahte erinevat nimisõna

Erinevus algab määruse määratlustest. AI-süsteem on masinapõhine süsteem, mis on kavandatud töötama erineva autonoomia tasemega ja mis võib pärast kasutuselevõttu olla kohanduv, ning mis tuletab sisenditest, kuidas genereerida väljundeid, nagu prognoosid, sisu, soovitused või otsused, mis võivad mõjutada füüsilist või virtuaalset keskkonda. Üldotstarbeline AI-mudel on erinev: see on AI-mudel, mis suudab asjatundlikult täita väga erinevaid ülesandeid, olenemata sellest, kas see on turule lastud, ja mida saab integreerida mitmesugustesse allavoolu süsteemidesse või rakendustesse.

Need määratlused kattuvad igapäevases kõnepruugis, sest sama sõna AI teeb tohutult tasustamata tööd. Hindamises ei tohiks need kattuda. Üldotstarbeline mudel on loodud liikuma. Selle võimalikud kasutusalad on teadlikult laiad. AI-süsteem on toimiv korraldus, mille kaudu väljundid mõjutavad keskkonda. Sellel on eesmärk, konfiguratsioon, liides ja keskkond. See võib hõlmata mudelit, mitut mudelit, deterministlikke reegleid, andmebaase, andureid, inimesi, protseduure ja palju väikeseid otsuseid, mida keegi ei nimeta tehisintellektiks enne, kui need ebaõnnestuvad.

Seetõttu ei saa üldotstarbelise AI-mudeli pakkuja ja AI-süsteemi pakkuja või kasutuselevõtja lihtsalt kontrolle vahetada. Komisjoni juhend üldotstarbeliste AI-mudelite kohta ütleb, et mudelipakkujad peavad tegema teabe ja dokumentatsiooni kättesaadavaks allavoolu AI-süsteemide pakkujatele, et need pakkujad saaksid mõista mudeli võimeid ja piiranguid ning täita oma kohustusi. See lause on huvitavam, kui esmapilgul paistab. See eeldab, et allavoolu pakkujal on tööd, mida mudelipakkuja ei saa lõpetada. Mudeli dokumentatsioon liigub edasi, kuid see ei lõpeta teekonda.

Selles on praktiline alandlikkus. Mudelipakkuja saab kirjeldada arhitektuuri, koolitusprotsessi, hindamist, kavandatud ülesandeid, integreerimisnõudeid, sisendeid ja väljundeid, piiranguid ja teadaolevaid tingimusi. Allavoolu meeskond teab, kas kasutaja on koolitatud spetsialist, kas mõjutatud isik saab tulemuse vaidlustada, kas soovitus on nime poolest nõuandev, kuid praktikas siduv, kas kõne välisele teenusele muudab kirjet ja kas vigast toimingut saab tagasi pöörata. Kumbki osapool ei oma üksi täielikku pilti.

Jagunemine ei ole lünk. See on vastutuse kaart. See ütleb, et süsteemi ei saa juhtida, paludes mudelipakkujal lubada kontrolli kasutuselevõtu üle, mida nad ei käita ega näe. See ütleb ka, et integreerija ei saa tugineda teadmatusele, kui dokumentatsioon teeb olulise piirangu nähtavaks. Eesmärk ei ole korralik üleandmine juriidiliste isikute vahel. Eesmärk on vältida küsimuse kadumist nendevahelisse lõhesse.

Esimene eristus tasub meeles pidada, kuid selle kõrval on veel üks. Kõrge riskiga klassifikatsioon iseenesest ei tähenda luba, ohutust, õiglust ega seaduslikkust. Euroopa Andmekaitseinspektsiooni ja Euroopa Andmekaitseinspektori ühisarvamuses algse komisjoni ettepaneku kohta rõhutati, et kõrge riskiga klassifitseerimine ei tähendanud tingimata, et süsteem on sellisena seaduslik või et kasutaja võib selle sellisena kasutusele võtta. Lõplik õigusakt on sellest arvamusest alates õigusmaastikku muutnud, kuid aluseks olev hoiatus on endiselt asjakohane. Klassifikatsioon on regulatiivne tingimus. See ei ole kviitung, mis ütleb, et asutus võib edasise mõtlemise lõpetada.

See on oluline, sest kõrge riskiga märgis võib tekitada kaks vastandlikku viga. Üks meeskond võib seda käsitada mudeli püsiva plekina ja otsustada, et lihtsalt ei tasu edasi vaadata. Teine võib lõpetatud vastavusmenetlust pidada loaks igasuguseks hilisemaks kontekstiks. Mõlemad lähenemisviisid asendavad sildi argumendiga. Euroopa on valinud ebamugavama tee: tuvastada süsteem, selle eesmärk ja roll, seejärel uurida asjakohaseid riske ja kohustusi kogu süsteemi elutsükli vältel.

Sihtotstarve on see, kust analüüs oma suuna saab

Sihtotstarve kõlab tagasihoidlikult, peaaegu bürokraatlikult. Tegelikult see nii ei ole. Õigusakt määratleb selle kasutusena, milleks pakkuja on AI-süsteemi ette näinud, sealhulgas pakkuja esitatud teabes määratletud konkreetse konteksti ja kasutustingimustena. Teisisõnu, eesmärk ei ole loosung tootelehel. See hõlmab konteksti ja tingimusi, milles pakkuja süsteemi kasutamise ette näeb. Heal eesmärgi kirjeldusel on selged piirid. See ütleb, mida süsteem teeb, kellele, milliste sisenditega, millise töövoogu raames ja kus selle volitused lõpevad.

Võrrelge kahte kirjeldust. Esimene ütleb, et süsteem kasutab AI-d, et aidata organisatsioonidel teha paremaid otsuseid. See on piisavalt lai, et sobida konverentsi taustapildile, ja liiga lai, et toimida. Teine ütleb, et süsteem esitab koolitatud hindajatele allikaviidetega varustatud mustandkokkuvõtteid olemasolevast toimikust; see ei saa otsust teha, edastada ega rakendada; hindaja peab enne kokkuvõtte kasutamist viidatud allikaid kontrollima; ja funktsioon ei ole kättesaadav kategooriatele, mis vajavad eraldi seadusest tulenevat menetlust. Teine kirjeldus on vähem põnev. See on aga selline, millega insener, hankespetsialist, vastavuskolleeg ja mõjutatud isik saavad konkreetselt mittenõustuda.

Eesmärk ei pea olema üks lause. Tõsise süsteemi puhul on see tavaliselt kompaktne pakett: ülesanne, väljund, kasutaja, mõjutatud elanikkond, keskkond, volitused, välistused, sõltuvused ja tingimused. Õigusakti tehnilise dokumentatsiooni nõuded loovad ruumi just selliseks kirjelduseks. IV lisa nõuab AI-süsteemi üldist kirjeldust, sealhulgas sihtotstarvet, isikuid ja rühmi, kellele see on mõeldud, ning konkreetseid versioone või vorme, milles see turule lastakse. Samuti nõutakse süsteemi arhitektuuri, andmenõuete, inimjärelevalve meetmete, elutsükli jälgimise ja riskijuhtimise meetmete kirjeldusi. Dokumentatsioon on nii lai, sest üksnes mudelikaart ei suuda juurutust kirjeldada.

Eesmärk on ka see, kus meeskond avastab, et on kirjeldanud ambitsiooni, mitte tegelikku toimimist. Lubadus toetada juhtumitöötajaid võib varjata tosinat erinevat lahendust. Kas tööriist otsib dokumente, järjestab tööd, koostab vastuse, soovitab kategooriat, lükkab taotluse tagasi, eskaleerib hoiatuse, määrab prioriteedi või kutsub välja teise teenuse? Kas kolleeg kasutab seda enne või pärast iseseisva seisukoha kujundamist? Kas väljund on soovitus külgpaneelil või väli, mis tuleb enne toimiku edasiliikumist täita? Kas mõju on vahetu, viivitatud, pöörduv või raskesti märgatav? Vastus muudab süsteemi isegi siis, kui kasutajaliides näeb välja tuttav.

A pakkuja kavandatud eesmärk ei suuda reaalsust kaduda lasta. Meeskond ei saa anda süsteemile laiaulatuslikku praktilist volitust, kirjeldada seda kahjutu abilisena ja oodata, et kirjeldus asja lahendab. Kuid piiritletud eesmärk on siiski kontrollimeede. See ütleb kasutajatele, milliseid tõendeid on arvesse võetud, ütleb integreerijatele, mida nad ei tohi kergelt laiendada, ja ütleb hindajatele, milline muudatus avaks hinnangu uuesti. Hägune eesmärk muudab iga hilisema küsimuse vaidluseks selle üle, mida mõeldi. Piiritletud eesmärk võimaldab organisatsioonil küsida, kas ta teeb ikka seda, mida ta heaks kiitis.

See muutub eriti oluliseks siis, kui organisatsioon teeb olulise muudatuse. Määrus sisaldab reegleid juhtudeks, mil levitaja, importija, kasutuselevõtja või mõni muu kolmas isik võib saada pakkujaks, sealhulgas siis, kui ta laseb süsteemi turule oma nime all, teeb olulise muudatuse või muudab kavandatud eesmärki viisil, mille tõttu süsteem muutub kõrge riskiga süsteemiks. Täpne õiguslik kohaldamine sõltub asjaoludest ja seda tuleks kontekstis kontrollida. Operatiivne õppetund on lihtsam: integratsioonimuudatus võib olla juhtimissündmus. Mudeli väljundi liigutamine mustandipaanilt otsusejärjekorda võib olla korraga tootemuudatus, töövoolumuudatus ja vastutusmuudatus.

Kontekst ei ole taust

Kasutuskonteksti käsitletakse sageli kui osa, mis tuleb pärast tegelikku tööd: riikide loend, majutusvalik, mõned kasutajaprofiilid, võib-olla diagramm nooltega, mis viivad kuulekalt vasakult paremale. Kuid kontekst annab riskile kuju. Sama liiki väljund võib ühes keskkonnas olla ebamugav ja teises kaalukas. Vigane lõpetamine kirjutusabis saab parandada järgmises lauses. Vigane prioriteet nappide ressurssidega töövoolus võib otsustada, millist faili inimene kõigepealt näeb. Skoor, mis näib olevat üks sisend paljude seas, võib muutuda otsustavaks, kui iga teine sisend on aeglane, hägune või mõne teise meeskonna taga peidus.

Määruse kõrge riskiga lähenemisviis peegeldab seda. Artikkel 6 seob kõrge riskiga klassifikatsiooni süsteemidega, mida kavatsetakse kasutada teatud toodete ohutuskomponentidena, või süsteemidega, millele on viidatud III lisas. III lisa loetleb valdkonnad, kus AI-süsteemid võivad olla kõrge riskiga, kuna need on kavandatud kindlaks kasutuseks, näiteks teatud biomeetriline kasutus, kriitiline taristu, haridus ja kutseõpe, tööhõive, juurdepääs olulistele era- ja avalikele teenustele ning hüvedele, õiguskaitse, ränne ja piirikontroll ning õigusemõistmine ja demokraatlikud protsessid. Õiguslik üksikasj on oluline, kuid oluline on ka sõnastus. See ei ütle, et tehniline artefakt on abstraktselt kõrge riskiga. See ütleb korduvalt, et seda kavatsetakse kasutada.

Artikkel 6 sisaldab ka täpsustust teatud III lisa süsteemide kohta: neid ei käsitata kõrge riskiga süsteemidena, kui need ei kujuta endast olulist ohtu füüsiliste isikute tervisele, ohutusele või põhiõigustele, sealhulgas sellega, et nad ei mõjuta oluliselt otsuste tegemise tulemust. Pakkujad peavad selle hinnangu dokumenteerima enne süsteemi turule laskmist või kasutuselevõttu. See ei ole üldine erandikaart. See on meeldetuletus, et süsteemi tegelik mõju on oluline. Kasulik analüüs sisaldab piisavalt üksikasju, et selgitada, miks süsteem mõjutab või ei mõjuta oluliselt tulemust. Kui seda selgitust ei saa kirjutada ilma üldsõnalisuseta, on meeskond enne väljalaset midagi õppinud.

Kontekst hõlmab aega. Soovitus ulatusliku uurimise alguses mõjub teisiti kui soovitus hetkel, mil inimesel on ainult üks võimalus puuduv materjal esitada. See hõlmab mahtu. Üksik hindaja võib väljundi vaidlustada, kui päevas saabub viis juhtumit, ja järgida seda vaikimisi, kui enne lõunat saabub viissada. See hõlmab keelt. Hindaja, kes saab tõendeid lugeda oma töökeeles, võib teostada teistsugust järelevalvet kui hindaja, kes saab enesekindla kokkuvõtte materjalist, mida ta iseseisvalt kontrollida ei saa. See hõlmab kohalikku menetlust, edasikaebamise õigust, personali, juurdepääsu spetsialistile, varuvariandi olemasolu ning seda, kas väljund jõuab inimeseni, kellel on piisavalt volitusi, et midagi kasulikku ette võtta.

Ükski sellest ei eelda, et väljamõeldud katastroof oleks tõsi. See on lihtsalt see, kuidas süsteemid töötavad. Ametlik poliitika võib öelda, et inimene on protsessis, kuid süsteem võib siiski olla funktsionaalselt automaatne, kui inimesel pole aega, teavet, volitusi ega praktilist võimalust eriarvamuse avaldamiseks. Seaduse artikkel 14 räägib seetõttu tõhusast inimese järelevalvest, mis vastab riskidele, autonoomia tasemele ja kasutuskontekstile. See nõuab, et kõrge riskiga süsteemid kavandataks ja arendataks nii, et inimesed mõistaksid asjakohaseid võimalusi ja piiranguid, oleksid teadlikud kalduvusest väljundile automaatselt loota, tõlgendaksid väljundit õigesti, otsustaksid seda mitte kasutada, tühistaksid või pööraksid selle ümber ning peataksid süsteemi ohutult, kui see on asjakohane. Need on operatiivsed küsimused. Neile ei saa vastata ainult mudeli võrdlusuuringu põhjal.

Valige juurutamise lähenemisviis. Mudel jääb paigale; süsteemi piir, volitus ja vajalikud tõendid ei jää.

Kasutajad on osa juhtimispinnast

On ahvatlev rääkida kasutajatest nii, nagu istuksid nad süsteemist väljas, hoides klaviatuuri ja tehes seda inimlikku osa. Nad on osa toimimiskorraldusest. Nende teadmised, töökoormus, volitused, stiimulid ja abi saamise võimalused määravad, mida väljund teeb. Süsteem, mis on kavandatud spetsialistile, kes saab lähtematerjali uurida, ei sobi automaatselt üldistajale, kellelt oodatakse kiiret tööd. Tööriist, mis on kasulik hindajale, kes saab soovituse tagasi lükata, ei sobi automaatselt kolleegile, kes saab ainult kinnitada või oodata, kuni keegi teine seda teeb.

See ei tähenda, et kasutaja peaks iga kord iga komponenti kahtluse alla seadma. Selline oleks kummaline kasuliku tehnoloogia määratlus. See tähendab, et järelevalve peaks olema kujundatud tõelise ülesandena. Inimene peab teadma, millal süsteemi kasutatakse, milline on asjakohane piirang, milline tõendusmaterjal on kättesaadav, millist lahkarvamust ta võib registreerida ja mis juhtub pärast selle registreerimist. Tal on vaja volitusi, mis vastavad vastutusele. Paluda kellelgi jälgida väljundit, mida ta ei saa peatada, parandada ega suunata, on pigem inimlik kaunistus kui inimlik järelevalve.

Määrus annab kasutuselevõtjatele siin rolli. Artikkel 26 nõuab, et kõrge riskitasemega süsteemide kasutuselevõtjad võtaksid asjakohased tehnilised ja korralduslikud meetmed, et tagada süsteemide kasutamine vastavalt kaasasolevatele juhistele. See palub kasutuselevõtjatel määrata inimlik järelevalve füüsilistele isikutele, kellel on vajalik pädevus, väljaõpe ja volitused, ning jälgida toimimist juhiste alusel. Teatud juhtudel nõuab see ka automaatselt genereeritud logide hoidmist nende kontrolli all. See ei ole palve hoida asjatundlikku inimest läheduses juhuks, kui liides muutub närviliseks. See on nõue korraldada töötav praktika.

Koolitust käsitletakse sageli kui terviklikku vastust. See ei ole nii. Koolitus võib aidata inimesel piirangut ära tunda, kuid see ei saa luua allikregistrit, mida liides peidab. See ei saa luua aega, mida järjekorra kujundus kulutab. See ei saa luua volitusi, mille leping reserveerib mujale. See ei saa parandada integratsiooni, mis muudab ettevaatliku soovituse pöördumatuks toiminguks. Organisatsioon peaks inimesi muidugi koolitama. See peaks ka muutma ülesande, milleks neid koolitatakse, teostatavaks süsteemis, mis neile tegelikult antakse.

On olemas kasulik test: kirjeldage kasutaja toimingut ilma tegusõna ülevaatamine kasutamata. Mida nad loevad? Millist võrdlust saavad nad teha? Mida saavad nad tagasi lükata? Kuhu põhjus läheb? Kes seda näeb? Mis juhtub soovitusega pärast tagasilükkamist? Kas isik, keda tulemus mõjutab, saab küsida, mis juhtus? Kas hilisem kolleeg suudab rekonstrueerida asjakohase oleku? Kui vastused jäävad üldisteks, on ka järelevalve kujundus tõenäoliselt üldine.

See test kehtib ka väljaspool kõrge riskitasemega süsteeme. Seadusel on konkreetne ulatus ja kuupäevad; hea operatiivne otsustus ei oota kategooria silti, enne kui küsib, kas inimene on pandud performatiivsesse rolli. On täiesti võimalik ehitada madala tagajärjega tööriist, mis muudab inimesed oma töö suhtes rumalamaks, sest väljund on liiga sujuv, et seda vaidlustada. Samuti on võimalik ehitada piiratud tööriist, mis suurendab inimese võimet esitada häid küsimusi, sest see säilitab tõendusmaterjali, piirab oma volitusi ja muudab ebakindluse nähtavaks. Mudel võib aidata kaasa kummalegi tulemusele. Süsteem otsustab, kummal tulemusel on koht, kus toimuda.

Mõjutatud inimesed istuvad konsoolist väljas

Paljud kõige olulisemad inimesed tehisintellekti süsteemis ei puuduta seda kunagi. Nad võivad olla kandidaat, õpilane, töötaja, patsient, reisija, elanik, klient, nõude esitaja, laenuvõtja, tunnistaja või avalikkuse liige. Nad ei pruugi teada, et mudel oli seotud. Nad võivad kogeda ainult vastust, mis saabub kiiresti, taotlust, mis viibib, teenust, mis muutub kättesaamatuks, prioriteeti, mis nihkub, või otsust, mida tundub võimatu mõista. Nende puudumine liidesest ei muuda neid süsteemist puuduvaks.

See on üks põhjus, miks määruse riskiraamistik viitab tervisele, ohutusele ja põhiõigustele. See suunab tähelepanu tagajärgedele, mida ei saa taandada sellele, kas sisselogitud kolleeg tööriista nautis. See on ka põhjus, miks eesmärgi avaldus peaks nimetama isikud ja rühmad, kellele süsteemi kavatsetakse kasutada, nagu nõuab IV lisa. Süsteem, mis on ehitatud kategooria kasutaja ümber, võib vaikselt varjata erinevust liidest kasutava inimese ja tulemusega elava inimese vahel.

Mõjutatud inimesed muudavad küsimusi, mida meeskond peab esitama. Kas on võimalik teada, kas süsteemil oli oluline roll? Kas otsus põhineb teabel, mida saab parandada? Kas keel, puue, seade, asukoht või haldusstaatus muudab osalemise raskemaks? Kas operatiivmeeskond saab signaale mõjutatud inimestelt või ainult juhtpaneelilt? Kas parandus jõuab andmeteni, soovituseni, otsuseni ja igasuguse allavoolu sisuni, mis sellele tugines? Need küsimused ei ole palve muuta iga süsteem avalikuks konsultatsiooniks. Need on palve jälgida tagajärge piisavalt kaugele, et näha teises otsas inimest.

Isikuandmete kaitse õigus on asjakohane seal, kus töödeldakse isikuandmeid, koos AI-määruse raamistikuga. EDPB ja EDPS tegid selle punkti selgeks oma 2021. aasta ühisarvamuses ettepaneku kohta: olemasolev ELi isikuandmete kaitse õigus kohaldub isikuandmete töötlemisele ettepaneku reguleerimisalas. Täpne õiguslik analüüs sõltub töötlemisest ja kaasatud osalistest. Valitsemise õppetund on lihtne. Klassifitseerimisharjutus ei saa endasse haarata kõiki muid kohustusi. Privaatsus, mittediskrimineerimine, valdkondlikud kohustused, haldusõiguse nõuded, tarbijakaitsereeglid ja lepingulised kohustused ei kao seetõttu, et meeskond on koostanud hea välimusega riskiregistri.

On ka põhiline loetavuse küsimus. Inimene ei pea saama masinõppe spetsialistiks, et mõista, kuidas parandust taotleda. Kuid süsteem ei tohi kasutada tehnilist keerukust põhjusena, miks parandamine on võimatu. Hea tee eristab, mida süsteem salvestas, mida inimene otsustas, milliseid tõendeid kaaluti, mis jääb ebakindlaks ja mida saab veel muuta. See ei väida täpsust, mida andmed ei toeta. Selles valdkonnas ei ole ausus ainult hääletoon. See on osa teenusest.

Integratsioon on koht, kus vastutus läheb üle

Meeskonnad joonistavad mõnikord AI-arhitektuuri korraliku ahelana: mudel, viip, vastus, kasutaja. Tegelikud juurutused on rohkem nagu linnaplaan pärast seda, kui keegi on meenutanud teenusetorustikku. On identiteedisüsteeme, otsingusalvesid, tööriistaõigusi, järjekordi, skeeme, vahemälusid, jälgimisplatvorme, brauserilaiendusi, pakett-töid, kinnitamisreegleid, säilitusseadeid, tarnijaid ja inimesi, kes pärandavad ülesande, sest eelmine inimene on puhkusel. Mudel on oluline. See on harva üksi.

Iga integratsioon võib muuta seda, mida süsteem suudab teha ja kuidas viga liigub. Otsing võib panna mudeli väljundi näima põhjendatuna, samal ajal kui allikas on aegunud, mittetäielik või vale ulatusega. Tööriistakutse võib muuta mustandi olekumuudatuseks. Järjekord võib muuta õigeaegse soovituse hiliseks. Orkestreerimiskiht võib valida teistsuguse mudeli või viipaversiooni. Kasutajaliides võib varjata ebakindlust, mis eksisteerib madalamas kihis. Identiteediintegratsioon võib anda kasulikule tööriistale juurdepääsu materjalile, mida kasutaja muidu avada ei saaks. Ükski neist tähelepanekutest ei süüdista konkreetset toodet või organisatsiooni. Need kirjeldavad tavalisi süsteemiomadusi, mis on just põhjus, miks need tuleks dokumenteerida enne, kui need muutuvad üllatavaks.

Komisjoni GPAI juhend on siin kasulik, sest see asetab teabe üleandmispunkti. Allavoolu pakkujate dokumentatsioon on mõeldud selleks, et aidata neil mõista mudeli võimeid ja piiranguid, selle ettenähtud ülesandeid, tehnilisi integratsiooninõudeid, sisendi- ja väljundispetsifikatsioone ning koolitusandmete teavet. See teave on vajalik. Sellest ei piisa. Allavoolu meeskonnad peavad ikkagi otsustama, kuidas mudelit viibida, kas väljund kuvatakse tõenditega, millised tööriistaõigused on lubatud, kuidas muudatust testitakse, milliseid logisid säilitatakse ja kas soovitus võib mõjutada konkreetset töövoogu.

Seepärast ei ole mudeliteenuse ostmine tervikliku riskiolukorra ostmine. Teenusepakkuja dokumentatsioon võib meeskonnale öelda, et mudelil on teadaolev piirang või et seda hinnati teatud tingimustel. See ei suuda tõendada, et ostja enda otsinguindeks on ajakohane, et ostja töötajatel on vajalikud volitused või et mõjutatud isikul on juurdepääs vaidlustuskanalile. Vastupidi, ostja ei saa nõuda, et mudelipakkuja tunneks iga kohalikku poliitikat või allavoolu protsessi. Vastutustundlik lähenemine ei ole teeselda, et üks pool suudab tunda kogu süsteemi. See on muuta piir selgesõnaliseks ja hoida tõendusmaterjal liikumas üle selle piiri.

Artikkel 25 annab sellele operatiivsele reaalsusele kasuliku õigusliku märgistuse. See sätestab asjaolud, mille korral loetakse muud isikut kui algset pakkujat kõrge riskitasemega tehisintellektisüsteemi pakkujaks. Nende hulka kuuluvad süsteemi turule laskmine selle isiku nime või kaubamärgi all, oluline muudatus või sihtotstarbe muutmine viisil, mis muudab süsteemi kõrge riskitasemega süsteemiks. Sätted on tehnilised ja faktipõhised; keegi ei tohiks end blogipostituse põhjal ise klassifitseerida. Kuid selle suund on selge. Integreerimine ja ümberkujundamine võivad muuta seda, kes kannab pakkuja kohustusi. Allavoolu kokkulepe ei jää igaveseks allavoolu lihtsalt seetõttu, et algne mudel saabus mujalt.

On institutsionaalne põhjus seda tõsiselt võtta. Kui vastutus muutub vaikselt, muutuvad ohutus ja õiguskaitse organisatsiooniliseks lauatenniseks. Mudelipakkuja osutab juurutusele. Juurutaja osutab mudelile. Integraator osutab pilveteenusele. Teenuse omanik osutab konfiguratsioonile, mida enam ei eksisteeri. Mõjutatud inimesed saavad viimistletud selgituse selle kohta, kui keeruline kõik on. See võib olla täpne, kuid see ei ole vastus. Süsteem vajab arvestust selle kohta, milline organisatsioon omab küsimust igal piiril, ja kanalit, kuidas küsimus liigub, kui vastus on mujal.

Dokumentatsioon peaks kirjeldama süsteemi, mis saab veel muutuda

Tehnilisel dokumentatsioonil on maine, et see jõuab projekti lõppu kerges paanikahõngus. Määrus kirjeldab teistsugust rolli. Kõrge riskitasemega süsteemide puhul tuleb tehniline dokumentatsioon koostada enne süsteemi turule laskmist või kasutuselevõttu ja seda ajakohasena hoida. IV lisa loetelu ulatub mudeli käitumisest kaugemale, hõlmates sihtotstarvet, versioone, süsteemi arhitektuuri, arendust, andmenõudeid, valideerimist ja testimist, inimjärelevalvet, täpsust ja küberturvalisuse meetmeid, riskijuhtimist, muudatusi ja turustusjärgset seiret. See ei ole dekoratiivne lisa. See on katse säilitada piisavalt mälu, et keegi saaks süsteemi üle vaadata ka pärast seda, kui käivitamiskoosolekust on saanud folkloor.

Dokumentatsioon töötab ainult siis, kui see suudab näidata seoseid. Mudeliversioon peab olema ühendatud süsteemiversiooniga, mis seda kasutas. Test peab olema ühendatud oma sisendtingimuste ja eesmärgiga. Poliitika peab olema ühendatud jõustamispunktiga. Kasutajaroll peab olema ühendatud volitusega, mis tal liideses on. Logimispoliitika peab olema ühendatud sündmusega, mida see suudab rekonstrueerida. Muudatus peab olema ühendatud hinnanguga, mille see käivitas. Vastasel juhul on meeskonnal raamatukogu häid dokumente, kuid puudub võimalus konkreetsele küsimusele vastata.

Logid on sarnane juhtum. Artikkel 12 nõuab, et kõrge riskiga tehisintellektisüsteemidel oleksid tehnilised võimalused sündmuste automaatseks salvestamiseks kogu süsteemi eluea jooksul, proportsionaalselt kavandatud eesmärgiga. Logid võivad aidata kaasa jälgitavusele, turustamisjärgsele seirele ja operatiivsele seirele. Need ei selgita otsust võluväel. Logi võib hilisemale uurijale öelda, et tööriista kutsuti välja, et versioon oli aktiivne või et ülevaataja klõpsas juhtelemendil. Üksi ei suuda see tuvastada, kas ülevaataja mõistis tõendusmaterjali, kas sisendallikas oli autoriteetne või kas protsess oli õiglane. Kirjed on väärtuslikud, sest need annavad uurimisele ausa alguspunkti, mitte sellepärast, et need kaotaksid vajaduse otsustusvõime järele.

Turustamisjärgne seire täiendab pilti. Artikkel 72 nõuab, et kõrge riskiga süsteemide pakkujad kehtestaksid ja dokumenteeriksid turustamisjärgse seire süsteemi, mis on proportsionaalne tehnoloogiate olemuse ja kõrge riskiga tehisintellektisüsteemi riskidega. Sellel on lihtne tähendus juurutustiimidele: väljalase ei ole hetk, mil süsteem muutub täielikult tuntuks. Organisatsioon vajab viisi, kuidas saada asjakohast teavet, eristada signaali järeldusest, otsustada, kas kavandatud eesmärgi piir kehtib endiselt, ning teha muudatus või lõpetada kasutus, kui tõendid seda nõuavad.

See töö ei ole glamuurne. See näeb välja nagu versioonitunnused, selged väljalaske kriteeriumid, sõltuvuste loend, tagasipööramise tee test, piirangu nimetatud omanik ja otsus, mis jääb nähtavaks ka pärast seda, kui selle tegija on rolli vahetanud. See tähendab küsimist, kas integratsioon on muutunud, enne kui küsitakse, kas mudel on muutunud. See tähendab piisavalt tõendusmaterjali säilitamist, et tagajärge parandada, mitte ainult seda tagantjärele selgitada. Igav ei ole siin ambitsioonikuse vastand. See on osa, mis muudab ambitsiooni institutsiooni raamidesse sobivaks.

Kuidas mõelda terviksüsteemist ilma kindlust teeseldes

Täielik analüüs ei ole universaalse riskiskoori otsing. See on küsimuste jada, mis muutub täpsemaks, kui disain muutub täpsemaks. Esimene küsimus on eesmärk: mida see süsteem peaks tegema ja mida see konkreetselt tegema ei peaks? Teine on tagajärg: keda see võib mõjutada, kuidas ja millise otsuse või teenuse kaudu? Kolmas on autoriteet: milline väljund võib muuta olekut, mõjutada otsust, seada prioriteedi või muuta seda, mida isik saab? Neljas on tõendus: mis toetab süsteemi kasutamist selles kontekstis ja millised tingimused muudavad selle tõenduse ülekantavaks?

Siis tulevad ebamugavad küsimused. Mis juhtub, kui mudel on ebakindel, vale, kättesaamatu või kasutatakse seda väljaspool selle määratletud piire? Mis muutub, kui allikas on aegunud või tööriist on keelatud? Mis siis, kui kasutaja on kiirustanud, rollis uus või ei suuda alusmaterjali üle vaadata? Mis siis, kui mõjutatud isik taotleb parandust? Mis siis, kui uuendus muudab viipa, otsingukorpust, liidese vaikeseadet, mudeliversiooni või rolliõigusi? Vastus on mõnikord tehniline kontroll, mõnikord protseduur, mõnikord väiksem kasutus, mõnikord teistsugune omanik ja mõnikord otsus mitte juurutada. Valitsemistava, mis ei luba kunagi viimast vastust, on vaid heakskiit ilusamas ümbruses.

Kasulik on hoida mitut väidet eraldi. Kinnitatud fakt ütleb, mida mudelipakkuja dokumenteeris või mida organisatsioon määratletud testis täheldas. Järeldus ütleb, miks see fakt võib konkreetses töövoos oluline olla. Kavandatud kontroll ütleb, mida meeskond kavatseb rakendada. Jääkrisk ütleb, mis jääb pärast kontrolli. Õiguslik järeldus ütleb, mis seaduse kohaselt kehtib. Need ei ole omavahel asendatavad. Hea dokument märgistab need, sest lugeja võib vajadusel ühte vaidlustada ilma teisi kõrvale heitmata.

Näiteks on võimalik öelda: teenusepakkuja dokumentatsioonis on kirjas, et mudelil on teatud piirang; juurutustiim järeldab, et piirang võib mõjutada kindlaksmääratud kasutusviisi; tiim teeb ettepaneku allika kontrollimise värava kohta; väravat pole veel kavandatud koormuse all testitud; ning õigusnõunik peab hindama sellest tulenevat kasutust kohaldatava õiguse alusel. See lause on vähem rahuldustpakkuv kui roheline linnuke. See on kasulikum kui roheline linnuke, sest see ei jäta mingit kahtlust selle kohta, mis on ja mis ei ole kindlaks tehtud.

Tiimid peaksid olema eriti ettevaatlikud sõnaga inimene. Inimese roll võib olla kontroll, kuid ainult siis, kui sellel on kindlaksmääratud ülesanne, piisav teave, aeg, väljaõpe, volitus ja võimalus tegutseda. Inimese roll võib muutuda ka viisiks süü ümberlükkamiseks ekraanile kõige lähemal olevale inimesele. See eristus ei ole filosoofiline. See on nähtav töövoos. Kui hindaja saab ainult heaks kiita, kui eriarvamus kaob jälgimata kommentaarivälja, või kui keegi ei saa parandada allavoolu tagajärge, ei ole süsteem saanud tähenduslikku järelevalvet ainult seetõttu, et keegi klõpsas millelgi.

Sama ettevaatus kehtib läbipaistvuse kohta. Pikk dokument võib muuta süsteemi kirjeldatavaks ilma seda vaidlustatavaks muutmata. Töölaud võib muuta selle nähtavaks ilma seda arusaadavaks muutmata. Avalikustamine võib kasutajale öelda, et tehisintellekt on kaasatud, ilma et talle öeldaks, mida saab vea korral ette võtta. Kasulik küsimus on praktiline: kas asjaomane isik leiab piiri, tõendid, vastutava rolli ja parandusvõimaluse kohast, kus need asjad on olulised? Kui ei, siis on teave vales kohas, et juhtimine saaks toimuda.

Väike märkus meilt

Dweve'i avalik usalduskeskus käsitleb mudelikirjet ja allavoolu integratsiooni seotud, kuid eraldi kirjetena. Selle allavoolu leht ütleb, et tiimid, kes Loomi integreerivad või juurutavad, vajavad praeguseid võimeid, piiranguid, liideseid, hindamiskonteksti ja muudatusi, samas kui avalik kirje ütleb, et mudel on üks lõim laiemas komponentide ja tööpiiride koes. See on dokumentatsiooni hoiak, mitte väide, et avalik leht liigitab iga võimaliku juurutuse või tõendab vastavust integraatori jaoks. Eralduse eesmärk on tagasihoidlikum: mudelikirje peaks liikuma koos integratsiooniga, ilma et see teeskluks integraatori enda süsteemianalüüsi asendada.

See on standard, mida tasub hoida. Mudeliteenuse pakkuja peaks tegema kasuliku teabe kättesaadavaks. Organisatsioon, kes mudeli juurutab või integreerib, peaks kirjeldama tegelikku süsteemi, mille ta on loonud: eesmärk, inimesed, andmed, liidesed, volitus, jälgimine ja parandamine. Kumbki pool ei tohiks kasutada dokumentatsiooni tseremoniaalse vahetusena, kus üks osapool saab PDF-i ja teine saab pattude andeksandmise.

Raskem küsimus on tavaliselt parem

Kui tiim küsib, kas mudel on suure riskiga, võib ta otsida kiiret vastust mõistlikule murele. Kuid kasulikum küsimus on tavaliselt pikem: millist süsteemi me sellest mudelist ehitame, mis eesmärgil, millises kontekstis, milliste inimestega, ja mis juhtub, kui see eksib? Sellele küsimusele ei saa alati ühel koosolekul vastata. See võib paljastada, et kavandatud kasutus on kitsam kui oodatud, et tõendid on puudulikud, et kasutajarollil puudub volitus, et leping jätab olulise piiri omanikuta või et allavoolu integratsioonist on vaikselt saanud süsteemi keskpunkt.

Ükski neist järeldustest ei ole innovatsiooni ebaõnnestumine. Need on asjad, mida asutus õpib enne, kui annab süsteemile võimu kujundada teise inimese valikuid. Euroopa lähenemisviisi kirjeldatakse sageli kohustuste kogumina. See on ka nimetamise distsipliin: nimetada eesmärk, tegutseja, kontekst, versioon, mõjutatud isik, piirang, tõendid ja sekkumise tee. Kui need on nimetatud, saab neid testida, muuta ja vaidlustada. Enne nimetamist kipuvad need hiljem üllatusena uuesti ilmuma.

Mudel võib olla võimekas, hoolikalt dokumenteeritud ja väärtuslik. Seda saab paigutada ka süsteemi, mis nõuab sellelt liiga palju, varjab selle kasutajatelt liiga palju või jätab tulemusest mõjutatud inimesele liiga vähe ruumi. Erinevus tehakse väljaspool kaalusid. Seal elab raske töö ja seal on ka tõsine võimalus: ehitada süsteeme, mille autoriteet vastab nende tõenditele, mille piirid peavad vastu integreerimisele ja mille operaatorid saavad ikka veel öelda ei.

Allikad