Augsta riska sistēma nav augsta riska modelis

Risks nedzīvo modelī kā brīdinājuma uzlīme. Tas rodas no paredzētā mērķa, ieviešanas, pilnvarām, saskarnēm un cilvēkiem, kuriem jāsadzīvo ar rezultātu.

Augsta riska sistēma nav augsta riska modelis

Etiķete ir piesaistīta lietojumam, nevis kastei

Modeli var nokopēt no viena servera uz citu, un tas neko neiemācās. Tā svari, kods un reklamētās iespējas var palikt nemainīgi. Tomēr jautājums, ko Eiropa uzdod par lietu, kas to ieskauj, var pilnībā mainīties. Kam tas paredzēts? Kas to lieto? Kura pozīcija var mainīties? Kurš ieraksts nonāk darba plūsmā? Kurš var apšaubīt atbildi, to labot, apturēt vai vēlāk noskaidrot, kāpēc tai tika sekots?

Tas nav mēģinājums padarīt vienkāršu tēmu grandiozāku, nekā tā ir. Tā ir parastā atšķirība starp komponenti un sistēmu. Bremžu disks nav ceļu satiksmes līdzeklis. Izklājlapas formula nav nodokļu lēmums. Vispārējas nozīmes mākslīgā intelekta modelis pats par sevi nav katra MI sistēma, ko ap to vēlāk var izveidot. Šo atšķirību ir viegli atzīt ar galvas mājienu un pārsteidzoši viegli pazaudēt, tiklīdz iepirkuma sanāksmē sāk runāt par modeli tā, it kā tas jau saturētu visu turpmāko ieviešanu.

ES Mākslīgā intelekta akts šo atšķirību patur redzeslokā. Tajā ir definēta MI sistēma un atsevišķi definēts vispārējas nozīmes MI modelis. Augsta riska noteikumi attiecas uz MI sistēmām īpašos apstākļos, tostarp sistēmām, kas ir regulētu izstrādājumu drošības komponentes, un sistēmām, ko izmanto uzskaitītajās jomās. Akts arī padara paredzēto mērķi par centrālo elementu MI sistēmas klasifikācijā un dokumentācijā. Tas neaicina komandu norādīt uz modeļa nosaukumu, pielīmēt sarkanu, dzeltenu vai zaļu etiķeti un paziņot, ka darbs ir padarīts.

Tam vajadzētu būt atbrīvojošam, kā arī prasīgam. Modelim nav pastāvīga morāla horoskopa. Rūpīga analīze var būt šaura, ja paredzētais mērķis ir šaurs, un tā var kļūt nopietna, kad nopietni kļūst vara, iedarbība un sekas. Āķis ir tajā, ka analīzei jāseko faktiskajai sistēmai. Nevis demonstrācijai. Nevis piegādātāja prezentācijai. Nevis nekaitīgajam uzdevumam, ar kuru projekts sākās pirms sešiem mēnešiem. Sistēmai, kas saņems ievaddatus, padarīs izvadus pieejamus, veidos lēmumu un tiks darbināta parastā otrdienā.

Aplūkosim apzināti hipotētisku ilustrāciju. Tas pats valodas modelis vispirms tiek savienots ar iekšējo zināšanu meklēšanas rīku. Tas izgūst politikas fragmentus apmācītam kolēģim, kurš var atvērt sākotnējo avotu un uzrakstīt savu atbildi. Vēlāk organizācija savieno modeli ar pieteikuma veidlapu, piešķir tā ieteikumam vietu lietas ieraksta augšgalā, piemēro lietai termiņu un padara ieteikuma pieņemšanu par ātrāko veidu, kā atbrīvot rindu. Lai saskatītu izmaiņas, nav vajadzīga ne izdomāta padome, ne pacients, ne darbinieks, ne incidents. Modelis var būt identisks. Izvades loma, datu ceļš, stimuls, ietekmētā persona un saskarnes praktiskā vara nav.

Tas ir raksta arguments: augsta riska sistēma nav augsta riska modelis. Modelis var būt svarīga sistēmas daļa un tam var būt savi pienākumi. Taču riska analīze kļūst jēgpilna tikai tad, kad tā sasniedz paredzēto mērķi, ieviešanas kontekstu, lietotājus, ietekmētās personas un pakārtoto integrāciju. Šīs detaļas nav dokumenti, kas tiek pievienoti pēc inženierijas darba. Tās ir apstākļi, kas izvadei piešķir institucionālu spēku.

Novietojiet kursoru virs slāņa vai atlasiet to. Modelis ir viens slānis; sekas parādās tikai tad, kad slāņi saskaras.

Eiropa apzināti lieto divus dažādus lietvārdus

Atšķirība sākas regulas definīcijās. MI sistēma ir uz mašīnbāzes veidota sistēma, kas izstrādāta darboties ar dažādu autonomijas pakāpi un kas pēc laišanas tirgū var uzrādīt pielāgošanās spēju, un kas no ievaddatiem secina, kā ģenerēt rezultātus, piemēram, prognozes, saturu, ieteikumus vai lēmumus, kas var ietekmēt fizisko vai virtuālo vidi. Vispārēja lietojuma MI modelis ir atšķirīgs: tas ir MI modelis, kas spēj kompetenti veikt plašu dažādu uzdevumu klāstu neatkarīgi no tā, vai tas ir laists tirgū, un ko var integrēt dažādās pakārtotās sistēmās vai lietojumprogrammās.

Šīs definīcijas ikdienas sarunās pārklājas, jo viens un tas pats vārds MI paveic lielu neapmaksāta darba apjomu. Novērtējumā tām nevajadzētu pārklāties. Vispārēja lietojuma modelis ir radīts ceļošanai. Tā iespējamie lietojumi ir apzināti plaši. MI sistēma ir darbības izkārtojums, ar kura palīdzību rezultāti ietekmē vidi. Tai ir mērķis, konfigurācija, saskarne un vide. Tā var ietvert modeli, vairākus modeļus, determinētiskus noteikumus, datubāzes, sensorus, cilvēkus, procedūras un ļoti daudzus sīkus lēmumus, kurus neviens nesauc par mākslīgo intelektu, līdz tie neizdodas.

Tāpēc vispārēja lietojuma MI modeļa nodrošinātājs un MI sistēmas nodrošinātājs vai izvietotājs nevar vienkārši apmainīties ar kontrolsarakstiem. Komisijas pamatnostādnēs par vispārēja lietojuma MI modeļiem teikts, ka modeļu nodrošinātājiem ir jādara informācija un dokumentācija pieejama pakārtotajiem MI sistēmu nodrošinātājiem, lai šie nodrošinātāji varētu izprast modeļa iespējas un ierobežojumus un izpildīt savus pienākumus. Šis teikums ir interesantāks, nekā šķiet sākumā. Tas pieņem, ka pakārtotajam nodrošinātājam ir darbs, ko modeļa nodrošinātājs nevar paveikt. Modeļa dokumentācija ceļo, bet tā nepabeidz ceļu.

Šajā ziņā ir praktiska pazemība. Modeļa nodrošinātājs var aprakstīt arhitektūru, apmācības procesu, novērtēšanu, paredzētos uzdevumus, integrācijas prasības, ievaddatus un rezultātus, ierobežojumus un zināmos apstākļus. Pakārtotā komanda zina, vai lietotājs ir apmācīts speciālists, vai ietekmētā persona var apstrīdēt rezultātu, vai ieteikums ir ieteikums tikai nosaukumā, bet saistošs praksē, vai zvans uz ārēju pakalpojumu maina ierakstu un vai kļūdainu darbību var atsaukt. Nevienai pusei vienai pašai nav pilnīga priekšstata.

Šī dalījuma nav nepilnība. Tā ir atbildības karte. Tas nozīmē, ka sistēmu nevar pārvaldīt, lūdzot modeļa nodrošinātājam solīt kontroli pār izvietojumu, ko tas nedarbina un neredz. Tas arī nozīmē, ka integrētājs nevar atsaukties uz nezināšanu, ja dokumentācija padara svarīgu ierobežojumu redzamu. Mērķis nav panākt glītu nodošanu starp juridiskām personām. Mērķis ir nezaudēt jautājumu plaisā starp tām.

Ir vērts paturēt prātā vēl vienu atšķirību blakus pirmajai. Augsta riska klasifikācija pati par sevi nav atļauja, drošības, taisnīguma vai likumības apliecinājums. Eiropas Datu aizsardzības kolēģija un Eiropas Datu aizsardzības uzraudzītājs savā kopīgajā atzinumā par sākotnējo Komisijas priekšlikumu uzsvēra, ka klasificēšana kā augsta riska sistēma ne vienmēr nozīmē, ka sistēma pati par sevi ir likumīga vai ka tās lietotājs to var vienkārši ieviest. Galīgais akts kopš šī atzinuma ir mainījis tiesisko regulējumu, taču pamatā esošais brīdinājums joprojām ir noderīgs. Klasifikācija ir regulatīvs nosacījums. Tā nav kvīts, kas apliecina, ka iestāde drīkst pārtraukt domāt.

Tas ir svarīgi, jo augsta riska marķējums var radīt divas pretējas kļūdas. Viena komanda to var uztvert kā paliekošu traipu uz modeļa un nolemt, ka atbilde ir vienkārši neskatīties tālāk. Cita var uzskatīt pabeigtu atbilstības procesu par atļauju jebkuram vēlākam kontekstam. Abas pieejas aizstāj argumentu ar marķējumu. Eiropa ir izvēlējusies neērtāku pieeju: identificēt sistēmu, tās mērķi un lomu, pēc tam izvērtēt attiecīgos riskus un pienākumus visā tās dzīves ciklā.

Paredzētais mērķis ir tas, no kā analīze iegūst savu virzienu

Paredzētais mērķis izklausās pieticīgi, gandrīz birokrātiski. Tā nav. Akts to definē kā lietojumu, kuram mākslīgā intelekta sistēmu paredz tās nodrošinātājs, tostarp konkrēto kontekstu un lietošanas nosacījumus, kas norādīti nodrošinātāja sniegtajā informācijā. Citiem vārdiem sakot, mērķis nav sauklis uz produkta lapas. Tas ietver kontekstu un nosacījumus, kādos nodrošinātājs nosaka, ka sistēma ir jāizmanto. Noderīgam mērķa aprakstam ir skaidras robežas. Tajā ir pateikts, ko sistēma dara, kam, ar kādiem ievaddatiem, kādā darba plūsmā un kur beidzas tās pilnvaras.

Salīdziniet divus aprakstus. Pirmais saka, ka sistēma izmanto mākslīgo intelektu, lai palīdzētu organizācijām pieņemt labākus lēmumus. Tas ir pietiekami plašs, lai ietilptu uz konferences fona, un pārāk plašs, lai būtu izmantojams. Otrais saka, ka sistēma apmācītiem pārskatītājiem sniedz ar avotiem saistītus esošās lietas materiālu kopsavilkumu projektus; tā nevar pieņemt, nosūtīt vai īstenot lēmumu; pārskatītājam pirms kopsavilkuma izmantošanas jāpārbauda minētie avoti; un funkcija nav pieejama kategorijām, kurām nepieciešams atsevišķs normatīvais process. Otrais apraksts ir mazāk aizraujošs. Tas ir arī kaut kas tāds, ar ko inženieris, iepirkumu vadītājs, atbilstības kolēģis un ietekmētā persona var konkrēti nepiekrist.

Mērķim nav jābūt vienam teikumam. Nopietnā sistēmā tas parasti ir kompakts kopums: uzdevums, rezultāts, lietotājs, ietekmētā sabiedrības daļa, vide, pilnvaras, izņēmumi, atkarības un nosacījumi. Akta tehniskās dokumentācijas prasības atstāj vietu tieši šādam aprakstam. IV pielikumā tiek prasīts vispārīgs mākslīgā intelekta sistēmas apraksts, tostarp paredzētais mērķis, personas un grupas, uz kurām to paredzēts izmantot, un konkrētās versijas vai formas, kādās tā tiek laista tirgū. Tajā tiek prasīti arī sistēmas arhitektūras, datu prasību, cilvēka uzraudzības pasākumu, dzīves cikla uzraudzības un riska pārvaldības pasākumu apraksti. Dokumentācijai ir šāds tvērums, jo modeļa karte vien nevar aprakstīt ieviešanu.

Mērķis ir arī vieta, kur komanda atklāj, ka tā ir aprakstījusi ambīciju, nevis darbību. Mēs atbalstīsim lietu darbiniekus var slēpt duci dažādu izkārtojumu. Vai rīks meklē dokumentus, kārto darbu, sagatavo atbildes projektu, iesaka kategoriju, noraida pieteikumu, paaugstina trauksmes līmeni, nosaka prioritāti vai izsauc citu pakalpojumu? Vai kolēģis to izmanto pirms vai pēc neatkarīga viedokļa izveidošanas? Vai rezultāts ir ieteikums sānu panelī vai lauks, kas jāaizpilda, pirms ieraksts var turpināties? Vai ietekme ir tūlītēja, aizkavēta, atgriezeniska vai grūti pamanāma? Atbilde maina sistēmu pat tad, ja lietotāja interfeiss izskatās pazīstams.

Pakalpojuma sniedzēja iecerētais mērķis nevar likt realitātei pazust. Komanda nevar piešķirt sistēmai plašu praktisku pilnvarojumu, raksturot to kā nekaitīgu palīgu un cerēt, ka šis raksturojums atrisinās jautājumu. Taču pienācīgi ierobežots mērķis joprojām ir kontroles līdzeklis. Tas lietotājiem norāda, kādi pierādījumi ir izvērtēti, integratoriem norāda, ko tie nedrīkst vieglprātīgi paplašināt, un vērtētājiem norāda, kādas izmaiņas liktu atkārtoti izvērtēt sistēmu. Neskaitāms mērķis pārvērš katru vēlāko jautājumu par strīdu par to, kas tika domāts. Ierobežots mērķis ļauj organizācijai jautāt, vai tā joprojām dara to, ko tā ir apstiprinājusi.

Tas kļūst īpaši svarīgi, ja organizācija veic būtiskas izmaiņas. Regulā ir noteikumi par gadījumiem, kad izplatītājs, importētājs, ieviesējs vai cita trešā puse var kļūt par pakalpojuma sniedzēju, tostarp, ja tā laiž sistēmu tirgū savā vārdā, veic būtiskas izmaiņas vai maina iecerēto mērķi tā, ka sistēma kļūst augsta riska. Precīza tiesiskā piemērošana ir atkarīga no apstākļiem, un tā būtu jāpārbauda kontekstā. Operacionālā mācība ir vienkāršāka: integrācijas izmaiņas var būt pārvaldības notikums. Modeļa izvades pārvietošana no melnraksta rūts uz lēmumu rindu vienlaikus var būt produkta izmaiņas, darbplūsmas izmaiņas un atbildības izmaiņas.

Konteksts nav tikai fons

Ieviešanas konteksts bieži tiek uztverts kā daļa, kas nāk pēc īstā darba: valstu saraksts, hostinga izvēle, dažas lietotāju personības, iespējams, diagramma ar bultiņām, kas paklausīgi ved no kreisās puses uz labo. Taču konteksts piešķir riskam tā formu. Viena veida izvade var būt neērta vienā vidē un nozīmīga citā. Kļūdains teksta pabeigums rakstīšanas palīgā var tikt labots nākamajā teikumā. Kļūdaina prioritāte darbplūsmā ar ierobežotiem resursiem var noteikt, kuru failu cilvēks redz pirmais. Rezultāts, kas šķiet tikai viens no daudziem ievades datiem, var kļūt izšķirošs, ja visi pārējie ievades dati ir lēni, neskaidri vai paslēpti aiz citas komandas.

Regulas augsta riska pieeja to atspoguļo. 6. pants saista augsta riska klasifikāciju ar sistēmām, kas paredzētas lietošanai kā noteiktu produktu drošības sastāvdaļas, vai sistēmām, kas minētas III pielikumā. III pielikumā ir uzskaitītas jomas, kurās mākslīgā intelekta sistēmas var būt augsta riska, jo tās ir paredzētas noteiktiem lietojumiem, piemēram, noteiktiem biometriskiem lietojumiem, kritiskajai infrastruktūrai, izglītībai un profesionālajai apmācībai, nodarbinātībai, piekļuvei būtiskiem privātiem un publiskiem pakalpojumiem un pabalstiem, tiesībaizsardzībai, migrācijai un robežkontrolei, kā arī tiesu varas īstenošanai un demokrātiskajiem procesiem. Tiesiskā detaļa ir svarīga, bet svarīga ir arī gramatika. Tajā nav teikts, ka tehnisks artefakts ir augsta riska abstrakti. Tajā atkārtoti teikts, ka tas ir paredzēts lietošanai.

6. pants ietver arī izņēmumu attiecībā uz noteiktām III pielikuma sistēmām: tās nav uzskatāmas par augsta riska sistēmām, ja tās nerada būtisku kaitējuma risku fizisku personu veselībai, drošībai vai pamattiesībām, tostarp būtiski neietekmējot lēmumu pieņemšanas iznākumu. Pakalpojuma sniedzējiem šis novērtējums ir jādokumentē pirms sistēmas laišanas tirgū vai nodošanas ekspluatācijā. Tas nav vispārējs atbrīvojums. Tas ir atgādinājums, ka sistēmas faktiskā ietekme ir svarīga. Noderīgā analīzē ir pietiekami daudz detaļu, lai izskaidrotu, kāpēc sistēma būtiski ietekmē vai neietekmē iznākumu. Ja šo skaidrojumu nevar uzrakstīt bez vispārīgām frāzēm, komanda pirms izlaišanas ir uzzinājusi kaut ko svarīgu.

Konteksts ietver laiku. Ieteikumam izmeklēšanas sākumā ir cita ietekme nekā ieteikumam brīdī, kad cilvēkam ir viena iespēja iesniegt trūkstošo materiālu. Tas ietver apjomu. Individuāls pārskatītājs var apstrīdēt rezultātu, ja dienā pienāk pieci gadījumi, un pieņemt to bez iebildumiem, ja pirms pusdienām pienāk pieci simti. Tas ietver valodu. Pārskatītājs, kurš var izlasīt pierādījumus savā darba valodā, var īstenot cita veida uzraudzību nekā pārskatītājs, kurš saņem pārliecinošu kopsavilkumu par materiālu, ko viņš pats nevar pārbaudīt. Tas ietver vietējo procedūru, pārsūdzības tiesības, personāla nodrošinājumu, piekļuvi speciālistam, rezerves risinājuma pieejamību un to, vai rezultāts nonāk pie cilvēka ar pietiekamu pilnvarojumu, lai rīkotos lietderīgi.

Nevienam no tā nav vajadzīgs izdomāts apdraudējums, lai būtu patiesība. Tas vienkārši ir tas, kā sistēmas darbojas. Formāla politika var noteikt, ka cilvēks ir iesaistīts procesā, bet sistēma joprojām var būt funkcionāli automātiska, ja cilvēkam nav laika, informācijas, pilnvarojuma vai praktiskas iespējas iebilst. Tāpēc Akta 14. pants runā par efektīvu cilvēka uzraudzību, kas atbilst riskiem, autonomijas līmenim un lietošanas kontekstam. Tas prasa, lai augsta riska sistēmas tiktu izstrādātas un attīstītas tā, lai cilvēki varētu izprast attiecīgās iespējas un ierobežojumus, apzinātos tendenci automātiski paļauties uz rezultātu, pareizi interpretētu rezultātu, izlemtu to neizmantot, atceltu vai mainītu to un droši apturētu sistēmu, ja nepieciešams. Tie ir operacionāli jautājumi. Uz tiem nevar atbildēt tikai ar modeļa etalonu.

Izvēlieties ieviešanas veidu. Modelis paliek nemainīgs; sistēmas robeža, pilnvarojums un nepieciešamie pierādījumi mainās.

Lietotāji ir daļa no kontroles virsmas

Ir vilinoši runāt par lietotājiem tā, it kā viņi atrastos ārpus sistēmas, turētu klaviatūru un nodrošinātu cilvēka daļu. Viņi ir daļa no darbības kārtības. Viņu zināšanas, darba slodze, pilnvarojums, motivācija un iespējas saņemt palīdzību nosaka, ko rezultāts panāk. Sistēma, kas izstrādāta speciālistam, kurš var pārbaudīt avota materiālu, nav automātiski piemērota vispārējam speciālistam, kuram jāstrādā ātrā tempā. Rīks, kas ir noderīgs pārskatītājam, kurš var noraidīt ieteikumu, nav automātiski piemērots kolēģim, kurš var tikai noklikšķināt uz apstiprināt vai gaidīt kādu citu.

Tas nenozīmē, ka lietotājam katru reizi jāapšauba katra sastāvdaļa. Tā būtu dīvaina noderīgas tehnoloģijas definīcija. Tas nozīmē, ka uzraudzība ir jāveido kā reāls uzdevums. Cilvēkam ir jāzina, kad sistēma tiek izmantota, kāds ir attiecīgais ierobežojums, kādi pierādījumi ir pieejami, kāda veida iebildumus viņš var reģistrēt un kas notiek pēc to reģistrēšanas. Viņam ir vajadzīga vara, kas atbilst atbildībai. Lūgt kādam uzraudzīt rezultātu, kuru viņš nevar apturēt, labot vai novirzīt, ir mazāk cilvēka uzraudzība, vairāk cilvēka dekorācija.

Akts šeit piešķir lomu ieviesējiem. 26. pants pieprasa, lai augsta riska sistēmu ieviesēji veiktu atbilstošus tehniskus un organizatoriskus pasākumus, lai nodrošinātu, ka sistēmas tiek izmantotas saskaņā ar pievienotajām instrukcijām. Tas aicina ieviesējus uzticēt cilvēka uzraudzību fiziskām personām ar nepieciešamo kompetenci, apmācību un pilnvarām, kā arī uzraudzīt darbību, pamatojoties uz instrukcijām. Atsevišķos gadījumos tas arī pieprasa saglabāt automātiski ģenerētus žurnālus savā kontrolē. Tas nav lūgums turēt zinošu cilvēku tuvumā gadījumam, ja saskarne kļūst nervoza. Tā ir prasība organizēt darba praksi.

Apmācība bieži tiek minēta kā pilnīga atbilde. Tā nav. Apmācība var palīdzēt cilvēkam atpazīt ierobežojumu, bet tā nevar radīt avota ierakstu, ko saskarne slēpj. Tā nevar radīt laiku, ko patērē rindas dizains. Tā nevar radīt pilnvaras, ko līgums ir nodevis citur. Tā nevar salabot integrāciju, kas piesardzīgu ieteikumu pārvērš neatgriezeniskā darbībā. Organizācijai, protams, būtu jāapmāca cilvēki. Tai arī būtu jāpadara iespējams veikt uzdevumu, kuram cilvēki tiek apmācīti, sistēmā, kas viņiem faktiski ir dota.

Ir noderīgs tests: aprakstiet lietotāja darbību, neizmantojot darbības vārdu pārskatīt. Ko viņi lasa? Kādu salīdzinājumu viņi var veikt? Ko viņi var noraidīt? Kur nonāk pamatojums? Kurš to redz? Kas notiek ar ieteikumu pēc noraidījuma? Vai cilvēks, kuru skar rezultāts, var jautāt, kas notika? Vai vēlāk kolēģis var rekonstruēt attiecīgo stāvokli? Ja atbildes paliek vispārīgas, iespējams, arī uzraudzības dizains ir vispārīgs.

Šis tests attiecas arī ārpus augsta riska sistēmām. Likumam ir konkrēts tvērums un termiņi; laba operatīvā sprieduma pieņemšana negaida kategorijas etiķeti, pirms jautā, vai cilvēks ir nostādīts performatīvā lomā. Ir pilnīgi iespējams izveidot zemas ietekmes rīku, kas padara cilvēkus stulbākus attiecībā uz viņu pašu darbu, jo rezultāts ir pārāk gluds, lai to apstrīdētu. Ir arī iespējams izveidot ierobežotu rīku, kas palielina cilvēka spēju uzdot labus jautājumus, jo tas saglabā pierādījumus, ierobežo savu autoritāti un padara nenoteiktību redzamu. Modelis var veicināt abus iznākumus. Sistēma izlemj, kuram iznākumam ir vieta, kur notikt.

Ietekmētie cilvēki atrodas ārpus konsoles

Daudzi no vissvarīgākajiem cilvēkiem mākslīgā intelekta sistēmā tai nekad nepieskaras. Viņi var būt kandidāts, skolēns, darbinieks, pacients, pasažieris, iedzīvotājs, klients, prasītājs, aizņēmējs, liecinieks vai sabiedrības loceklis. Viņi var nezināt, ka modelis bija iesaistīts. Viņi var tikai piedzīvot atbildi, kas pienāk ātri, pieprasījumu, kas tiek aizkavēts, pakalpojumu, kas kļūst nepieejams, prioritāti, kas mainās, vai lēmumu, kas šķiet neiespējami saprotams. Viņu prombūtne no saskarnes nenozīmē, ka viņu nav sistēmā.

Šis ir viens no iemesliem, kāpēc Akta riska ietvars attiecas uz veselību, drošību un pamattiesībām. Tas virza uzmanību uz sekām, kuras nevar reducēt līdz tam, vai pierakstījies kolēģis izbaudīja rīku. Tas ir arī iemesls, kāpēc mērķa paziņojumā būtu jānosauc personas un grupas, uz kurām sistēmu paredzēts izmantot, kā to prasa IV pielikums. Sistēma, kas veidota ap kategoriju, ko sauc par lietotāju, var klusi slēpt atšķirību starp cilvēku, kurš darbina saskarni, un cilvēku, kurš dzīvo ar rezultātu.

Ietekmētie cilvēki maina jautājumus, kas komandai jāuzdod. Vai ir iespējams zināt, ka sistēmai bija nozīmīga loma? Vai lēmums balstās uz informāciju, ko var labot? Vai valoda, invaliditāte, ierīce, atrašanās vieta vai administratīvais statuss apgrūtina dalību? Vai darba komanda saņem signālus no ietekmētajiem cilvēkiem vai tikai no informācijas paneļa? Vai labojums sasniedz datus, ieteikumu, lēmumu un jebkuru turpmāko kopiju, kas uz to balstījās? Šie jautājumi nav lūgums pārvērst katru sistēmu par publisko apspriešanu. Tie ir lūgums sekot sekām pietiekami tālu, lai otrā galā saskatītu cilvēku.

Datu aizsardzības tiesību akti ir būtiski tur, kur tiek apstrādāti personas dati, līdzās AI akta regulējumam. EDPB un EDPS to skaidri norādīja savā 2021. gada kopīgajā atzinumā par priekšlikumu: esošie ES datu aizsardzības tiesību akti attiecas uz personas datu apstrādi priekšlikuma darbības jomā. Precīza juridiskā analīze būs atkarīga no apstrādes un iesaistītajām pusēm. Pārvaldības mācība ir vienkārša. Klasifikācijas vingrinājums nevar absorbēt visas pārējās saistības. Privātums, nediskriminācija, nozaru pienākumi, administratīvo tiesību prasības, patērētāju noteikumi un līgumsaistības nepazūd tāpēc, ka komanda ir izveidojusi labi izskatīgu riska reģistru.

Ir arī pamatjautājums par salasāmību. Cilvēkam nav jākļūst par mašīnmācīšanās speciālistu, lai saprastu, kā lūgt labojumu. Bet sistēma nedrīkst izmantot tehnisko sarežģītību kā iemeslu, lai padarītu labošanu neiespējamu. Labs ceļš nošķir to, ko sistēma ierakstīja, ko cilvēks nolēma, kādi pierādījumi tika izskatīti, kas paliek neskaidrs un ko vēl var mainīt. Tas nepretendē uz precizitāti, ko ieraksti nespēj pamatot. Šajā jomā godīgums nav tikai balss tonis. Tā ir daļa no pakalpojuma.

Integrācija ir vieta, kur atbildība maina īpašnieku

Komandas dažkārt attēlo AI arhitektūru kā kārtīgu ķēdi: modelis, uzvedne, atbilde, lietotājs. Reālas ieviešanas vairāk līdzinās pilsētas kartei pēc tam, kad kāds ir atcerējies servisa caurules. Ir identitātes sistēmas, izguves krātuves, rīku atļaujas, rindas, shēmas, keši, novērojamības platformas, pārlūkprogrammas paplašinājumi, pakešuzdevumi, apstiprināšanas noteikumi, saglabāšanas iestatījumi, piegādātāji un cilvēki, kas manto uzdevumu, jo iepriekšējais cilvēks ir devies atvaļinājumā. Modelis ir svarīgs. Tas reti darbojas viens.

Katra integrācija var mainīt to, ko sistēma spēj paveikt un kā kļūda izplatās. Izguve var likt modeļa izvadei šķist pamatotai, kamēr avots ir novecojis, nepilnīgs vai nepareizi ierobežots. Rīka izsaukums var pārvērst melnrakstu par stāvokļa maiņu. Rinda var pārvērst savlaicīgu ieteikumu par novēlotu. Orķestrācijas slānis var izvēlēties citu modeļa vai uzvednes versiju. Lietotāja saskarne var slēpt nenoteiktību, kas pastāv zemākā slānī. Identitātes integrācija var dot noderīgam rīkam piekļuvi materiāliem, ko lietotājs citādi nevarētu atvērt. Neviena no šīm piezīmēm neapsūdz konkrētu produktu vai organizāciju. Tās apraksta parastas sistēmas īpašības, un tieši tāpēc tās būtu jādokumentē, pirms tās kļūst pārsteidzošas.

Komisijas GPAI norādījumi šeit ir noderīgi, jo tie novieto informāciju nodošanas punktā. Dokumentācija lejupstraumes pakalpojumu sniedzējiem ir paredzēta, lai palīdzētu viņiem saprast modeļa iespējas un ierobežojumus, tā paredzētos uzdevumus, tehniskās integrācijas prasības, ievades un izvades specifikācijas un apmācības datu informāciju. Šī informācija ir nepieciešama. Ar to nepietiek. Lejupstraumes komandām joprojām ir jāizlemj, kā modelis tiek pamudināts, vai izvade tiek rādīta ar pierādījumiem, kuras rīku atļaujas ir atļautas, kā tiek testētas izmaiņas, kādi žurnāli tiek saglabāti un vai ieteikums var ietekmēt konkrētu darbplūsmu.

Tāpēc modeļa pakalpojuma iegāde nav pilnīga riska stāvokļa iegāde. Pakalpojumu sniedzēja dokumentācija var pateikt komandai, ka modelim ir zināms ierobežojums vai ka tas ir novērtēts noteiktos apstākļos. Tā nevar pierādīt, ka pircēja izguves indekss ir aktuāls, ka pircēja darbiniekiem ir nepieciešamās pilnvaras vai ka skartajai personai ir pieejams apstrīdēšanas ceļš. Savukārt pircējs nevar prasīt, lai modeļa pakalpojumu sniedzējs zinātu katru vietējo politiku vai pakārtoto procesu. Atbildīga rīcība nav izlikties, ka viena puse var zināt visu sistēmu. Tā ir padarīt robežu skaidru un turpināt pierādījumus pārvietot pāri tai.

25. pants sniedz noderīgu juridisku atskaites punktu šai darbības realitātei. Tajā ir noteikti apstākļi, kuros puse, kas nav sākotnējais pakalpojumu sniedzējs, tiek uzskatīta par augsta riska mākslīgā intelekta sistēmas pakalpojumu sniedzēju. Tie ietver sistēmas laišanu tirgū šīs puses vārdā vai ar tās preču zīmi, būtisku modifikāciju veikšanu vai paredzētā mērķa maiņu tādā veidā, ka sistēma kļūst par augsta riska sistēmu. Šis noteikums ir tehnisks un atkarīgs no konkrētiem faktiem; nevienam nevajadzētu pašam sevi klasificēt, pamatojoties uz emuāra ierakstu. Taču tā virziens ir skaidrs. Integrācija un pārmērķēšana var mainīt to, kurš uzņemas pakalpojumu sniedzēja pienākumus. Pakārtots izvietojums nav uz visiem laikiem pakārtots tikai tāpēc, ka sākotnējais modelis ir nācis no citurienes.

Šo jautājumu ir iemesls uztvert nopietni institucionālā līmenī. Kad atbildība mainās klusējot, drošība un tiesiskās aizsardzības iespējas kļūst par organizatorisku galda tenisu. Modeļa pakalpojumu sniedzējs norāda uz izvietošanu. Izvietotājs norāda uz modeli. Integrators norāda uz mākoņpakalpojumu. Pakalpojuma īpašnieks norāda uz konfigurāciju, kas vairs nepastāv. Skartās personas saņem gludi formulētu skaidrojumu par to, cik viss ir sarežģīti. Tas var būt precīzi, bet tā nav atbilde. Sistēmai ir nepieciešams ieraksts par to, kura organizācija ir atbildīga par jautājumu katrā robežpunktā, un ceļš, pa kuru jautājums var virzīties, ja atbilde ir citur.

Dokumentācijai būtu jāapraksta sistēma, kas joprojām var mainīties

Tehniskajai dokumentācijai ir reputācija, ka tā projekta beigās parādās ar vieglu panikas smaku. Akts apraksta citu lomu. Augsta riska sistēmām tehniskā dokumentācija ir jāsagatavo pirms sistēmas laišanas tirgū vai nodošanas ekspluatācijā un tā ir jāatjaunina. IV pielikuma saraksts sniedzas tālāk par modeļa uzvedību, iekļaujot paredzēto mērķi, versijas, sistēmas arhitektūru, izstrādi, datu prasības, validāciju un testēšanu, cilvēka uzraudzību, precizitātes un kiberdrošības pasākumus, riska pārvaldību, izmaiņas un pēctirgus uzraudzību. Tas nav dekoratīvs pielikums. Tas ir mēģinājums saglabāt pietiekami daudz atmiņas, lai kāds varētu pārbaudīt sistēmu pēc tam, kad palaišanas sapulce ir kļuvusi par folkloru.

Dokumentācija darbojas tikai tad, ja tā spēj parādīt saistības. Modeļa versijai ir jābūt saistītai ar sistēmas versiju, kurā tā tika izmantota. Testam ir jābūt saistītam ar tā ievades nosacījumiem un mērķi. Politikai ir jābūt saistītai ar izpildes punktu. Lietotāja lomai ir jābūt saistītai ar pilnvarām, kas tai ir saskarnē. Žurnālfailu politikai ir jābūt saistītai ar notikumu, ko tā var rekonstruēt. Izmaiņām ir jābūt saistītām ar novērtējumu, ko tās izraisīja. Pretējā gadījumā komandai ir labu dokumentu bibliotēka, bet nav iespējas atbildēt uz konkrētu jautājumu.

Žurnālfaili ir līdzīgs gadījums. 12. pants pieprasa, lai augsta riska mākslīgā intelekta sistēmām būtu tehniskas iespējas automātiskai notikumu reģistrēšanai visā sistēmas darbības laikā, proporcionāli paredzētajam mērķim. Žurnālfaili var palīdzēt izsekojamībā, pēcpārdošanas uzraudzībā un darbības uzraudzībā. Tie neizskaidro lēmumu brīnumainā kārtā. Žurnālfails vēlākam izmeklētājam var pateikt, ka tika izsaukts rīks, ka bija aktīva versija vai ka recenzents noklikšķināja uz vadības elementa. Tas pats par sevi nevar noteikt, vai recenzents saprata pierādījumus, vai ievades avots bija autoritatīvs vai vai process bija taisnīgs. Ieraksti ir vērtīgi, jo tie izmeklēšanai dod godīgu sākumpunktu, nevis tāpēc, ka tie novērš vajadzību pēc sprieduma.

Pēcpārdošanas uzraudzība pabeidz ainu. 72. pants pieprasa, lai augsta riska sistēmu sniedzēji izveidotu un dokumentētu pēcpārdošanas uzraudzības sistēmu proporcionāli tehnoloģiju būtībai un augsta riska mākslīgā intelekta sistēmas riskiem. Ieviešanas komandām tas nozīmē vienkāršu secinājumu: izlaišana nav brīdis, kad sistēma kļūst pilnībā zināma. Organizācijai ir nepieciešams veids, kā saņemt būtisku informāciju, atšķirt signālu no secinājuma, izlemt, vai paredzētā mērķa robeža joprojām ir spēkā, un veikt izmaiņas vai pārtraukt lietošanu, ja pierādījumi to prasa.

Šis darbs nav aizraujošs. Tas izskatās kā versiju identifikatori, skaidri izlaišanas kritēriji, atkarību reģistrs, atgriešanās ceļa pārbaude, nosaukts atbildīgais par ierobežojumu un lēmums, kas paliek redzams arī pēc tam, kad tā pieņēmējs maina amatu. Tas izskatās kā jautājums par to, vai integrācija ir mainījusies, pirms jautājuma par to, vai modelis ir mainījies. Tas izskatās kā pietiekami daudz pierādījumu saglabāšana, lai labotu sekas, nevis tikai to skaidrošana pēc fakta. Garlaicīgs šeit nav ambicioza pretstats. Tā ir daļa, kas ļauj ambīcijām iederēties institūcijā.

Kā spriest par visu sistēmu, neizliekoties par pārliecību

Pilnīga analīze nav universāla riska rādītāja meklējumi. Tā ir jautājumu virkne, kas kļūst precīzāka, dizainam kļūstot precīzākam. Pirmais jautājums ir mērķis: kam šai sistēmai ir jākalpo un ko tieši tai nevajadzētu darīt? Otrais ir sekas: kurus var ietekmēt, kā un ar kādu lēmumu vai pakalpojumu? Trešais ir pilnvaras: kurš izvades rezultāts var mainīt stāvokli, ietekmēt lēmumu, noteikt prioritāti vai mainīt to, ko persona saņem? Ceturtais ir pierādījumi: kas pamato sistēmas izmantošanu šajā kontekstā un kādi apstākļi ļauj šiem pierādījumiem būt noderīgiem?

Tad seko neērtie jautājumi. Kas notiek, ja modelis ir nenoteikts, kļūdains, nepieejams vai tiek izmantots ārpus noteiktās robežas? Kas mainās, ja avots ir novecojis vai rīks ir liegts? Ko darīt, ja lietotājs steidzas, ir jauns amatā vai nevar pārbaudīt pamatā esošo materiālu? Ko darīt, ja ietekmētā persona lūdz labojumu? Ko darīt, ja atjauninājums maina uzvedni, izguves korpusu, saskarnes noklusējumu, modeļa versiju vai lomu atļaujas? Atbilde dažkārt ir tehniska kontrole, dažkārt procedūra, dažkārt mazāks lietojums, dažkārt cits atbildīgais un dažkārt lēmums neizvietot. Pārvaldība, kas nekad nepieļauj pēdējo atbildi, ir tikai apstiprināšana skaistākā jakā.

Ir lietderīgi turēt vairākus apgalvojumus atsevišķi. Apstiprināts fakts norāda, ko modeļa sniedzējs ir dokumentējis vai ko organizācija ir novērojusi noteiktā testā. Secinājums norāda, kāpēc šim faktam var būt nozīme konkrētā darbplūsmā. Ierosinātā kontrole norāda, ko komanda plāno ieviest. Atlikušais risks norāda, kas paliek pēc kontroles. Juridisks secinājums norāda, kas ir piemērojams saskaņā ar likumu. Tie nav savstarpēji aizstājami. Labā dokumentā tie ir marķēti, jo lasītājam var būt nepieciešams apstrīdēt vienu, neatmetot pārējos.

Piemēram, ir iespējams teikt: pakalpojumu sniedzēja dokumentācijā norādīts, ka modelim ir noteikts ierobežojums; izvietošanas komanda secina, ka ierobežojums varētu ietekmēt konkrētu lietojumu; komanda ierosina avota pārbaudes vārtus; vārti vēl nav pārbaudīti paredzamās slodzes apstākļos; un juridiskā nodaļa izvērtē iegūto lietojumu saskaņā ar piemērojamiem tiesību aktiem. Šis teikums nav tik apmierinošs kā zaļa atzīme. Tas ir noderīgāks par zaļu atzīmi, jo neatstāj nekādu neskaidrību par to, kas ir un kas nav noskaidrots.

Komandām īpaši uzmanīgi jāizturas pret vārdu cilvēks. Cilvēka loma var būt kontrole, bet tikai tad, ja tai ir noteikts uzdevums, pietiekama informācija, laiks, apmācība, pilnvaras un iespēja rīkoties. Cilvēka loma var kļūt arī par veidu, kā vainu pārnest uz personu, kas atrodas vistuvāk ekrānam. Šī atšķirība nav filozofiska. Tā ir redzama darba plūsmā. Ja recenzents var tikai apstiprināt, ja domstarpības pazūd neuzraudzītā komentāru laukā vai ja neviens nevar labot turpmākās sekas, sistēma nav ieguvusi jēgpilnu uzraudzību tikai tāpēc, ka kāds kaut ko noklikšķināja.

Tāda pati piesardzība attiecas uz pārredzamību. Garš dokuments var padarīt sistēmu aprakstāmu, nepadarot to apstrīdamu. Informācijas panelis var padarīt to redzamu, nepadarot to saprotamu. Atklātības paziņojums var pateikt lietotājam, ka ir iesaistīts mākslīgais intelekts, nepaskaidrojot, ko var darīt kļūdas gadījumā. Noderīgais jautājums ir praktisks: vai attiecīgā persona var atrast robežu, pierādījumus, atbildīgo lomu un labošanas ceļu tajā brīdī, kad tiem ir nozīme? Ja nē, informācija pastāv nepareizā vietā, lai notiktu pārvaldība.

Maza piezīme no mums

Uzņēmumā Dweve mūsu publiskais Trust Centre modeli un turpmāko integrāciju uzskata par saistītiem, bet atsevišķiem ierakstiem. Tā lapā par turpmāko integrāciju norādīts, ka komandām, kas integrē vai izvieto Loom, ir nepieciešamas aktuālās iespējas, ierobežojumi, saskarnes, izvērtēšanas konteksts un izmaiņas, savukārt publiskajā ierakstā teikts, ka modelis ir viens pavediens plašākā komponentu un darbības robežu audumā. Tā ir dokumentācijas nostāja, nevis apgalvojums, ka publiska lapa klasificē katru iespējamo izvietošanu vai pierāda atbilstību integrētājam. Šīs nošķiršanas mērķis ir pieticīgāks: modeļa ierakstam jāceļo kopā ar integrāciju, neizliekoties, ka tas aizstāj integrētāja paša sistēmas analīzi.

Tas ir standarts, kuru ir vērts saglabāt. Modeļa pakalpojumu sniedzējam būtu jādara pieejama noderīga informācija. Organizācijai, kas izvieto vai integrē modeli, būtu jāapraksta faktiskā sistēma, ko tā ir izveidojusi: mērķis, cilvēki, dati, saskarnes, pilnvaras, uzraudzība un labošana. Nevienai pusei nevajadzētu izmantot dokumentāciju kā ceremoniju, kurā viena puse saņem PDF failu, bet otra saņem attaisnojumu.

Grūtākais jautājums parasti ir labākais

Kad komanda jautā, vai modelis ir augsta riska, tā, iespējams, meklē ātru atbildi uz saprotamām bažām. Taču noderīgākais jautājums parasti ir garāks: kādu sistēmu mēs veidojam no šī modeļa, kādam mērķim, kādā kontekstā, ar kādiem cilvēkiem, un kas notiek, ja tā kļūdās? Uz šo jautājumu ne vienmēr var atbildēt vienā sapulcē. Tas var atklāt, ka paredzētais lietojums ir šaurāks, nekā gaidīts, ka pierādījumi ir nepilnīgi, ka lietotāja lomai trūkst pilnvaru, ka līgums atstāj svarīgu robežu bez īpašnieka vai ka turpmākā integrācija klusi ir kļuvusi par sistēmas centru.

Neviens no šiem secinājumiem nav inovācijas neveiksme. Tās ir lietas, ko iestāde apgūst, pirms tā sistēmai piešķir spēju veidot cita cilvēka iespējas. Eiropas pieeja bieži tiek raksturota kā pienākumu kopums. Tā ir arī nosaukšanas disciplīna: nosauciet mērķi, darītāju, kontekstu, versiju, skarto personu, ierobežojumu, pierādījumus un iejaukšanās ceļu. Kad tie ir nosaukti, tos var pārbaudīt, mainīt un apstrīdēt. Pirms tie ir nosaukti, tie mēdz vēlāk atgriezties kā pārsteigums.

Modelis var būt spējīgs, rūpīgi dokumentēts un vērtīgs. To var arī ievietot sistēmā, kas no tā prasa pārāk daudz, slēpj pārāk daudz no tā lietotājiem vai atstāj pārāk maz vietas personai, kuru skar rezultāts. Atšķirība rodas ārpus svariem. Tieši tur atrodas grūtais darbs, un tur ir arī nopietnā iespēja: veidot sistēmas, kuru autoritāte atbilst to pierādījumiem, kuru robežas izdzīvo integrācijā un kuru operatori joprojām var pateikt nē.

Avoti