Kad modelis kļūdās, kam ir tiesības to apturēt?

Cilvēka uzraudzība nav cilvēks, kas stāv blakus modelim. Tā ir autoritāte, pierādījumi un drošs stāvoklis, kas ļauj kādam atteikt izvadi, pārtraukt procesu...

Kad modelis kļūdās, kam ir tiesības to apturēt?

Eiropas Savienības Mākslīgā intelekta akts digitālam pienākumam izmanto pārsteidzoši fizisku vārdu. 14. pants nosaka, ka cilvēkiem, kuriem uzticēta augsta riska MI sistēmas uzraudzība, ir jāspēj iejaukties jeb pārtraukt sistēmas darbību, izmantojot apturēšanas pogu vai līdzīgu procedūru, kas ļauj to apturēt drošā stāvoklī. Teikums ir par programmatūru. Tas skan tā, it kā kāds būtu saprātīgi atcerējies, ka mašīnas var izslēgt.

Šī atmiņa ir svarīgāka, nekā izklausās. Daudzās organizācijās cilvēka uzraudzība tiek saprasta kā cilvēka klātbūtne kaut kur sistēmas tuvumā. Recenzents saņem ieteikumu. Operators var atvērt informācijas paneli. Vadītājs ir minēts politikā. Atbalsta adrese pastāv sūdzībām. Šāds izkārtojums tad tiek dēvēts par cilvēka iesaisti procesā, it kā cilvēks būtu ievietots procesa lokā un loks tādējādi būtu kļuvis gudrs.

Īstais jautājums ir grūtāks un noderīgāks: kad modelis kļūdās, ir nenoteikts, darbojas ārpus apstiprinātā mērķa vai uzvedas tā, ka pierādījumi to nevar pamatot, kam ir pilnvaras apturēt darbu? Kurš var apturēt jaunas darbības, negaidot piegādātāju? Kurš var nepieļaut, ka jau ģenerētie rezultāti kļūst par lēmumiem? Kurš var saglabāt stāvokli, kas jāizmeklē? Kurš var atsākt procesu un uz kāda pamata? Cilvēks, kurš pamana problēmu, bet nevar mainīt sistēmu, ir liecinieks. Cilvēks, kurš var noklikšķināt uz pogas, bet nezina, ko šī poga aptur, vada rekvizītu.

Tāpēc tiesības apturēt ir jāizstrādā pirms sistēmas ieviešanas. Tām ir vajadzīga noteikta loma, darbības joma, drošs stāvoklis, pierādījumu pēdas, eskalācijas ceļš un veids, kā atgriezties darbībā, neradot risku, ka klusi atkārtojas tā pati kļūme. Ir vajadzīgas pietiekami detalizētas tehniskas specifikācijas, lai tās darbotos, kad sistēma ir noslogota, piegādātājs nav pieejams un cilvēks, kurš izveidoja sākotnējo darba plūsmu, ir pārcēlies uz citu projektu. Ir vajadzīga arī pietiekama institucionāla skaidrība, lai cilvēks varētu izmantot pilnvaras bez apsūdzībām par inovācijas pārtraukšanu.

Apturēšana ir spēja, nevis pieklājība

Apturēšana bieži tiek raksturota kā pēdējais līdzeklis, kas tai piešķir neveiksmīgu ceremoniālu raksturu. Organizācija sola, ka kāds drīkst apturēt sistēmu, ja apstākļi kļūst pietiekami nopietni. Apstākļi iestājas. Cilvēks meklē pilnvaras. Pilnvaras izrādās rindkopa dokumentā, atļauja, kas pieder citai komandai, vai eskalācijas adrese, kuru uzrauga tikai darba laikā. Sistēma turpina darboties, ļoti pieklājīgi.

Apturēšana nav noskaņojums. Tā ir spēja ar saskarni un līgumu. Saskarne var būt poga, komanda, politikas vārti, anulēts pilnvarojums, atspējots ceļš, rindas aizturēšana vai kontrolēta izslēgšana. Līgums nosaka, ko darbība dara, ko tā nedara, kāds darbs tiek novērsts, kādam darbam ir atļauts pabeigties, kāds stāvoklis tiek saglabāts, kurš tiek informēts un kā organizācija uzzina, ka apturēšana ir stājusies spēkā. Ja šo atbilžu nav, vārds apturēt nozīmē tikai to, ka visi piekrīt, ka apturēšana būtu jauka.

Ir noderīgi atšķirt modeļa apturēšanu no seku apturēšanas. Modelis var darboties, kamēr tā rezultāti tiek aizturēti pārskatīšanai. Pakalpojums var palikt pieejams maznozīmīgu melnrakstu veidošanai, kamēr tā ieteikumu ceļš ir slēgts. Rīks var atgriezt tikai lasāmu informāciju, kamēr rakstīšanas piekļuve ir atsaukta. Darba plūsma var pieņemt jaunus gadījumus, bet atteikties tos virzīt uz ārēju lēmumu. Tās ir dažādas vadības virsmas. Ja tās tiek uztvertas kā viena liela sarkana slēdža poga, tiek apturēts vai nu pārāk maz, vai arī tiek iznīcināts vairāk darba, nekā nepieciešams.

Proporcionalitāte ir svarīga, bet proporcionalitāte nav atļauja padarīt kontroli neskaidru. Asistentam ar zemām sekām var pietikt ar lokālu atteikumu un iespēju vērsties pie cilvēka. Sistēmai, ko izmanto jomā ar augstu ietekmi, var būt nepieciešama stingra barjera, pirms izvades rezultāts var ietekmēt personas tiesības vai piekļuvi pakalpojumam. Autonomam rīkam, kas var mainīt ārēju ierakstu, var būt nepieciešams atsevišķs iejaukšanās ceļš, atšķirībā no modeļa, kas tikai raksta melnrakstu. Risks, autonomijas pakāpe un lietošanas konteksts nosaka kontroles stiprumu. Tie nenovērš nepieciešamību pēc kontroles.

Mākslīgā intelekta akta valoda ir noderīga tieši tāpēc, ka tā saista cilvēka uzraudzību ar reālu riska mērķi. Uzraudzības mērķis ir novērst vai mazināt riskus veselībai, drošībai un pamattiesībām. Tā nav paredzēta, lai izrotātu sistēmu ar cilvēka siluetu. Ja norīkotā persona nevar atpazīt anomāliju, interpretēt izvadi, to atcelt vai droši apturēt darbību, šāds izkārtojums nav sasniedzis uzraudzības praktisko mērķi, neatkarīgi no tā, cik daudz parakstu ir projekta dokumentācijā.

Lasiet 14. pantu kā inženiertehnisku specifikāciju

14. pants attiecas uz augsta riska mākslīgā intelekta sistēmām, nevis uz katru programmatūru, kas ieguvusi mākslīgā intelekta etiķeti. Tā pirmā prasība ir, ka sistēma jāprojektē un jāizstrādā tā, lai fiziskas personas varētu to efektīvi uzraudzīt tās lietošanas laikā. Frāzei lietošanas laikā ir nozīme. Pārskats iepirkuma brīdī nav dzīvas sistēmas uzraudzība. Apmācības kurss, kas sniegts pirms ieviešanas, nav izmainīta modeļa uzraudzība. Pēc incidenta sniegts skaidrojums neaizstāj kontroli, kas būtu varējusi novērst darbību.

Otrā prasība piešķir uzraudzībai mērķi. Tai jānovērš vai jāmazina riski, kas rodas, kad sistēmu izmanto tās paredzētajam mērķim vai saprātīgi paredzamas ļaunprātīgas izmantošanas apstākļos. Šis formulējums nepieļauj ērtu triku, kurā organizācija katru kaitīgu izmantošanu uzskata par neparedzamu pārsteigumu. Cilvēki izmantos sistēmas spiediena apstākļos, ar nepilnīgu informāciju, caur tulkojumiem, neparastās kombinācijās un savu instrukciju robežās. Nopietns dizains jautā, kura ļaunprātīga izmantošana ir saprātīgi paredzama, un dod pārskatītājam iespēju reaģēt, pirms izvades rezultāts iegūst institucionālu spēku.

Trešā prasība padara uzraudzību samērīgu ar risku, autonomiju un kontekstu. Piegādātājs var iebūvēt pasākumus sistēmā un var arī noteikt pasākumus, kas jāīsteno ieviesējam. Tas ir darba dalījums, nevis atbildības dalījums. Piegādātājs nevar nodot sistēmu bez praktiski iespējama veida to pārtraukt un norādīt uz ieviesēju. Ieviesējs nevar ignorēt noteiktos ierobežojumus un apgalvot, ka piegādātājs solījis drošību abstraktā līmenī. Kontrolei jāizdzīvo pāri robežai starp piegādāto lietu un tās lietošanas veidu.

Ceturtais punkts ir vieta, kur juridiskā valoda kļūst par praktisku kontrolsarakstu. Uzraudzībai norīkotajām personām jāspēj izprast sistēmas attiecīgās iespējas un ierobežojumus. Tām jāspēj to uzraudzīt, tostarp attiecībā uz anomālijām, darbības traucējumiem un negaidītu veiktspēju. Tām jāapzinās automatizācijas neobjektivitāte, tendence paļauties vai pārlieku paļauties uz mašīnas izvadi. Tām jāspēj interpretēt izvadi. Tām jāspēj nolemt to neizmantot, ignorēt to, atcelt to vai mainīt to. Visbeidzot, tām jāspēj iejaukties vai pārtraukt darbību, izmantojot apturēšanas pogu vai līdzīgu procedūru, kas to nogādā drošā stāvoklī.

Katrs darbības vārds rada atšķirīgu dizaina pienākumu. Izpratnei ir vajadzīga lietojama informācija par darbības jomu un ierobežojumiem. Uzraudzībai ir vajadzīgi signāli, laiks un ceļš, kā tos pārbaudīt. Apziņai par automatizācijas novirzi ir vajadzīga apmācība un saskarne, kas rekomendāciju nepārvērš par noklusējuma spriedumu. Interpretācijai ir vajadzīgi pierādījumi un konteksts. Pārspēšanai ir vajadzīga pilnvaras un domstarpību ieraksts. Pārtraukšanai ir vajadzīga stāvokļa maiņa, kas ir drošāka par turpināšanu. Viens zaļš informācijas panelis nevar apmierināt piecus dažādus darbības vārdus tikai tāpēc, ka tas ir liels.

Aktā ir arī konkrētāks noteikums par noteiktām augsta riska biometriskās identifikācijas sistēmām. Gadījumos, uz kuriem attiecas šis noteikums, lēmumu nevar pieņemt, pamatojoties uz identifikācijas rezultātu, ja vien to nav atsevišķi pārbaudījušas un apstiprinājušas vismaz divas kompetentas, apmācītas un pilnvarotas fiziskas personas, ievērojot minētos tiesiskos izņēmumus. Tas ir konkrēts Eiropas piemērs tam, kā uzraudzība tiek izteikta kā neatkarīga pilnvara, nevis kā vientuļš recenzents, kas klikšķina cauri rekomendācijai. Tas arī parāda, kāpēc dizainam ir jānosauc lēmuma veids un tam nepieciešamie pierādījumi.

14. pants nenosaka vienu universālu personāla modeli. Tas nosaka robežu. Personai ir jābūt pietiekamai kompetencei, apmācībai un pilnvarām, lai veiktu šo lomu. Nodrošinātājam un ieviesējam ir jāpadara kontrole proporcionāla sistēmai. Organizācijai joprojām ir jāizlemj, kuras lomas veic kādas darbības, kad apturēšana ir obligāta, kā tiek apstrādāts aizturēts gadījums un kas tiek uzskatīts par drošu atsākšanu. Likums var pieprasīt durvis. Tas nevar izvēlēties personu, kurai katrā ēkā ir atslēga.

Apturēšana nav pārvaldības beigas. Tā ir pāreja, kas padara iespējamu izmeklēšanu, labošanu un aizstāvamu atsākšanu.

Piecas spējas, kas slēpjas vārdā uzraudzība

Ir lietderīgi aplūkot 14. panta piecas praktiskās spējas pa vienai. Pirmā ir izpratne. Uzraudzības loma nevar darboties, balstoties uz saukli, piemēram, modelis parasti ir precīzs. Lomai ir vajadzīgs paredzētais mērķis, zināmie ierobežojumi, ievades nosacījumi, attiecīgie veiktspējas pierādījumi, atteices veidi, atjaunināšanas politika un izvades nozīme faktiskajā darba plūsmā. Izpratne nav tas pats, kas izlasīt modeļa karti. Tā ir spēja atpazīt, kad reāls gadījums atrodas ārpus nosacījumiem, kādos sistēma tika novērtēta.

The second is monitoring. Monitoring is often reduced to uptime, latency and a model score. Those measures matter, but a service can be available and wrong. A model can retain its aggregate performance while a source collection becomes stale, a language distribution changes, a policy deadline passes or a downstream team starts using a recommendation as an automatic decision. Operational monitoring follows the consequence. It looks for unexpected performance, changes in the inputs, changes in the route, unusual override patterns, blocked cases, complaints and signs that the system is being asked to do a job it was not given.

The third is interpretation. A person cannot exercise oversight if the output arrives without its conditions. Interpretation may require the relevant source, confidence information, policy version, input quality signal, explanation method or comparison with a safe baseline. It does not require a mystical view into every parameter. It requires enough context to answer the question the person is responsible for: what does this output mean here, what does it not mean, and what should happen if the evidence is insufficient?

The fourth is refusal and reversal. Article 14 explicitly gives the oversight role the ability to decide not to use the system, disregard its output, override it or reverse it. This is stronger than asking a person to add a comment after accepting the result. It means the workflow must allow a different decision to survive. The alternative must not be treated as an exception that disappears in the next automated step. If a human can disagree but the system will execute the original recommendation anyway, the human has been invited to express an opinion, not given oversight.

The fifth is interruption. Interruption acts on the operation itself. It may stop a tool call before an external change, place a case on hold, prevent new work from entering a route, revoke a permission or switch the service to a bounded fallback. The technical method varies. The safety property does not: the operation must come to a defined state in which the next consequential action cannot happen by momentum alone.

These powers are related but not interchangeable. A person may understand a system but lack the rights to stop it. A person may have a stop button but no useful signal that tells them when to press it. A person may override one result while a batch process continues to produce the same result for everyone else. A person may halt intake while existing jobs keep writing to an external system. The oversight design has to connect the powers across the actual lifecycle of work.

That connection is also where the human role becomes dignified. The reviewer is not there to absorb the system's uncertainty with a signature. The reviewer is there to exercise a bounded authority that the organisation has deliberately made possible. The work may still be difficult. It may require domain expertise, judgement and courage to challenge a popular system. But difficulty is not a reason to hide the control. It is a reason to specify it.

Who gets the key?

There is no single human in the loop. There are usually several authorities, each with a different reason to intervene. The provider controls parts of the design and release. The deployer controls the purpose, configuration and operational use. The person assigned to oversight controls a particular decision or intervention at runtime. A domain owner controls whether an output is acceptable in a professional context. A security or privacy role may control access to evidence or data. An affected person may have a right to challenge an outcome. A competent authority may require information, corrective action or withdrawal. Treating all of these as one role makes the system sound simple and the accountability impossible.

Pakalpojuma sniedzēja atbildība sākas pirms sistēma nonāk lietotāja rīcībā. Sniedzējs izlemj, kādas vadības iespējas ir iebūvētas, kuri ierobežojumi ir dokumentēti, kādus žurnālus var izveidot un kuras izmaiņas tiek uzskatītas par būtiskām. Sniedzējs, kurš apgalvo, ka izvietotājs var vienkārši uzraudzīt sistēmu, parāda, kā izvietotājs to var darīt ar piegādāto saskarni un informāciju. Ja apturēšana ir atkarīga no nedokumentētas iekšējas komandas vai atbalsta pieprasījuma ar neskaidru atbildi, šī apturēšana nav izvietotāja iespēja. Tā ir cerība, ka piegādātājs paliks nomodā.

Izvietotājam ir cita vara. Izvietotājs izlemj, kur sistēma tiek izmantota, kādam mērķim, ar kādiem datiem, kādā darba plūsmā un kuri cilvēki ir atbildīgi par uzraudzību. Izvietotājs var pārvērst ieteikuma rakstura izvadi par faktisku lēmumu, izmantojot saskarnes dizainu, stimulus vai spiedienu, pat ja sniedzējs sistēmu ir aprakstījis rūpīgi. Tāpēc izvietotājam ir jākartē vietējais ceļš, nevis tikai jāatkārto piegādātāja paredzētais mērķis. Vienai un tai pašai sastāvdaļai var būt atšķirīgs riska profils, ja tā ir savienota ar citu darbību.

Darbības uzraudzības lomai ir nepieciešams šaurāks un skaidrāks pilnvarojums. Šai personai var būt atļauts paturēt lietu, noraidīt ieteikumu, pieprasīt papildu pierādījumus, vērsties pie jomas īpašnieka vai aktivizēt drošu apturēšanu. Tai var nebūt atļauts mainīt modeli, dzēst pierādījumus, pieņemt juridisku lēmumu vai atsākt apturētu ceļu. Šīs robežas nav lomas apvainojums. Tās neļauj personai, kura var apturēt procesu, arī dzēst iemeslu tā apturēšanai.

Varai jāseko sekām. Recenzentam, kurš var apturēt melnrakstu, nav jāspēj apturēt visi ceļi organizācijā. Personai, kura var apturēt drošībai būtisku darbību, var būt nepieciešama piekļuve plašākai incidentu komandai un skaidrs pienākums paziņot. Jomas speciālists var būt vienīgā persona, kurai ir atļauts atcelt izvadi regulētā lēmumā. Drošības operators var izolēt pakalpojumu, kamēr cita instance izlemj, vai lietošana būtu jāatsāk. Svarīgi nav izveidot grandiozu hierarhiju. Svarīgi ir padarīt nodošanu skaidru.

Eskalāciju nedrīkst jaukt ar atbildības novirzīšanu. Ja pirmais recenzents katru sarežģīto lietu nosūta komitejai, sistēma nav ieguvusi uzraudzību. Tā ir ieguvusi lēnāku rindu. Eskalācijas ceļam ir jānorāda, kurš jautājums tiek eskalēts, kāds darbs tiek apturēts, kamēr tiek gaidīta atbilde, kam ir jāatbild, kādi pierādījumi tiek nosūtīti kopā ar lietu un kas notiek, ja ceļš nav pieejams. Pirmā persona joprojām ir atbildīga par lietas saglabāšanu un drošā noklusējuma izmantošanu. Tai nav jāizdomā galīgā atbilde vienai pašai.

Varai ir nepieciešams arī atgriešanās ceļš. Apturēšana bez veida, kā nodot kontroli atpakaļ, kļūst vai nu par pastāvīgu pārtraukumu, vai klusu apiešanu. Atgriešanās ceļam ir jānorāda, kurš var atsākt, kuri nosacījumi ir jāizpilda, vai saglabātais stāvoklis joprojām ir derīgs, kurš gaidošais darbs ir jāizvērtē no jauna un kā lietotāji tiek informēti, ka ceļš ir mainījies. Atsākšana ir vēl viens lēmums. Tai ir jāpiešķir tāda pati nopietnība kā pārtraukumam, lai gan tai reti tiek piešķirta tikpat pievilcīga poga.

Apturēšanai jābūt drošai

Mākslīgā intelekta akta frāze drošs stāvoklis ir pelnījusi lielāku uzmanību nekā apturēšanas pogas aparatūras tēls. Sistēma var pārtraukt sūtīt jaunus pieprasījumus un tomēr atstāt bīstamu darbu kustībā. Tā var pārtraukt procesu darījuma vidū. Tā var pamest izvadi, nepaziņojot personai, kura gaidīja lēmumu. Tā var atspējot redzamo saskarni, kamēr ieplānots darbs turpinās fonā. Tā var apturēt modeli un atstāt kešotu ieteikumu pieejamu nākamajam pakalpojumam. Apturēšana ir droša tikai attiecībā pret sistēmas faktiskajām sekām.

Nosakiet stāvokļus, pirms izvēlaties vadību. Aktīvs maršruts var pieņemt, izvērtēt, ieteikt un rīkoties. Aizturēts maršruts nevar pieņemt neko jaunu, bet saglabā jau saņemto materiālu. Apturēts maršruts var noraidīt visu būtisko darbu, vienlaikus ļaujot veikt autorizētu pārbaudi. Pazemināts maršruts var nodrošināt ierobežotu tikai lasāmu vai tikai cilvēka veiktu pakalpojumu. Atsaukts maršruts var prasīt jaunu apstiprinājumu pirms tā atgriešanās. Tie ir dizaina lēmumi, nevis universāli nosaukumi. Tie kļūst noderīgi, kad cilvēki var redzēt, kādā stāvoklī viņi atrodas un ko katrs stāvoklis atļauj.

Notiekošajam darbam ir nepieciešams savs noteikums. Dažas darbības ir atgriezeniskas un var droši pabeigties. Dažas jau ir šķērsojušas ārēju robežu un tām nepieciešama kompensējoša darbība. Dažas ir jāatmet un jāģenerē no jauna, jo pierādījumi vairs nav ticami. Dažas ir ar zemu ietekmi un var palikt kā melnraksti. Sistēmai nevajadzētu likt operatoram minēt, pamatojoties uz vienu statusa etiķeti. Tai vajadzētu atklāt darba kopu, tās pārejas punktu un darbību, kas notiks, ja nekas cits netiks darīts.

Drošs stāvoklis aizsargā arī pierādījumus. Sistēmas apturēšana, dzēšot tās pagaidu failus, var noņemt tieši to kontekstu, kas nepieciešams kļūmes izpratnei. Tās apturēšana, atstājot noslēpumus plašā diagnostikas eksportā, var radīt otru incidentu. Vadībai ir nepieciešams pierādījumu saglabāšanas ceļš ar piekļuves robežām, saglabāšanas noteikumiem un nosauktu īpašnieku. Drošība un privātums šeit nav konkurenti. Abiem ir nepieciešama apzināta rīcība, nevis ierastā avārijas prakse kopēt visu mapē ar nosaukumu urgent.

Apturēšanas testēšana ir daļa no sistēmas ieviešanas. Poga, kas ir nospiesta tikai demonstrācijā, pierāda, ka pogu var nospiest. Tā nepierāda, ka uzņemšana apstājas, darbības nosēžas, ieraksti paliek saskaņoti, paziņojumi sasniedz īstos cilvēkus vai restartēšana neatkārto darbu divreiz. Testam vajadzētu izmantot īsto maršrutu, ieskaitot daļēju kļūmi un operatoru, kuram ir paredzētā autoritāte, bet ne izstrādātāja privātās zināšanas. Ja apturēšanu nevar izmēģināt bez īpaša priekšnesuma, tā vēl nav operacionāla vadība.

Rinda ir daļa no lēmuma

AI sistēmas apturēšana bieži tiek iztēlota kā modeļa apturēšana. Praksē rinda ap modeli ir daļa no lēmuma. Darbs var gaidīt ienākšanu, gaidīt modeļa rezultātu, gaidīt cilvēka pārskatīšanu, gaidīt pakārtotu rīku vai gaidīt paziņojumu. Katrai pozīcijai ir atšķirīgs risks. Apturēšana, kas aizsargā tikai modeli, var ļaut apkārtējai rindai turpināt uzskatīt vecos rezultātus par derīgiem.

Gaidošajam darbam ir nepieciešama politika. Vai jauns pieprasījums saņem skaidru atteikumu, kavēšanās paziņojumu vai cilvēka maršrutu? Vai rezultāts, kas izveidots pirms apturēšanas, paliek lietojams? Vai gadījumi, kas vēl nav pārskatīti, tiek atzīmēti kā tādi, kam nepieciešama jauna izvērtēšana? Vai sistēma atšķir darbu, ko apturējis cilvēks, no darba, kas tehniski neizdevās? Vai lietotājs var atsaukt pieprasījumu, kamēr tas ir aizturēts? Detaļas ir atkarīgas no pakalpojuma, bet lēmumu nevar atstāt rindas noklusējuma atkārtošanas uzvedībai.

Atkārtojumi ir īpaši atklājoši. Tehniskā rinda bieži pieņem, ka darbība, kas netika pabeigta, ir jāmēģina vēlreiz. Pārvaldības rinda nevar pieņemt, ka tas pats ieteikums ir jāizveido vēlreiz pēc tam, kad apturēšanas iemesls ir nenoteiktība, darbības joma vai iespējams kaitējums. Atkārtošana var būt droša idempotentai lasīšanai un nedroša ārējai darbībai. Tāpēc apturēšanas politikai vajadzētu ietvert iemeslu un atļauto nākamo soli, nevis tikai sarkanu statusu.

Esošās izlaides ir jāklasificē. Dažas ir melnraksti, uz kuriem neviens cilvēks nav paļāvies. Dažas ir parādītas darbiniekam. Dažas ir iekopētas lēmumu reģistrā. Dažas ir izraisījušas paziņojumu vai mainījušas sistēmu ārpus AI maršruta. Organizācija nevar izlemt, ko ar tām darīt, kamēr nezina, kuru robežu katra izlaide ir šķērsojusi. Tāpēc izsekojamība nav birokrātiska dekorācija. Tā ir seku karte, kas apturēšanai ir jāietver.

Rinda maina arī cilvēku darba slodzi. Apturēšana var pasargāt cilvēkus no nedrošas automatizētas darbības, vienlaikus radot lielu pārskatīšanas darba apjomu. Šis darbs ir jāatzīst, jāprioritizē un jānodrošina ar resursiem. Pretējā gadījumā organizācija galu galā atkal atvērs maršrutu tāpēc, ka aizturētās lietas kļuva neērtas, nevis tāpēc, ka uzlabojās pierādījumi. Pauze, kas vienkārši pārceļ kaitējumu uz izsmeltu manuālo rindu, ir atlikšana ar labiem nodomiem.

Nav nekā apkaunojoša tajā, ka rinda kļūst lēnāka, ja alternatīva ir nepārbaudītas sekas. Dizaina problēma ir tad, ja rindai nav kapacitātes modeļa, nav triāžas noteikuma un nav veida, kā informēt skartos cilvēkus par notiekošo. Cilvēka uzraudzība nav bezmaksas uzmanība. Tas ir operatīvs pakalpojums ar ierobežojumiem, kuriem būtu jābūt zināmiem, pirms mašīnai tiek lūgts darboties pilnā mērogā.

Pēc apturēšanas: atmiņa

Apturēšana ir notikums, kas maina to, ko organizācija zina un ko tai ir pienākums darīt. Reģistrā ir jābūt ierakstam par trigeri, laiku, maršrutu, stāvokli pirms iejaukšanās, izmantoto pilnvaru, aizturēšanas tvērumu, skarto darbu, iegūtajiem pierādījumiem, veiktajiem paziņojumiem un pārskatīšanas nosacījumiem. Tajā ir jānošķir novērojums no secinājuma. Operators var ierakstīt, ka izlaide nebija saskaņā ar sniegtajiem pierādījumiem, neapgalvojot, ka incidents ir pierādīts. Precizitāte reģistrā aizsargā gan izmeklēšanu, gan iesaistītos cilvēkus.

Mākslīgā intelekta akts uzskata reģistrēšanu par tehnisku īpašību augsta riska sistēmām. 12. pants pieprasa, lai šādas sistēmas visā to darbības laikā ļautu automātiski reģistrēt notikumus, ar reģistrēšanas iespējām, kas atbalsta izsekojamību, riska identificēšanu, pēctirgus uzraudzību un darbības uzraudzību. 19. pants attiecas uz automātiski ģenerētu žurnālu saglabāšanu pakalpojumu sniedzēja kontrolē, ievērojot paredzēto mērķi un piemērojamos datu aizsardzības tiesību aktus. Tas ir noderīgs atgādinājums, ka apturēšana nevar būt atkarīga no ekrānuzņēmuma, kas salikts pēc notikuma. Sistēmai ir jāspēj atstāt pēdas, kamēr tā darbojas.

Žurnālu reģistrēšana nav norādījums vākt visus personas datus mūžīgi. Tā ir prasība reģistrēt notikumus, kas ir būtiski mērķim un riskam. Labs apturēšanas reģistrs var izmantot atsauces, jaucējvērtības, versiju identifikatorus, rediģētu saturu un atsevišķas piekļuves kontroles. Tas var saglabāt atkārtošanai nepieciešamo ievadi aizsargātā krātuvē, nevis ievietot to parastajā informācijas panelī. Izmeklēšanai ir jābūt iespējamai, nepārvēršot pierādījumu krātuvi par otru nekontrolētu datu īpašumu.

Svarīgs ir arī pakalpojumu sniedzēja pienākums veikt korektīvas darbības. Ja pakalpojumu sniedzējs uzskata vai tam ir pamats uzskatīt, ka augsta riska sistēma neatbilst prasībām, akts pieprasa veikt nepieciešamās korektīvās darbības, kas var ietvert sistēmas saskaņošanu ar prasībām, tās atsaukšanu, atspējošanu vai izņemšanu no apgrozības atbilstoši apstākļiem. Izvēle nav mārketinga lēmums. Tā ir reakcija, kas saistīta ar pierādījumiem, tvērumu un risku. Izvietotājam var būt nepieciešams apturēt vietējo maršrutu, pirms pakalpojumu sniedzējs var pabeigt šo novērtējumu. Pakalpojumu sniedzējam var būt nepieciešams atspējot vai atsaukt maršrutu, ko izvietotājs ir turpinājis darbināt. Abām pilnvarām ir jāspēj sazināties, nezaudējot pierādījumus, kas izskaidro izmaiņas.

Pēcreģistrācijas uzraudzība paplašina atmiņu ārpus viena notikuma. Akts apraksta sistēmu, kas aktīvi un sistemātiski vāc, dokumentē un analizē attiecīgos datus visā augsta riska sistēmas dzīves ciklā. Mērķis nav likt piegādātājam skatīties uz informācijas paneli. Mērķis ir noskaidrot, vai sistēma turpina atbilst prasībām un vai konteksts ap to ir mainījies. Apturēšana var būt pirmais noderīgais signāls šajā procesā. Virkne nelielu iejaukšanos var pateikt vairāk par sistēmas piemērotību nekā viens glīts ieviešanas novērtējums.

Nopietniem incidentiem Akts paredz atsevišķu ziņošanas ceļu, tostarp pienākumu pēc ziņošanas veikt izmeklēšanu un korektīvas darbības. Pants nepārvērš katru pārspīlējumu par nopietnu incidentu. Šī atšķirība ir svarīga. Operators, kurš atceļ ieteikumu, var īstenot veselīgu kontroli, nevis atklāt ziņojamu notikumu. Ierakstam jāsaglabā pietiekami daudz informācijas, lai organizācija varētu izlemt, kas notika, tā vietā, lai katru domstarpību piespiestu vai nu klusumā, vai dramatiskā marķējumā.

Eskalācija ir kontrolēta jautājuma nodošana, nevis pieklājīgs veids, kā likt atbildībai pazust.

Eskalācija ir ceļš, nevis noskaņojums

Cilvēki bieži saka, ka sarežģīta lieta būtu jāeskalē. Šī frāze izklausās atbildīgi un satur gandrīz nekādas darbības informācijas. Eskalēt kam? Kāda lēmuma dēļ? Ar kādiem pierādījumiem? Kādā laikā? Kas tiek apturēts, kamēr tiek gaidīta atbilde? Kas notiek, ja neviens neatbild? Ceļš, kas neatbild ne uz vienu no šiem jautājumiem, atalgos neatlaidību, nevis spriestspēju. Lieta tiks vai nu nodota tālāk, līdz termiņš kļūst par lēmumu, vai arī klusi atgriezta personai, kura pirmā pamanīja problēmu.

Noderīga eskalācija sākas ar jautājumu. Vai izvade ir ārpus apstiprinātā mērķa? Vai pierādījumi ir nepilnīgi? Vai sistēma ir mainījusies kopš novērtējuma? Vai pastāv risks pamattiesībām? Vai ārēja darbība jau ir notikusi? Vai jautājums ir tehnisks, juridisks, jomas specifisks, saistīts ar drošību vai to kombinācija? Jautājums nosaka, kura loma var uz to atbildēt. Eskalācija, kas nosūta vienu un to pašu nediferencētu lietu katrai komandai, nav rūpīga. Tā ir grupas e-pasts ar nākotnes laiku.

The local oversight role should have a safe default while the question is open. That may be hold, refuse, revert to a human-only path, preserve a draft, or limit the system to read-only information. The default should be visible to the person and to the affected user where appropriate. Silence is not a safe default when the workflow continues underneath it.

Evidence has to travel with the escalation. The receiving role should not have to reconstruct the case from a model output and a timestamp. It should receive the relevant input reference, output, model and policy versions, source material, confidence or uncertainty signal, action status, previous interventions and the precise decision needed. This is also where privacy discipline matters. Send enough to answer the question, not an entire person's life because the export button was nearby.

Escalation needs a clock, but not every clock is a deadline to approve. A low-impact question may wait for a normal review. A high-impact action may require an immediate hold and an on-call route. The timing rule should say what happens when the response window expires. It might extend the hold, transfer authority, notify a supervisor or require a fresh decision. It should not silently convert a missing answer into permission.

Closure is part of escalation. The record should say what was decided, by whom, on which evidence, with which limitations and which follow-up. If the answer is that the system may continue only in a narrower context, the new boundary should be applied, not admired. If the answer is that the system must be withdrawn, the affected work and users need a plan. If the answer is that the anomaly was benign, the evidence should still inform monitoring and training. An escalation that disappears after a meeting has not become institutional knowledge.

Good escalation also protects the person who raises the issue. The authority to stop a system is useless if using it is treated as disloyalty. Organisations teach their real priorities through what happens after a person says no. If the response is curiosity, evidence and support, people learn that oversight is part of the work. If the response is blame, delay and a request to be more positive, the system will receive fewer warnings and the warnings it receives will arrive later.

Human oversight is a workload

The law's reference to competence, training and authority is easy to read as a human-resources requirement. It is also a capacity requirement. A person cannot monitor an AI system effectively if the interface shows too much noise, the queue leaves no time for inspection, the evidence arrives in a different tool, the decisions are measured only by speed or the organisation has assigned the work to someone without domain knowledge. The role may exist on paper and still be impossible to perform.

Training should include the system's limits, the approved purpose, the signs of unexpected performance, the meaning of uncertainty, the mechanics of override and stop, the privacy of the evidence, and the route after intervention. It should include cases in which the output looks plausible. Oversight is needed most when the answer is not absurd enough to reject immediately. A course that teaches people to spot a cartoonishly wrong answer prepares them for a demonstration, not for a working service.

Automation bias ir pelnījis praktisku uzmanību. Ieteikums var kļūt par enkuru, pirms recenzents vēl ir izlasījis pamatojošos pierādījumus. Uzticamības etiķete var tikt interpretēta kā varbūtība, pat ja tā tāda nav. Izstrādāts skaidrojums var šķist neatkarīgs apstiprinājums, lai gan tas ir tikai atkārtots formulējums. Saskarnes secībai ir nozīme. Ja sistēma vispirms parāda savu atbildi un tikai pēc tam pierādījumus, recenzents var pavadīt atlikušo procesa daļu, aizstāvot vai labojot sākotnējo iespaidu. Arī apturēšanas kontrole, kas paslēpta aiz tās pašas darbplūsmas kā apstiprināšana, pauž vēstījumu par to, kuru darbību organizācija sagaida.

Darba slodzes ierobežojumi ir drošības kontroles. Recenzents, kuram jāiztukšo liela rinda, var iemācīties uzskatīt modeļa noklusējumu par ātrāko drošo izvēli. Speciālists, kurš saņem katru neskaidro gadījumu, var sākt apstiprināt tikai tāpēc, lai uzturētu pakalpojuma darbību. Neliela komanda, kurai pieder dežūras apturēšanas maršruts, var nebūt pieejama tajās stundās, kad sistēma faktiski darbojas. Tās nav personiskas neveiksmes. Tie ir paredzami atbildes veidi uz darbības dizainu, kas prasa cilvēka spriedumam kompensēt neierobežotu automatizāciju.

Izmēriet pašu uzraudzības darbu. Cik bieži izvades tiek atceltas? Cik bieži tiek mēģināts apturēt? Kuri signāli noved pie iejaukšanās? Cik ilgi turējumi paliek atvērti? Kuras grupas vai valodas rada vairāk nenoteiktības? Cik daudz labojumu nepieciešams, pirms izvadi var izmantot? Metrika neaizstāj spriedumu, bet tā var atklāt, ka solītā kontrole kļūst par tukšu formalitāti. Mērķis nav sodīt par augstu atcelšanas līmeni. Mērķis ir jautāt, ko šis līmenis stāsta par sistēmu un darbplūsmu.

Eiropas drošības tradīcijas to jau zina

Eiropas politikas valoda par uzticamu mākslīgo intelektu nesākās ar MI aktu. 2019. gadā Eiropas Komisijas Augsta līmeņa ekspertu grupa mākslīgā intelekta jautājumos publicēja Ētikas pamatnostādnes uzticamam mākslīgajam intelektam. Pamatnostādnes identificē cilvēka rīcības brīvību un uzraudzību kā vienu no septiņām prasībām un apraksta cilvēka iesaistes, cilvēka uzraudzības un cilvēka vadības pieejas. Tās arī saista uzraudzību ar tehnisko robustumu, rezerves plāniem, pārredzamību, izsekojamību un atbildību. Svarīgais punkts nav vārdu krājums. Tas ir lēmums aprakstīt uzticamību kā nosacījumu kopumu, ko var novērtēt.

Komisijas vēlākais novērtēšanas darbs dod organizācijām veidu, kā pārvērst šos nosacījumus jautājumos. Vai cilvēki apzinās, ka mijiedarbojas ar MI sistēmu? Vai viņi var saprast sistēmas iespējas un ierobežojumus? Vai viņi var iejaukties un izlemt to neizmantot? Vai pastāv mehānismi pārsūdzībai? Kontrolsaraksts nepadara darbību drošu. Tas gan apgrūtina izlikšanos, ka cilvēks, kuram uzticēta uzraudzība, automātiski ir cilvēks, kuram ir pilnvaras to īstenot.

ENISA darbs pie MI kiberdrošības šo tēmu aplūko caur dzīves ciklu un ekosistēmu ap modeli. Tās 2020. gada MI draudu ainava kartē aktīvus, dalībniekus, draudus un posmus no prasībām līdz izvietošanai. Šī perspektīva ir vērtīga apturēšanai, jo tas, kas jāizolē, var nebūt modelis. Tas var būt datu avots, rīka atļauja, izvietošanas pakotne, uzraudzības ceļš vai piegādātāja komponents. Apturēšana, kas veidota ap modeļa nosaukumu, var atstāt reālo iespēju neskartu citur ķēdē.

Šīs ir dokumentētas Eiropas pieejas, nevis apgalvojumi, ka Eiropa ir atrisinājusi uzraudzību. Pamatnostādnes un akts nosaka gaidas. ENISA kartē drošības problēmu. Īstenošanas darbs paliek lokāls, tehnisks un neizbēgami ikdienišķs. Kādam joprojām ir jāizlemj, kura loma var turēt maršrutu trijos pēcpusdienā, kuri pierādījumi parādās viņu ekrānā un kurš atbild, kad apturēšana ir izmantota.

Iepirkums izlemj pirms operatoriem

Daudzas apturēšanas kļūmes ir iepirkuma lēmumi, kas tērpti operatīvā kostīmā. Līgums var atļaut pakalpojumu sniedzējam mainīt modeli bez lietojama paziņojuma. Pakalpojums var nepiedāvāt žurnālus vai versijas identifikatoru. Eksports var izlaist neapstrādātus darbus un iejaukšanās vēsturi. Atbalsta līgumā var nebūt atbildes ceļa drošības apturēšanai. Pircējs var būt pieņēmis plašu apgalvojumu, ka klients ir atbildīgs par lietošanu, neiegūstot kontroles, kas nepieciešamas šīs atbildības īstenošanai. Kamēr operators lūdz izslēgšanas slēdzi, līgums jau ir izlēmis, vai tāds pastāv.

Tāpēc iepirkumā būtu jāuzdod operatīvi jautājumi. Kura puse var atspējot katru maršrutu? Vai izvietotājs var apturēt nozīmīgu darbību, negaidot pakalpojumu sniedzēja atbalstu? Kas notiek ar notiekošajiem un rindā esošajiem darbiem? Kāds stāvoklis tiek fiksēts? Kā tiek paziņotas izmaiņas? Vai klients var saņemt žurnālus un pierādījumus lietojamā formātā? Kāda ir rezerves iespēja, ja pakalpojums nav pieejams? Kuras lomas ir apmācītas, un kurš finansē šo apmācību? Kā tiek labots apstrīdēts rezultāts? Kā organizācija iziet, nezaudējot ierakstus, kas nepieciešami iepriekšējo lēmumu izskaidrošanai?

Šie jautājumi nav mēģinājums likt katram piegādātājam uzvesties kā publiskai iestādei. Tie ir veids, kā saglabāt autoritāti saskaņā ar lietošanu. Ja organizācijai ir pienākums aizsargāt cilvēkus, kurus ietekmē sistēma, tai ir nepieciešama pietiekama kontrole pār maršrutu, lai izpildītu šo pienākumu. Līgums, kas atstāj klientu atbildīgu, bet operatīvi bezspēcīgu, nav pārvaldības modelis. Tā ir atbildības nodošana ar logotipu.

Īsa piezīme no mums

Uzņēmumā Dweve mūsu darbs pie stāvokļa balstītas atbildīgas mākslīgā intelekta attīstības sniedz to pašu pieticīgo atziņu no inženierijas puses: atbildīgam darba procesam ir nosaukti stāvokļi, aizsargi, ieraksti, īpašnieki un izejas. Tas nav apgalvojums, ka diagramma var atrisināt pārvaldību. Tas ir atgādinājums, ka principiem ir vajadzīga vieta, kur nonākt, kad sistēma darbojas. Neatkarīgi no tā, vai rīks ir Dweve komponents, publiskā sektora pakalpojums vai piegādātāja modelis, pārbaude ir tā pati. Vai reāls cilvēks var saskatīt problēmu, īstenot autoritāti, apturēt nākamās sekas, saglabāt pierādījumus un atgriezt darbu aizstāvamā stāvoklī?

Jautājumi pirms izvietošanas

Pirms modelis nonāk nozīmīgā darba procesā, uzdodiet apturēšanas jautājumus telpā, kur sistēma faktiski darbosies. Neatstājiet tos politikas pārskatam, kas nekad neredz rindu, rīku vārtus vai personu, kas saņems brīdinājumu.

  • Ko tieši var apturēt? Nosauciet modeļa maršrutu, rīka izsaukumu, rindu, paziņojumu, rakstīšanas darbību un pakārtoto pakalpojumu. Ja atbilde ir tikai modeļa process, meklējiet iespēju, kas paliek pēc tā apturēšanas.
  • Kurš to var apturēt, nejautājot izstrādātājam? Nosauciet izpildlaika lomu, tās pilnvaras, tās dublējumu un tās ierobežojumu. Personai nevajadzētu būt vajadzīgām privātām zināšanām par ieviešanu, lai izmantotu vadību.
  • Kāds signāls liek viņiem rīkoties? Definējiet anomālijas, trūkstošos pierādījumus, darbības jomas konfliktu, nepieņemamu nenoteiktību, politikas izmaiņas, drošības bažas un lietotāja iebildumus tā, kā operators tos var novērot.
  • Kas notiek ar darbu, kas jau ir sācies? Nošķiriet jaunus pieprasījumus, rindā esošo darbu, notiekošās darbības, cilvēkiem parādītos rezultātus un jau veiktās darbības. Katram piešķiriet drošu apstrādi.
  • Kāds ir drošais stāvoklis? Aprakstiet, ko sistēma pieņem, noraida, patur, pabeidz vai atklāj pēc pārtraukuma. Pārbaudiet, vai stāvoklis ir reāls, nevis tikai etiķete ekrānā.
  • Kādi pierādījumi saglabājas? Saglabājiet attiecīgo ievadi, izvadi, versijas, politiku, avotu atsauces, cilvēku darbības, laikus un paziņojumus ar atbilstošiem privātuma ierobežojumiem.
  • Kurš saņem eskalāciju? Norādiet lēmuma jautājumu, atbildes laiku, pierādījumu kopumu un noklusējumu, kamēr tiek gaidīts. Izplatīšanas saraksts nav pilnvaru karte.
  • Kurš drīkst atsākt, sašaurināt vai atsaukt maršrutu? Padariet atgriešanās lēmumu skaidru. Nosakiet nosacījumus, atkārtotu izvērtēšanu, saziņu ar lietotāju un pārskatīšanas ierosinātāju, kas to pavada.
  • Kas jums pateiks, ka vadība neizdodas? Vērojiet apiešanas modeļus, turēšanas ilgumu, atkārtotus incidentus, nevienmērīgu ietekmi, rindas spiedienu, lietotāju sūdzības un novirzes apkārtējā darba plūsmā. Reti izmantota apturēšana var nozīmēt drošu sistēmu vai slēptu vadību.

Jautājumi ir apzināti vienkārši. Tie neaizstāj riska novērtējumu, atbilstības procesu, incidentu plānu vai juridisku pārskatīšanu. Tie ir punkts, kurā šīs darbības kļūst operatīvas. Ja organizācija uz tiem nevar atbildēt, trūkstošais darbs nav filozofiska domstarpība par to, vai mākslīgajam intelektam var uzticēties. Tā ir trūkstoša sistēmas daļa.

Pilnvaras apturēt ir pilnvaras rūpēties

Modelis var kļūdīties tādā veidā, kas izskatās parasts. Avots ir vecs. Ievade ir nepilnīga. Maršruts ir paplašinājies. Slieksnis ir pārvietots. Tulkojums ir mainījis nozīmi. Rīka atļauja ir pārdzīvojusi savu mērķi. Pārskatītājam tiek parādīts secinājums, bet ne pierādījumi. Nekāds trauksmes signāls neskan, jo sistēma joprojām ir pieejama un informācijas panelis joprojām ir zaļš. Kaitējums sākas kā neliela neatbilstība starp to, ko sistēmai bija atļauts darīt, un to, ko organizācija tagad sagaida, ka tā darīs.

Cilvēka uzraudzība ir iestādes atbilde uz šo neatbilstību, bet tikai tad, ja tā ir vairāk nekā klātbūtne. Uzraudzības lomai ir vajadzīgas zināšanas, lai atpazītu problēmu, laiks, lai to izpētītu, pilnvaras atteikt vai pārtraukt, drošais stāvoklis, kas padara pārtraukšanu jēgpilnu, un ieraksti, kas ļauj citiem cilvēkiem saprast, kas noticis. Tai ir vajadzīga eskalācija, kas nes jautājumu un pierādījumus, nevis neskaidru lūgumu pēc palīdzības. Tai ir vajadzīga atsākšana, kas ir lēmums, nevis pārtraukuma beigas.

Eiropas Mākslīgā intelekta akts pareizi lieto iejaukšanās un drošas apturēšanas valodu augsta riska sistēmām. Tas pārvaldībai piešķir fizisku malu. Tas prasa cilvēkiem, kas projektē un ievieš sistēmas, padarīt cilvēka kontroli iespējamu lietošanas laikā, nevis tikai apbrīnojamu principā. Komisijas agrākais uzticama MI darbs un ENISA dzīves cikla pieeja nostiprina to pašu virzienu: uzraudzība pieder sistēmas darbībai, tās pierādījumiem un tās apkārtējai piegādes ķēdei.

Dweve mēs dodam priekšroku neromantiskajai šīs idejas versijai. Nopietnai sistēmai ir jāzina savi stāvokļi, savas robežas un savs īpašnieks. Tai ir jāspēj noturēt darbu, parādīt, kāpēc tas tika noturēts, un godīgi apstāties, ja pierādījumu nav pietiekami. Tā nav kādas vienas arhitektūras īpaša vērtība. Tas ir minimālais cieņas apjoms, kas pienākas cilvēkiem, kuriem jādzīvo ar rezultātu.

Kad modelis kļūdās, izšķirošais jautājums nav tas, vai cilvēks tehniski bija klāt. Tas ir tas, vai nosaukta cilvēka autoritāte varēja mainīt to, kas notika tālāk, un vai organizācija varēja atcerēties šīs izmaiņas. Ja atbilde ir jā, uzraudzība pilda savu darbu. Ja atbilde ir nē, sistēmai blakus ir cilvēks, kaut kur ir poga un bremžu nav.

Avoti