AI pārvaldībai ir uzturēšanas grafiks

Governance is not the approval that happens before an AI system goes live. It is the ordinary work of watching, deciding, changing, checking and remembering...

AI pārvaldībai ir uzturēšanas grafiks

Kalendārs aiz politikas

Lielākā daļa pārvaldības dokumentu ir rakstīti tā, it kā interesantais darbs notiktu pirms sistēmas lietošanas. Kāds nosaka mērķi. Komanda izvērtē risku. Vadītājs paraksta rindu. Piegādātājs piegādā PDF failu, kura nosaukumā ir vārds final, kas parasti ir neliels brīdinājums. Tad sistēma nonāk ikdienas dzīvē, kur datu avots tiek aizstāts, cilvēks apgūst apiešanas ceļu, politika mainās, pakalpojumu sniedzējs atjaunina komponentu vai arī iepriekš rets gadījums kļūst izplatīts. Apstiprinājums paliek savā mapē. Pasaule nepaliek.

Tāpēc mākslīgā intelekta pārvaldībai ir nepieciešams uzturēšanas grafiks. Nevis ceremoniska ikgadēja sapulce ar slaidu, kurā redzami septiņi zaļi punktiņi. Grafiks ar parastām rūpju darbībām: pārbaudīt, vai norādītais mērķis joprojām ir patiess, lasīt signālus, kas varētu mainīt riska novērtējumu, izlemt, kurš drīkst mainīt sistēmu, atkārtot to, kas notiek, ja sistēma ir jāaptur, ierakstīt, kāpēc izmaiņa tika veikta, un arhivēt pierādījumus, kad to nosacījumi ir beigušies. Tas nav tik spoži kā palaišanas paziņojums. Taču tieši šeit atbildība vai nu kļūst īsta, vai klusi izgaist.

Šī atšķirība ir svarīga, jo mākslīgā intelekta sistēmas nepaliek tur, kur tās sākotnēji novietojis novērtējums. Modelis var būt nemainīgs, kamēr mainās tā ievaddati, lietotāji, saskarne, ieviešanas ceļš, savienotie rīki, biznesa process vai juridiskā vide. Modelis var mainīties, kamēr lietojums šķiet stabils. Sistēma var palikt tehniski pieejama, bet kļūt operacionāli nepiemērota, jo cilvēki, kas varētu to apstrīdēt, ir mainījuši darbu, jo pārskatīšanas rinda ir pilna, jo jauns lejupstraumes lietojums tās izvadei piešķīris citu nozīmi. Pārvaldība, kas izlaišanas datumu uzskata par finiša līniju, pārvalda fotogrāfiju.

Eiropas noteikumi jau satur prasīgāku ideju. Augsta riska mākslīgā intelekta sistēmām MI akta 9. pants riska pārvaldību dēvē par nepārtrauktu iteratīvu procesu, kas tiek plānots un īstenots visā dzīves ciklā, ar regulāru sistemātisku pārskatīšanu un atjaunināšanu. 72. pants pieprasa samērīgu, dokumentētu pēctirgus uzraudzības sistēmu, kas aktīvi un sistemātiski vāc, dokumentē un analizē attiecīgo veiktspējas informāciju visā sistēmas dzīves laikā. Būtība nav tajā, ka katrai mazai programmatūrai ir vajadzīgs tāds pats aparāts. Būtība ir tajā, ka nozīmīgai tehnoloģijai ir vajadzīgs darbības ritms, nevis tikai sākuma fails.

Tāpēc lietderīgais jautājums nav: "Vai mums ir mākslīgā intelekta pārvaldības sistēma?" Tas ir: "Kas notiek nākamajā otrdienā, kad pierādījumi vairs neatbilst pakalpojumam?" Kurš to pamana pirmais. Kāda informācija viņiem ir. Kurš var izlemt, vai tā ir parasta korekcija, būtiska izmaiņa, incidents vai iemesls apturēt darbību. Kā sākotnējais lēmums tiek saglabāts, nepārvēršot to par attaisnojumu. Un, kad sistēma joprojām tehniski darbojas, bet iestāde vairs nesaprot tās lietošanas nosacījumus, kam ir atļauts teikt, ka darbošanās vairs nav pietiekami laba?

Uzturēšanas grafiks neatbild uz šiem jautājumiem ar vispārīgu informācijas paneli. Tas tos piešķir cilvēkiem un brīžiem. Tas katram ierakstam dod iemeslu, kāpēc to pārskatīt. Tas padara sistēmas turpmāku lietošanu atkarīgu no dzīvas attiecības starp pierādījumiem, pilnvarām un reālo darbu ap to.

Kas pēc palaišanas nīkuļo

Programmatūrai nav jābojājas, lai tā kļūtu mazāk pārvaldāma. Visbiežāk nīkuļošana ir klusāka. Komandai ir labs paredzētā lietojuma apraksts, bet pakalpojums aug uz sāniem. Asistents, kas izveidots iekšējai melnrakstu sagatavošanai, tiek kopēts klientu maršrutā. Klasifikators, kas izveidots noteiktas dokumentu kopas šķirošanai, saņem jauna veida iesniegumus. Sistēma, ko sākotnēji pārskatīja neliela grupa, kļūst daļa no plašāka procesa, kur neviens nezina ierobežojumu, kam sākumā bija nozīme. Nevienā no šiem aprakstiem nav vajadzīgs izdomāts katastrofas scenārijs. Tas vienkārši ir tas, kas notiek, kad iestāde mainās ātrāk nekā tās ieraksti.

Nolūks vispirms zaudē spēku, jo tas bieži tiek formulēts kā lietvārds, lai gan patiesībā tas ir robežu noteicējs. “Lēmumu atbalsts” nav pietiekams nolūks, ja ieraksts nevar norādīt, par kuru lēmumu tas ir, kam tas paredzēts, kādi ievaddati tiek izmantoti, ar kādu pilnvarojumu un ko izvades rezultātam ir aizliegts iedarbināt. Nolūka formulējums būtu jāpārskata, kad sistēmu sāk lietot jauna komanda, kad kāds izvades rezultāts sāk atvērt vai slēgt nozīmīgu ceļu, kad tiek skarta jauna cilvēku grupa vai kad cilvēka veiktā nodošana kļūst mazāk jēgpilna. Vārdi var palikt nemainīgi, kamēr praktiskās sekas ievērojami pieaug.

Tālāk zaudē spēku pierādījumi. Novērtējuma rezultāts ir novērojums noteiktos apstākļos. Tas var būt noderīgs ilgu laiku, bet tas nav mūžīgs. Izmērītais modeļa stāvoklis var būt mainījies. Datu sadalījums var būt novirzījies. Sistēmas lietotāji tagad var interpretēt tās izvades rezultātus citādi. Etiķete var aptvert apakškopu, kas sākotnēji bija reprezentatīva, bet vairs tāda nav. Pats tests joprojām var būt atkārtojams, kamēr arguments par paļaušanos uz to ir kļuvis vājš. Pārskata saglabāšana ir laba dokumentu pārvaldība. To uzskatīt par aktuālu pierādījumu, nepārbaudot tā apstākļus, ir kas cits.

Zaudē spēku arī saskarnes. Tas bieži tiek ignorēts, jo saskarnes izmaiņas var šķist nekaitīgas. Jauna noklusējuma vērtība, pamanāmāka poga, saīsināts skaidrojums, pievienots rīka izsaukums vai mainīts eskalācijas ceļš var mainīt to, ko lietotāji faktiski dara. Modelis ir tas pats, tāpēc komanda saka, ka modeļa izmaiņas nav notikušas. Tas var būt tehniski precīzi, bet operacionāli nebūtiski. Ja saskarne liek ieteikumu uztvert kā obligātu, ja tā noņem kontekstu, kas nepieciešams rezultāta apstrīdēšanai, vai ja tā ļauj izvades rezultātam izplatīties tālāk nekā iepriekš, pārvaldības jautājums ir mainījies, pat ja modeļa svari nav mainījušies.

Pilnvarojums zaudē spēku, kad atbildība pastāv uz papīra, bet vairs ne praksē. Norādītais īpašnieks var būt aizgājis. Pārskatīšanas loma var palikt organizācijas struktūrā, kamēr personai, kas to ieņem, nav ne laika, ne informācijas, lai īstenotu spriedumu. Apturēšanas pilnvaras var būt piešķirtas vecākajai grupai, kura nezina, ka tās ir piešķirtas. Piegādātāja līgumā var būt norādīts eskalācijas kontaktpunkts, kas var saņemt paziņojumu, bet nevar veikt izmaiņas. Pārvaldība tad ir kļuvusi par vecu tālruņu katalogu ar nedaudz pārliecinošāku tipogrāfiju.

Atkarības zaudē spēku uzkrāšanās ceļā. Pakalpojums var pievienot izguves avotu, identitātes nodrošinātāju, uzraudzības produktu, secinājumu maršrutu, rindu, krātuves slāni vai citu modeli. Katrs papildinājums var būt saprātīgs. Kopā tie maina sistēmu, kas faktiski darbojas. DORA to norāda finanšu kontekstā, pieprasot subjektiem identificēt, klasificēt un dokumentēt ar IKT atbalstītas uzņēmējdarbības funkcijas, aktīvus, lomas, pienākumus un atkarības, kā arī pārskatīt attiecīgo dokumentāciju vismaz reizi gadā un būtisku izmaiņu gadījumā. Tas nav mākslīgā intelekta noteikums. Tas ir noderīgs atgādinājums, ka objekts, kam nepieciešama uzturēšana, ir sistēma tās darbības vidē, nevis sastāvdaļa ar modernāko nosaukumu.

Visbeidzot, zaudē spēku atmiņa. Organizācija var saglabāt tūkstošiem žurnāla ierakstu un joprojām zaudēt lēmuma iemeslu. Žurnāli var norādīt, ka notikums ir noticis. Tie automātiski nenorāda, kāpēc tika noteikts slieksnis, kurš pieņēma ierobežojumu, kuri gadījumi tika izslēgti no izmēģinājuma vai ko komanda plānoja pārbaudīt pēc laidiena. Šī informācija mēdz aiziet kopā ar cilvēkiem, ja vien tā netiek pārvērsta ierakstā ar īpašnieku un pārskatīšanas punktu. Revīzijas izsekošanas žurnāls, kas nevar izskaidrot spriedumu saistībā ar notikumu, ir noderīgs, bet nepilnīgs.

Neviens no šī nav arguments par pastāvīgām aizdomām vai komitejas sēdi katru reizi, kad mainās izvēlne. Proporcionalitāte ir svarīga. Pats AI akts apraksta pēctirgus uzraudzību kā proporcionālu tehnoloģijas būtībai un augsta riska sistēmas riskam. Apkopes mērķis nav padarīt parastus uzlabojumus neiespējamus. Tas ir padarīt organizāciju spējīgu pamanīt, kuri uzlabojumi nav parasti.

Likums jau domā ciklos

Eiropas tehnoloģiju noteikumus bieži raksturo kā atbilstības pienākumus, it kā darbs būtu viena iesniegšana, kam seko zīmogs. Lasot rūpīgāk, to darbības loģika ir cikliska. Tie aicina organizācijas identificēt, uzraudzīt, dokumentēt, ziņot, pārskatīt, testēt un uzlabot. Vārdnīca dažādās nozarēs atšķiras, jo atšķiras riski. Apkopes instinkts ir ievērojami konsekvents.

Augsta riska mākslīgā intelekta sistēmām AI akts dzīves cikla domāšanu izvirza gandrīz pašā prasību sākumā. 9. pants pieprasa, lai riska pārvaldības sistēma tiktu izveidota, ieviesta, dokumentēta un uzturēta. Tajā šī sistēma aprakstīta kā nepārtraukta un iteratīva, plānota un vadīta visā dzīves ciklā, ar regulāru sistemātisku pārskatīšanu un atjaunināšanu. Sistēmai jāidentificē un jāanalizē zināmi un pamatoti paredzami riski, tostarp riski, kas saistīti ar paredzēto lietojumu un pamatoti paredzamu nepareizu lietošanu. Tai jāizmanto arī informācija, kas iegūta no pēctirgus uzraudzības. Tas ir norādījums padarīt sākotnējo novērtējumu pārskatāmu. Tas neļauj sākotnējam novērtējumam kļūt par muzeja eksponātu.

72. pants ir konkrētāks par to, kas notiek pēc augsta riska sistēmas nodošanas ekspluatācijā. Nodrošinātājiem jāizveido un jādokumentē uzraudzības sistēma, kas ir proporcionāla tehnoloģijai un riskam. Tai aktīvi un sistemātiski jāvāc, jādokumentē un jāanalizē attiecīgie darbības dati visā sistēmas darbības laikā, lai varētu novērtēt atbilstību attiecīgajām prasībām. Ja attiecīgi, tā ietver mijiedarbības analīzi ar citām mākslīgā intelekta sistēmām. Tas ir svarīgi reālām ieviešanām, jo sistēmas jēgpilna uzvedība var rasties robežās: izvade nonāk citā rīkā, politikas dzinējs pārvērš punktu skaitu darbībā, cilvēks redz saskarni, kas maina ieteikuma svaru, vai lejupstraumes darbplūsma rada jaunas sekas.

Akts neprasa, lai uzraudzība kļūtu par pasīvu visu pakalpojuma lietotāju novērošanu. Tas prasa attiecīgu informāciju, un apkārtējā juridiskā vide joprojām ir spēkā. Apkopes dizainam tāpēc jāsākas ar mērķi katram signālam. Uz kādu jautājumu signāls atbild. Vai apkopotā informācija ir pietiekama. Vai pārskatīšanai nepieciešams saturs, identitāte vai tikai versijēts darbības fakts. Kam ir piekļuve. Cik ilgi tas tiek glabāts. Kā to var apstrīdēt. Vākt vairāk tāpēc, ka informācijas panelis pieņem vairāk lauku, nav apkopes stratēģija. Tā ir glabāšana ar ambīcijām.

Tas pats nodaļa savieno uzraudzību ar nopietnu incidentu apstrādi. 73. pants pieprasa, lai augsta riska sistēmu nodrošinātāji, kas laistas Savienības tirgū, ziņotu par nopietniem incidentiem attiecīgajām tirgus uzraudzības iestādēm pēc tam, kad ir konstatēta cēloņsakarība vai pamatota tās iespējamība. Tajā noteikti termiņi, kas atšķiras atkarībā no smaguma pakāpes, tostarp divas dienas plaši izplatītam pārkāpumam vai noteikta veida nopietnam incidentam. Pēc ziņošanas tas pieprasa izmeklēšanu, riska novērtējumu un korektīvas darbības. Svarīgākā darbības atziņa nav dienu skaits. Tā ir tāda, ka incidentu reaģēšana nav atsevišķs sabiedrisko attiecību process. Tā ir daļa no pierādījumu loka, kam jāmaina riska pārvaldība, dokumentācija un turpmākā darbība.

NIS2 skaidri nosaka īpašumtiesību jautājumu kiberdrošībā. Tās 20. pants nosaka, ka būtisku un svarīgu vienību vadības struktūras apstiprina kiberdrošības riska pārvaldības pasākumus, uzrauga to īstenošanu un var tikt sauktas pie atbildības par pārkāpumiem. Savukārt 21. pants pieprasa atbilstošus un samērīgus tehniskus, operatīvus un organizatoriskus pasākumus, tostarp incidentu apstrādi, darbības nepārtrauktību, piegādes ķēdes drošību, kā arī drošību iegādē, izstrādē un uzturēšanā. Tas ir noderīgi daudz plašāk nekā tikai tām vienībām, uz kurām attiecas NIS2. Pārvaldība nav instrukcija, kas tiek nosūtīta lejup no valdes dokumentu paketes. Ja cilvēki ar formālu varu neizskata pasākumus un neizprot savu lēmumu sekas, organizācija ir radījusi titulu bez kontroles.

NIS2 arī uztver ziņošanu kā pakalpojuma pienākumu. Par nozīmīgiem incidentiem jāpaziņo bez nepamatotas kavēšanās, un, ja attiecīgi, pakalpojumu saņēmējiem jāpaziņo, ja nozīmīgs incidents, iespējams, nelabvēlīgi ietekmēs pakalpojumu sniegšanu. Incidents ir nozīmīgs ne tikai tad, kad tas traucē pašas organizācijas darbību, bet arī tad, kad tas ietekmē citus cilvēkus ar ievērojamu materiālu vai nemateriālu kaitējumu. Šī robeža ir noderīga mākslīgā intelekta pārvaldībai. Komandai nevajadzētu skatīties tikai uz to, vai sistēmas pieejamības grafiks paliek zaļš. Sistēma var būt pieejama un tomēr radīt būtisku operatīvu vai tiesību jautājumu.

DORA sniedz vēl vienu praktisku modeli. Finanšu vienībām jāidentificē un jādokumentē ar IKT atbalstītas uzņēmējdarbības funkcijas, lomas, pienākumi, informācija un IKT aktīvi, kā arī to atkarības. Tās izvērtē klasifikāciju un dokumentācijas atbilstību pēc vajadzības un vismaz reizi gadā, kā arī veic riska novērtējumu pēc katrām būtiskām izmaiņām infrastruktūrā, procesos vai procedūrās, kas ietekmē atbalstītās funkcijas vai aktīvus. Arī tas nav arguments, ka katra organizācija ir finanšu vienība. Tas ir piemērs nobriedušam noteikumam, kas inventarizāciju, izmaiņas un izvērtēšanu uzskata par saistītu darbu. Dzīvai sistēmai ir nepieciešama karte, un kartei ir nepieciešams datums.

DORA valoda par izmaiņu pārvaldību ir īpaši atturīga. Tā pieprasa dokumentētas politikas, procedūras un kontroles attiecībā uz izmaiņām programmatūrā, aparatūrā, programmaparatūrā, sistēmās un drošības parametros. Izmaiņas jāreģistrē, jātestē, jānovērtē, jāapstiprina, jāīsteno un jāpārbauda kontrolētā veidā. Šī secība nav apgalvojums, ka mākslīgā intelekta modeli vienmēr var notestēt līdz drošībai. Tas ir veids, kā noraidīt domu, ka ražošanas atjauninājums ir pašsaprotami attaisnojams. Izmaiņām jābūt iemeslam, novērtējumam, apstiprināšanas ceļam, īstenošanas ierakstam un rezultāta pārbaudei.

ISO/IEC 42001 nav tiesību akts, un publiska produkta lapa neaizstāj pašu standartu. Tomēr ISO apraksta standartu kā mākslīgā intelekta pārvaldības sistēmu, kas balstīta uz Plāno-Dari-Pārbaudi-Rīkojies ciklu un paredzēta, lai palīdzētu organizācijai pārvaldīt ar mākslīgo intelektu saistītus riskus un iespējas visā organizācijā, nevis tikai izvērtēt atsevišķas lietojumprogrammas. Cikls ir noderīgā ideja. Plāno nosaka ierobežotu nodomu. Dari to ievieš darbībā. Pārbaudi jautā, vai pierādījumi atbalsta turpmāku paļaušanos. Rīkojies maina darba sistēmu. Šī cikla atkārtošana nav birokrātija pašas labad. Tas ir minimāls atzīšanas veids, ka sistēmas un institūcijas nepaliek nemainīgas.

Pārvaldības ciklam ir jāatgriež pierādījumi lēmuma pieņemšanai. Pretējā gadījumā tas ir tikai ieraksts par pamanītajām lietām.

Uzraudzībai jāļauj ietekmēt lēmumus

Uzraudzība bieži tiek aplūkota kā tehniska darbība, kas ir saprotami. Sistēmas rada telemetrijas datus. Komandas izvēlas rādītājus. Informācijas paneļos redzamas līnijas, kas kāpj, krīt un reizēm izraisa satraucošas sapulces. Taču grūtākā daļa nav signāla vākšana. Grūtākā daļa ir vienošanās par to, ko šim signālam ir atļauts mainīt.

Uzraudzības plāns sākas ar lēmuma jautājumu. Sūdzība var norādīt, ka skaidrojums ir neskaidrs, ka ievadītie dati ir nepareizi, ka lietotājs ir saskāries ar ierobežojumu vai ka organizācija ir slikti izveidojusi pārsūdzības ceļu. Cilvēku veikto labojumu skaita pieaugums var norādīt uz modeļa atbilstības samazināšanos, uzlabotu darbinieku pārliecību, mainītu politiku, novecojušiem avota datiem, jaunu lietu kategoriju vai saskarni, kas maldina recenzentus. Atteikumu skaita pieaugums var norādīt, ka drošības kontrole darbojas, ka atkarība ir kļuvusi neuzticama vai ka produkts tiek izmantots ārpus tā deklarētā mērķa. Neapstrādāts skaitlis nav secinājums. Tas ir aicinājums izpētīt saistību.

Tāpēc noderīgs plāns nošķir novērojumu no interpretācijas. Novērojums norāda, kas tika reģistrēts, ar kādu versiju, pa kādu ceļu, kādā laikā, kādā kontekstā un ar kādu pārliecības pakāpi. Interpretācija norāda, ko organizācija domā, ka signāls varētu nozīmēt, un kādi alternatīvi skaidrojumi paliek. Lēmums norāda, kurš drīkst izvēlēties reakciju. Reģistrēšana norāda, kas mainījās un kāpēc. Tas ir lēnāk nekā katru brīdinājumu uzskatīt par modeļa kļūmes pierādījumu. Tas ir ātrāk nekā nosūtīt slikti izprastu problēmu pārtrenēšanas ciklā un atklāt, ka patiesā vaina bija politika, avota kvalitāte, piekļuves tiesības vai personāla jautājumi.

Rādītājiem jāatbilst arī sistēmas ietekmes apjomam. Modeļa kvalitātes rādītājs var būt būtisks, taču tas reti kad būs pietiekams. Ja izvade ietekmē rindu, komandai, iespējams, jāzina kavējumi, neapstrādātas kļūdas, atsaukšanas gadījumi un tas, kuras lietas tiek nosūtītas manuālai pārskatīšanai. Ja asistents iesaka avotus, komandai, iespējams, jāzina avotu pieejamība, citējumu labojumi, apstrīdētas atbildes un tas, vai lietotāji rīkojas, pamatojoties uz materiāliem ārpus noteiktā tvēruma. Ja sistēma filtrē saturu, pārskatīšanai, iespējams, jāietver sūdzību modeļi, pārsūdzību iznākumi, valodu aptvērums un labojumu iemesli. Uzraudzībai jāseko ceļam, kur sistēmai ir ietekme, nevis jāapstājas brīdī, kad modelis radīja vienību vai rādītāju.

Arī ceļš līdz cilvēkam ir jāuzrauga. Ir viegli politikā ierakstīt “cilvēka uzraudzība” un grūti parādīt, vai cilvēks to patiešām var īstenot. Cik bieži cilvēki veic labojumus. Vai viņiem ir piekļuve ievades datiem un iemesliem, kas tam nepieciešami. Vai labojums sasniedz procesu, kas radīja iznākumu, vai tikai pievieno piezīmi beigās. Cik ilgi notiek eskalācija. Vai noteiktas lietas nekad nenonāk pārskatīšanas ceļā, jo saskarne slēpj šo iespēju. Tie ir operatīvi jautājumi. Tie ir arī pārvaldības jautājumi, jo atbilde nosaka, vai cilvēka uzraudzība ir reāla vai dekoratīva.

Ne katram signālam jābūt publiskam. Daži būs komerciāli jutīgi. Daži attieksies uz drošību. Daži var saturēt personas datus, un tos vispār nevajadzēja vākt. Uzturēšanas disciplīna ir padarīt šīs robežas skaidras. Pārskatīšanai var būt nepieciešami apkopoti modeļi, nevis pilns satura arhīvs. Tai var būt nepieciešams fiksēts stāvoklis, nevis katra mijiedarbība ieraksts. Tai var būt nepieciešama aizsargāta piekļuve incidenta izmeklētājam un atsevišķs publisks metodes skaidrojums. Pārredzamība nenozīmē neapstrādātu operatīvo materiālu publicēšanu. Tā nozīmē padarīt saprotamu kontroles esamību, mērķi, robežas un īpašumtiesības.

Pastāv neliela, bet svarīga atšķirība starp monitoringa plānu un vēlmju sarakstu. Plāns nosaka, kuri signāli tiek vākti, kā tie tiek aizsargāti, kas izraisa pārskatīšanu, kam pieder pārskatīšana, kādi ir iespējamie iznākumi un kā lēmums nonāk izmaiņu reģistrā. Vēlmju saraksts nosaka, ka organizācija uzraudzīs kvalitāti, drošību, taisnīgumu un lietotāju apmierinātību. Pirmo var pārbaudīt. Otrais ļoti labi iederas stratēģijas prezentācijā un nekur citur.

Labs monitorings padara redzamus arī notikumus, kas nenotiek. Ja netiek saņemti ziņojumi, vai tas ir tāpēc, ka sistēma nav radījusi problēmas, vai tāpēc, ka ziņošanas ceļš nav pieejams, vai tāpēc, ka cilvēki nezina par tā esamību, vai tāpēc, ka process nesaglabā ziņojumus? Ja incidenta slieksnis netiek pārsniegts, vai tas ir tāpēc, ka sistēma ir stabila, vai tāpēc, ka slieksnis nav saistīts ar faktisko kaitējumu? Signāla neesamība var būt pierādījums, bet tikai pēc tam, kad ir izvērtēts vākšanas ceļš. Klusums automātiski nav apliecinājums. Dažreiz tas ir tikai veidlapa ar sliktu norāžu sistēmu.

Reaģēšana uz incidentiem ir institucionālās atmiņas forma

Incidenta process jāsāk pirms incidenta, jo neparasta notikuma pirmās minūtes ir slikts laiks, lai izdomātu pilnvaras. Procesam ir nepieciešams veids, kā saņemt bažas, saglabāt pietiekami daudz pierādījumu, lai tās izprastu, aizsargāt cilvēkus no turpmākas iedarbības, izlemt, vai notikums atbilst noteiktam slieksnim, un sazināties ar cilvēkiem, kuriem jārīkojas. Tam ir nepieciešams arī ceļš atpakaļ uz pārvaldības sistēmu. Bez šī pēdējā ceļa organizācija atrisina epizodi un pēc tam ar apbrīnojamu efektivitāti atjauno tās priekšnosacījumus.

DORA to skaidri nosaka ar IKT saistītiem incidentiem. Tā pieprasa finanšu iestādēm definēt, izveidot un ieviest incidentu pārvaldības procesu, lai atklātu, pārvaldītu un paziņotu par incidentiem. Tās reģistrē incidentus un nozīmīgus kiberdraudus un uztur procedūras konsekventai, integrētai uzraudzībai, apstrādei un turpmākai rīcībai, lai pamatcēloņi tiktu identificēti, dokumentēti un novērsti. Procesā jāizveido agrīnās brīdināšanas rādītāji, jāpiešķir lomas un atbildības dažādiem scenārijiem un jānosaka saziņas un eskalācijas kārtība. Tās ir īpašas finanšu sektora prasības. To pamatloģika ir plaši noderīga: incidentam vajadzētu atstāt organizācijai labākas zināšanas, nekā tai bija iepriekš.

Mākslīgā intelekta gadījumā pierādījumu jautājumam jāpievērš īpaša uzmanība. Komanda var vēlēties nekavējoties mainīt modeli vai pakalpojumu pēc tam, kad uzzinājusi par kaitīgu iznākumu. Dažreiz steidzama ierobežošana ir tieši pareizā rīcība. Taču nekontrolētas izmaiņas var arī iznīcināt spēju saprast, kas noticis. MI akts nosaka, ka sniedzējs, kas izmeklē nopietnu incidentu, nedrīkst mainīt MI sistēmu tādā veidā, kas varētu ietekmēt vēlāku cēloņu izvērtēšanu, pirms par šo rīcību informē kompetentās iestādes. Tas nedod atļauju atstāt cilvēkus iedarbībā, vienlaikus saglabājot neskartu eksperimentu. Tas padara kompromisu redzamu. Ierobežojiet risku, saglabājiet atbilstošo stāvokli, reģistrējiet iejaukšanos un nepadariet izmeklēšanu par rekonstrukciju, kas veikta no atmiņas.

Noderīgam incidenta ierakstam ir vairāki slāņi. Ir ziņotais novērojums, kas var būt nepilnīgs vai apstrīdēts. Ir tehniskais un darbības konteksts, tostarp atbilstošā versija, ceļš, stāvoklis un saistītās sistēmas. Ir ietekmes un nenoteiktības novērtējums. Ir ierobežošanas soļi, tostarp tas, kurš tos veica un ko tie mainīja. Ir izmeklēšana, kurai jānošķir pierādījumi no hipotēzes. Tad ir lēmums par korektīvo rīcību un turpmākā pārbaude, vai tā darbojās. Apvienojot visus šos slāņus, agrīns ziņojums izskatās kā galīgs secinājums vai arī vēlāks secinājums izskatās tikpat noteikts kā pirmais brīdinājums.

Komunikācija ir daļa no uzturēšanas, nevis dekoratīvs nobeigums. Cilvēkiem, kurus skāris pārtraukums vai būtisks apdraudējums, var būt nepieciešams praktisks risinājums. Operatoriem jāzina, vai apturēt darbu, turpināt ar ierobežojumiem vai izmantot rezerves risinājumu. Vadībai nepieciešams skaidrs pārskats par ietekmi, nenoteiktību un lēmumu tiesībām. Regulatoram var būt nepieciešams noteikts ziņojums. Piegādātājiem var būt jāizmeklē saskarne vai atkarība. Ziņojumiem nav jābūt identiskiem, taču tiem jābalstās uz vienu un to pašu faktu kodolu. Organizācija, kas savām komandām sniedz nesavienojamus aprakstus, nav rūpīga. Tā rada nākamo incidentu.

Lai to saprastu, nav jāizdomā dramatisks pārtraukums. Apsveriet skaidri apzīmētu hipotētisku situāciju: pārskata komanda pamana virkni negaidītu labojumu pēc tam, kad ierastajā darbplūsmā nonāk jauns avota formāts. Pirmais jautājums nav par to, vai modelis ir “izgājis no kontroles”, frāze, kuru labāk atstāt miskastē kopā ar vairākām citām frāzēm. Jautājums ir par to, kas ir mainījies. Vai avota formāts maina ievaddatus. Vai izguves ceļš atklāj nepiemērotu materiālu. Vai politikas nosacījums ir mainījies. Vai saskarne liek pārskata veicējiem palaist garām kontekstu. Vai skartie gadījumi tiek laboti pietiekami ātri. Atbilde var būt viena ceļa apturēšana, konfigurācijas atcelšana, validācijas pievienošana, vadlīniju pārskatīšana vai secinājums, ka avots vispār nekad nebija jāpieņem. Hipotētiskās situācijas jēga nav sižetā. Tā ir tajā, ka sagatavots process neļauj organizācijai pirmo stundu darboties uz minējumiem.

Pēc incidenta uzturēšanas grafiks nedrīkst jautāt tikai par to, vai redzamā kļūda ir novērsta. Vai atklāšanas signāls darbojās. Vai to saņēma īstā persona. Vai šai personai bija pilnvaras. Vai žurnāls saglabāja atbilstošo kontekstu. Vai eskalācijas ceļš bija izmantojams. Vai publiskais vai klientiem domātais ziņojums atbilda tam, kas bija zināms. Vai lēmums radīja jaunu uzraudzības prasību. Vai apmācības vai dokumentācijas nepilnība pasliktināja situāciju. Atbildes pārvērš incidentu no izolēta pārtraukuma par izmaiņām darbības modelī.

Pārmaiņām vajadzīgs otrs pulkstenis

Katrai sistēmai ir tehniskais pulkstenis. Versijas tiek veidotas, izvietotas, atsauktas un aizstātas. Pārvaldībai ir vajadzīgs otrs pulkstenis: grafiks, pēc kura izvērtēt, vai pierādījumi, mērķis un pilnvaras joprojām ir pietiekami. Šie pulksteņi dažkārt iet kopā, dažkārt ne. Uzskatīt tos par vienu un to pašu ir drošs veids, kā palaist garām būtiskas izmaiņas.

Tehniskas izmaiņas var būt nelielas un tomēr nozīmīgas. Jauna izguves kolekcija var mainīt atbildēs izmantotos avotus. Mainīts uzvednes vai politikas noteikums var mainīt gadījumu kopu, ko sistēma atsaka. Konfigurācijas atjauninājums var mainīt datu ceļu. Jauna atkarības versija var mainīt latentumu, reģistrēšanu vai pieejamos drošības kontroles līdzekļus. Pareizā reakcija ir atkarīga no sistēmas un tās ietekmes. Uzturēšanas grafikam nevajadzētu jau iepriekš pasludināt katras izmaiņas par būtiskām. Tam jānodrošina veids, kā izlemt, kam nepieciešama pārbaude, atkārtota apstiprināšana, publisks paziņojums, riska pārvērtēšana, jauns fiksēts stāvoklis vai tikai ieraksts.

Un otrādi, pārvaldības izmaiņas var notikt bez jebkādas koda izvietošanas. Pakalpojumu var sākt izmantot jauna nodaļa. Iepirkuma līgumā var tikt pievienots apstrādātājs. Juridiskā interpretācija var mainīt darbplūsmas nosacījumus. Ceļš var pāriet no iekšēja eksperimenta uz ārēju piekļuvi. Esoša izvade var sākt ietekmēt lēmumu tālāk lejup pa ķēdi. Tehniskā komanda var neredzēt nekādu laidienu. Skartie cilvēki var redzēt pavisam citu sistēmu. Uzturēšanas grafikam jāņem vērā abi pulksteņi.

DORA izmanto praktisku klasifikācijas noteikumu: veiciet riska novērtējumu par katrām būtiskām izmaiņām tīkla un informācijas sistēmu infrastruktūrā, procesos vai procedūrās, kas ietekmē atbalstītās funkcijas vai aktīvus. Tā arī pieprasa, lai inventarizācijas tiktu atjauninātas periodiski un pēc katrām būtiskām izmaiņām. Attiecībā uz mākslīgā intelekta darbu frāze "būtiskas izmaiņas" nav jāuztver kā pašsaprotama. Komandām kritēriji būtu jādefinē iepriekš. Vai tajās ietilpst paredzētā mērķa maiņa, jauns datu avots, jauns modeļa stāvoklis, jauna rīka atļauja, jauna lietotāju grupa, mainīts cilvēka iejaukšanās ceļš, mainīts skaidrojums vai jauna ārējā atkarība? Atbilde būs atšķirīga. Atbildes neesamība pati par sevi ir risks.

Izmaiņu ieraksts nav izmaiņu žurnāls, kas rakstīts publiskai atzinībai. Tas ir pamatojums, kas saista iepriekšējo stāvokli, iemeslu, novērtējumu, lēmumu, ieviešanu un pārbaudi. Dažām izmaiņām publiskā versija var būt īsa: attiecīgā politika vai lietotājam redzams ierobežojums ir mainīts, stājoties spēkā noteiktā datumā, ar saiti uz to, kas ir atšķirīgs. Iekšējiem pierādījumiem ierakstā var būt vairāk informācijas par novērtēšanu, piekļuves kontroli, incidenta kontekstu vai piegādātāja informāciju. Svarīgi, lai abi līmeņi attiektos uz vienu un to pašu lēmumu, nevis kļūtu par atsevišķiem stāstiem.

Versijas identitāte ir īpaši svarīga, ja sistēma laika gaitā pielāgojas. Stabils produkta nosaukums ne vienmēr var identificēt stāvokli, kas radījis konkrētu rezultātu. Taču mēģinājums piešķirt pastāvīgu versijas numuru katram pārejošam stāvoklim var radīt cita veida fikciju. Labāka pieeja ir nošķirt pastāvīgo modeļa vai pakalpojuma identitāti no fiksētā stāvokļa, konfigurācijas un pierādījumiem, kas nepieciešami noteiktai pārskatīšanai vai atkārtošanai. Tad ieraksts norāda, kas tika pārbaudīts, neizliekoties, ka viss ir sasaldēts uz visiem laikiem.

Izmaiņu pārbaude ir vieta, kur daudzi ieraksti kļūst pārāk optimistiski. Organizācija ir apstiprinājusi labojumu, tāpēc incidents ir slēgts. Bet ieviešana nav pārbaude. Vai jaunā kontrole darbojās reālos apstākļos? Vai tā radīja citu problēmu? Vai rezerves risinājums darbojās? Vai cilvēki, kas veic pārskatīšanu, saņēma atjauninātos norādījumus? Vai attiecīgais rādītājs mainījās paredzētajā virzienā? Vai skaidrojums joprojām atbilst pakalpojumam? Pārbaude var parādīt, ka izmaiņas būtu jāatsauc, jāuzlabo vai jāatstāj spēkā ar jaunu ierobežojumu. Pārbaudei ir atļauts būt neērtai. Tā ir daļa no tās uzdevuma.

Grafiks piešķir šim darbam parastu ritmu. Daži ieraksti tiek pārskatīti pēc noteikta notikuma. Citiem ir nepieciešams fiksēts datums, jo, gaidot notikumu, tiek pieņemts, ka organizācija vienmēr atpazīs šo notikumu. Mērķa apraksts var būt jāpārskata, kad mainās lietojums, un arī plānotā intervālā. Novērtējums var zaudēt spēku pēc versijas, datu ceļa vai konteksta maiņas. Incidenta plānam var būt nepieciešams mēģinājuma datums, jo plāns, kas nekad nav izmantots, var būt perfekti uzrakstīts un praktiski izdomāts. Izejas ceļš var būt jātestē, pirms tas steidzami nepieciešams. Datums negarantē rūpību. Tas padara nolaidību vieglāk pamanāmu.

Ieraksti var palikt arhīvā, vienlaikus zaudējot spēju pamatot pašreizējo lēmumu. Pārskatīšanas datums padara šo atšķirību redzamu.

Derīguma termiņa beigas nav neveiksme

Komandas bieži pretojas derīguma termiņiem, jo termiņš izklausās kā apsūdzība. Tā nav. Tas ir paziņojums par tvērumu. Kalibrācijas rezultāts var būt pamatots attiecībā uz modeļa stāvokli un ievades nosacījumiem, kas tika pārbaudīti. Datu aizsardzības novērtējums var būt rūpīgs attiecībā uz apstrādes ceļu, ko tas apraksta. Piegādātāja apliecinājums var būt nozīmīgs konkrētai pakalpojuma versijai un līgumam. Mācību programma var būt atbilstoša darbam, ko cilvēki veica, kad to apguva. Neviens no šiem ierakstiem nekļūst slikts, kad mainās tā nosacījumi. Tas kļūst nepilnīgs jaunam lēmumam.

Šī ir viena no iemesliem, kāpēc ikgadējā pārskatīšana ir gan noderīga, gan nepietiekama. Gada datums nosaka minimālo ritmu un neļauj ierakstiem bezgalīgi pazust koplietojamā diskā. Bet būtiskas izmaiņas var notikt rīt. DORA apvieno abas idejas, pieprasot regulāru pārskatīšanu vismaz reizi gadā un riska novērtējumu par katrām būtiskām izmaiņām. Abi pulksteņi darbojas kopā: periodiskā pārskatīšana uztver lēnu novirzīšanos; izraisītā pārskatīšana uztver nosacījumu, kas jau ir mainījis lēmumu.

Derīguma termiņš jāattiecina uz apgalvojumiem, nevis tikai dokumentiem. Dokuments var saturēt vairākus apgalvojumus ar dažādiem dzīves cikliem. Arhitektūras diagramma var palikt lielākoties precīza, kamēr drošības kontroles apraksts ir mainījies. Novērtējums var joprojām apstiprināt šauru spēju, vienlaikus vairs neatbalstot plašāku veiktspējas apgalvojumu. Politika var būt aktuāla, kamēr nosauktais īpašnieks vairs nav. Kad komanda atzīmē visu failu kā aktuālu vai novecojušu, tā zaudē šīs atšķirības. Apgalvojumu līmeņa uzturēšana prasa vairāk darba. Tā arī dod pārskatītājiem iespēju atjaunināt to, kas ir mainījies, nepārrakstot vēsturi.

Šeit ir cilvēcisks ieguvums. Cilvēkiem, kuri manto sistēmu, ir jāzina, uz ko viņi var paļauties. Ieraksts, kas saka “aktuāls” bez datuma, tvēruma vai īpašnieka, nodod viņiem pārliecības problēmu, kas maskēta kā dokumentācija. Ieraksts, kas saka “novērtēts šim mērķim, ar šo fiksēto stāvokli, šajos apstākļos, pārskatīts šajā datumā, nākamā pārskatīšana paredzēta šeit”, dod viņiem kaut ko, ko var pārbaudīt un apstrīdēt. Tas nepadara sistēmu drošu ar deklarāciju. Tas padara esošo zināšanu robežu redzamu.

Derīguma termiņš arī padara izbeigšanu mazāk dramatisku. Sistēmai nav jābūt skandālam, lai to atsauktu vai aizstātu. Piegādātājs var pārtraukt atbalstu. Modelis var vairs neatbilst jaunam valodas vai politikas kontekstam. Pierādījumu slogs var pārsniegt vecā ceļa uzturēšanas vērtību. Var pastāvēt drošāka alternatīva. Organizācija var nolemt, ka uzdevums jāatgriež cilvēkam vai vienkāršākam ne-AI mehānismam. Uzturēšanas grafiks jāiekļauj izejas ceļš, pirms pakalpojumu kļūst grūti noņemt. Izbeigšana ir pārvaldības darbība, nevis pierādījums, ka pārvaldība ir izgāzusies.

Kas nedrīkst beigties, ir vēsture. Organizācijai jāsaglabā tas, kas tika novērtēts, izlemts, mainīts un novērots, ievērojot piemērojamos saglabāšanas, konfidencialitātes un datu aizsardzības noteikumus. Vēstures saglabāšana atšķiras no veco pierādījumu uzskatīšanas par aktuāliem. Viens atbalsta mācīšanos un atbildību. Otrs var pārvērst mantotu ierakstu par viltus apliecinājumu. Labi arhīvi atceras atšķirību.

Grafiks ir pilnvaru sadalījums

Vispraktiskākais pārvaldības artefakts var būt mazāk aizraujošs nekā riska matrica: kalendārs ar vārdiem blakus. Kurš pārskata mērķi. Kurš lasa uzraudzības signālu. Kurš var pasludināt, ka slieksnis ir sasniegts. Kurš var apturēt ceļu. Kurš apstiprina būtiskas izmaiņas. Kurš pārbauda verifikācijas pierādījumus. Kurš sazinās ar piegādātāju. Kurš izlemj, ka vecs novērtējums vairs neatbalsta turpmāku izmantošanu. Ja atbilde uz visiem šiem jautājumiem ir “AI komanda”, organizācija nav sadalījusi pilnvaras. Tā ir nosaukusi telpu.

Pārvaldes institūcijai ir vajadzīga pietiekama neatkarība, lai tā būtu jēgpilna, un pietiekama tuvība, lai tā varētu rīkoties. Valde vai vadības struktūra var pārņemt uzraudzību un resursus. Operatīvais īpašnieks var saprast faktisko darbu. Tehniskais īpašnieks var zināt sistēmas ierobežojumus. Drošības vai privātuma speciālists var saskatīt robežu, ko citi neredz. Klientu apkalpošanas vai sabiedrisko pakalpojumu komanda var pamanīt kaitējumu ātrāk, nekā to parāda informācijas panelis. Šīs lomas nav jāapvieno vienā varonīgā personā. Tām ir vajadzīgas skaidri noteiktas atbildības nodošanas un veids, kā atrisināt domstarpības. NIS2 uzsvars uz vadības apstiprinājumu un uzraudzību šeit ir noderīgs, jo tas noraida ērto fikciju, ka pārvaldību var pilnībā deleģēt, kamēr atbildība paliek augšgalā.

Paaugstināšanas slieksnis jāraksta valodā, kas atbilst lēmumam. “Paaugstināt, ja anomālijas rādītājs pārsniedz 0,8” var būt tehniski nepieciešams, bet tas nepastāsta iestādei, kas ir apdraudēts. Labāks slieksnis var apvienot signālu un sekas: paaugstināt, kad sistēma sāk ietekmēt lietojumu ārpus deklarētās jomas; kad kontroles kļūme var atstāt ietekmēto personu bez pārskatīšanas; kad mainās būtisks avots vai atkarība; kad labojumi atklāj modeli, ko esošais novērtējums neaptvēra; kad tiek ziņots par nopietnām drošības, drošuma vai tiesību problēmām; kad nepieciešamais īpašnieks vai aizstājējs vairs nav pieejams. Precīzie sliekšņi var atšķirties. Lēmuma valoda nedrīkst.

Uzturēšanai ir vajadzīgs arī budžets. Tas ir ikdienišķi un izšķiroši. Uzraudzība patērē laiku. Izmaiņu pārskatīšana patērē tehnisko, juridisko un operatīvo kapacitāti. Incidenta plāna mēģinājums pārtrauc parasto darbu. Paskaidrojuma, ieraksta vai apmācību programmas atjaunināšana ir darbs. Ja pārvaldībai nav personāla operatīvā modeļa, tā kļūst par ārkārtas nodokli, ko maksā tas, kurš pirmais pamana problēmu. Šāds izkārtojums šķiet ekonomisks līdz pirmajam sarežģītajam notikumam, kad organizācija atklāj, ka tā ir ietaupījusi sagatavošanās izmaksas un iegādājusies improvizācijas izmaksas.

Ir vieta samērīgumam. Šaurs iekšējs rīks ar skaidru, bez seku lietojumu var prasīt vieglāku grafiku nekā sistēma, kas ietekmē piekļuvi darbam, pakalpojumiem, tiesībām vai drošībai. Bet vieglāks nenozīmē neesošs. Tam joprojām var būt nepieciešams īpašnieks, mērķa robeža, izmaiņu ieraksts, pamata incidenta ceļš un iziešanas nosacījums. Sarežģītībai jāseko sekām un nenoteiktībai, nevis projekta sākumā pieejamajam entuziasma daudzumam.

Noderīgu uzturēšanas grafiku var izteikt vienkāršā valodā. Pārskatiet mērķi, kad mainās lietojums, lietotāji vai sekas. Pārskatiet atkarības, kad mainās piegādātājs, datu ceļš vai savienotais pakalpojums. Pārskatiet novērtējuma pierādījumus, kad mainās modelis, konfigurācija vai attiecīgie darbības apstākļi. Veiciet incidenta un apturēšanas ceļa mēģinājumu noteiktā intervālā. Pārskatiet lomu sadalījumu, kad mainās organizācija. Publicējiet vai saglabājiet izmaiņu ierakstu, ja lēmumam ir būtiska ietekme. Pārbaudiet iziešanas ceļu, pirms pakalpojums no tā ir atkarīgs. Neviens no šiem punktiem nesola, ka kļūdas nenotiks. Tie sola, ka organizācijai ir veids, kā tās pamanīt, izlemt un mācīties, kad tās notiek.

Maza piezīme no mums

Uzņēmumā Dweve mūsu Uzticības centrs apraksta uzraudzību kā atsevišķu publisku ierakstu, nevis solījumu, ka produkts ir sasniedzis pastāvīgu pabeigtības stāvokli. Tā publicētais uzraudzības materiāls norāda, ka signāli ir saistīti ar deklarētajām vākšanas robežām, ka pārskatos tiek identificēts attiecīgais modelis, ceļš, stāvoklis un pierādījumi, un ka būtiskas izmaiņas var atvērt novērtējuma, riska, incidenta vai izlaišanas pārskatu. Publiskais izmaiņu ieraksts arī nošķir pašreizējos faktus no sagatavotajām kontrolēm un nākotnes notikumiem. Tie ir mūsu deklarētā darbības dizaina apraksti, nevis neatkarīgs apliecinājums, klienta rezultāts vai apgalvojums, ka publiska lapa atrisina visus pārvaldības jautājumus.

Šī robeža ir apzināta. Mūsuprāt, uzraudzības ieraksts ir noderīgs tad, ja tas lasītājiem stāsta, ko var novērot, kas paliek aizsargāts, kas var izraisīt rīcību un kur tiks reģistrēts būtisks lēmums. Ieraksts nevar pieņemt spriedumu sistēmas operatoru vietā. Tas var padarīt spriedumu vieglāk pārbaudāmu, kad tas ir pieņemts.

Uzturēšana ir godīgā daļa

Ieviešana ir nozīmīgs brīdis. Tā rada iemeslu definēt mērķi, izvērtēt riskus un uzņemties saistības. Tas nav brīdis, kad tehnoloģija pārstāj saskarties ar pasauli. Pārvaldība kļūst ticama vēlāk, atkārtotā darbā, noskaidrojot, vai vecais lēmums joprojām ir pamatots.

Šim darbam ir vajadzīgs kalendārs, jo labiem nodomiem ir īss pussabrukšanas periods, ja tiem nav datuma, atbildīgās personas un ceļa uz rīcību. Tam ir vajadzīgi pierādījumi, jo informācijas paneļa krāsa nav skaidrojums. Tam ir vajadzīga pilnvaras, jo uzraudzība bez tiesībām kaut ko mainīt ir novērošana ar labu mārketingu. Tam ir vajadzīga vēsture, jo labojumu, ko nevar izsekot, nevar ticami izmantot nākamā lēmuma uzlabošanai. Un tam ir vajadzīga izeja, jo turpināta darbība ir jāsaglabā kā izvēle, nevis mantots fakts.

Brieduma pazīme nav tas, vai organizācija spēj izveidot pārvaldības sistēmu. Daudzas spēj. Jautājums ir, vai mēnešus pēc dokumenta apstiprināšanas organizācija joprojām var pateikt, kam sistēma paredzēta, kas ir mainījies, kādi pierādījumi to tagad pamato, kas drīkst to apturēt un kas notiek, ja atbilde vairs nav skaidra. Ja var, pārvaldība tiek uzturēta. Ja nevar, organizācijai joprojām var būt politika. Tai vienkārši vairs nav dzīvas politikas.

Avoti