Sistema ta' riskju għoli mhijiex mudell ta' riskju għoli

Ir-riskju ma jgħixx ġewwa mudell bħal tikketta ta' twissija. Joħroġ mill-iskop maħsub, l-użu, l-awtorità, l-interfaċċi u n-nies li jridu jgħixu bir-riżultat.

Sistema ta' riskju għoli mhijiex mudell ta' riskju għoli

It-tikketta titwaħħal ma' użu, mhux ma' kaxxa

Mudell jista' jiġi kkupjat minn server għal ieħor mingħajr ma jitgħallem xejn. Il-piżijiet tiegħu, il-kodiċi u l-kapaċitajiet imreklamati jistgħu jibqgħu l-istess. Madankollu, il-mistoqsija li l-Ewropa tistaqsi dwar il-ħaġa ta' madwaru tista' tinbidel għal kollox. Għal xiex huwa? Min jużah? Il-pożizzjoni ta' min jista' jbiddel? Liema rekord jidħol fil-fluss tax-xogħol? Min jista' jikkontesta t-tweġiba, jikkoreġiha, iwaqqafha jew jiskopri aktar tard għaliex ġiet segwita?

Dan mhuwiex attentat biex suġġett sempliċi jsir aktar grandjuż milli huwa. Hija d-differenza ordinarja bejn komponent u sistema. Diska tal-brejk mhijiex vettura tat-triq. Formula ta' spreadsheet mhijiex deċiżjoni tat-taxxa. Mudell ta' AI għal skop ġenerali mhuwiex, waħdu, kull sistema ta' AI li tista' tinbena madwaru aktar tard. Id-distinzjoni hija faċli biex wieħed jirrikonoxxi b'rasu u faċli b'mod notevoli biex tintilef ladarba laqgħa ta' akkwist tibda titkellem dwar mudell daqs li kieku diġà fih l-iskjerament futur kollu.

L-Att dwar l-Intelliġenza Artifiċjali tal-UE jżomm id-distinzjoni quddiem għajnejh. Huwa jiddefinixxi sistema ta' AI u separatament jiddefinixxi mudell ta' AI għal skop ġenerali. Ir-regoli tiegħu ta' riskju għoli jikkonċernaw sistemi ta' AI f'ċirkostanzi partikolari, inklużi sistemi li huma komponenti ta' sikurezza ta' prodotti regolati u sistemi użati f'oqsma elenkati. L-Att jagħmel ukoll l-iskop maħsub ċentrali għall-klassifikazzjoni u d-dokumentazzjoni ta' sistema ta' AI. Ma jistiedinx tim biex jindika isem ta' mudell, iwaħħal tikketta ħamra, ambra jew ħadra u jiddikjara x-xogħol magħmul.

Dan għandu jkun liberatorju kif ukoll eżiġenti. Mudell ma jġorrx oroskopju morali permanenti. Analiżi bir-reqqa tista' tkun dejqa fejn l-iskop maħsub huwa dejjaq, u tista' ssir serja fejn l-awtorità, l-espożizzjoni u l-konsegwenza jsiru serji. Il-qabda hija li l-analiżi trid issegwi s-sistema attwali. Mhux id-dimostrazzjoni. Mhux il-preżentazzjoni tal-fornitur. Mhux il-kompitu innoċenti li fetaħ il-proġett sitt xhur ilu. Is-sistema li se tirċievi inputs, tagħmel outputs disponibbli, tifforma deċiżjoni u titħaddem fi Tlieta ordinarju.

Ikkunsidra illustrazzjoni deliberatament ipotetika. L-istess mudell tal-lingwa jitqabbad l-ewwel ma' għodda interna ta' tfittxija tal-għarfien. Huwa jirkupra siltiet ta' politika għal kollega mħarreġ, li jista' jiftaħ is-sors oriġinali u jikteb it-tweġiba tiegħu stess. Aktar tard, organizzazzjoni tqabbad il-mudell ma' formola ta' ammissjoni, tagħti lir-rakkomandazzjoni tiegħu post fil-quċċata ta' rekord ta' każ, tapplika tajmer lill-każ, u tagħmel l-aċċettazzjoni tar-rakkomandazzjoni l-aktar mod rapidu biex titneħħa l-kju. Mhuwiex meħtieġ kunsill, pazjent, impjegat jew inċident fittizju biex wieħed jara l-bidla. Il-mudell jista' jkun identiku. Ir-rwol tal-output, it-triq tad-dejta, l-inċentiv, il-persuna affettwata u l-awtorità prattika tal-interface mhumiex.

Dak huwa l-argument tal-artiklu: sistema ta' riskju għoli mhijiex mudell ta' riskju għoli. Mudell jista' jkun parti importanti tas-sistema u jista' jkollu dmirijiet tiegħu stess. Iżda l-analiżi tar-riskju ssir sinifikanti biss meta tilħaq l-iskop maħsub, il-kuntest tal-iskjerament, l-utenti, il-persuni affettwati u l-integrazzjoni downstream. Dawk id-dettalji mhumiex dokumenti mehmuża wara l-inġinerija. Huma ċ-ċirkostanzi li jagħtu lill-output forza istituzzjonali.

Imxi bil-kursur fuq saff jew agħżlu. Il-mudell huwa saff wieħed; il-konsegwenza tidher biss meta s-saffi jiltaqgħu.

L-Ewropa deliberatament tuża żewġ nomi differenti

Id-distinzjoni tibda fid-definizzjonijiet tal-Att. Sistema tal-AI hija sistema bbażata fuq magni mfassla biex topera b'livelli varji ta' awtonomija u li tista' turi adattabilità wara t-tqegħid fis-suq, li tiddeduċi mill-inputs kif tiġġenera outputs bħal tbassir, kontenut, rakkomandazzjonijiet jew deċiżjonijiet li jistgħu jinfluwenzaw ambjenti fiżiċi jew virtwali. Mudell tal-AI għal skop ġenerali huwa differenti: huwa mudell tal-AI kapaċi jwettaq b'mod kompetenti firxa wiesgħa ta' kompiti distinti, kemm jekk jitqiegħed fis-suq kif ukoll jekk le, u jista' jiġi integrat f'varjetà ta' sistemi jew applikazzjonijiet downstream.

Dawk id-definizzjonijiet jikkoinċidu fil-konversazzjoni ta' kuljum għaliex l-istess kelma, AI, tagħmel ammont kbir ta' xogħol mhux imħallas. M'għandhomx jikkoinċidu f'valutazzjoni. Mudell għal skop ġenerali huwa maħsub biex jivvjaġġa. L-użi possibbli tiegħu huma deliberatament wesgħin. Sistema tal-AI hija l-arranġament operattiv li permezz tiegħu l-outputs jinfluwenzaw ambjent. Għandha skop, konfigurazzjoni, interfaċċa u ambjent. Tista' tinkludi mudell, diversi mudelli, regoli deterministiċi, bażijiet ta' dejta, sensuri, nies, proċeduri u ħafna deċiżjonijiet żgħar li ħadd ma jsejjaħ intelliġenza artifiċjali sakemm ma jfallux.

Għalhekk fornitur ta' mudell tal-AI għal skop ġenerali u fornitur jew implimentatur ta' sistema tal-AI ma jistgħux sempliċiment jiskambjaw il-listi ta' kontroll. Il-gwida tal-Kummissjoni dwar mudelli tal-AI għal skop ġenerali tgħid li l-fornituri tal-mudelli għandhom jagħmlu informazzjoni u dokumentazzjoni disponibbli lill-fornituri downstream tas-sistemi tal-AI sabiex dawk il-fornituri jkunu jistgħu jifhmu l-kapaċitajiet u l-limitazzjonijiet tal-mudell u jissodisfaw l-obbligi tagħhom stess. Dik is-sentenza hija aktar interessanti milli tidher mal-ewwel daqqa t'għajn. Tassumi li l-fornitur downstream għandu xogħol li ma jistax jitlesta mill-fornitur tal-mudell. Id-dokumentazzjoni tal-mudell tivvjaġġa, iżda ma tlesti l-vjaġġ.

Hemm umiltà prattika f'dan kollu. Fornitur tal-mudell jista' jiddeskrivi l-arkitettura, il-proċess ta' taħriġ, l-evalwazzjoni, il-kompiti maħsuba, ir-rekwiżiti ta' integrazzjoni, l-inputs u l-outputs, il-limitazzjonijiet u l-kundizzjonijiet magħrufa. Tim downstream jaf jekk utent huwiex speċjalista mħarreġ, jekk persuna affettwata tistax tikkontesta riżultat, jekk rakkomandazzjoni hijiex ta' parir fl-isem iżda vinkolanti fil-prattika, jekk sejħa lil servizz estern tbiddilx rekord, u jekk azzjoni difettuża tistax titħassar. L-ebda waħda miż-żewġ partijiet ma għandha stampa sħiħa waħedha.

Id-diviżjoni mhijiex lakuna. Hija mappa tar-responsabbiltà. Tgħid li sistema ma tistax tiġi ggvernata billi wieħed jitlob lill-fornitur tal-mudell iwiegħed kontroll fuq implimentazzjoni li la jopera u lanqas jara. Tgħid ukoll li integrazzjoni ma tistax tinvoka l-injoranza fejn id-dokumentazzjoni tagħmel limitazzjoni importanti viżibbli. Il-punt mhuwiex li ssir ħandover pulita bejn entitajiet legali. Huwa li ma tintilifx il-mistoqsija fid-distakk bejniethom.

Hemm distinzjoni oħra li jiswa li tinżamm f'moħħna flimkien mal-ewwel waħda. Klassifikazzjoni ta' riskju għoli fiha nnifisha ma tfissirx permess, sigurtà, ġustizzja jew legalità. Fl-opinjoni konġunta tagħhom dwar il-proposta oriġinali tal-Kummissjoni, il-Bord Ewropew għall-Protezzjoni tad-Data u l-Kontrollur Ewropew għall-Protezzjoni tad-Data enfasizzaw li l-klassifikazzjoni bħala riskju għoli ma kinitx neċessarjament tfisser li sistema kienet legali fiha nnifisha jew li setgħet titqiegħed fis-seħħ mill-utent tagħha kif inhi. L-Att finali biddel il-pajsaġġ legali minn dak iż-żmien ta' dik l-opinjoni, iżda t-twissija sottostanti għadha utli. Il-klassifikazzjoni hija kundizzjoni regolatorja. Mhijiex riċevuta li tgħid li l-istituzzjoni tista' tieqaf taħseb.

Dan huwa importanti għaliex tikketta ta' riskju għoli tista' twassal għal żewġ żbalji opposti. Tim wieħed jista' jittrattaha bħala tebgħa permanenti fuq mudell u jiddeċiedi li t-tweġiba hi sempliċement li ma jfittxux aktar. Ieħor jista' jittratta proċess ta' konformità mwettaq bħala permess għal kwalunkwe kuntest aktar tard. Iż-żewġ approċċi jissostitwixxu tikketta b'argument. L-Ewropa għażlet approċċ aktar skomdu: identifika s-sistema, l-iskop tagħha u r-rwol tagħha, imbagħad eżamina r-riskji u l-obbligi rilevanti matul iċ-ċiklu tal-ħajja tagħha.

L-iskop maħsub huwa fejn l-analiżi ssib id-direzzjoni tagħha

L-iskop maħsub jinstema' modest, kważi amministrattiv. Mhuwiex. L-Att jiddefinih bħala l-użu li għalih sistema ta' AI hija maħsuba mill-fornitur tagħha, inkluż il-kuntest speċifiku u l-kundizzjonijiet ta' użu speċifikati fl-informazzjoni pprovduta mill-fornitur. Fi kliem ieħor, l-iskop mhuwiex slogan fuq paġna ta' prodott. Jinkludi l-kuntest u l-kundizzjonijiet li fihom il-fornitur jgħid li s-sistema għandha tintuża. Dikjarazzjoni utli tal-iskop għandha truf. Tgħid x'tagħmel is-sistema, għal min, b'liema inputs, f'liema fluss ta' xogħol, u fejn tispiċċa l-awtorità tagħha.

Qabbel żewġ deskrizzjonijiet. L-ewwel waħda tgħid li sistema tuża l-AI biex tgħin lill-organizzazzjonijiet jieħdu deċiżjonijiet aħjar. Hija wiesgħa biżżejjed biex titqiegħed fuq sfond ta' konferenza u wiesgħa wisq biex taħdem. It-tieni waħda tgħid li sistema tippreżenta abbozzi ta' sommarji b'rabta mas-sorsi ta' fajl ta' każ eżistenti lil reviżuri mħarrġa; ma tistax tieħu, tittrasmetti jew timplimenta deċiżjoni; ir-reviżur irid jivverifika s-sorsi ċċitati qabel ma juża sommarju; u l-funzjoni mhix disponibbli għal kategoriji li jeħtieġu proċess statutorju separat. It-tieni deskrizzjoni hija inqas eċċitanti. Hija wkoll xi ħaġa li inġinier, min imexxi l-akkwist, kollega tal-konformità u persuna affettwata jistgħu ma jaqblux dwarha fi termini konkreti.

L-iskop m'għandux għalfejn ikun sentenza waħda. F'sistema serja ġeneralment ikun pakkett kompatt: il-kompitu, il-prodott, l-utent, il-popolazzjoni affettwata, l-ambjent, l-awtorità, l-esklużjonijiet, id-dipendenzi u l-kundizzjonijiet. Ir-rekwiżiti tad-dokumentazzjoni teknika tal-Att jagħtu spazju għal preċiżament dan it-tip ta' rendikont. L-Anness IV jitlob deskrizzjoni ġenerali tas-sistema tal-AI, inkluż l-iskop maħsub, il-persuni u l-gruppi li fuqhom hija maħsuba li tintuża, u l-verżjonijiet jew il-forom speċifiċi li fihom titqiegħed fis-suq. Jitlob ukoll deskrizzjonijiet tal-arkitettura tas-sistema, ir-rekwiżiti tad-data, il-miżuri ta' sorveljanza umana, il-monitoraġġ taċ-ċiklu tal-ħajja u l-miżuri tal-ġestjoni tar-riskju. Id-dokumentazzjoni għandha dik il-wisa' għaliex karta ta' mudell waħedha ma tistax tiddeskrivi t-tqegħid fis-seħħ.

L-iskop huwa wkoll fejn tim jiskopri li kien qed jiddeskrivi ambizzjoni aktar milli operazzjoni. "Aħna se nappoġġaw lill-ħaddiema tal-każijiet" jista' jaħbi tużżana arranġamenti differenti. L-għodda tfittex dokumenti, tordna x-xogħol, tfassal tweġiba, tirrakkomanda kategorija, tiċħad applikazzjoni, teskala allert, tistabbilixxi prijorità, jew issejjaħ servizz ieħor? Il-kollega jużaha qabel jew wara li jifforma opinjoni indipendenti? Il-prodott huwa suġġeriment f'panew laterali jew qasam li jrid jitwettaq qabel ma r-rekord ikun jista' javvanza? L-effett huwa immedjat, imdewwem, riversibbli jew diffiċli biex jinstab? It-tweġiba tbiddel is-sistema anki fejn l-interfaċċa tal-utent tidher familjari.

L-għan maħsub ta' fornitur ma jistax iġiegħel ir-realtà tgħib. Tim ma jistax jagħti lil sistema awtorità prattika wiesgħa, jiddeskriviha bħala assistent li ma jagħmilx ħsara, u jistenna li d-deskrizzjoni ssolvi l-kwistjoni. Iżda għan delimitat kif suppost xorta jibqa' kontroll. Huwa jgħid lill-utenti liema evidenza ġiet ikkunsidrata, jgħid lill-integraturi x'ma għandhomx jestendu b'mod każwali, u jgħid lir-reviżuri liema bidla terġa' tiftaħ il-valutazzjoni. Għan vag ibiddel kull mistoqsija ta' wara f'argument dwar x'kienet maħsuba. Għan delimitat jippermetti lil organizzazzjoni tistaqsi jekk għadhiex qed tagħmel il-ħaġa li approvat.

Dan isir partikolarment importanti meta organizzazzjoni tagħmel modifika sostanzjali. L-Att fih regoli dwar każijiet fejn distributur, importatur, deployer jew parti terza oħra jista' jsir fornitur, inkluż fejn iqiegħed sistema fis-suq f'ismu stess, jagħmel modifika sostanzjali, jew jimmodifika l-għan maħsub b'mod li jikkawża li s-sistema ssir ta' riskju għoli. L-applikazzjoni legali eżatta tiddependi mill-fatti u għandha tiġi ċċekkjata fil-kuntest. Il-lezzjoni operazzjonali hija aktar sempliċi: bidla fl-integrazzjoni tista' tkun avveniment ta' governanza. Li tmexxi output ta' mudell minn kaxxa ta' abbozz għal kju ta' deċiżjonijiet jista' jkun bidla fil-prodott, bidla fil-fluss tax-xogħol u bidla fir-responsabbiltà fl-istess ħin.

Il-kuntest mhuwiex sfond

Il-kuntest tad-deploy spiss jiġi ttrattat bħala l-biċċa li tasal wara x-xogħol veru: lista ta' pajjiżi, għażla ta' hosting, ftit personas ta' utenti, forsi dijagramma b'vleġeġ li jwasslu b'mod konvenjenti mix-xellug għal-lemin. Iżda l-kuntest jagħti forma lir-riskju. L-istess tip ta' output jista' jkun inkonvenjenti f'ambjent wieħed u konsegwenzjali f'ieħor. Tlestija żbaljata f'għodda ta' kitba tista' tiġi kkoreġuta fis-sentenza li jmiss. Prijorità żbaljata f'fluss ta' xogħol ta' servizz skars tista' tiddeċiedi liema fajl persuna tara l-ewwel. Punteġġ li jidher li huwa input wieħed fost ħafna jista' jsir deċiżiv jekk kull input ieħor ikun bil-mod, vag jew moħbi wara tim ieħor.

L-approċċ ta' riskju għoli tal-Att jirrifletti dan. L-Artikolu 6 jgħaqqad il-klassifikazzjoni ta' riskju għoli ma' sistemi maħsuba biex jintużaw bħala komponenti ta' sikurezza ta' ċerti prodotti, jew sistemi msemmija fl-Anness III. L-Anness III jelenka oqsma fejn is-sistemi tal-AI jistgħu jkunu ta' riskju għoli minħabba li huma maħsuba għal użi speċifikati, bħal ċerti użi bijometriċi, infrastruttura kritika, edukazzjoni u taħriġ vokazzjonali, impjieg, aċċess għal servizzi u benefiċċji essenzjali privati u pubbliċi, infurzar tal-liġi, migrazzjoni u kontroll tal-fruntieri, u l-amministrazzjoni tal-ġustizzja u proċessi demokratiċi. Id-dettall legali jgħodd, iżda hekk ukoll il-grammatika. Mhux qed jgħid li artefatt tekniku huwa ta' riskju għoli b'mod astratt. Jgħid ripetutament li huwa maħsub biex jintuża.

L-Artikolu 6 fih ukoll kwalifikazzjoni għal ċerti sistemi tal-Anness III: m'għandhomx jitqiesu ta' riskju għoli fejn ma joħolqux riskju sinifikanti ta' ħsara għas-saħħa, is-sikurezza jew id-drittijiet fundamentali ta' persuni fiżiċi, inkluż billi ma jinfluwenzawx b'mod materjali r-riżultat tat-teħid ta' deċiżjonijiet. Il-fornituri jridu jiddokumentaw dik il-valutazzjoni qabel ma jqiegħdu s-sistema fis-suq jew iqiegħduha fis-servizz. Din mhijiex karta ta' eżenzjoni ġenerali. Hija tfakkira li l-effett attwali tas-sistema jgħodd. Analiżi utli għandha biżżejjed dettall biex tispjega għaliex sistema tinfluwenza, jew ma tinfluwenzax, b'mod materjali riżultat. Jekk dik l-ispjegazzjoni ma tistax tinkiteb mingħajr kliem vag, it-tim ikun tgħallem xi ħaġa qabel ir-rilaxx.

Il-kuntest jinkludi ż-żmien. Rakkomandazzjoni fil-bidu ta’ investigazzjoni wiesgħa għandha effett differenti minn rakkomandazzjoni fil-punt fejn persuna jkollha ċans waħda biex tipprovdi materjal nieqes. Jinkludi l-volum. Reviżur individwali jista’ jikkontesta output meta jaslu ħames każijiet kuljum u jsegwih b’mod awtomatiku meta jaslu ħames mitt qabel l-ikla. Jinkludi l-lingwa. Reviżur li jista’ jaqra l-evidenza fil-lingwa tax-xogħol tiegħu stess jista’ jeżerċita tip differenti ta’ sorveljanza minn reviżur li jirċievi sommarju assertiv ta’ materjal li ma jistax jeżamina b’mod indipendenti. Jinkludi l-proċedura lokali, id-drittijiet ta’ appell, l-istaff, l-aċċess għal speċjalista, id-disponibbiltà ta’ alternattiva, u jekk output jilħaqx persuna b’awtorità biżżejjed biex tagħmel xi ħaġa utli.

Xejn minn dan ma jeħtieġ li diżastru inventat ikun veru. Huwa sempliċement kif jaħdmu s-sistemi. Politika formali tista’ tgħid bniedem fiċ-ċiklu, iżda s-sistema xorta tista’ tkun funzjonalment awtomatika jekk il-persuna ma jkollhiex ħin, informazzjoni, awtorità jew rotta prattika biex ma taqbilx. L-Artikolu 14 tal-Att għalhekk jitkellem dwar sorveljanza umana effettiva xierqa għar-riskji, il-livell ta’ awtonomija u l-kuntest ta’ użu. Jeħtieġ li sistemi b’riskju għoli jkunu ddisinjati u żviluppati sabiex in-nies ikunu jistgħu jifhmu l-kapaċitajiet u l-limitazzjonijiet rilevanti, jibqgħu konxji ta’ tendenza li jiddependu awtomatikament fuq l-output, jinterpretaw l-output b’mod korrett, jiddeċiedu li ma jużawhx, jissostitwuh jew jirreveduh, u jwaqqfu s-sistema b’mod sikur fejn xieraq. Dawk huma mistoqsijiet operazzjonali. Ma jistgħux jitwieġbu minn benchmark ta’ mudell biss.

Agħżel pożizzjoni ta’ skjerament. Il-mudell jibqa’ fejn hu; il-konfini tas-sistema, l-awtorità u l-evidenza meħtieġa ma jibqgħux.

L-utenti huma parti mill-wiċċ ta’ kontroll

Huwa jitħajjar wieħed jitkellem dwar l-utenti bħallikieku joqogħdu barra mis-sistema, iżommu tastiera u jagħmlu l-parti umana. Huma parti mill-arranġament operattiv. L-għarfien tagħhom, il-piż tax-xogħol, l-awtorità, l-inċentivi u r-rotot ta’ għajnuna jiddeterminaw x’jagħmel l-output. Sistema ddisinjata għal speċjalista li jista’ jeżamina l-materjal tas-sors mhijiex awtomatikament adattata għal ġeneralista li mistenni jaħdem b’pass mgħaġġel. Għodda li hija utli għal reviżur li jista’ jirrifjuta rakkomandazzjoni mhijiex awtomatikament adattata għal kollega li jista’ biss jikklikkja biex japprova jew jistenna lil xi ħadd ieħor.

Dan ma jfissirx li l-utent irid jiddubita kull komponent kull darba. Dik tkun definizzjoni stramba ta' teknoloġija utli. Ifisser li s-superviżjoni għandha tkun iddisinjata bħala ħidma reali. Il-persuna jrid ikollha taf meta s-sistema tkun qed tintuża, x'inhi l-limitazzjoni rilevanti, x'evidenza hemm disponibbli, liema tip ta' nuqqas ta' qbil tista' tirrekordja, u x'jiġri wara li tirrekordjah. Jeħtieġu awtorità li taqbel mar-responsabbiltà. Li titlob lil xi ħadd jissorvelja riżultat li ma jistax iwaqqaf, jikkoreġi jew jidderieġi huwa inqas superviżjoni umana u aktar dekorazzjoni umana.

L-Att jagħti rwol lid-deployers hawnhekk. L-Artikolu 26 jeħtieġ li d-deployers ta' sistemi ta' riskju għoli jieħdu miżuri tekniċi u organizzattivi xierqa biex jiżguraw li jużaw is-sistemi skont l-istruzzjonijiet li jakkumpanjawhom. Jitlob lid-deployers jassenjaw is-superviżjoni umana lil persuni fiżiċi bil-kompetenza, it-taħriġ u l-awtorità meħtieġa, u jissorveljaw it-tħaddim abbażi tal-istruzzjonijiet. F'ċerti każijiet jeħtieġ ukoll li jżommu l-logs iġġenerati awtomatikament taħt il-kontroll tagħhom. Din mhix talba biex persuna infurmata tibqa' wieqfa fil-qrib f'każ li l-interface tinkwieta. Hija talba biex tiġi organizzata prattika ta' ħidma.

It-taħriġ spiss jitqies bħala t-tweġiba kollha. Mhuwiex. It-taħriġ jista' jgħin lil persuna tagħraf limitazzjoni, imma ma jistax joħloq rekord tas-sors li l-interface taħbi. Ma jistax joħloq il-ħin li disinn ta' kju jikkonsma. Ma jistax joħloq l-awtorità li kuntratt jirriżerva x'imkien ieħor. Ma jistax isewwi integrazzjoni li tbiddel rakkomandazzjoni kawta f'azzjoni irriversibbli. Organizzazzjoni għandha tħarreġ lin-nies, ovvjament. Għandha wkoll tagħmel il-ħidma li qed jitħarrġu għaliha possibbli fis-sistema li fil-fatt jingħataw.

Hemm test utli: iddeskrivi l-azzjoni tal-utent mingħajr ma tuża l-verb tirrevedi. X'jaqraw? X'tqabbil jistgħu jagħmlu? X'jistgħu jirrifjutaw? Fejn tmur ir-raġuni? Min jaraha? X'jiġri mir-rakkomandazzjoni wara ċ-ċaħda? Jista' l-persuna milquta mir-riżultat tistaqsi x'ġara? Jista' kollega aktar tard jirrikostruwixxi l-istat rilevanti? Jekk it-tweġibiet jibqgħu ġeneriċi, probabbilment id-disinn tas-superviżjoni huwa ġeneriku wkoll.

Dak it-test japplika lil hinn mis-sistemi ta' riskju għoli. Il-liġi għandha skop u dati speċifiċi; ġudizzju operattiv tajjeb ma jistenniex tikketta ta' kategorija qabel ma jistaqsi jekk persuna tpoġġietx f'rwol performattiv. Huwa perfettament possibbli li tinbena għodda ta' konsegwenza baxxa li tagħmel lin-nies inqas intelliġenti dwar ix-xogħol tagħhom stess għax ir-riżultat huwa wisq lixx biex jiġi kkontestat. Huwa wkoll possibbli li tinbena għodda ristretta li żżid il-kapaċità ta' persuna li tistaqsi mistoqsijiet tajbin għax tippreserva l-evidenza, tillimita l-awtorità tagħha u tagħmel l-inċertezza viżibbli. Il-mudell jista' jikkontribwixxi għal kull riżultat. Is-sistema tiddeċiedi liema riżultat għandu fejn iseħħ.

Il-persuni milquta joqogħdu barra l-console

Ħafna mill-aktar persuni importanti f'sistema ta' AI qatt ma jmissuha. Jistgħu jkunu kandidat, student, ħaddiem, pazjent, passiġġier, resident, klijent, rikorrent, min jissellef, xhud jew membru tal-pubbliku. Jistgħu ma jkunux jafu li mudell kien involut. Jistgħu jesperjenzaw biss tweġiba li tasal malajr, talba li tiġi ttardjata, servizz li jsir mhux disponibbli, prijorità li tinbidel, jew deċiżjoni li tidher impossibbli li tinftiehem. In-nuqqas tagħhom mill-interface ma jagħmilhomx assenti mis-sistema.

Din hija waħda mir-raġunijiet għaliex il-qafas tar-riskju tal-Att jirreferi għas-saħħa, is-sigurtà u d-drittijiet fundamentali. Jidderieġi l-attenzjoni lejn konsegwenzi li ma jistgħux jitnaqqsu għal jekk kollega li għamel login igawdiex l-għodda. Huwa wkoll għaliex dikjarazzjoni tal-għan għandha ssemmi l-persuni u l-gruppi li fuqhom hija maħsuba li tintuża s-sistema, kif jeħtieġ l-Anness IV. Sistema mibnija madwar kategorija msejħa utent tista' bil-kwiet taħbi differenza bejn il-persuna li tħaddem l-interface u l-persuna li tgħix bir-riżultat.

Il-persuni milquta jbiddlu l-mistoqsijiet li tim għandha bżonn tagħmel. Hemm mod kif tkun taf li s-sistema kellha rwol sinifikanti? Id-deċiżjoni hija bbażata fuq informazzjoni li tista' tiġi kkoreġuta? Lingwa, diżabilità, apparat, post jew status amministrattiv jagħmluha aktar diffiċli biex wieħed jipparteċipa? It-tim li jopera jirċievi sinjali mill-persuni milquta, jew biss mid-dashboard? Korrezzjoni tilħaq id-data, ir-rakkomandazzjoni, id-deċiżjoni u kwalunkwe kopja downstream li kienet tiddependi fuqha? Dawn il-mistoqsijiet mhumiex talba biex kull sistema tinbidel f'konsultazzjoni pubblika. Huma talba biex il-konsegwenza tiġi segwita biżżejjed biex wieħed jara l-persuna fuq in-naħa l-oħra.

Il-liġi dwar il-protezzjoni tad-data hija rilevanti fejn tiġi pproċessata data personali, flimkien mal-qafas tal-AI Act. L-EDPB u l-EDPS għamlu dan il-punt b'mod ċar fl-opinjoni konġunta tagħhom tal-2021 dwar il-proposta: il-liġi eżistenti tal-UE dwar il-protezzjoni tad-data tapplika għall-ipproċessar ta' data personali fil-kamp ta' applikazzjoni tal-proposta. L-analiżi legali eżatta se tiddependi fuq l-ipproċessar u l-atturi involuti. Il-lezzjoni ta' governanza hija sempliċi. Eżerċizzju ta' klassifikazzjoni ma jistax jassorbi kull obbligu ieħor. Il-privatezza, in-nondiskriminazzjoni, id-dmirijiet settorjali, ir-rekwiżiti tal-liġi amministrattiva, ir-regoli tal-konsumatur u l-impenn kuntrattwali ma jisparixxux għax tim għamel reġistru tar-riskji li jidher tajjeb.

Hemm ukoll kwistjoni bażika ta' leġibbiltà. Persuna m'għandhiex għalfejn issir speċjalista fil-machine learning biex tifhem kif tfittex korrezzjoni. Iżda sistema m'għandhiex tuża l-kumplessità teknika bħala raġuni biex tagħmel il-korrezzjoni impossibbli. Triq tajba tiddistingwi dak li rreġistrat is-sistema, dak li ddeċieda bniedem, liema evidenza ġiet ikkunsidrata, x'jibqa' inċert u x'jista' jibqa' jinbidel. Ma tippretendix preċiżjoni li r-reġistri ma jistgħux isostnu. F'dan il-qasam, l-onestà mhijiex biss ton ta' vuċi. Hija parti mis-servizz.

L-integrazzjoni hija fejn ir-responsabbiltajiet jinbidlu l-idejn

It-timijiet kultant jiġbdu arkitettura tal-AI bħala katina ordnata: mudell, prompt, tweġiba, utent. Id-deployments reali huma aktar bħal mappa muniċipali wara li xi ħadd fakkar fil-pajpijiet tas-servizz. Hemm sistemi ta' identità, ħwienet ta' rkupru, permessi ta' għodod, kjuwijiet, skemi, caches, pjattaformi ta' osservabilità, estensjonijiet tal-browser, xogħolijiet batch, regoli ta' approvazzjoni, settings ta' żamma, fornituri u nies li jirtu kompitu għax il-persuna ta' qabel marret vaganza. Il-mudell huwa importanti. Rari jkun waħdu.

Kull integrazzjoni tista' tbiddel dak li s-sistema tista' tagħmel u kif tiċċaqlaq żball. L-irkupru jista' jagħmel output tal-mudell jidher ibbażat fuq fatti filwaqt li s-sors huwa skadut, mhux komplut jew b'ambitu żbaljat. Sejħa ta' għodda tista' tbiddel abbozz fi tibdil ta' stat. Kju jista' jbiddel rakkomandazzjoni f'waqtha f'waħda tardiva. Saff ta' orkestrazzjoni jista' jagħżel mudell jew verżjoni ta' prompt differenti. Interfaċċa tal-utent tista' taħbi inċertezza li teżisti f'saff aktar baxx. Integrazzjoni ta' identità tista' tagħti lil għodda utli aċċess għal materjal li utent ma setax jiftaħ mod ieħor. L-ebda waħda minn dawn l-osservazzjonijiet ma takkuża prodott jew organizzazzjoni partikolari. Huma jiddeskrivu proprjetajiet ordinarji tas-sistema, u huwa preċiżament għalhekk li għandhom jiġu ddokumentati qabel ma jsiru sorpriża.

Il-gwida tal-GPAI tal-Kummissjoni hija utli hawnhekk għax tpoġġi l-informazzjoni fil-punt tal-kunsinna. Id-dokumentazzjoni għall-fornituri downstream hija maħsuba biex tgħinhom jifhmu l-kapaċitajiet u l-limitazzjonijiet tal-mudell, il-kompiti maħsuba tiegħu, ir-rekwiżiti tekniċi ta' integrazzjoni, l-ispeċifikazzjonijiet ta' input u output, u l-informazzjoni dwar id-data tat-taħriġ. Dik l-informazzjoni hija meħtieġa. Mhijiex biżżejjed. It-timijiet downstream xorta jridu jiddeċiedu kif il-mudell jiġi prompted, jekk output jintweriex b'evidenza, liema permessi ta' għodod huma permessi, kif tibdil jiġi ttestjat, liema logs jinżammu, u jekk rakkomandazzjoni tistax tinfluwenza fluss ta' xogħol partikolari.

Dan huwa għaliex ix-xiri ta' servizz ta' mudell mhuwiex xiri ta' pożizzjoni ta' riskju sħiħa. Id-dokumentazzjoni tal-fornitur tista' tgħid lit-tim li mudell għandu limitazzjoni magħrufa jew li ġie evalwat taħt ċerti kundizzjonijiet. Ma tistax tipprova li l-indiċi ta' rkupru tal-konoxxenza tax-xerrej huwa aġġornat, li l-istaff tax-xerrej għandu l-awtorità meħtieġa, jew li persuna affettwata għandha aċċess għal rotta ta' sfida. Bil-maqlub, ix-xerrej ma jistax jitlob li fornitur ta' mudell ikun jaf kull politika lokali jew proċess downstream. Il-ħaġa responsabbli mhijiex li wieħed jippretendi li naħa waħda tista' tkun taf is-sistema kollha. Hija li l-konfini ssir espliċita u li l-evidenza tibqa' tiċċaqlaq minn naħa għall-oħra.

L-Artikolu 25 jipprovdi markatur legali utli għal din ir-realtà operattiva. Huwa jistabbilixxi ċirkostanzi li fihom parti oħra, mhux il-fornitur oriġinali, titqies bħala fornitur ta' sistema ta' AI b'riskju għoli. Dawn jinkludu t-tqegħid tas-sistema fis-suq taħt l-isem jew it-trademark ta' dik il-parti, li ssir modifikazzjoni sostanzjali, jew li l-iskop maħsub jinbidel b'mod li jġiegħel is-sistema ssir ta' riskju għoli. Id-dispożizzjoni hija teknika u speċifika għall-fatti; ħadd m'għandu jikklassifika lilu nnifsu minn post ta' blog. Iżda d-direzzjoni tagħha hija ċara. L-integrazzjoni u l-bidla fl-iskop jistgħu jbiddlu min iġorr l-obbligi tal-fornitur. Arranġament downstream mhuwiex għal dejjem downstream sempliċement għaliex il-mudell oriġinali wasal minn x'imkien ieħor.

Hemm raġuni istituzzjonali biex wieħed jieħu dan bis-serjetà. Meta r-responsabbiltà tinbidel fis-skiet, is-sigurtà u r-rimedju jsiru logħba ta' ping-pong organizzattiv. Il-fornitur tal-mudell jindika lejn id-deploy. Id-deployer jindika lejn il-mudell. L-integrazzjonist jindika lejn is-servizz tal-cloud. Is-sid tas-servizz jindika lejn konfigurazzjoni li ma teżistix aktar. Il-persuni affettwati jirċievu spjegazzjoni illustrata ta' kemm kollox huwa kumpless. Dan jista' jkun preċiż, iżda mhuwiex tweġiba. Is-sistema teħtieġ rekord ta' liema organizzazzjoni għandha l-mistoqsija f'kull konfini, u rotta biex il-mistoqsija tivvjaġġa meta t-tweġiba tkun x'imkien ieħor.

Id-dokumentazzjoni għandha tiddeskrivi sistema li xorta tista' tinbidel

Id-dokumentazzjoni teknika għandha reputazzjoni li tasal fit-tmiem ta' proġett b'riħa ħafifa ta' paniku. L-Att jiddeskrivi rwol differenti. Għal sistemi b'riskju għoli, id-dokumentazzjoni teknika trid titfassal qabel ma s-sistema titqiegħed fis-suq jew titqiegħed fis-servizz u tinżamm aġġornata. Il-lista tal-Anness IV tmur lil hinn mill-imġiba tal-mudell biex tinkludi l-iskop maħsub, il-verżjonijiet, l-arkitettura tas-sistema, l-iżvilupp, ir-rekwiżiti tad-data, il-validazzjoni u l-ittestjar, is-superviżjoni umana, l-eżattezza u l-miżuri taċ-ċibersigurtà, il-ġestjoni tar-riskju, il-bidliet u l-monitoraġġ wara t-tqegħid fis-suq. Dan mhuwiex appendiċi dekorattiv. Huwa tentattiv biex tinżamm biżżejjed memorja biex xi ħadd ikun jista' jispezzjona s-sistema wara li l-laqgħa tat-tnedija ssir leġġenda.

Id-dokumentazzjoni taħdem biss meta tkun tista' turi r-relazzjonijiet. Verżjoni ta' mudell trid tkun konnessa mal-verżjoni tas-sistema li użatha. Test irid ikun konness mal-kundizzjonijiet tal-input tiegħu u mal-iskop tiegħu. Politika trid tkun konnessa ma' punt ta' infurzar. Rwol ta' utent irid ikun konness mal-awtorità li għandu fl-interface. Politika ta' logging trid tkun konnessa mal-avveniment li tista' tirrikostitwixxi. Bidla trid tkun konnessa mal-valutazzjoni li qanqlet. Inkella, tim ikollu librerija ta' dokumenti tajbin u l-ebda mod biex iwieġeb mistoqsija partikolari.

Il-logs huma każ simili. L-Artikolu 12 jeħtieġ li s-sistemi tal-AI b'riskju għoli jkollhom kapaċitajiet tekniċi għar-reġistrazzjoni awtomatika tal-avvenimenti tul il-ħajja tas-sistema, proporzjonati mal-għan maħsub. Il-logs jistgħu jgħinu fit-traċċabilità, fil-monitoraġġ wara t-tqegħid fis-suq u fil-monitoraġġ operazzjonali. Huma ma jispjegawx deċiżjoni b'mod maġiku. Log jista' jgħid lil investigatur aktar tard li għodda kienet imsejħa, li verżjoni kienet attiva jew li reviżur ikklikkja fuq kontroll. Ma jistax, waħdu, jistabbilixxi jekk ir-reviżur fehemx l-evidenza, jekk is-sors tal-input kienx awtorevoli jew jekk proċess kienx ġust. Ir-rekords huma siewja għaliex jagħtu lil investigazzjoni post onest fejn tibda, mhux għaliex ineħħu l-ħtieġa tal-ġudizzju.

Il-monitoraġġ wara t-tqegħid fis-suq itemm l-istampa. L-Artikolu 72 jeħtieġ li l-fornituri ta' sistemi b'riskju għoli jistabbilixxu u jiddokumentaw sistema ta' monitoraġġ wara t-tqegħid fis-suq b'mod proporzjonat man-natura tat-teknoloġiji u mar-riskji tas-sistema tal-AI b'riskju għoli. Dan għandu implikazzjoni sempliċi għat-timijiet ta' skjerament: rilaxx mhuwiex il-mument li fih is-sistema ssir magħrufa bis-sħiħ. L-organizzazzjoni teħtieġ mod kif tirċievi informazzjoni rilevanti, tiddistingwi sinjal minn konklużjoni, tiddeċiedi jekk il-konfini tal-għan maħsub għadux jżomm, u tagħmel bidla jew twaqqaf użu fejn l-evidenza teħtieġ dan.

Dak ix-xogħol mhuwiex glamoruż. Jidher bħal identifikaturi tal-verżjoni, kriterji ċari ta' rilaxx, rekord tad-dipendenzi, test għal rotta ta' tħassir, sid imsemmi għal limitazzjoni, u deċiżjoni li tibqa' viżibbli wara li l-persuna li ħaditha tbiddel ir-rwol tagħha. Jidher bħal li tistaqsi jekk integrazzjoni nbidlitx qabel ma tistaqsi jekk il-mudell inbidilx. Jidher bħal li żżomm biżżejjed evidenza biex tikkoreġi konsegwenza aktar milli sempliċement tispjegaha wara l-fatt. Boring mhuwiex l-oppost ta' ambizzjuż hawnhekk. Huwa l-parti li tagħmel l-ambizzjoni tidħol ġewwa istituzzjoni.

Kif tirraġuna dwar is-sistema kollha mingħajr ma tippretendi ċertezza

Analiżi sħiħa mhijiex tfittxija għal punteġġ ta' riskju universali. Hija sekwenza ta' mistoqsijiet li ssir aktar preċiża hekk kif disinn isir aktar preċiż. L-ewwel mistoqsija hija l-għan: x'inhi maħsuba biex tagħmel din is-sistema, u x'inhi speċifikament maħsuba biex ma tagħmilx? It-tieni hija l-konsegwenza: min jista' jkun affettwat, kif, u permezz ta' liema deċiżjoni jew servizz? It-tielet hija l-awtorità: liema output jista' jbiddel stat, jinfluwenza deċiżjoni, jistabbilixxi prijorità jew ibiddel dak li persuna tirċievi? Ir-raba' hija l-evidenza: x'jappoġġa l-użu tas-sistema f'dan il-kuntest, u liema kundizzjonijiet jagħmlu dik l-evidenza tivvjaġġa?

Imbagħad jiġu l-mistoqsijiet skomdi. X'jiġri meta l-mudell ikun inċert, żbaljat, mhux disponibbli jew użat barra l-konfini ddikjarat tiegħu? X'jinbidel meta sors ikun skadut jew għodda tiġi miċħuda? X'jiġri jekk utent ikun mgħaġġel, ġdid fir-rwol jew ma jkunx jista' jeżamina l-materjal sottostanti? X'jiġri jekk persuna affettwata titlob korrezzjoni? X'jiġri jekk aġġornament ibiddel prompt, korpus ta' rkupru, default tal-interface, verżjoni tal-mudell jew permess ta' rwol? It-tweġiba kultant hija kontroll tekniku, kultant proċedura, kultant użu iżgħar, kultant sid differenti, u kultant deċiżjoni li ma tiġix skjerata. Governanza li qatt ma tippermetti l-aħħar tweġiba hija sempliċement approvazzjoni b'ġakketta isbaħ.

Jgħin li wieħed iżomm diversi dikjarazzjonijiet separati. Fatt ikkonfermat jgħid dak li l-fornitur tal-mudell iddokumenta jew dak li l-organizzazzjoni osservat f'test definit. Inferenza tgħid għaliex dak il-fatt jista' jkun importanti f'ħidma partikolari. Kontroll propost jgħid dak li t-tim biħsiebu jimplimenta. Riskju residwu jgħid dak li jibqa' wara l-kontroll. Konklużjoni legali tgħid dak li japplika taħt il-liġi. Dawn mhumiex interkambjabbli. Dokument tajjeb jittikkettahom għaliex il-qarrej jista' jkollu bżonn jikkontesta wieħed mingħajr ma jarmi l-oħrajn.

Per eżempju, huwa possibbli li wieħed jgħid: id-dokumentazzjoni tal-fornitur tiddikjara li l-mudell għandu ċertu limitazzjoni; it-tim tad-deploy jiddeduċi li l-limitazzjoni tista' taffettwa użu speċifikat; it-tim jipproponi gate ta' verifikazzjoni tas-sors; il-gate għadu ma ġiex ittestjat taħt il-workload maħsub; u l-avukat irid jivvaluta l-użu li jirriżulta taħt il-liġi applikabbli. Dik is-sentenza hija inqas sodisfaċenti minn tick aħdar. Hija aktar utli minn tick aħdar għax ma tħalli l-ebda misteru dwar x'inhu stabbilit u x'mhux.

It-timijiet għandhom joqogħdu attenti b'mod partikolari mal-kelma bniedem. Rwol uman jista' jkun kontroll, iżda biss fejn ikollu kompitu definit, informazzjoni adegwata, ħin, taħriġ, awtorità u triq biex jaġixxi. Rwol uman jista' wkoll isir mod kif it-tort jitqiegħed fuq il-persuna l-eqreb tal-iskrin. Id-distinzjoni mhijiex filosofika. Hija viżibbli fil-workflow. Jekk min jirrevedi jista' biss japprova, jekk id-diżgwid jisparixxi f'kamp ta' kummenti mhux immonitorjat, jew jekk ħadd ma jista' jikkoreġi l-konsegwenza downstream, is-sistema ma kisbitx sorveljanza sinifikanti sempliċement għax xi ħadd ikklikkja fuq xi ħaġa.

L-istess kawtela tapplika għat-trasparenza. Dokument twil jista' jagħmel sistema deskrivibbli mingħajr ma jagħmilha kontestabbli. Dashboard jista' jagħmilha viżibbli mingħajr ma jagħmilha tinftiehem. Żvelar jista' jgħid lill-utent li l-AI hija involuta mingħajr ma jgħidlu x'jista' jsir dwar żball. Il-mistoqsija utli hija prattika: jista' l-persuna rilevanti ssib il-konfini, l-evidenza, ir-rwol responsabbli u t-triq ta' korrezzjoni fil-punt fejn dawn il-ħwejjeġ jgħoddu? Jekk le, l-informazzjoni teżisti fil-post ħażin biex isseħħ il-governanza.

Nota żgħira mingħandna

F'Dweve, iċ-Ċentru ta' Fiduċja pubbliku tagħna jittratta r-rekord tal-mudell u l-integrazzjoni downstream bħala rekords relatati iżda separati. Il-paġna downstream tiegħu tgħid li t-timijiet li jintegraw jew jiskjeraw Loom għandhom bżonn il-kapaċitajiet attwali, il-limiti, l-interfaċċi, il-kuntest ta' evalwazzjoni u l-bidliet, filwaqt li r-rekord pubbliku jiddikjara li mudell huwa ħajta waħda f'nisġa usa' ta' komponenti u konfini operattivi. Din hija pożizzjoni ta' dokumentazzjoni, mhux pretensjoni li paġna pubblika tikklassifika kull deploy possibbli jew tipprova konformità għal min jintegra. L-iskop tas-separazzjoni huwa aktar modest: rekord ta' mudell għandu jivvjaġġa mal-integrazzjoni mingħajr ma jippretendi li jissostitwixxi l-analiżi tas-sistema tal-integrazzjoni stess.

Dak huwa l-istandard li jiswa li jinżamm. Fornitur ta' mudell għandu jagħmel informazzjoni utli disponibbli. Organizzazzjoni li tiskjera jew tintegra l-mudell għandha tiddeskrivi s-sistema attwali li għamlet: skop, nies, dejta, interfaċċi, awtorità, monitoraġġ u korrezzjoni. L-ebda naħa m'għandha tuża d-dokumentazzjoni bħala skambju ċerimonjali li fih parti waħda tirċievi PDF u l-oħra tirċievi assoluzzjoni.

Il-mistoqsija l-aktar diffiċli ħafna drabi hija l-aħjar waħda

Meta tim jistaqsi jekk mudell huwiex ta' riskju għoli, jista' jkun qed ifittex tweġiba rapida għal tħassib raġonevoli. Iżda l-mistoqsija l-aktar utli ħafna drabi hija itwal: liema sistema qed nagħmlu minn dan il-mudell, għal liema skop, f'liema kuntest, ma' liema nies, u x'jiġri meta jkun ħażin? Dik il-mistoqsija ma tistax dejjem titwieġeb f'laqgħa waħda. Tista' tikxef li l-użu propost huwa idjaq milli mistenni, li l-evidenza hija mhux kompluta, li rwol ta' utent m'għandux awtorità, li kuntratt iħalli konfini importanti mingħajr sid, jew li integrazzjoni downstream bil-kwiet saret iċ-ċentru tas-sistema.

L-ebda waħda minn dawk is-sejbiet mhijiex falliment ta' innovazzjoni. Huma l-affarijiet li istituzzjoni titgħallem qabel ma tagħti lil sistema s-setgħa li tifforma l-għażliet ta' persuna oħra. L-approċċ Ewropew spiss jitqies bħala sett ta' obbligi. Huwa wkoll dixxiplina ta' ismijiet: semmi l-iskop, l-attur, il-kuntest, il-verżjoni, il-persuna affettwata, il-limitazzjoni, l-evidenza u r-rotta għall-intervent. Ladarba jissemmew, dawn l-affarijiet jistgħu jiġu ttestjati, mibdula u kkontestati. Qabel ma jissemmew, għandhom it-tendenza li jerġgħu jidhru aktar tard bħala sorpriża.

Mudell jista' jkun kapaċi, iddokumentat bir-reqqa u siewi. Jista' wkoll jitqiegħed f'sistema li titlob wisq minnu, taħbi wisq mill-utenti tiegħu jew tħalli ftit wisq spazju għal persuna affettwata mir-riżultat. Id-differenza ssir barra mill-piżijiet. Hemmhekk tgħix ix-xogħol diffiċli, u hemmhekk tinsab ukoll l-opportunità serja: ibnu sistemi li l-awtorità tagħhom taqbel mal-evidenza tagħhom, li l-konfini tagħhom jibqgħu sodi wara l-integrazzjoni, u li l-operaturi tagħhom jistgħu xorta jgħidu le.

Sorsi