Għala r-ripetibbiltà tiswa aktar mid-dimostrazzjonijiet
It-tieni ġirja hija l-verità
L-ewwel ġirja kellha l-applaws. Il-mudell sab il-klawżola, id-dashboard iddawwal, it-tweġiba ċċitat id-dokument it-tajjeb, u l-kamra rrilassat bil-mod preċiż li l-kmamar jirrilassaw meta linja tal-baġit issir eħfef biex tiddefendiha. It-tim kien ipprepara bir-reqqa. Id-dejta kienet nadifa biżżejjed, il-mistoqsijiet kienu raġonevoli, in-netwerk ġab ruħu tajjeb, il-laptop tal-fornitur ma kienx iddeċieda li jsir radjatur żgħir, u ħadd ma staqsa dwar dak il-każ ta' tarf wieħed li kien ġie mċaqlaq b'korteżija għal fażi aktar tard. Kienet dimostrazzjoni tajba. Id-dimostrazzjonijiet tajbin huma utli. Huma juru l-possibbiltà. Huma jagħtu lin-nies oġġett kondiviż biex jiddiskutu. Huma jagħmlu kapaċità astratta viżibbli.
Imbagħad ġiet it-tieni ġirja. L-istess każ ta' użu, imma issa bid-dejta tal-ġimgħa l-oħra, operatur differenti, dokument sors b'tabella stramba, aġġornament ta' politika li ma kienx wasal fil-prompt, u maniġer jaraw għax ir-riżultat kien se jsawwar deċiżjoni reali. It-tweġiba kienet għadha fluwenti. Dik ma kinitx il-problema. Il-problema kienet li ħadd ma seta' jgħid jekk kinitx l-istess tweġiba għall-istess raġunijiet, jew tweġiba differenti liebsa l-istess ton. Id-dimostrazzjoni kienet ippruvat li s-sistema setgħet twettaq. Ma kinitx ippruvat li l-organizzazzjoni setgħet tirrepeti l-prestazzjoni.
Hawnhekk ix-xogħol serju tal-AI jibdel il-karattru tiegħu. Dimostrazzjoni tistaqsi nistgħu nagħmluh jaħdem darba. L-operazzjonijiet jistaqsu nistgħu nagħmluh jaħdem għal darb'oħra, nispjegaw għaliex ħadem, inkunu nafu meta ma ħademx, u nżommu l-evidenza meta xi ħadd jistaqsi sitt xhur wara. Ir-ripetibbiltà mhijiex l-oppost tal-innovazzjoni. Hija l-parti tal-innovazzjoni li tibqa' ħajja meta tiġi f'kuntatt mal-pagi, il-liġi, is-sigurtà, il-klijenti, iċ-ċittadini, l-awdituri, l-istaff għajjien, u l-ostilità kwieta tad-dejta reali.
Il-biċċa l-kbira tal-fallimenti fl-operazzjonijiet tal-AI ma jaslux bħala kollass ċinematiku. Jaslu bħala differenzi żgħar li ħadd ma jista' jirriproduċi. Riżultat ta' rkupru jinbidel. Aġġornament tal-prompt isewwi każ wieħed u jdgħajjef ieħor. Aġġornament tal-mudell jiċċaqlaq il-konfini tad-deċiżjoni. Sors ta' dejta jwaqqa' qasam. Override uman jiġi rreġistrat f'sistema waħda imma mhux f'oħra. L-organizzazzjoni għad għandha sistema li taħdem fis-sens teatrali. Ma għadhiex għandha sistema li tista' tirrakkonta l-istess storja darbtejn.
Dimostrazzjoni taħbi l-kuntratt boring
Dimostrazzjoni titħalla tagħżel. Għandha storja, bidu, klikk li tissodisfa, u normalment sett ta' data li jkun ġie mnaddaf bħal tifel qabel ir-ritratti tal-iskola. Dik mhix qerq. Hija komunikazzjoni. L-inkwiet jibda meta l-organizzazzjoni tħawwad il-komunikazzjoni ma' kuntratt operattiv. Id-dimostrazzjoni ma tiddefinixxix il-freskezza tas-sors, il-konfini tal-verżjonijiet, il-passaġġi ta' riżerva, id-drittijiet ta' reviżjoni umana, il-lingwa tal-falliment, iż-żamma, jew il-kundizzjoni eżatta li taħtha s-sistema trid tirrifjuta li twieġeb. Dawk id-dettalji spiss ikunu eżatt barra l-iskrin, jidhru mhux moda, u jistennew biex jibagħtu l-kont lil kulħadd aktar tard.
Ir-ripetibbiltà tagħmel il-kuntratt viżibbli. Tistaqsi liema input huwa l-input, mhux l-eqreb kopja. Tistaqsi liema verżjoni tar-regola rrestrinġiet it-tweġiba, mhux liema paġna ta' politika dehret familjari. Tistaqsi jekk l-ordni tal-irkupru hijiex stabbli, jekk ir-rabta hux deterministika, jekk il-prompts humiex verżjonati, jekk il-parametri tal-mudell jistgħux jissemmew, jekk is-sejħiet tal-għodod humiex maqbuda, jekk l-operatur jistax jerġa' jdoqq każ, u jekk bidla f'override tbiddilx il-fluss tax-xogħol jew sempliċement iżejjen log. Dawn mhumiex mistoqsijiet filosofiċi. Huma l-wajers wara xogħol affidabbli.
Il-parti diffiċli hija li r-ripetibbiltà tħossha aktar bil-mod fil-bidu. Tim li qed jiġri wara dimostrazzjoni jista' juża l-iqsar triq mill-ġnien. Tim li qed jibni ripetibbiltà irid ipoġġi ġebel ta' pavimentar, jittikkettja l-bibien, u jiddeċiedi min għandu ċ-ċavetta tal-maħżen. Dan jista' jidher burokratiku lil nies li jaraw biss l-ewwel ġimgħa. Sat-tielet inċident, jibda jidher ħanin.
Sistemi tal-AI iżidu l-ħtieġa għal dik il-ħniena għaliex jintroduċu varjabbiltà leġittima. Mudelli tal-lingwa jistgħu jiġu kampjati. L-irkupru jista' joħroġ kandidati qrib. Il-ġudizzju uman jista' jvarja. Dokumenti jistgħu jkunu ambigwi. Sistema ripetibbli ma tippretendix li d-dinja hija deterministika f'kull dettall. Hija tiddistingwi l-varjanza permessa mill-varjanza mhux amministrata. Tgħid li dan il-qasam jista' jvarja għaliex l-utent qed jistaqsi b'lingwa naturali, iżda dan is-sett ta' sorsi ma jridx jvarja mingħajr bidla rreġistrata fil-korpus. Din il-formulazzjoni tas-sommarju tista' tvarja, iżda l-bażi tal-eliġibbiltà ma tridx. Dan il-punteġġ jista' jiċċaqlaq wara aġġornament tal-mudell, iżda l-aġġornament irid ikun traċċabbli.
L-istess input mhux frażi sempliċi
In-nies jgħidu l-istess input bħallikieku l-frażi kienet ovvja. F'sistemi reali rari tkun ovvja. Il-mistoqsija viżibbli tal-utent hija biss parti waħda. L-input attwali jista' jinkludi dokumenti rkuprati, istruzzjonijiet moħbija, prompts tas-sistema, skemi tal-għodod, regoli tal-politika, ir-rwol tal-utent, il-ħin, il-lokalità, id-drittijiet ta' aċċess, rekords fil-cache, flags tal-karatteristiċi, il-verżjoni tal-mudell, l-indiċi tal-embedding, is-settings tal-limitu, u s-suppożizzjoni kwieta li r-riffreshjar tal-maħżen tad-data tal-bieraħ irnexxa. L-istess input jista' jsir kamra sorprendentement mimlija.
Għalhekk ir-ripetibbiltà tibda bl-identità tal-input. Is-sistema għandha tkun taf liema rekords kienu disponibbli, liema rekords intgħażlu, liema verżjoni tal-korpus ġiet imfittxija, liema template tal-prompt intuża, liema sett ta' politiki applika, liema mudell dam, liema għodod kienu permessi, u liema rwol uman aċċetta l-output. Jekk dan jinstema' ħafna, huwa għaliex it-triq tad-deċiżjoni kienet diġà kbira. L-unika mistoqsija hija jekk l-organizzazzjoni tammettihiex.
Id-distinzjoni importanti l-aktar meta r-riżultati jkunu kkontestati. Jekk klijent jistaqsi għaliex talba ġiet rifjutata, sptar jistaqsi għaliex deher flag ta' riskju, bank jistaqsi għaliex każ ġie eskalat, jew aġenzija pubblika tistaqsi għaliex ċittadin irċieva ċerta istruzzjoni, l-organizzazzjoni ma tistax twieġeb bil-mistoqsija viżibbli biss. Jeħtieġ il-kuntest operattiv. Mingħajru, ir-reviżjoni tal-inċident issir seans ta' spiriti edukat li fih kulħadd isejjaħ logs, memorja, u screenshots waqt li jippretendi li dan huwa metodu.
L-identità tal-input tipproteġi wkoll lit-timijiet minn akkużi foloz. Jekk riżultat inbidel għax inbidel dokument sors, dik hija kwistjoni ta' kontenut. Jekk inbidel għax indiċi nbena mill-ġdid b'parametri differenti, dik hija kwistjoni ta' rkupru. Jekk inbidel għax mudell ġie aġġornat, dik hija kwistjoni ta' tqegħid fis-seħħ. Jekk inbidel għax operatur uża fluss ta' xogħol differenti, dik hija kwistjoni ta' proċess. Li ssejjaħ dawn kollha mġiba tal-mudell huwa konvenjenti u żbaljat, taħlita qawwija f'organizzazzjonijiet b'kalendarji mimlija.
Ir-ripetibbiltà ma tfissirx li kollox jiffriża
Hemm oġġezzjoni għażżiena li r-ripetibbiltà toqtol l-adattament. Ma toqtlux. Toqtol il-misteru. Operazzjoni ripetibbli xorta tista' ttejjeb il-mudelli, tbiddel il-prompts, taġġorna r-regoli, tnaddaf id-dejta, iżżid is-sorsi, tirfina l-limiti, u tfassal mill-ġdid il-flussi tax-xogħol. Id-differenza hi li l-bidliet isiru avvenimenti msemmija minflok temp. Meta r-riżultat jiċċaqlaq, it-tim jista' jistaqsi liema bidla kkontrollata ċċaqalqitu. Hekk it-titjib isir tagħlim minflok superstizzjoni b'nota ta' rilaxx.
L-aqwa timijiet operattivi jittrattaw il-bidliet bħala esperimenti b'konfini. Iżommu każijiet bażi. Imexxu evalwazzjonijiet fid-dell. Iqabblu l-outputs ta' rkupru qodma u ġodda. Jiċċekkjaw eżempji ta' impatt għoli qabel il-promozzjoni. Jirreġistraw min approva l-bidla u għaliex. Jiddefinixxu l-kundizzjonijiet ta' riforniment qabel is-sejħa tat-tnedija, mhux waqt li l-kanal ta' appoġġ ikun qed jaqbad. Din mhix kawtela teatrali. Hekk it-timijiet jimxu aktar malajr wara li l-ewwel sistema tibda tgħodd.
Hemm ukoll dimensjoni morali, għalkemm aħjar li tinkiteb b'mod ċar. Jekk sistema tinfluwenza l-flus, ix-xogħol, il-kura, il-prijorità, l-infurzar, jew l-aċċess, in-nies affettwati minnha jistħoqqilhom aktar minn prestazzjoni. Jistħoqqilhom proċess li jista' jispjega lilu nnifsu. Ir-ripetibbiltà toħloq il-kundizzjoni minn qabel għal dik l-ispjegazzjoni. Ma tistax tawditja att li jisparixxi. Tista' biss tappladi jew tilmenta.
Għalhekk ir-ripetibbiltà tajba tifred l-istabbli mill-flessibbli. Stabbli huma r-rekords ta' dak li ġara, l-identifikaturi tal-verżjoni, is-sett ta' evalwazzjoni, in-nisel tas-sors, is-sid tar-regola, it-triq tal-approvazzjoni, u l-kundizzjonijiet ta' rifjut. Flessibbli huma t-tekniki użati biex jitjieb fi ħdan dawk il-konfini. Is-sengħa hi li tkun taf liema hi liema. Ħafna organizzazzjonijiet jaqilbuhom. Iffriżaw il-proċess għax ħadd ma jafda s-sistema, imbagħad jippermettu bidliet tekniċi moħbija għax ħadd ma jista' jarahom. Dik hija governanza b'persjana tat-twieqi.
Is-sett ta' evalwazzjoni huwa memorja ta' xogħol
Kull operazzjoni matura teħtieġ sett żgħir ta' każijiet li tirrifjuta li tinsa. Mhux benchmark sintetiku magħżul għax jidher impressjonanti f'rapport, imma sett ta' evalwazzjoni ħaj magħmul mill-każijiet skomdi li għallmu lit-tim xi ħaġa. Id-dokument bid-dati li jikkontradixxu lil xulxin. It-talba tal-klijent li tħallat żewġ politiki. Il-fattura fejn l-estrazzjoni tat-tabella kważi taħdem. In-nota medika b'abbrevjazzjonijiet ambigwi. Il-każ ta' akkwist fejn il-bażi legali tiswa aktar mir-risposta ovvja. Dawn il-każijiet isiru memorja istituzzjonali.
Sistema ripetibbli tmexxi dawn il-każijiet meta xi ħaġa tinbidel. L-għan mhuwiex li tadura outputs qodma. Kultant l-output il-qadim kien żbaljat. L-għan huwa li tifhem il-moviment. It-titjib fil-verżjoni l-ġdida tejjeb il-każ għar-raġuni t-tajba. Kisser imġiba fraġli imma importanti. Sar aktar kunfidenti waqt li tilef evidenza. Għażel sors differenti. Ipproduċa l-istess konklużjoni b'mogħdija aktar dgħajfa. F'xogħol serju, il-mogħdija tiswa għax l-istess risposta għar-raġuni ħażina mhijiex l-istess risposta.
Hawnhekk ħafna programmi mmexxija minn dimostrazzjonijiet jitilfu l-kontroll. Huma jkejlu l-pjaċir tal-utent, il-latenza, u l-eżattezza wiesgħa, imma ma jżommux il-każijiet ta' uġigħ qrib. Ir-riżultat huwa sistema li tista' tidher aħjar b'mod ġenerali waqt li ssir agħar fit-truf li jgħoddu. Il-medji huma utli. It-truf huma fejn tasal l-ilment bl-annessi.
Is-sett ta' evalwazzjoni għandu jinkludi wkoll każijiet ta' rifjut. Sistema li dejjem twieġeb mhijiex ta' għajnuna. Hija bżonnjuża. Ir-ripetibbiltà teħtieġ li s-sistema tirrifjuta b'mod konsistenti meta s-sorsi jkunu nieqsa, l-awtorità tkun assenti, il-kunfidenza tkun dgħajfa wisq, utent jistaqsi barra mir-rwol tiegħu, jew il-kompitu jeħtieġ deċiżjoni umana. L-imġiba ta' rifjut hija parti mill-kwalità. Le nadif ħafna drabi jiswa aktar minn forsi charming liebes bħala ċertezza.
Il-ġudizzju uman irid ikun ripetibbli wkoll
Ir-ripetibbiltà mhijiex biss proprjetà tal-magni. Il-passi umani jeħtieġu ripetibbiltà wkoll. Jekk reviżur wieħed jittratta l-output tal-mudell bħala abbozz, ieħor jittrattah bħala deċiżjoni, u t-tielet jittrattah bħala kollega irritanti, il-fluss tax-xogħol jitfixkel ma jimpurtax kemm ikun stabbli l-mudell. L-organizzazzjoni trid tiddefinixxi xi jfisser reviżjoni. Il-bniedem jivverifika s-sorsi, jiċċekkja l-politika, jieħu kampjun tal-evidenza, jiffirma, jeditja l-lingwa, jew jippossjedi l-konklużjoni. Kull verb joħloq dmir differenti.
L-operaturi jeħtieġu interfaces li jappoġġjaw dawk id-dmirijiet. Jekk iridu jivverifikaw is-sorsi, is-sorsi jridu jkunu viżibbli. Jekk iridu jiċċekkjaw il-politika, il-bażi tar-regola trid tkun qrib l-output. Jekk iridu jissuperaw, il-mogħdija tas-superament trid tkun normali, mhux moħbija wara buttuna li tħossha bħal qrar ta' tradiment. Jekk iridu jispjegaw deċiżjoni aktar tard, is-sistema trid tippreserva dak li raw dak iż-żmien. Inkella s-superviżjoni umana ssir frażi dekorattiva b'ID ta' impjegat imwaħħla.
It-taħriġ jiswa wkoll, imma mhux it-tip li jgħallem lin-nies jammiraw is-sistema. Taħriġ utli juri l-konfini. Jagħti lir-reviżuri eżempji ta' outputs b'saħħithom, outputs dgħajfin, evidenza nieqsa, sorsi skaduti, injezzjoni ta' pront, kunflitt ta' politika, u każijiet fejn il-mudell għandu jiġi injorat b'qalb kalm. Jgħid lin-nies liema nuqqas ta' qbil huma mistennija. Jgħidilhom li superamenti tajbin huma parti mis-sistema ta' kontroll. Jekk kull superament jiġi ttrattat bħala falliment ta' adozzjoni, in-nies jitgħallmu jieqfu jinnotaw. Il-bnedmin huma adattivi, kultant b'mod skonvenjenti.
Hemm faraġ niexef fil-kitba tal-proċedura. Mhux għax id-dokumenti huma maġiċi. Mhumiex, kif jaf kulmin iltaqa' ma' drive kondiviż. Il-faraġ ġej mill-forzar tal-organizzazzjoni tagħżel. Pass uman ripetibbli jgħid li dan ir-rwol irid jagħmel din il-kontrolla, b'din l-evidenza, taħt din id-deadline, u dan huwa dak li jiġri meta l-kontrolla tfalli. F'daqqa waħda s-superviżjoni għandha għadam.
Il-każwalità teħtieġ indirizz ta' dar
Xi sistemi tal-AI jinkludu l-każwalità fid-disinn. Il-kampjunar jista' jipproduċi lingwaġġ aħjar. It-tiftix jista' jesplora alternattivi. L-aġenti jistgħu jippruvaw toroq differenti ta' għodod. Il-feedback tal-bniedem jista' jibdel l-imġiba maż-żmien. Ħadd minn dan mhu ħażin minnu nnifsu. L-iżball operattiv hu li tħalli l-każwalità tgħix kullimkien u imkien. Jekk il-varjazzjoni hija utli, għid fejn hija permessa. Jekk hija riskjuża, illimitaha. Jekk isseħħ, irrekordja biżżejjed biex tifhimha. Il-każwalità mingħajr indirizz hija kif it-timijiet jispiċċaw jiddebaggjaw magna taċ-ċpar.
Hemm tekniki prattiċi. Uża settings deterministiċi fejn il-ħruġ huwa konsegwenzjali u l-kompitu huwa limitat. Irfina l-verżjonijiet u t-templates. Żomm snapshots tal-korpus. Irrekordja l-kandidati tal-irkuprar. Iffriża l-abbozzar kreattiv mid-deċiżjoni ta' appoġġ. Għal test ġenerattiv li jista' jvarja, evalwa l-allegazzjonijiet u s-sorsi aktar milli l-kliem tal-wiċċ. Għal flussi tax-xogħol aġentiċi, qabad il-pjanijiet tal-għodod, ir-riżultati tal-għodod, u t-toroq ta' rifjut. Għall-aġġornamenti tal-mudelli, mexxi paraguni paired qabel ma jiċċaqlaq it-traffiku. Ħadd minn dan ma jneħħi l-inċertezza. Jagħti lill-inċertezza siġġu fil-laqgħa u jwaqqafha milli timxi mill-pannelli tas-saqaf.
Ir-ripetibbiltà tbiddel ukoll il-lingwaġġ tal-inċidenti. Minflok ma tgħid li l-AI tat tweġiba ħażina, it-tim jista' jgħid li t-tweġiba użat snapshot tal-korpus 18, pakkett ta' politika 12, verżjoni tal-mudell 4, template tal-prompt 31, dokumenti rkuprati A, C u F, qabżet id-dokument B minħabba l-ambitu ta' aċċess, u ġiet aċċettata mir-rwol X mingħajr eskalazzjoni. Dik is-sentenza hija inqas eċċitanti milli "is-sistema marret barra mill-kontroll". Hija wkoll aktar utli, li hija diżappunt rikorrenti għal nies drammatiċi.
Meta s-sistema ma tistax tipprovdi dik is-sentenza, l-organizzazzjoni mhix qed topera l-AI. Qed tattendi l-AI. Tħares, tirreaġixxi, tfarraġ, u titama li l-bidla li jmiss tmur aħjar. Dan jista' jkun aċċettabbli għal prototip. Mhuwiex aċċettabbli għal xogħol li n-nies jiddependu fuqu.
L-iżball tax-xiri
Ir-ripetibbiltà trid tinxtara kif ukoll tinbena. Ħafna proċessi ta' akkwist għadhom jippremjaw l-aħjar dimostrazzjoni. Is-sistema li tidher bla xkiel, twieġeb malajr, u tagħti lill-maniġment sens pjaċevoli ta' modernità tieħu punti. Is-sistema li tispjega ż-żamma tal-evidenza, il-format tal-esportazzjoni, l-ittestjar ta' rigressjoni, l-irkuprar deterministiku, l-irfinar tal-verżjoni tal-mudell, ir-reviżjoni bbażata fuq ir-rwol, u l-politika ta' rollback tista' tinstema' inqas eċċitanti. Hekk l-organizzazzjonijiet jixtru laqgħat futuri.
Mistoqsijiet aħjar dwar ix-xiri huma diretti. Nistgħu nerġgħu ndoqqu każ. Nistgħu nesportaw il-mogħdija tal-evidenza. Nistgħu nwaħħlu jew insemmu kull mudell u pront li jaffettwa tweġiba. It-tiftix jista’ jerġa’ jitwettaq wara li tinbena mill-ġdid l-indiċi. Nistgħu nqabblu l-imġiba attwali ma’ bażi stabbilita qabel ma naċċettaw aġġornament. Jistgħu jiġu analizzati l-interventi umani mingħajr ma jittieħed kont ħażin ta’ ġudizzju utli. Nistgħu nitilqu bir-rekords tagħna. Nistgħu ngħidu lil min jivverifika x’ġara mingħajr ma niftħu talba ta’ appoġġ u nixegħlu xemgħa.
Dawn il-mistoqsijiet ma jirrikjedux ostilità lejn il-fornituri. Jirrikjedu maturità. Fornitur tajjeb għandu jkun jista’ jgħid liema partijiet huma ripetibbli, liema partijiet huma probabbilistiċi, liema evidenza hija disponibbli, liema evidenza mhijiex, u x’għandu jopera lix-xerrej innifsu. Xerrej li ma jistax jagħmel dawn il-mistoqsijiet eventwalment isib it-tweġibiet fil-produzzjoni, fejn it-tweġibiet huma aktar għaljin u jaslu liebsa headset.
L-istess loġika tax-xiri tapplika internament. It-timijiet tal-pjattaforma m’għandhomx ibigħu dimostrazzjoni lill-operazzjonijiet mingħajr il-kuntratt tar-ripetibbiltà. It-timijiet tad-dejta m’għandhomx jgħaddu s-sorsi mingħajr il-ġenealoġija tad-dejta. It-timijiet tal-mudelli m’għandhomx joħorġu titjib mingħajr paraguni mal-bażi. It-timijiet tal-governanza m’għandhomx japprovaw prinċipji mingħajr ma jittestjaw ir-rekords. Kulħadd irid it-tnedija. Ir-ripetibbiltà hija d-dixxiplina li tieħu ħsieb it-Tlieta wara t-tnedija.
Ir-ripetibbiltà hija qalb tajba lejn it-timijiet futuri
Hemm raġuni umana biex tieħu ħsieb ir-ripetibbiltà li rari tidher fi preżentazzjonijiet strateġiċi. Hija aktar ħanina. Hija aktar ħanina mal-operaturi li m’għandhomx għalfejn jaħsbu għaliex sistema nbidlet. Hija aktar ħanina mal-inġiniera li m’għandhomx għalfejn jibnu mill-ġdid inċidenti minn frak tad-dashboard. Hija aktar ħanina mal-maniġers li jridu jieħdu deċiżjonijiet taħt skrutinju. Hija aktar ħanina mal-klijenti, iċ-ċittadini, il-pazjenti, u l-kollegi li jixirqilhom tweġibiet li mhumiex improvizzati wara l-fatt. Sistema ripetibbli tnaqqas l-ammont ta’ pretiża istituzzjonali meħtieġa biex tgħaddi l-ġimgħa.
Ir-ripetibbiltà tagħmel l-onestà aktar faċli wkoll. Meta l-evidenza tkun disponibbli, it-timijiet jistgħu jgħidu li l-mudell falla hawn, id-dejta kienet skaduta hemm, il-politika kienet ambigwa, min jirrevedi ma kellux biżżejjed kuntest, jew is-sors kien nieqes. Mingħajr evidenza, kull ammissjoni tħossha riskjuża għax ħadd ma jaf fejn se tinżel il-ħtija. Għalhekk in-nies itaffu l-lingwaġġ, idewmu d-deċiżjonijiet, u joħolqu ċ-ċpar oħxon magħruf bħala allinjament. L-evidenza ma tagħmilx l-organizzazzjonijiet kuraġġużi, iżda tnaqqas l-ispiża li tkun preċiż.
Se jkun hemm sorpriżi xorta waħda. Ir-ripetibbiltà mhijiex seħer kontra r-realtà. Każijiet ġodda jkissru l-assunzjonijiet. L-utenti jistaqsu mistoqsijiet strambi. Dokumenti jaslu b'formattazzjoni li tidher li ġiet innegozjata waqt qtugħ tad-dawl. Il-mudelli jitjiebu f'direzzjoni waħda u jmorru lura f'oħra. Il-punt mhuwiex li titneħħa s-sorpriża. Huwa li s-sorpriża ssir informattiva minflok li tinfirex bħal marda.
Għalhekk ir-ripetibbiltà tiswa aktar mid-demos. Id-demos joħolqu t-twemmin li teżisti kapaċità. Ir-ripetibbiltà toħloq il-ħila li wieħed jistrieħ fuqha. L-ewwel waħda hija utli biex tibda konversazzjoni. It-tieni waħda hija meħtieġa biex isir ix-xogħol. Meta sistema tal-AI ssir parti minn istituzzjoni, il-mistoqsija ma tibqax jekk tistax timpressjona lil min ikun fil-kamra. Il-mistoqsija ssir jekk tistax tipproduċi, tippreserva, u tispjega x-xogħol tagħha f'jum ordinarju, taħt pressjoni ordinarja, b'nies ordinarji involuti. Il-jiem ordinarji huma fejn is-sistemi serji jaqilgħu l-għajxien tagħhom.