Žurnalai nėra įrodymas
Nepatogus momentas po valdymo skydelio
Pirmasis audito susitikimas paprastai prasideda pasitikėjimu. Komanda turi valdymo skydelius. Komanda turi registravimą. Komanda turi duomenų saugojimo politiką, SIEM integraciją, kelias ekrano nuotraukas ir žmogų, kuris žino, kur debesų konsolėje slepiasi eksportavimo mygtukas. Visi padarė įprastus dalykus. Būtent todėl susitikimas tampa nepatogus.
Auditorius neklausia, ar yra žurnalų. Žinoma, kad yra. Kiekviena šiuolaikinė sistema jų prirašo kilogramais. Klausimas yra, ar įrašas gali atsakyti į konkretų peržiūros klausimą, nereikalaujant, kad komanda istoriją atkurtų rankomis. Kas patvirtino įrankio iškvietimą? Kuri darbo eigos versija buvo paleista? Kokia duomenų teisė buvo įgyvendinta? Kada sužinota apie dirbtinio intelekto incidentą? Kas tiksliai buvo išleista? Ar grandinę galima patikrinti po to, kai sistema buvo perkelta, kai failas buvo rotuotas, kai pradinė paslauga buvo pakeista?
Čia įprastas registravimas pradeda svirduliuoti. Žurnalo eilutė yra naudingas operacinis signalas. Ji kūrėjui pasako, iš kur sklinda dūmai. Tačiau ji automatiškai nėra įrodymas. Ji gali būti laisvas tekstas. Ją gali pertvarkyti laikrodžiai, buferizavimas, darbuotojai, pakartotiniai bandymai ir failų rotacija. Joje gali būti nenuoseklūs laukai, nes viena komanda rašė struktūruotą JSON, o kita rašė tai, kas atrodė naudinga 23:41 val. Olandų ypatybė, beje: parašyti gražų proceso dokumentą, o tada vienintelį naudingą faktą įrašyti į žurnalo pranešimą, pavadintą misc. Labai efektyvu, jei tikslas yra vėliau gailėtis.
Ledger egzistuoja tam, kad gailėjimasis netaptų brangus. Tai tik papildymo srautas, sudarytas iš tipizuotų įvykių, sugrupuotų į sesijas, susietų maišomis, išsaugomų per saugyklos vidines sistemas ir atkuriamų kaip sistemos istorija. Jis nebando pakeisti kiekvienos duomenų bazės. Jis nebando būti AION. Jis nėra išvados įrodymas viename sprendime. Tai užantspauduotas operacinis įrašas apie tai, kas vyko aplink sistemą.
Skirtumas atrodo mažas, kol neateina pirmasis rimtas auditas. Žurnalai reikalauja, kad peržiūrėtojas patikėtų, jog eilučių rinkinys yra pakankamai išsamus, pakankamai sutvarkytas ir pakankamai nepakeistas. Ledger keičia atsakymo formą. Jis sako: štai įvykis, štai ankstesnė maiša, štai sesija, štai tipizuotas turinys, štai kaip eiti grandine. Mažiau teatro. Daugiau objekto.
Audito klausimas turi formą
Gerai suformuluoti audito klausimai yra erzinančiai konkretūs. Jų nesužavi tai, kad sistema buvo sudėtinga. Jiems nerūpi, kad diegimas turėjo dešimt paslaugų ir pranešimų magistralę su nuomonėmis. Jie prašo laiko momento, atsakingo veiksmo, įrašo ir būdo patikrinti, ar įrašas vis dar reiškia tai, ką reiškė, kai buvo sukurtas.
Būtent todėl Ledger pradeda nuo tipizuotų įvykių. Įrankio iškvietimas nėra tik eilutė, kurioje rašoma tool called. Įrankio rezultatas nėra tik sakinys. Patvirtinimas nėra gūžtelėjimas pečiais biliete. Sutikimas, DPA veikla, duomenų subjekto teisės, ištrynimo prašymai, dirbtinio intelekto incidentai, SBOM generavimas, atestacijos, artefaktai, sesijos, kontroliniai taškai, atkūrimo rezultatai: visa tai priklauso įvykių formoms. Svetainėje aprašomos devynios kategorijos ir dvidešimt trys variantai; vietinė įvykių schema palaiko šią struktūrą. Tikslus skaičius mažiau svarbus nei dizaino įprotis už jo. Audito klausimas turėtų atsidurti ant tipo, o ne ant pastraipos.
Rinkimas nėra biurokratija dėl pačios biurokratijos. Tai yra tai, kas neleidžia kiekvienam tyrimui virsti mažu archeologijos projektu. Jei įvykis turi kategoriją, turinį, laiko žymą, sesiją, tėvinį ryšį ten, kur reikia, metaduomenis, turinio maišą, ankstesnį maišą, pasirenkamą parašą ir atitikties metaduomenis, peržiūrintysis turi įrašą, kurį gali nagrinėti. Jei įvykis yra suformatuota eilutė, peržiūrintysis turi nuotaiką.
Tai ne karas prieš žurnalus. Žurnalai lieka naudingi veikiančioms sistemoms. Jie yra inžinieriaus periferinis matymas. „Ledger“ yra apie akimirkas, kai periferinio matymo nepakanka. Peržiūra klausia, ar istorija buvo išsaugota, ar įrašą galima atkurti, ar būseną galima atstatyti ir ar tylieji pakeitimai matomi. Tiems klausimams reikia struktūros, suprojektuotos prieš incidentą, o ne surinktos po jo.
Pridėjimas tik pabaigoje yra pažadas, kurį galima patikrinti
Pridėjimas tik pabaigoje skamba kaip paprastas pažadas. Įrašyk kartą. Pridėk prie galo. Neperrašyk istorijos. Praktiškai tas pažadas turi prasmę tik tada, jei įrašas gali atskleisti klastojimą, sutrumpinimą, trūkstamas grandis ir nutrūkusį tęstinumą. Tekstinis failas gali būti vadinamas pridedamu tik pabaigoje politikos dokumente, bet jei eilutė dingsta ir niekas nesiskundžia, politika buvo daugiausia interjero dekoracija.
„Ledger“ modeliuoja vientisumą įvykio lygmenyje. Kiekvienas įvykis turi turinį, kuris prisideda prie turinio maišo. Įvykis taip pat nurodo ankstesnį grandinės maišą. Saugyklos priežiūra gali patikrinti tęstinumą. Atkūrimas gali eiti per įvykius eilės tvarka. Pasitikėjimo inkaro taškai gali užantspauduoti segmentus. Svarbi idėja yra ta, kad vientisumas nėra perduodamas saugyklos pagrindinei sistemai, kuri teigia, kad įrašymas pavyko. Pats įvykis neša grandį, leidžiančią patikrinti grandinę.
Srautas sąmoningai paprastas: pridėjimas, maišas, inkaro taškas, išsaugojimas, atkūrimas. Paprastumas čia yra gerai. Audito infrastruktūra neturėtų priklausyti nuo didvyriškų pastangų. Jei sistemai reikia drąsaus inžinieriaus su skaičiuokle kiekvieną kartą, kai peržiūrintysis užduoda pagrindinį klausimą, sistema nebuvo padaryta atskaitinga. Ji tiesiog pasamdė kantrų žmogų.
Šaltinio medžiaga taip pat yra naudingas diegimo taškas. „Ledger“ gali būti arti sistemos: kaip įterpta Rust API, C ABI, šalutinis procesas ar paslaugos sąsaja. Tai svarbu, nes kilmės duomenys, užrašyti toli, dažnai atvyksta vėlai, praranda kontekstą arba yra filtruojami per siuntėjo patogumą. Kuo įvykis arčiau to, kas įvyko, tuo mažiau interpretacinių gudrybių reikia vėliau.
„Ledger“ nėra AION, ir tai gerai
Dažna AI valdymo klaida yra vieno žodžio naudojimas penkioms skirtingoms įrodymų rūšims. Viskas tampa atsekamumu, kilme, paaiškinamumu ar skaidrumu. Žodžiai tampa šilta sriuba. Visi linkčioja, niekas negali nieko atkurti, o tada reguliuotojas užduoda konkretų klausimą. Tai ne strategija. Tai rūkas su sąskaitomis.
„Ledger“ ir AION atsako į skirtingus klausimus. „Ledger“ įrašo, kas įvyko visoje sistemoje: įrankio iškvietimus, rezultatus, patvirtinimus, artefaktus, sesijas, atitikties įvykius, incidentus, patvirtinimus. AION patvirtina sprendimo viduje esančius samprotavimo žingsnius: ar, atsižvelgiant į pateiktas prielaidas ir taisykles, ši išvada sekė per užfiksuotą įrodymą? Tada „Trace“ neša operacijų grafikus, politikos vartus, maišus, šaknis ir atkūrimo kelius skaičiavimams. „Selvedge“ įrašo vykdymo nuorašus smėlio dėžėje. „Lattice“ vertina politikos vartus. Tai kaimynai, o ne sinonimai.
Šis atskyrimas nėra pedantiškumas. Jis neleidžia komandoms pervertinti savo teiginių. Labai geras Ledger įrašas gali parodyti, kad modelis buvo iškviestas, kad buvo suteiktas patvirtinimas, kad buvo sukurtas artefaktas ir kad buvo užfiksuotas incidentas. Tačiau jis savaime neįrodo, kad buvo padaryta loginė išvada. Tai AION sritis. Geras AION sertifikatas gali įrodyti samprotavimo kelią, bet jis savaime neužfiksuoja visų aplinkinių operacinių įvykių darbo eigoje. Tai Ledger sritis.
Kai ribos yra aiškios, visą sistemą lengviau apginti. Operacijų laiko juosta saugoma Ledger. Sprendimo įrodymas saugomas AION. Skaičiavimų pėdsakas saugomas Trace. Politikos sprendimą galima iš naujo įvertinti per Lattice. Smėlio dėžės vykdymą galima atkurti per Selvedge. Recenzentas gali užduoti tikslų klausimą ir gauti tinkamo tipo objektą, o ne brošiūrą apie skaidrumą.
Saugykla neturi keisti reikšmės
Vienas iš lengviausių būdų sugadinti audito kelią yra leisti saugyklos pasirinkimui pakeisti įrašo reikšmę. Atminties saugykla testams, JSONL failas perkeliamumui, vietinė duomenų bazė įterptiniam darbui, serverio duomenų bazė indeksuotai gamybai, archyvo talpykla ilgam saugojimui: tai yra laikysenos sprendimai. Jie neturi sukurti penkių skirtingų tiesų.
Ledger šaltinis ir svetainė abu pabrėžia keičiamą saugyklą ir stabilų įvykių modelį. Tikslus saugyklų sąrašas tarp šaltinių šiek tiek skiriasi, todėl vieša pamoka yra paprastesnė ir stipresnė: saugykla yra lygmuo, o ne schema. Įrašo forma turi išlikti nepakitusi judant. Migracija neturi paversti įvykio nauja jo paties interpretacija. Jei organizacija keičia diegimo laikyseną, grandinė turi likti grandine.
Tai skamba akivaizdžiai, kol nepamatai, kaip tikros sistemos to nepaiso. Komanda kūrimo metu registruoja visus laukus, gamyboje išmeta laukus dėl kaštų, eksportuoja kitokią formą į analitiką, saugo poaibį duomenų ežere, o paskui tikisi, kad vėlesnė peržiūra priims šį mišinį. Tai ne grandinė. Tai iškarpų albumas. Kartais naudingas iškarpų albumas, bet vis tiek iškarpų albumas.
Praktinė Ledger vertė yra ta, kad komandoms suteikiama viena įvykių forma, pagal kurią galima kurti. Saugyklos lygmuo gali būti pasirenkamas pagal mastelį, kaštus, saugojimo trukmę, užklausų galią ar izoliaciją. Peržiūros objektas lieka įvykių srautas. Auditorius neturi išmokti kiekvienos saugyklos asmenybės prieš paklausdamas, ar istorija buvo išsaugota.
Ko klausia peržiūra
Peržiūros momentas visada yra mažiau abstraktus, nei rodo architektūros diagramos. Kažkas klausia, kas patvirtino veiksmą. Kažkas klausia, ar buvo gautas sutikimas. Kažkas klausia, kada organizacija sužinojo apie AI incidentą. Kažkas klausia, koks programinės įrangos medžiagų sąrašas ar atestacija egzistavo, kai buvo išleistas produktas. Jei šie faktai dar nėra įrašai, komanda pradeda juos rekonstruoti iš bilietų, pokalbių, diegimo žurnalų, el. laiškų ir vilties. Viltis nėra duomenų modelis. Gaila, nes jos pritaikymas puikus.
Čia Ledger įvykių taksonomija atsiperka. ApprovalRequested, ApprovalGranted, ApprovalDenied. ConsentRecorded. DataSubjectRightExercised. DpiaCompleted. RightToErasureRequested. AiIncidentDetected. SbomGenerated. AttestationCompleted. Šie pavadinimai nėra įspūdingi. Gerai. Įspūdingoji atitikties dalis paprastai yra ten, kur prasideda bėdos. Naudinga dalis yra nuobodus įrašas, egzistuojantis dar prieš kam nors susijaudinant.
Dirbtinio intelekto sistemoms tai svarbu, nes aplinkos veiklos faktai dažnai yra tokie pat svarbūs kaip ir modelio rezultatas. Sprendimas gali būti techniškai teisingas, bet vis tiek veiklos požiūriu nepagrindžiamas, jei buvo paleista netinkama versija, naudota netinkama duomenų apimtis, apeitas netinkamas tvirtinimo kelias arba incidento įrašas sukurtas praėjus trims dienoms po to, kai visi jau viską žinojo. Modelis nėra visa sistema. Tai labai erzina modelių garbintojus, bet labai naudinga suaugusiems.
Tipizuoti įvykiai taip pat sumažina atsakomybės išsisukinėjimą. Peržiūros klausimas gali nurodyti įvykį, kuris turėtų egzistuoti. Jei jis egzistuoja, apžiūrėkite jį. Jei ne, tas nebuvimas pats savaime yra faktas. Tai geriau nei apsimesti, kad atsakymas kažkur yra žurnaluose, jei tik kas nors turi pakankamai ištvermės reguliariosioms išraiškoms.
Atkūrimas yra vieta, kur įrašas tampa naudingas
Įrašas, kurio negalima atkurti, dažnai yra tik atminties pagalbinė priemonė. Jis gali padėti žmonėms paaiškinti, kas tikriausiai įvyko. Atkūrimas tai keičia. Jis leidžia komandai eiti per išdėstytus įvykius ir atkurti būseną tam tikru laiko momentu. Tai skiriasi nuo laiko juostos skaitymo. Tai arčiau to, kad sistemos istorija būtų paprašyta apskaičiuoti savo pačios praeitį.
Ledger grupuoja įvykius į sesijas. Sesija gali reikšti pokalbį, darbo eigą, paleidimą ar vykdymo intervalą. Įvykius galima užklausti kartu ir atkurti kartu. Patikros taškai daro ilgas istorijas mažiau skausmingas. vientisumo patikros leidžia matyti nutrūkusias grandines. Tai svarbu, nes realūs incidentai retai būna pavieniai įvykiai. Jie yra sekos. Tvarka, kontekstas ir tėvinių ryšių santykiai tampa atsakymo dalimi.
Atkūrimas taip pat keičia įrodymų ekonomiką. Be atkūrimo kiekvienas rimtas klausimas tampa rankų darbu. Su atkūrimu organizacija gali imti pavyzdžius iš įrašų, tikrinti tęstinumą, peržiūrėti sesijas ir atkurti būseną kaip įprastos veiklos dalį. Tai nepanaikina sprendimo priėmimo. Tai pašalina vieną išvengiamo chaoso kategoriją.
Geriausia šio dalyko versija yra tyli. Niekas nešvenčia, nes į peržiūros klausimą buvo atsakyta iš įrašo. Tai turėtų atrodyti normalu. Įvykis buvo užrašytas, kai veiksmas įvyko. Grandinė vis dar patvirtinama. Sesija atkuriama. Būsena pasirinktame taške yra matoma. Tai programinės įrangos atitikmuo kvitų saugojimui, išskyrus tai, kad kvitas gali pasiskųsti, jei kas nors iš jo iškerpa gabalėlį.
Kodėl tai priklauso šalia AI darbo
AI darbas turi įprotį kurti įspūdingus atsakymus ir silpną veiklos atmintį. Komandos prisimena demonstraciją, raginimą, modelio pavadinimą, galbūt ekrano kopiją, galbūt „Slack“ giją, kurioje kažkas pasakė „siųskite“. Tada sistema patenka į gamybą ir pradeda priimti sprendimus, kviesti įrankius, naudoti duomenis, perkelti artefaktus, prašyti patvirtinimų ir kurti išimtis. Tada rezultatas nebėra vienintelė istorija.
Agentų sistemos tai daro aštriau. Agentas ne tik atsako. Jis suvokia, gauna, samprotauja, veikia ir perduoda darbą kitoms sistemoms. Kiekvienas įrankio iškvietimas ir rezultatas gali būti svarbus. Kiekvienas patvirtinimas gali būti svarbus. Kiekvienas artefaktas gali būti svarbus. Kiekvienas politikos vartai gali būti svarbūs. Jei vienintelis patvarus įrašas yra sumaišyta žurnalų krūva, organizacija sukūrė užimtą sistemą su bloga atmintimi.
Ledger suteikia tai atminčiai formą. Jis pats savaime nepadaro agento saugaus. Jis nepalaimina blogos darbo eigos. Jis neįrodo matematinės išvados. Jis įrašo veiklos pėdsaką taip, kad jį būtų galima patikrinti ir atkurti. Tai jau rimtas žingsnis į priekį nuo ekrano kopijų, konsolės eksportų ir šventos retrospektyvinės tiesos skaičiuoklės.
Tai taip pat gerina inžinerinę praktiką. Kai įvykiai yra tipizuoti, komandos turi nuspręsti, kas svarbu. Kai įvykiai yra susieti maišos grandine, komandos turi traktuoti istoriją kaip grandinę. Kai įvykius galima atkurti, komandos gali patikrinti, ar jų operacinė istorija tikrai atsikuria. Atskaitomybė nustoja būti pastraipa rizikos skyriuje ir tampa veiklos sutarties dalimi.
Pamoka
Pamoka nėra ta, kad žurnalai yra blogai. Žurnalai yra naudingi. Jie padeda žmonėms valdyti sistemas, diagnozuoti gedimus, suprasti našumą ir apsaugo kūrėjus nuo būtinybės spėlioti apie gamybinę elgseną iš nuojautų. Tačiau žurnalai nėra automatiškai įrodymai. Teksto eilutė netampa patikima vien todėl, kad ją įrašė rimtą pavadinimą turintis serveris.
Įrodymams reikia struktūros. Jiems reikia tęstinumo. Jiems reikia nuosavybės. Jiems reikia būdo aptikti pakeitimus ir spragas. Jie turi išlikti perkėlus saugyklą, pakeitus diegimą, pakeitus tiekėją ir įveikti labai žmogišką norą sutvarkyti istoriją prieš peržiūrą. Ledger yra atviras operacinis įrašas šiam darbui: tipizuoti įvykiai, maišos grandinės, sesijos, atkūrimas, vientisumo patikros ir diegimo paviršiai, pakankamai artimi sistemai, kad būtų naudingi.
Yra sausos komedijos tame, kad atskaitingo dirbtinio intelekto ateitis priklauso nuo geresnių nuobodžių įvykių įrašų kūrimo. Bet būtent taip veikia rimtos sistemos. Įspūdingas atsakymas sulaukia dėmesio. Įrašas nusprendžia, ar po šešių mėnesių kas nors vis dar turėtų tikėti sistema.
Taigi saugokite žurnalus. Skaitykite juos, ieškokite juose, braižykite jų grafikus, keikite juos, kai pasikeičia laiko žymos formatas. Tik nepainiokite jų su įrodymais. Įrodymai yra įrašas, kuriuo galite grįžti atgal, grandinė, kuri skundžiasi, kai yra nutraukiama, ir būsena, kurią galite atkurti, kai kambaryje pasidaro tylu ir kas nors paklausia, kas iš tikrųjų įvyko.