Juodosios dėžės pabaiga: kodėl skaidrumas yra būtinas
Kafkiški šiuolaikinių algoritmų spąstai
Franzo Kafkos romane „Procesas" pagrindinis veikėjas K. yra suimamas, teisiamas ir galiausiai nuteisiamas nepermatomos biurokratinės valdžios, kuri niekada neatskleidžia jam pareikštų kaltinimų. Jį sugniuždo ne įstatymo griežtumas, o jo nesuprantamumas. Jis negali gintis, nes nežino, kuo kaltinamas. Jis įstrigęs logikoje, kurios nemato.
Šiandien, 2025-aisiais, milijonai žmonių išgyvena skaitmeninę „Proceso" versiją. Smulkaus verslo savininkui atmetama paskolos paraiška. Universiteto absolventė įsidarbina nepavykus, nes jos CV atmetamas dar prieš jį pamatant žmogui. Socialinės žiniasklaidos paskyra užblokuojama už „bendruomenės taisyklių pažeidimą". Sukčiavimo įspėjimas įšaldo šeimos banko sąskaitą joms atostogaujant.
Kai šie žmonės klausia „Kodėl?", atsakymas (jei jį išvis gauna) paprastai yra: „Nusprendė algoritmas."
Ilgą laiką tai priėmėme, nes algoritmai buvo gana paprasti. Jei 1990-aisiais jums buvo atsisakyta suteikti paskolą, greičiausiai todėl, kad jūsų pajamos buvo mažesnės nei konkrečia riba, nustatyta politikos vadove. Tai buvo taisyklė. Su ja buvo galima ginčytis. Ją buvo galima pataisyti. Jūs žinojote, kur stovite.
Tačiau atsiradus giluminiam mokymuisi, mes perdavėme sprendimų priėmimą juodosioms dėžėms. Šios sistemos veiksmingos, taip. Jos neįtikėtinai nuspėjamos. Bet jos nesuprantamos. Net jų kūrėjai negali tiksliai paaiškinti, kodėl konkretus įvesties duomuo lemia konkretų rezultatą. Sprendimas nėra taisyklė; tai milijardo matricų daugybos rezultatas, atsirandanti chaotiškos, daugiamatės matematinės sistemos savybė.
Mes sukūrėme pasaulį, kuriame svarbiausi sprendimai dėl mūsų gyvenimų (mūsų sveikatos, finansų, laisvės) priimami mašinų, kurios nemoka mūsų kalbos. Tai ne tik techninė problema. Tai demokratijos krizė. Ir sprendimas negali kilti iš geresnės rinkodaros ar atitikties teatro. Jis turi kilti iš iš esmės kitokios architektūros.
Nepatogi tiesa apie „paaiškinamąjį dirbtinį intelektą"
Technologijų pramonė, pajutusi augantį reguliuotojų ir visuomenės spaudimą, atsakė sukurdama sritį, vadinamą „paaiškinamuoju dirbtiniu intelektu" (XAI). Ji žada pažvelgti į juodosios dėžės vidų ir pasakyti, ką ši galvoja.
Tačiau dauguma dabartinių XAI metodų, jei kalbėsime tiesiai, yra triukas. Tai guodžianti iliuzija, sukurta nuraminti atitikties pareigūnus ir sudaryti skaidrumo įspūdį be jokio turinio.
Dažniausiai naudojami metodai, tokie kaip SHAP (SHapley Additive exPlanations) arba LIME (Local Interpretable Model-agnostic Explanations), veikia „bakstelėdami" į juodąją dėžę. Jie šiek tiek pakeičia įvestį (pašalina žodį iš teksto, užtamsina dalį paveikslėlio) ir stebi, kaip keičiasi išvestis. Iš to jie spėja, kurios įvesties dalys buvo „svarbiausios" priimant sprendimą.
Jie sukuria valdymo skydelį. Jie parodo šilumos žemėlapį, uždėtą ant medicininio tyrimo vaizdo. Jie parodo stulpelinę diagramą, teigiančią: „Modelis atmetė jūsų paskolą, o požymis „pašto indeksas" prie šio sprendimo prisidėjo 18 proc."
Tai atrodo kaip paaiškinimas. Bet taip nėra. Tai koreliacija.
Tai pasako, į ką modelis žiūrėjo, bet nepasako, kodėl tai buvo svarbu. Tai neatskleidžia priežastinio mechanizmo. Ar modelis atmetė paskolą todėl, kad pašto indeksas rodo didelę potvynių riziką (pagrįstas ekonominis veiksnys)? Ar atmetė todėl, kad pašto indeksas koreliuoja su mažumos gyventojais (neteisėtas redliningas)?
Šilumos žemėlapis negali parodyti skirtumo. Abiem atvejais jis atrodo vienodai.
Šešios mirtinos retrospektyvaus paaiškinimo ydos
Kaip garsiai teigia Cynthia Rudin, Duke universiteto profesorė ir paaiškinamojo dirbtinio intelekto pradininkė: „Nustokite aiškinti juodosios dėžės mašininio mokymosi modelius, kai sprendimai yra didelės svarbos, ir vietoj to naudokite paaiškinamus modelius." Mes bandome skaityti arbatos lapus, kai turėtume skaityti brėžinius.
Štai pagrindinės retrospektyvaus paaiškinimo metodų problemos:
1. Paaiškinimo nestabilumas: Skirtingi XAI metodai tam pačiam sprendimui pateikia skirtingus paaiškinimus. SHAP gali teigti, kad svarbiausios buvo pajamos; LIME gali teigti, kad darbo istorija. Kuris yra „teisingas"? Nei vienas nežino. Jie visi yra aproksimacijos, spėliojantys apie sistemos, kurios nematyti, elgesį.
2. Pažeidžiamumas priešininkų atžvilgiu: Mokslininkai įrodė, kad XAI paaiškinimus galima apgauti. Galima išmokyti modelį, kuris sprendimus priima remdamasis rase, bet pateikia paaiškinimus, atrodančius rasės atžvilgiu neutralius. Paaiškinimas tampa dangstymo istorija, o ne langu į tiesą.
3. Vietinio ir globalaus supainiojimas: Šie metodai paaiškina atskirus sprendimus, o ne visos sistemos logiką. Galite gauti skirtingą paaiškinimą, kodėl buvo atmestas asmuo A, ir kodėl asmuo B, net jei abiem atvejais suveikė lygiai tas pats pagrindinis šališkumas. Jūs nematote dėsningumo.
4. Skaičiavimo sąnaudos: SHAP reikšmių generavimas vienai prognozei sudėtingame modelyje gali užtrukti ilgiau nei pirminis modelio mokymas. Tai nepraktiška realaus laiko sistemoms, priimančioms milijonus sprendimų.
5. Tikslumo spraga: Nėra jokios garantijos, kad paaiškinimas iš tikrųjų atspindi modelio samprotavimą. Paaiškinimas yra supaprastinimas, didelės dimensijos proceso projekcija į žmogui suprantamą erdvę. Informacija neišvengiamai prarandama, o ta prarasta informacija gali būti būtent tai, kas svarbiausia.
6. Retraining Drift: Kai perkvalifikuojate neuroninį tinklą (net ir su tais pačiais duomenimis), svoriai pasikeičia. Pasikeičia ir paaiškinimai. Sprendimas, kurį vakar „paaiškino“ pajamos, šiandien gali būti „paaiškinamas“ darbo istorija. Žemė nuolat slysta iš po kojų.
„Binary Constraint Discovery“ skirtumas
„Dweve“ visiškai atmetame „juodosios dėžės“ principą. Netikime „post-hoc“ paaiškinimais (istorijos sugalvojimu po sprendimo priėmimo). Tikime „ante-hoc“ interpretuojamumu: sistema turi būti suprantama pagal savo dizainą, dar prieš priimant bet kokį sprendimą.
Tai įmanoma dėl esminio architektūrinio skirtumo, kaip atstovaujame žinias.
Tradicinis gilusis mokymasis žinias kaupia kaip išmoktus svorius: milijardus slankiojo kablelio skaičių, atsiradusių iš gradiento nusileidimo. Šie svoriai yra paskirstyti visame tinkle. Nė vienas svoris atskirai nieko nereiškia. Prasmė atsiranda tik iš milijardų svorių sąveikos, todėl niekas negali paaiškinti, ką „daro“ kuris nors atskiras svoris.
„Dweve“ „Binary Constraint Discovery“ taiko iš esmės kitokį metodą. Užuot mokęsi ištisinių tikimybių skirstinių, mes atrandame ir kristalizuojame diskrečius loginius apribojimus. Žinios atstovaujamos kaip baigtinės dvejetainių taisyklių aibės, o ne kaip išsklaidyti tikimybių debesys.
Kai apribojimas yra kristalizuojamas, jis tampa fiksuota, patikrinama taisykle. Galite ją perskaityti. Galite ją atspausdinti. Galite tiksliai atsekti, kurie apribojimai buvo aktyvuoti priimant bet kurį sprendimą. Logika matoma sprendimo metu, o ne sugalvojama po jo.
Dweve Loom: 456 Domain-specialist Constraint Sets
The current trend in AI is to build massive "God Models" (monolithic transformers that try to do everything at once). They are jack-of-all-trades, master of none, and fundamentally impossible to audit because their knowledge is distributed across hundreds of billions of undifferentiated weights.
Dweve takes the opposite approach. Our Loom architecture consists of 456 specialized domain-specialist constraint sets, each containing 64-128MB of crystallized binary constraints.
Here is the crucial difference: these are not 456 billion parameters. They are 456 distinct, specialized knowledge domains. One domain specialist might specialize in financial risk assessment. Another in medical imaging. Another in legal document analysis. Each domain specialist contains a discrete set of logical constraints relevant to its domain.
When you submit a query to Loom, our PAP (Permuted Agreement Popcount) routing system activates only 4-8 relevant domain specialists. It is like consulting a panel of specialists rather than asking one person who claims to know everything.
The transparency advantage is immediate: for any decision, we can show you exactly which domain specialists were consulted and which constraints fired. We can print out the decision chain:
- Domain specialist #127 (Financial Risk) activated
- Constraint: "Income > 3x Monthly Obligations" evaluated TRUE
- Domain specialist #43 (Credit History) activated
- Constraint: "Recent Defaults = 0" evaluated TRUE
- Domain specialist #89 (Debt Ratio) activated
- Constraint: "DTI < 0.43" evaluated FALSE (actual: 0.52)
- DECISION: DENY (triggered by Domain specialist #89, Constraint DTI)
This is not a post-hoc approximation. This is the actual reasoning path the system followed. If the decision is wrong, we know exactly which constraint to examine. We do not need to retrain billions of parameters. We fix the constraint. We deploy. It takes minutes.
The Legal Imperative: GDPR Article 22
Transparency is not just an engineering preference. In Europe, it is increasingly becoming a legal requirement.
Article 22 of the General Data Protection Regulation (GDPR) gives EU citizens the right not to be subject to a decision based solely on automated processing, and (crucially) the right to obtain "meaningful information about the logic involved."
The key word is "meaningful." A heatmap is not meaningful information about logic. It is a statistical artifact. A correlation chart is not meaningful. It shows what, not why.
Under a strict reading of Article 22, we argue that most Deep Learning systems deployed for consequential decisions today are legally questionable. They cannot provide meaningful information about the logic involved because they do not have logic in any human-comprehensible sense. They have weights.
Constraint-based systems, by contrast, are made of logic. A decision tree, however complex, is logic. A set of IF/THEN rules is logic. Crystallized constraints are logic. They can be printed, read, and understood.
Kurdami suvaržymais pagrįstas sistemas, užtikriname, kad atitiktis taptų paprasta. Kai reguliavimo institucija paklausia „Kaip jūsų sistema priima sprendimus?“, mūsų klientams nereikia atiduoti USB atmintinės su 100 GB svorio failu ir gūžčioti pečiais. Jie gali parodyti suvaržymų katalogą. Jie gali atspausdinti sprendimų seką. Jie gali įrodyti, kodėl buvo priimtas būtent toks sprendimas.
Verslo argumentai už skaidrumą
Be etikos ir teisės, skaidrumas yra tiesiog geras verslas. Juodosios dėžės yra trapios. Kai jos sugenda, jos sugenda tyliai ir katastrofiškai. Jūs nežinote, kodėl jos sugedo, todėl negalite jų efektyviai sutaisyti.
Nepermatomumo kaina
Jei juodosios dėžės modelis pradeda haliucinuoti ar priimti šališkus sprendimus, jūsų vienintelė galimybė paprastai yra jį „permokyti". Jūs įmetate į jį daugiau duomenų, pakoreguojate kelis hiperparametrus, išdeginate 100 000 USD GPU laiko ir tikitės, kad naujoji versija bus geresnė. Tai bandymų ir klaidų metodas. Tai vudu inžinerija.
2024 m. „Anthropic" atliktas tyrimas parodė, kad vidutinis laikas diagnozuoti ir išspręsti gamybos problemą dideliame kalbos modelyje buvo 14 dienų. Keturiolika dienų galimos žalos, reguliacinės rizikos ir klientų nepasitenkinimo, kol jūsų komanda naršo juodojoje dėžėje, bandydama suprasti, kas nutiko ne taip.
Stiklo greitis
Skaidri, apribojimais pagrįsta sistema yra derinama. Jei Dweve sistema padaro klaidą, mūsų valdymo skydelis tiksliai parodo, kuris apribojimas buvo suaktyvintas, kuris domeno specialistas įsijungė ir kokie duomenys buvo naudojami. Kūrėjas gali į tai pažiūrėti ir pasakyti: „O, 'Debt Ratio' apribojimo riba buvo nustatyta ties 0,40, kai mūsų politika numato 0,43." Jie pataiso apribojimą valdymo skydelyje. Jie įdiegia pataisymą. Tai užtrunka penkias minutes. Nereikia jokio permokymo. Jokio GPU deginimo.
Skaidrumas sumažina vidutinį sprendimo laiką (MTTR) gamybos problemoms nuo savaičių iki minučių. Tai ne tik geresnė inžinerija. Tai geresnė ekonomika.
Audito galimybė kaip funkcija
Reguliuojamose pramonės šakose (finansai, sveikatos priežiūra, draudimas, vyriausybė) audito galimybė nėra pasirinkimas. Tai būtina sąlyga diegimui. Kiekvienas sprendimas turi būti užregistruotas, atsekamas ir pagrįstas.
Juodosios dėžės sistemos reikalauja sudėtingų apėjimo būdų: šešėlinės registravimo sistemos, kurios bando užfiksuoti pakankamai konteksto sprendimams atkurti, atitikties komandos, kurios rankiniu būdu peržiūri pavyzdžius, teisiniai atsakomybės atsisakymai, kurie atsisako bet kokio faktinio supratimo, kaip sistema veikia.
Stiklo dėžės sistemos daro audito galimybę natūralia. Kiekvienas sprendimas automatiškai sugeneruoja išsamų pėdsaką. Audito žurnalas nėra rekonstrukcija; tai įrašas apie tai, kas iš tikrųjų įvyko. Atitiktis tampa normalaus veikimo šalutiniu produktu, o ne pavėluotai pritvirtintas papildomas elementas.
Pasitikėjimas kaip pagrindinė valiuta
Mes prašome AI padaryti vis daugiau ir daugiau už mus. Norime, kad ji vairuotų mūsų automobilius, diagnozuotų mūsų vaikus, valdytų mūsų pensijų fondus ir saugotų mūsų sienas. Tačiau negalime atiduoti raktų į mūsų civilizaciją sistemoms, kurių nesuprantame.
Pasitikėjimas yra trintis diegiant AI. Žmonės nenaudoja to, kuo nepasitiki. O jie nepasitiki tuo, ko negali suprasti.
Tai nėra neracionalu. Tai išmintis. Kai gydytojas skiria vaistus, tikimasi, kad jis galės paaiškinti kodėl. Kai inžinierius projektuoja tiltą, reikalaujame, kad jis parodytų savo skaičiavimus. Kai teisėjas skiria bausmę kaltinamajam, jis turi išdėstyti motyvus.
Kodėl AI turėtų būti atleista nuo šio pagrindinio atskaitomybės standarto?
Juodoji dėžė buvo laikinas spartusis kelias. Tai buvo būtinas etapas AI kūdikystėje, kai iškeitėme supratimą į našumą, nes nežinojome, kaip pasiekti abu. Tačiau mes augame. Technologija bręsta. O subrendusios sistemos nesaugo paslapčių.
Atskaitomybės architektūra
Skaidrumas nėra funkcija, kurią pridedate pabaigoje. Jis turi būti įdiegtas nuo pat pradžių. Tam reikia iš esmės kitokios architektūros.
Tradiciniai neuroniniai tinklai žinias koduoja paskirstytose svorių matricose, kurios priešinasi patikrai. Tai ne klaida; tai neišvengiama gradientų nusileidimo veikimo pasekmė. Žinios yra išsklaidytos per milijardus parametrų taip, kad nepaklūsta žmogaus supratimui.
Dvejetainis apribojimų atradimas žinias koduoja atskiruose, lokalizuotuose apribojimuose, kuriuos galima atskirai nagrinėti, keisti ir tikrinti. Kiekvienas apribojimas yra aiškus teiginys apie pasaulį: „JEI pajamos viršija tris kartus mėnesinius įsipareigojimus IR kredito istorija nerodo neseniai įvykusių įsipareigojimų nevykdymų, TADA patvirtinti iki X sumos."
Tai galite perskaityti. Dėl to galite diskutuoti. Tai galite reglamentuoti. Tai galite patobulinti. To negalite padaryti su 175 milijardų parametrų svorių matrica.
Kelias į priekį
Dirbtinio intelekto ateitis nėra paslaptinga. Ji nėra magija. Tai inžinerija. O gera inžinerija visada, visada yra skaidri.
Mes neprašome pramonės visiškai atsisakyti gilaus mokymosi. Neuroniniai tinklai ir toliau puikiai atlieka suvokimo užduotis: paverčia pikselius sąvokomis, bangų formas žodžiais, neapdorotus jutiklių duomenis struktūruotais vaizdiniais. Šie suvokimo sluoksniai gali likti gana nepermatomi, nes jie atlieka šablonų atpažinimą, o ne sprendimų priėmimą.
Tačiau samprotavimo sluoksnis, sluoksnis, kuris priima svarbius sprendimus žmonių gyvenimuose, turi būti skaidrus. Jis turi būti pagrįstas logika, kurią žmonės gali patikrinti, įvertinti ir taisyti. Jis turi būti atskaitingas.
Tai neurosimbolinis pažadas: naudokite neuroninius tinklus suvokimui, naudokite simbolinę logiką samprotavimui. Gaukite geriausią iš abiejų pasaulių. Išlaikykite galią, įgykite skaidrumą.
„Dweve" architektūra įkūnija šį principą. Mūsų 1 937 aparatūrai optimizuoti dvejetainiai algoritmai atlieka suvokimą. Mūsų 456 specializuotų srities specialistų apribojimų rinkiniai atlieka samprotavimą. Riba tarp jų yra aiški, audituojama ir atitinkanti reikalavimus.
Juodosios dėžės era baigiasi. Stiklinės dėžės era prasideda. Vienintelis klausimas, ar vadovausite šiam perėjimui, ar būsite jo sutrikdyti.
Dirbtinio intelekto ateitis yra skaidri. Dirbtinio intelekto ateitis yra atskaitinga. Dirbtinio intelekto ateitis yra „Dweve".