Melnās kastes gals: kāpēc caurskatāmība nav apspriežama
Kafkiskais slazds mūsdienu algoritmos
Franca Kafkas romānā Process galvenais varonis K. tiek arestēts, apsūdzēts un galu galā notiesāts ar necaurredzamas birokrātiskas varas starpniecību, kas nekad neatklāj viņam izvirzītās apsūdzības. Viņu sagrauj nevis likuma bardzība, bet gan tā nesaprotamība. Viņš nevar sevi aizstāvēt, jo nezina, par ko viņš tiek apsūdzēts. Viņš ir iesprostots loģikā, kuru nespēj saskatīt.
Mūsdienās, 2025. gadā, miljoniem cilvēku piedzīvo Procesa digitālo versiju. Mazā uzņēmuma īpašnieks piesakās aizdevumam un saņem atteikumu. Universitātes absolvente piesakās darbam un tiek izfiltrēta, pirms kāds cilvēks vispār ierauga viņas CV. Sociālo mediju konts tiek bloķēts par "kopienas vadlīniju pārkāpšanu". Krāpšanas brīdinājums iesaldē ģimenes bankas kontu, kamēr viņi atrodas atvaļinājumā.
Kad šie cilvēki jautā "Kāpēc?", atbilde (ja tāda vispār tiek sniegta) parasti ir variācija par tēmu: "Tā nolēma algoritms."
Ilgu laiku mēs to pieņēmām, jo algoritmi bija salīdzinoši vienkārši. Ja 1990. gadā jums atteica aizdevumu, visticamāk, tāpēc, ka jūsu ienākumi bija zem konkrēta sliekšņa, kas noteikts politikas rokasgrāmatā. Tas bija noteikums. Jūs varējāt ar to strīdēties. Jūs varējāt to labot. Jūs zinājāt, kur atrodaties.
Taču līdz ar dziļās mācīšanās attīstību mēs esam nodevuši savu lēmumu pieņemšanu melnajām kastēm. Šīs sistēmas ir efektīvas, jā. Tās ir neticami prognozējošas. Bet tās ir neizprotamas. Pat to radītāji nevar izskaidrot, kāpēc konkrēta ievade noved pie konkrētas izvades. Lēmums nav noteikums; tas ir miljardu matricu reizinājumu rezultāts, haotiskas, augstas dimensijas matemātiskas sistēmas izrietoša īpašība.
Mēs esam uzbūvējuši pasauli, kurā svarīgākos lēmumus par mūsu dzīvi (mūsu veselību, mūsu finansēm, mūsu brīvību) pieņem mašīnas, kas nerunā mūsu valodā. Tā nav tikai tehniska problēma. Tā ir demokrātijas krīze. Un risinājums nevar nākt no labāka mārketinga vai atbilstības teātra. Tam jānāk no fundamentāli atšķirīgas arhitektūras.
Neērtā patiesība par "izskaidrojamo mākslīgo intelektu"
Tehnoloģiju nozare, izjūtot pieaugošo regulatoru un sabiedrības pretreakciju, ir atbildējusi ar jomu, ko sauc par "izskaidrojamo mākslīgo intelektu" (XAI). Tā sola ieskatīties Melnajā kastē un pastāstīt, ko tā domā.
Bet lielākā daļa pašreizējo XAI paņēmienu, runājot tieši, ir žonglieru triks. Tās ir mierinoša ilūzija, kas radīta, lai nomierinātu atbilstības speciālistus un radītu caurskatāmības šķietamību bez satura.
Visizplatītākie paņēmieni, piemēram, SHAP (SHapley Additive exPlanations) vai LIME (Local Interpretable Model-agnostic Explanations), darbojas, "bakstot" melno kasti. Tie nedaudz maina ievadi (izņem vārdu no teksta, izbalina daļu attēla) un novēro, kā mainās izvade. No tā tie secina, kuras ievades daļas bija vissvarīgākās lēmuma pieņemšanā.
Tie ģenerē informācijas paneli. Tie parāda siltuma kartes pārklājumu uz medicīniskās skenēšanas attēla. Tie parāda joslu diagrammu, kurā teikts: "Modelis noraidīja jūsu aizdevumu, un pasta indeksa pazīme veidoja 18% no šī lēmuma."
Tas izskatās pēc skaidrojuma. Bet tas tāds nav. Tā ir korelācija.
Tas pastāsta, kur modelis skatījās, bet ne to, kāpēc tam bija nozīme. Tas neatklāj cēloņsakarības mehānismu. Vai modelis noraidīja aizdevumu tāpēc, ka pasta indekss norāda uz augstu plūdu risku (derīgs ekonomisks faktors)? Vai arī tas noraidīja aizdevumu tāpēc, ka pasta indekss korelē ar mazākumtautību iedzīvotājiem (nelikumīga diskriminācija)?
Siltuma karte nevar pateikt atšķirību. Abos gadījumos tā izskatās vienādi.
Sešas nāvējošas pēcpaskaidrojuma nepilnības
Kā Sintija Rūdina, Djūka universitātes profesore un interpretējamā mākslīgā intelekta pionieris, ir slaveni apgalvojusi: "Pārtrauciet izskaidrot melnās kastes mašīnmācīšanās modeļus augstu likmju lēmumiem un tā vietā izmantojiet interpretējamus modeļus." Mēs cenšamies lasīt tējas lapās, kad mums vajadzētu lasīt zīmējumus.
Šeit ir pamatproblēmas ar pēcpaskaidrojuma metodēm:
1. Skaidrojuma nestabilitāte: Dažādas XAI metodes sniedz atšķirīgus skaidrojumus vienam un tam pašam lēmumam. SHAP varētu teikt, ka ienākumi bija vissvarīgākie; LIME varētu teikt, ka darba vēsture. Kurš ir "patiesais"? Neviens nezina. Tie visi ir aptuveni aprēķini, kas minē par sistēmas uzvedību, kuru tie nevar redzēt.
2. Neaizsargātība pret ļaunprātīgu izmantošanu: Pētnieki ir parādījuši, ka XAI skaidrojumus var maldināt. Jūs varat apmācīt modeli, kas pieņem lēmumus, pamatojoties uz rasi, bet rada skaidrojumus, kas šķiet rases ziņā neitrāli. Skaidrojums kļūst par aizsegu, nevis logu uz patiesību.
3. Lokālā un globālā sajaukšana: Šīs metodes izskaidro atsevišķus lēmumus, nevis visas sistēmas loģiku. Jūs varat saņemt atšķirīgu skaidrojumu par to, kāpēc persona A tika noraidīta, salīdzinot ar personu B, pat ja abos gadījumos darbojās tieši tā pati pamatā esošā neobjektivitāte. Jūs nevarat saskatīt modeli.
4. Skaitļošanas izmaksas: SHAP vērtību ģenerēšana vienai prognozei sarežģītā modelī var aizņemt ilgāk nekā modeļa sākotnējā apmācība. Tas nav praktiski reāllaika sistēmām, kas pieņem miljoniem lēmumu.
5. Uzticamības plaisa: Nav garantijas, ka skaidrojums patiešām atspoguļo modeļa domāšanu. Skaidrojums ir vienkāršojums, augstas dimensijas procesa projekcija cilvēkam saprotamā telpā. Informācija neizbēgami tiek zaudēta, un šī zaudētā informācija varētu būt tieši tas, kam ir nozīme.
6. Pārmācīšanās novirze: Kad pārmācāt neironu tīklu (pat ar identiskiem datiem), svari mainās. Skaidrojumi mainās. Lēmumu, ko vakar "skaidroja" ienākumi, šodien var "skaidrot" nodarbinātības vēsture. Augsne zem kājām nepārtraukti mainās.
Binārās ierobežojumu atklāšanas atšķirība
Uzņēmumā Dweve mēs pilnībā noraidām melnās kastes principu. Mēs neticam "pēc fakta" skaidrojumiem (stāsta izdomāšanai pēc lēmuma pieņemšanas). Mēs ticam "pirms fakta" interpretējamībai: sistēmai jābūt saprotamai pēc konstrukcijas, pirms tiek pieņemts jebkāds lēmums.
Tas ir iespējams, pateicoties būtiskai arhitektūras atšķirībai tajā, kā mēs attēlojam zināšanas.
Tradicionālā dziļā mācīšanās glabā zināšanas kā apgūtus svarus: miljardiem peldošā komata skaitļu, kas radušies gradienta nolaišanās rezultātā. Šie svari ir izkliedēti visā tīklā. Nevienam atsevišķam svaram pašam par sevi nav nozīmes. Nozīme rodas tikai no miljardu svaru mijiedarbības, tāpēc neviens nevar izskaidrot, ko "dara" kāds atsevišķs svars.
Dweve binārā ierobežojumu atklāšana izmanto radikāli atšķirīgu pieeju. Tā vietā, lai apgūtu nepārtrauktus varbūtību sadalījumus, mēs atklājam un kristalizējam diskrētus loģiskus ierobežojumus. Zināšanas tiek attēlotas kā galīgas bināro noteikumu kopas, nevis izkliedēti varbūtību mākoņi.
Kad ierobežojums ir kristalizēts, tas kļūst par fiksētu, pārbaudāmu noteikumu. To var izlasīt. To var izdrukāt. Var precīzi izsekot, kuri ierobežojumi tika aktivizēti konkrētam lēmumam. Loģika ir redzama lēmuma pieņemšanas laikā, nevis izdomāta pēc tam.
Dweve Loom: 456 Domain-specialist Constraint Sets
The current trend in AI is to build massive "God Models" (monolithic transformers that try to do everything at once). They are jack-of-all-trades, master of none, and fundamentally impossible to audit because their knowledge is distributed across hundreds of billions of undifferentiated weights.
Dweve takes the opposite approach. Our Loom architecture consists of 456 specialized domain-specialist constraint sets, each containing 64-128MB of crystallized binary constraints.
Here is the crucial difference: these are not 456 billion parameters. They are 456 distinct, specialized knowledge domains. One domain specialist might specialize in financial risk assessment. Another in medical imaging. Another in legal document analysis. Each domain specialist contains a discrete set of logical constraints relevant to its domain.
When you submit a query to Loom, our PAP (Permuted Agreement Popcount) routing system activates only 4-8 relevant domain specialists. It is like consulting a panel of specialists rather than asking one person who claims to know everything.
The transparency advantage is immediate: for any decision, we can show you exactly which domain specialists were consulted and which constraints fired. We can print out the decision chain:
- Domain specialist #127 (Financial Risk) activated
- Constraint: "Income > 3x Monthly Obligations" evaluated TRUE
- Domain specialist #43 (Credit History) activated
- Constraint: "Recent Defaults = 0" evaluated TRUE
- Domain specialist #89 (Debt Ratio) activated
- Constraint: "DTI < 0.43" evaluated FALSE (actual: 0.52)
- DECISION: DENY (triggered by Domain specialist #89, Constraint DTI)
This is not a post-hoc approximation. This is the actual reasoning path the system followed. If the decision is wrong, we know exactly which constraint to examine. We do not need to retrain billions of parameters. We fix the constraint. We deploy. It takes minutes.
The Legal Imperative: GDPR Article 22
Transparency is not just an engineering preference. In Europe, it is increasingly becoming a legal requirement.
Article 22 of the General Data Protection Regulation (GDPR) gives EU citizens the right not to be subject to a decision based solely on automated processing, and (crucially) the right to obtain "meaningful information about the logic involved."
The key word is "meaningful." A heatmap is not meaningful information about logic. It is a statistical artifact. A correlation chart is not meaningful. It shows what, not why.
Under a strict reading of Article 22, we argue that most Deep Learning systems deployed for consequential decisions today are legally questionable. They cannot provide meaningful information about the logic involved because they do not have logic in any human-comprehensible sense. They have weights.
Constraint-based systems, by contrast, are made of logic. A decision tree, however complex, is logic. A set of IF/THEN rules is logic. Crystallized constraints are logic. They can be printed, read, and understood.
Veidojot uz ierobežojumiem balstītas sistēmas, mēs panākam, ka atbilstība prasībām kļūst vienkārša. Kad regulators jautā: „Kā jūsu sistēma pieņem lēmumus?”, mūsu klientiem nav jānodod USB disks ar 100 GB lielu svara failu un jārausta pleciem. Viņi var uzrādīt ierobežojumu katalogu. Viņi var izdrukāt lēmumu izsekošanas žurnālu. Viņi var precīzi parādīt, kāpēc tika pieņemts konkrētais lēmums.
Pārredzamības biznesa arguments
Papildus ētikai un likumam pārredzamība ir vienkārši labs bizness. Melnās kastes ir trauslas. Kad tās sabojājas, tās sabojājas klusi un katastrofāli. Jūs nezināt, kāpēc tās sabojājās, tāpēc nevarat tās efektīvi salabot.
Necaurredzamības izmaksas
Ja Black Box modelis sāk halucinēt vai pieņemt neobjektīvus lēmumus, jūsu vienīgā iespēja parasti ir to "pārāpīt". Jūs tajā iegremdējat vairāk datu, pieskaņojat dažus hiperparametrus, sadedzināt $100,000 GPU laika un cerat, ka jaunā versija būs labāka. Tā ir izmēģinājumu un kļūdu metode. Tā ir voodoo inženierija.
Anthropic 2024. gada pētījumā atklāja, ka vidējais laiks, kas nepieciešams ražošanas problēmas diagnosticēšanai un novēršanai lielā valodas modelī, bija 14 dienas. Četrpadsmit dienas potenciāla kaitējuma, regulatīvā riska un klientu neapmierinātības, kamēr jūsu komanda zondē melno kasti, cenšoties saprast, kas nogāja greizi.
Stikla ātrums
Pārredzama, uz ierobežojumiem balstīta sistēma ir atkļūdojama. Ja Dweve sistēma pieļauj kļūdu, mūsu informācijas panelis precīzi parāda, kurš ierobežojums tika aktivizēts, kurš domēna speciālists tika izsaukts un kādi dati tika izmantoti. Izstrādātājs var uz to paskatīties un teikt: "Ak, 'Debt Ratio' ierobežojuma slieksnis bija iestatīts uz 0.40, bet mūsu politika nosaka 0.43." Viņi labo ierobežojumu informācijas panelī. Viņi izvieto labojumu. Tas aizņem piecas minūtes. Nav nepieciešama pārāpīšana. Nav GPU sadedzināšanas.
Pārredzamība samazina vidējo problēmas novēršanas laiku (MTTR) ražošanas jautājumos no nedēļām līdz minūtēm. Tā nav tikai labāka inženierija. Tā ir labāka ekonomika.
Revidējamība kā funkcija
Regulētās nozarēs (finanses, veselības aprūpe, apdrošināšana, valdība) revidējamība nav izvēles jautājums. Tā ir priekšnoteikums izvietošanai. Katrs lēmums ir jāreģistrē, tam jābūt izsekojamam un aizstāvamam.
Melnās kastes sistēmām ir nepieciešami sarežģīti risinājumi: ēnu reģistrācijas sistēmas, kas mēģina uztvert pietiekami daudz konteksta, lai rekonstruētu lēmumus, atbilstības komandas, kas manuāli pārskata paraugus, juridiskas atrunas, kas noliedz jebkādu faktisku izpratni par to, kā sistēma darbojas.
Stikla kastes sistēmas padara revidējamību par dabisku sastāvdaļu. Katrs lēmums automātiski ģenerē pilnīgu izsekošanas ceļu. Revīzijas žurnāls nav rekonstrukcija; tas ir ieraksts par to, kas patiešām notika. Atbilstība kļūst par normālas darbības blakusproduktu, nevis pēcpārdomām, kas uzliktas virsū.
Uzticēšanās kā augstākā valūta
Mēs lūdzam AI darīt arvien vairāk mūsu vietā. Mēs vēlamies, lai tā vada mūsu automašīnas, diagnosticē mūsu bērnus, pārvalda mūsu pensiju fondus un aizsargā mūsu robežas. Bet mēs nevaram nodot mūsu civilizācijas atslēgas sistēmām, kuras mēs nesaprotam.
Uzticēšanās ir berze AI ieviešanā. Cilvēki neizmanto to, kam neuzticas. Un viņi neuzticas tam, ko nevar saprast.
Tas nav iracionāli. Tā ir gudrība. Kad ārsts izraksta zāles, jūs sagaidāt, ka viņš spēj izskaidrot, kāpēc. Kad inženieris projektē tiltu, mēs pieprasām, lai viņš parāda savus aprēķinus. Kad tiesnesis piespriež sodu apsūdzētajam, viņam ir jāpamato sava argumentācija.
Kāpēc AI būtu jābūt atbrīvotam no šī pamata atbildības standarta?
Melnā kaste bija īslaicīgs saīsinājums. Tā bija nepieciešama fāze AI bērnībā, kad mēs apmainījām izpratni pret veiktspēju, jo nezinājām, kā sasniegt abus. Bet mēs augam. Tehnoloģija nobriest. Un nobriedušas sistēmas neglabā noslēpumus.
Atbildības arhitektūra
Pārredzamība nav funkcija, ko pievieno beigās. Tā ir jāieprojektē jau no paša sākuma. Tai ir nepieciešama principiāli atšķirīga arhitektūra.
Tradicionālie neironu tīkli kodē zināšanas sadalītās svara matricās, kas neļauj tās pārbaudīt. Tā nav kļūda; tas ir neizbēgams gradienta nolaišanās darbības rezultāts. Zināšanas ir izkliedētas pa miljardiem parametru tādā veidā, ko cilvēka prāts nespēj aptvert.
Binārā ierobežojumu atklāšana kodē zināšanas diskrētos, lokalizētos ierobežojumos, kurus var atsevišķi pārbaudīt, mainīt un verificēt. Katrs ierobežojums ir saprotams apgalvojums par pasauli: "JA ienākumi pārsniedz trīskāršu ikmēneša saistību apjomu UN kredītvēsturē nav nesen nokavētu maksājumu, TAD apstiprināt līdz X summai."
To var izlasīt. To var apstrīdēt. To var regulēt. To var uzlabot. Ne vienu no šīm lietām nevar izdarīt ar 175 miljardu parametru svara matricu.
Ceļš uz priekšu
Mākslīgā intelekta nākotne nav noslēpumaina. Tā nav maģija. Tā ir inženierija. Un laba inženierija vienmēr, vienmēr ir pārredzama.
Mēs nelūdzam nozarei pilnībā atteikties no dziļās mācīšanās. Neironu tīkli joprojām ir izcili uztveres uzdevumos: pikseļu pārvēršanā jēdzienos, viļņformu pārvēršanā vārdos, neapstrādātu sensoru datu pārvēršanā strukturētos attēlojumos. Šie uztveres slāņi var palikt samērā necaurredzami, jo tie veic modeļu atpazīšanu, nevis lēmumu pieņemšanu.
Bet spriešanas slānim, slānim, kas pieņem nozīmīgus lēmumus par cilvēku dzīvēm, ir jābūt pārredzamam. Tam ir jābūt veidotam uz loģikas, ko cilvēki var pārbaudīt, verificēt un labot. Tam ir jābūt atbildīgam.
Šis ir neiro-simboliskais solījums: izmantot neironu tīklus uztverei, izmantot simbolisko loģiku spriešanai. Iegūt labāko no abām pasaulēm. Saglabāt spēku, iegūt pārredzamību.
Dweve arhitektūra iemieso šo principu. Mūsu 1,937 aparatūrai optimizētie binārie algoritmi nodrošina uztveri. Mūsu 456 specializētās domēna speciālistu ierobežojumu kopas nodrošina spriešanu. Robeža starp tām ir skaidra, pārbaudāma un atbilstoša.
Melnās kastes laikmets beidzas. Stikla kastes laikmets sākas. Vienīgais jautājums ir, vai jūs vadīsiet šo pāreju vai tā jūs izjauks.
Mākslīgā intelekta nākotne ir pārredzama. Mākslīgā intelekta nākotne ir atbildīga. Mākslīgā intelekta nākotne ir Dweve.