Melnās kastes gals: kāpēc caurskatāmība nav apspriežama
Kafkiskais slazds mūsdienu algoritmos
Franca Kafkas romānā Process galvenais varonis K. tiek arestēts, apsūdzēts un galu galā notiesāts ar necaurredzamas birokrātiskas varas starpniecību, kas nekad neatklāj viņam izvirzītās apsūdzības. Viņu sagrauj nevis likuma bardzība, bet gan tā nesaprotamība. Viņš nevar sevi aizstāvēt, jo nezina, par ko viņš tiek apsūdzēts. Viņš ir iesprostots loģikā, kuru nespēj saskatīt.
Mūsdienās, 2025. gadā, miljoniem cilvēku piedzīvo Procesa digitālo versiju. Mazā uzņēmuma īpašnieks piesakās aizdevumam un saņem atteikumu. Universitātes absolvente piesakās darbam un tiek izfiltrēta, pirms kāds cilvēks vispār ierauga viņas CV. Sociālo mediju konts tiek bloķēts par "kopienas vadlīniju pārkāpšanu". Krāpšanas brīdinājums iesaldē ģimenes bankas kontu, kamēr viņi atrodas atvaļinājumā.
Kad šie cilvēki jautā "Kāpēc?", atbilde (ja tāda vispār tiek sniegta) parasti ir variācija par tēmu: "Tā nolēma algoritms."
Ilgu laiku mēs to pieņēmām, jo algoritmi bija salīdzinoši vienkārši. Ja 1990. gadā jums atteica aizdevumu, visticamāk, tāpēc, ka jūsu ienākumi bija zem konkrēta sliekšņa, kas noteikts politikas rokasgrāmatā. Tas bija noteikums. Jūs varējāt ar to strīdēties. Jūs varējāt to labot. Jūs zinājāt, kur atrodaties.
Taču līdz ar dziļās mācīšanās attīstību mēs esam nodevuši savu lēmumu pieņemšanu melnajām kastēm. Šīs sistēmas ir efektīvas, jā. Tās ir neticami prognozējošas. Bet tās ir neizprotamas. Pat to radītāji nevar izskaidrot, kāpēc konkrēta ievade noved pie konkrētas izvades. Lēmums nav noteikums; tas ir miljardu matricu reizinājumu rezultāts, haotiskas, augstas dimensijas matemātiskas sistēmas izrietoša īpašība.
Mēs esam uzbūvējuši pasauli, kurā svarīgākos lēmumus par mūsu dzīvi (mūsu veselību, mūsu finansēm, mūsu brīvību) pieņem mašīnas, kas nerunā mūsu valodā. Tā nav tikai tehniska problēma. Tā ir demokrātijas krīze. Un risinājums nevar nākt no labāka mārketinga vai atbilstības teātra. Tam jānāk no fundamentāli atšķirīgas arhitektūras.
Neērtā patiesība par "izskaidrojamo mākslīgo intelektu"
Tehnoloģiju nozare, izjūtot pieaugošo regulatoru un sabiedrības pretreakciju, ir atbildējusi ar jomu, ko sauc par "izskaidrojamo mākslīgo intelektu" (XAI). Tā sola ieskatīties Melnajā kastē un pastāstīt, ko tā domā.
Bet lielākā daļa pašreizējo XAI paņēmienu, runājot tieši, ir žonglieru triks. Tās ir mierinoša ilūzija, kas radīta, lai nomierinātu atbilstības speciālistus un radītu caurskatāmības šķietamību bez satura.
Visizplatītākie paņēmieni, piemēram, SHAP (SHapley Additive exPlanations) vai LIME (Local Interpretable Model-agnostic Explanations), darbojas, "bakstot" melno kasti. Tie nedaudz maina ievadi (izņem vārdu no teksta, izbalina daļu attēla) un novēro, kā mainās izvade. No tā tie secina, kuras ievades daļas bija vissvarīgākās lēmuma pieņemšanā.
Tie ģenerē informācijas paneli. Tie parāda siltuma kartes pārklājumu uz medicīniskās skenēšanas attēla. Tie parāda joslu diagrammu, kurā teikts: "Modelis noraidīja jūsu aizdevumu, un pasta indeksa pazīme veidoja 18% no šī lēmuma."
Tas izskatās pēc skaidrojuma. Bet tas tāds nav. Tā ir korelācija.
Tas pastāsta, kur modelis skatījās, bet ne to, kāpēc tam bija nozīme. Tas neatklāj cēloņsakarības mehānismu. Vai modelis noraidīja aizdevumu tāpēc, ka pasta indekss norāda uz augstu plūdu risku (derīgs ekonomisks faktors)? Vai arī tas noraidīja aizdevumu tāpēc, ka pasta indekss korelē ar mazākumtautību iedzīvotājiem (nelikumīga diskriminācija)?
Siltuma karte nevar pateikt atšķirību. Abos gadījumos tā izskatās vienādi.
Sešas nāvējošas pēcpaskaidrojuma nepilnības
Kā Sintija Rūdina, Djūka universitātes profesore un interpretējamā mākslīgā intelekta pionieris, ir slaveni apgalvojusi: "Pārtrauciet izskaidrot melnās kastes mašīnmācīšanās modeļus augstu likmju lēmumiem un tā vietā izmantojiet interpretējamus modeļus." Mēs cenšamies lasīt tējas lapās, kad mums vajadzētu lasīt zīmējumus.
Šeit ir pamatproblēmas ar pēcpaskaidrojuma metodēm:
1. Skaidrojuma nestabilitāte: Dažādas XAI metodes sniedz atšķirīgus skaidrojumus vienam un tam pašam lēmumam. SHAP varētu teikt, ka ienākumi bija vissvarīgākie; LIME varētu teikt, ka darba vēsture. Kurš ir "patiesais"? Neviens nezina. Tie visi ir aptuveni aprēķini, kas minē par sistēmas uzvedību, kuru tie nevar redzēt.
2. Neaizsargātība pret ļaunprātīgu izmantošanu: Pētnieki ir parādījuši, ka XAI skaidrojumus var maldināt. Jūs varat apmācīt modeli, kas pieņem lēmumus, pamatojoties uz rasi, bet rada skaidrojumus, kas šķiet rases ziņā neitrāli. Skaidrojums kļūst par aizsegu, nevis logu uz patiesību.
3. Lokālā un globālā sajaukšana: Šīs metodes izskaidro atsevišķus lēmumus, nevis visas sistēmas loģiku. Jūs varat saņemt atšķirīgu skaidrojumu par to, kāpēc persona A tika noraidīta, salīdzinot ar personu B, pat ja abos gadījumos darbojās tieši tā pati pamatā esošā neobjektivitāte. Jūs nevarat saskatīt modeli.
4. Skaitļošanas izmaksas: SHAP vērtību ģenerēšana vienai prognozei sarežģītā modelī var aizņemt ilgāk nekā modeļa sākotnējā apmācība. Tas nav praktiski reāllaika sistēmām, kas pieņem miljoniem lēmumu.
5. Uzticamības plaisa: Nav garantijas, ka skaidrojums patiešām atspoguļo modeļa domāšanu. Skaidrojums ir vienkāršojums, augstas dimensijas procesa projekcija cilvēkam saprotamā telpā. Informācija neizbēgami tiek zaudēta, un šī zaudētā informācija varētu būt tieši tas, kam ir nozīme.
6. Pārmācīšanās novirze: Kad pārmācāt neironu tīklu (pat ar identiskiem datiem), svari mainās. Skaidrojumi mainās. Lēmumu, ko vakar "skaidroja" ienākumi, šodien var "skaidrot" nodarbinātības vēsture. Augsne zem kājām nepārtraukti mainās.
Binārās ierobežojumu atklāšanas atšķirība
Uzņēmumā Dweve mēs pilnībā noraidām melnās kastes principu. Mēs neticam "pēc fakta" skaidrojumiem (stāsta izdomāšanai pēc lēmuma pieņemšanas). Mēs ticam "pirms fakta" interpretējamībai: sistēmai jābūt saprotamai pēc konstrukcijas, pirms tiek pieņemts jebkāds lēmums.
Tas ir iespējams, pateicoties būtiskai arhitektūras atšķirībai tajā, kā mēs attēlojam zināšanas.
Tradicionālā dziļā mācīšanās glabā zināšanas kā apgūtus svarus: miljardiem peldošā komata skaitļu, kas radušies gradienta nolaišanās rezultātā. Šie svari ir izkliedēti visā tīklā. Nevienam atsevišķam svaram pašam par sevi nav nozīmes. Nozīme rodas tikai no miljardu svaru mijiedarbības, tāpēc neviens nevar izskaidrot, ko "dara" kāds atsevišķs svars.
Dweve binārā ierobežojumu atklāšana izmanto radikāli atšķirīgu pieeju. Tā vietā, lai apgūtu nepārtrauktus varbūtību sadalījumus, mēs atklājam un kristalizējam diskrētus loģiskus ierobežojumus. Zināšanas tiek attēlotas kā galīgas bināro noteikumu kopas, nevis izkliedēti varbūtību mākoņi.
Kad ierobežojums ir kristalizēts, tas kļūst par fiksētu, pārbaudāmu noteikumu. To var izlasīt. To var izdrukāt. Var precīzi izsekot, kuri ierobežojumi tika aktivizēti konkrētam lēmumam. Loģika ir redzama lēmuma pieņemšanas laikā, nevis izdomāta pēc tam.
Dweve Loom: 528 domēnam specifisku ierobežojumu kopas
Pašreizējā mākslīgā intelekta tendence ir veidot milzīgus "Dieva modeļus" (monolītus transformatorus, kas cenšas vienlaikus paveikt visu). Tie ir visu amatu meistari, bet neviena lietpratēji, un tos principā nav iespējams auditēt, jo to zināšanas ir izkliedētas simtiem miljardu neatšķiramu svaru.
Dweve izmanto pretēju pieeju. Mūsu Loom arhitektūra sastāv no 528 specializētām domēna speciālistu ierobežojumu kopām, no kurām katra satur 64-128MB kristalizētu bināro ierobežojumu.
Lūk, būtiskā atšķirība: tie nav 528 miljardi parametru. Tie ir 528 atsevišķas, specializētas zināšanu jomas. Viens jomas speciālists var specializēties finanšu riska novērtēšanā. Cits medicīniskajā attēlveidošanā. Vēl cits juridiskās dokumentācijas analīzē. Katrs jomas speciālists satur noteiktu loģisko ierobežojumu kopumu, kas attiecas uz tā jomu.
Kad iesniedzat vaicājumu Loom, mūsu PAP (Permuted Agreement Popcount) maršrutēšanas sistēma aktivizē tikai 4-8 attiecīgos nozares speciālistus. Tas ir kā konsultēties ar speciālistu grupu, nevis jautāt vienam cilvēkam, kurš apgalvo, ka zina visu.
Pārredzamības priekšrocība ir tūlītēja: par jebkuru lēmumu mēs varam parādīt, kuri nozares speciālisti tika konsultēti un kuri ierobežojumi tika aktivizēti. Mēs varam izdrukāt lēmumu ķēdi:
- Aktivēts domēna speciālists Nr. 127 (Finanšu risks)
- Ierobežojums: "Ienākumi > 3x ikmēneša saistības" novērtēts kā PATIESA
- Aktivēts domēna speciālists Nr. 43 (Kredītvēsture)
- Ierobežojums: "Nesenie saistību pārkāpumi = 0" novērtēts kā PATIESA
- Aktivēts domēna speciālists Nr. 89 (Parādu attiecība)
- Ierobežojums: "DTI < 0.43" novērtēts kā NEPATIESA (faktiskā vērtība: 0.52)
- LĒMUMS: LIEGT (iedarbinājis domēna speciālists Nr. 89, ierobežojums DTI)
Šis nav pēcapstrādes tuvinājums. Šis ir faktiskais spriešanas ceļš, kuru sistēma izmantoja. Ja lēmums ir nepareizs, mēs precīzi zinām, kuru ierobežojumu pārbaudīt. Mums nav jāpārtrenē miljardiem parametru. Mēs labojam ierobežojumu. Mēs izvietojam. Tas aizņem minūtes.
Juridiskais pienākums: GDPR 22. pants
Transparency nav tikai inženierijas izvēle. Eiropā tā arvien vairāk kļūst par juridisku prasību.
Eiropas Savienības Vispārīgās datu aizsardzības regulas (VDAR) 22. pants piešķir ES pilsoņiem tiesības netikt pakļautiem lēmumam, kas pamatots tikai uz automatizētu apstrādi, un (pats svarīgākais) tiesības saņemt "jēgpilnu informāciju par iesaistīto loģiku".
Galvenais vārds ir "jēgpilns". Siltuma karte nav jēgpilna informācija par loģiku. Tā ir statistisks artefakts. Korelāciju diagramma nav jēgpilna. Tā parāda, kas, nevis kāpēc.
Saskaņā ar stingru 22. panta interpretāciju mēs apgalvojam, ka lielākā daļa dziļās mācīšanās sistēmu, kas mūsdienās tiek izmantotas nozīmīgu lēmumu pieņemšanai, ir juridiski apšaubāmas. Tās nevar sniegt jēgpilnu informāciju par iesaistīto loģiku, jo tām nav loģikas nevienā cilvēkam saprotamā nozīmē. Tām ir svari.
Savukārt uz ierobežojumiem balstītas sistēmas sastāv no loģikas. Lēmumu koks, lai cik sarežģīts tas būtu, ir loģika. IF/THEN noteikumu kopums ir loģika. Kristalizēti ierobežojumi ir loģika. Tos var izdrukāt, izlasīt un saprast.
Veidojot uz ierobežojumiem balstītas sistēmas, mēs panākam, ka atbilstība prasībām kļūst vienkārša. Kad regulators jautā: „Kā jūsu sistēma pieņem lēmumus?”, mūsu klientiem nav jānodod USB disks ar 100 GB lielu svara failu un jārausta pleciem. Viņi var uzrādīt ierobežojumu katalogu. Viņi var izdrukāt lēmumu izsekošanas žurnālu. Viņi var precīzi parādīt, kāpēc tika pieņemts konkrētais lēmums.
Pārredzamības biznesa arguments
Papildus ētikai un likumam pārredzamība ir vienkārši labs bizness. Melnās kastes ir trauslas. Kad tās sabojājas, tās sabojājas klusi un katastrofāli. Jūs nezināt, kāpēc tās sabojājās, tāpēc nevarat tās efektīvi salabot.
Necaurredzamības izmaksas
Ja Black Box modelis sāk halucinēt vai pieņemt neobjektīvus lēmumus, jūsu vienīgā iespēja parasti ir to "pārāpīt". Jūs tajā iegremdējat vairāk datu, pieskaņojat dažus hiperparametrus, sadedzināt $100,000 GPU laika un cerat, ka jaunā versija būs labāka. Tā ir izmēģinājumu un kļūdu metode. Tā ir voodoo inženierija.
Anthropic 2024. gada pētījumā atklāja, ka vidējais laiks, kas nepieciešams ražošanas problēmas diagnosticēšanai un novēršanai lielā valodas modelī, bija 14 dienas. Četrpadsmit dienas potenciāla kaitējuma, regulatīvā riska un klientu neapmierinātības, kamēr jūsu komanda zondē melno kasti, cenšoties saprast, kas nogāja greizi.
Stikla ātrums
Pārredzama, uz ierobežojumiem balstīta sistēma ir atkļūdojama. Ja Dweve sistēma pieļauj kļūdu, mūsu informācijas panelis precīzi parāda, kurš ierobežojums tika aktivizēts, kurš domēna speciālists tika izsaukts un kādi dati tika izmantoti. Izstrādātājs var uz to paskatīties un teikt: "Ak, 'Debt Ratio' ierobežojuma slieksnis bija iestatīts uz 0.40, bet mūsu politika nosaka 0.43." Viņi labo ierobežojumu informācijas panelī. Viņi izvieto labojumu. Tas aizņem piecas minūtes. Nav nepieciešama pārāpīšana. Nav GPU sadedzināšanas.
Pārredzamība samazina vidējo problēmas novēršanas laiku (MTTR) ražošanas jautājumos no nedēļām līdz minūtēm. Tā nav tikai labāka inženierija. Tā ir labāka ekonomika.
Revidējamība kā funkcija
Regulētās nozarēs (finanses, veselības aprūpe, apdrošināšana, valdība) revidējamība nav izvēles jautājums. Tā ir priekšnoteikums izvietošanai. Katrs lēmums ir jāreģistrē, tam jābūt izsekojamam un aizstāvamam.
Melnās kastes sistēmām ir nepieciešami sarežģīti risinājumi: ēnu reģistrācijas sistēmas, kas mēģina uztvert pietiekami daudz konteksta, lai rekonstruētu lēmumus, atbilstības komandas, kas manuāli pārskata paraugus, juridiskas atrunas, kas noliedz jebkādu faktisku izpratni par to, kā sistēma darbojas.
Stikla kastes sistēmas padara revidējamību par dabisku sastāvdaļu. Katrs lēmums automātiski ģenerē pilnīgu izsekošanas ceļu. Revīzijas žurnāls nav rekonstrukcija; tas ir ieraksts par to, kas patiešām notika. Atbilstība kļūst par normālas darbības blakusproduktu, nevis pēcpārdomām, kas uzliktas virsū.
Uzticēšanās kā augstākā valūta
Mēs lūdzam AI darīt arvien vairāk mūsu vietā. Mēs vēlamies, lai tā vada mūsu automašīnas, diagnosticē mūsu bērnus, pārvalda mūsu pensiju fondus un aizsargā mūsu robežas. Bet mēs nevaram nodot mūsu civilizācijas atslēgas sistēmām, kuras mēs nesaprotam.
Uzticēšanās ir berze AI ieviešanā. Cilvēki neizmanto to, kam neuzticas. Un viņi neuzticas tam, ko nevar saprast.
Tas nav iracionāli. Tā ir gudrība. Kad ārsts izraksta zāles, jūs sagaidāt, ka viņš spēj izskaidrot, kāpēc. Kad inženieris projektē tiltu, mēs pieprasām, lai viņš parāda savus aprēķinus. Kad tiesnesis piespriež sodu apsūdzētajam, viņam ir jāpamato sava argumentācija.
Kāpēc AI būtu jābūt atbrīvotam no šī pamata atbildības standarta?
Melnā kaste bija īslaicīgs saīsinājums. Tā bija nepieciešama fāze AI bērnībā, kad mēs apmainījām izpratni pret veiktspēju, jo nezinājām, kā sasniegt abus. Bet mēs augam. Tehnoloģija nobriest. Un nobriedušas sistēmas neglabā noslēpumus.
Atbildības arhitektūra
Pārredzamība nav funkcija, ko pievieno beigās. Tā ir jāieprojektē jau no paša sākuma. Tai ir nepieciešama principiāli atšķirīga arhitektūra.
Tradicionālie neironu tīkli kodē zināšanas sadalītās svara matricās, kas neļauj tās pārbaudīt. Tā nav kļūda; tas ir neizbēgams gradienta nolaišanās darbības rezultāts. Zināšanas ir izkliedētas pa miljardiem parametru tādā veidā, ko cilvēka prāts nespēj aptvert.
Binārā ierobežojumu atklāšana kodē zināšanas diskrētos, lokalizētos ierobežojumos, kurus var atsevišķi pārbaudīt, mainīt un verificēt. Katrs ierobežojums ir saprotams apgalvojums par pasauli: "JA ienākumi pārsniedz trīskāršu ikmēneša saistību apjomu UN kredītvēsturē nav nesen nokavētu maksājumu, TAD apstiprināt līdz X summai."
To var izlasīt. To var apstrīdēt. To var regulēt. To var uzlabot. Ne vienu no šīm lietām nevar izdarīt ar 175 miljardu parametru svara matricu.
Ceļš uz priekšu
Mākslīgā intelekta nākotne nav noslēpumaina. Tā nav maģija. Tā ir inženierija. Un laba inženierija vienmēr, vienmēr ir pārredzama.
Mēs nelūdzam nozarei pilnībā atteikties no dziļās mācīšanās. Neironu tīkli joprojām ir izcili uztveres uzdevumos: pikseļu pārvēršanā jēdzienos, viļņformu pārvēršanā vārdos, neapstrādātu sensoru datu pārvēršanā strukturētos attēlojumos. Šie uztveres slāņi var palikt samērā necaurredzami, jo tie veic modeļu atpazīšanu, nevis lēmumu pieņemšanu.
Bet spriešanas slānim, slānim, kas pieņem nozīmīgus lēmumus par cilvēku dzīvēm, ir jābūt pārredzamam. Tam ir jābūt veidotam uz loģikas, ko cilvēki var pārbaudīt, verificēt un labot. Tam ir jābūt atbildīgam.
Šis ir neiro-simboliskais solījums: izmantot neironu tīklus uztverei, izmantot simbolisko loģiku spriešanai. Iegūt labāko no abām pasaulēm. Saglabāt spēku, iegūt pārredzamību.
Dweve arhitektūra iemieso šo principu. Mūsu 528 specializētās domēna speciālistu ierobežojumu kopas nodrošina spriešanu. Robeža starp tām ir skaidra, pārbaudāma un atbilstoša.
Melnās kastes laikmets beidzas. Stikla kastes laikmets sākas. Vienīgais jautājums ir, vai jūs vadīsiet šo pāreju vai tā jūs izjauks.
Mākslīgā intelekta nākotne ir pārredzama. Mākslīgā intelekta nākotne ir atbildīga. Mākslīgā intelekta nākotne ir Dweve.