Juodosios dėžės pabaiga: kodėl skaidrumas yra būtinas
Kafkiški šiuolaikinių algoritmų spąstai
Franzo Kafkos romane „Procesas" pagrindinis veikėjas K. yra suimamas, teisiamas ir galiausiai nuteisiamas nepermatomos biurokratinės valdžios, kuri niekada neatskleidžia jam pareikštų kaltinimų. Jį sugniuždo ne įstatymo griežtumas, o jo nesuprantamumas. Jis negali gintis, nes nežino, kuo kaltinamas. Jis įstrigęs logikoje, kurios nemato.
Šiandien, 2025-aisiais, milijonai žmonių išgyvena skaitmeninę „Proceso" versiją. Smulkaus verslo savininkui atmetama paskolos paraiška. Universiteto absolventė įsidarbina nepavykus, nes jos CV atmetamas dar prieš jį pamatant žmogui. Socialinės žiniasklaidos paskyra užblokuojama už „bendruomenės taisyklių pažeidimą". Sukčiavimo įspėjimas įšaldo šeimos banko sąskaitą joms atostogaujant.
Kai šie žmonės klausia „Kodėl?", atsakymas (jei jį išvis gauna) paprastai yra: „Nusprendė algoritmas."
Ilgą laiką tai priėmėme, nes algoritmai buvo gana paprasti. Jei 1990-aisiais jums buvo atsisakyta suteikti paskolą, greičiausiai todėl, kad jūsų pajamos buvo mažesnės nei konkrečia riba, nustatyta politikos vadove. Tai buvo taisyklė. Su ja buvo galima ginčytis. Ją buvo galima pataisyti. Jūs žinojote, kur stovite.
Tačiau atsiradus giluminiam mokymuisi, mes perdavėme sprendimų priėmimą juodosioms dėžėms. Šios sistemos veiksmingos, taip. Jos neįtikėtinai nuspėjamos. Bet jos nesuprantamos. Net jų kūrėjai negali tiksliai paaiškinti, kodėl konkretus įvesties duomuo lemia konkretų rezultatą. Sprendimas nėra taisyklė; tai milijardo matricų daugybos rezultatas, atsirandanti chaotiškos, daugiamatės matematinės sistemos savybė.
Mes sukūrėme pasaulį, kuriame svarbiausi sprendimai dėl mūsų gyvenimų (mūsų sveikatos, finansų, laisvės) priimami mašinų, kurios nemoka mūsų kalbos. Tai ne tik techninė problema. Tai demokratijos krizė. Ir sprendimas negali kilti iš geresnės rinkodaros ar atitikties teatro. Jis turi kilti iš iš esmės kitokios architektūros.
Nepatogi tiesa apie „paaiškinamąjį dirbtinį intelektą"
Technologijų pramonė, pajutusi augantį reguliuotojų ir visuomenės spaudimą, atsakė sukurdama sritį, vadinamą „paaiškinamuoju dirbtiniu intelektu" (XAI). Ji žada pažvelgti į juodosios dėžės vidų ir pasakyti, ką ši galvoja.
Tačiau dauguma dabartinių XAI metodų, jei kalbėsime tiesiai, yra triukas. Tai guodžianti iliuzija, sukurta nuraminti atitikties pareigūnus ir sudaryti skaidrumo įspūdį be jokio turinio.
Dažniausiai naudojami metodai, tokie kaip SHAP (SHapley Additive exPlanations) arba LIME (Local Interpretable Model-agnostic Explanations), veikia „bakstelėdami" į juodąją dėžę. Jie šiek tiek pakeičia įvestį (pašalina žodį iš teksto, užtamsina dalį paveikslėlio) ir stebi, kaip keičiasi išvestis. Iš to jie spėja, kurios įvesties dalys buvo „svarbiausios" priimant sprendimą.
Jie sukuria valdymo skydelį. Jie parodo šilumos žemėlapį, uždėtą ant medicininio tyrimo vaizdo. Jie parodo stulpelinę diagramą, teigiančią: „Modelis atmetė jūsų paskolą, o požymis „pašto indeksas" prie šio sprendimo prisidėjo 18 proc."
Tai atrodo kaip paaiškinimas. Bet taip nėra. Tai koreliacija.
Tai pasako, į ką modelis žiūrėjo, bet nepasako, kodėl tai buvo svarbu. Tai neatskleidžia priežastinio mechanizmo. Ar modelis atmetė paskolą todėl, kad pašto indeksas rodo didelę potvynių riziką (pagrįstas ekonominis veiksnys)? Ar atmetė todėl, kad pašto indeksas koreliuoja su mažumos gyventojais (neteisėtas redliningas)?
Šilumos žemėlapis negali parodyti skirtumo. Abiem atvejais jis atrodo vienodai.
Šešios mirtinos retrospektyvaus paaiškinimo ydos
Kaip garsiai teigia Cynthia Rudin, Duke universiteto profesorė ir paaiškinamojo dirbtinio intelekto pradininkė: „Nustokite aiškinti juodosios dėžės mašininio mokymosi modelius, kai sprendimai yra didelės svarbos, ir vietoj to naudokite paaiškinamus modelius." Mes bandome skaityti arbatos lapus, kai turėtume skaityti brėžinius.
Štai pagrindinės retrospektyvaus paaiškinimo metodų problemos:
1. Paaiškinimo nestabilumas: Skirtingi XAI metodai tam pačiam sprendimui pateikia skirtingus paaiškinimus. SHAP gali teigti, kad svarbiausios buvo pajamos; LIME gali teigti, kad darbo istorija. Kuris yra „teisingas"? Nei vienas nežino. Jie visi yra aproksimacijos, spėliojantys apie sistemos, kurios nematyti, elgesį.
2. Pažeidžiamumas priešininkų atžvilgiu: Mokslininkai įrodė, kad XAI paaiškinimus galima apgauti. Galima išmokyti modelį, kuris sprendimus priima remdamasis rase, bet pateikia paaiškinimus, atrodančius rasės atžvilgiu neutralius. Paaiškinimas tampa dangstymo istorija, o ne langu į tiesą.
3. Vietinio ir globalaus supainiojimas: Šie metodai paaiškina atskirus sprendimus, o ne visos sistemos logiką. Galite gauti skirtingą paaiškinimą, kodėl buvo atmestas asmuo A, ir kodėl asmuo B, net jei abiem atvejais suveikė lygiai tas pats pagrindinis šališkumas. Jūs nematote dėsningumo.
4. Skaičiavimo sąnaudos: SHAP reikšmių generavimas vienai prognozei sudėtingame modelyje gali užtrukti ilgiau nei pirminis modelio mokymas. Tai nepraktiška realaus laiko sistemoms, priimančioms milijonus sprendimų.
5. Tikslumo spraga: Nėra jokios garantijos, kad paaiškinimas iš tikrųjų atspindi modelio samprotavimą. Paaiškinimas yra supaprastinimas, didelės dimensijos proceso projekcija į žmogui suprantamą erdvę. Informacija neišvengiamai prarandama, o ta prarasta informacija gali būti būtent tai, kas svarbiausia.
6. Retraining Drift: Kai perkvalifikuojate neuroninį tinklą (net ir su tais pačiais duomenimis), svoriai pasikeičia. Pasikeičia ir paaiškinimai. Sprendimas, kurį vakar „paaiškino“ pajamos, šiandien gali būti „paaiškinamas“ darbo istorija. Žemė nuolat slysta iš po kojų.
„Binary Constraint Discovery“ skirtumas
„Dweve“ visiškai atmetame „juodosios dėžės“ principą. Netikime „post-hoc“ paaiškinimais (istorijos sugalvojimu po sprendimo priėmimo). Tikime „ante-hoc“ interpretuojamumu: sistema turi būti suprantama pagal savo dizainą, dar prieš priimant bet kokį sprendimą.
Tai įmanoma dėl esminio architektūrinio skirtumo, kaip atstovaujame žinias.
Tradicinis gilusis mokymasis žinias kaupia kaip išmoktus svorius: milijardus slankiojo kablelio skaičių, atsiradusių iš gradiento nusileidimo. Šie svoriai yra paskirstyti visame tinkle. Nė vienas svoris atskirai nieko nereiškia. Prasmė atsiranda tik iš milijardų svorių sąveikos, todėl niekas negali paaiškinti, ką „daro“ kuris nors atskiras svoris.
„Dweve“ „Binary Constraint Discovery“ taiko iš esmės kitokį metodą. Užuot mokęsi ištisinių tikimybių skirstinių, mes atrandame ir kristalizuojame diskrečius loginius apribojimus. Žinios atstovaujamos kaip baigtinės dvejetainių taisyklių aibės, o ne kaip išsklaidyti tikimybių debesys.
Kai apribojimas yra kristalizuojamas, jis tampa fiksuota, patikrinama taisykle. Galite ją perskaityti. Galite ją atspausdinti. Galite tiksliai atsekti, kurie apribojimai buvo aktyvuoti priimant bet kurį sprendimą. Logika matoma sprendimo metu, o ne sugalvojama po jo.
Dweve Loom: 528 domenų specialistų apribojimų rinkiniai
Dabartinė dirbtinio intelekto tendencija - kurti didžiulius „Dievo modelius“ (monolitinius transformatorius, kurie bando viską daryti vienu metu). Jie yra visų amatų meistrai, bet nė vieno tobulo, ir iš esmės neįmanomi audituoti, nes jų žinios paskirstytos šimtuose milijardų nediferencijuotų svorių.
„Dweve“ laikosi priešingo požiūrio. Mūsų „Loom“ architektūrą sudaro 528 specializuoti domeno specialistų apribojimų rinkiniai, kurių kiekviename yra 64-128 MB kristalizuotų dvejetainių apribojimų.
Štai esminis skirtumas: tai ne 528 milijardai parametrų. Tai 528 atskiros, specializuotos žinių sritys. Vienas srities specialistas gali specializuotis finansinės rizikos vertinime. Kitas - medicininėje vaizdinėje diagnostikoje. Kitas - teisinių dokumentų analizėje. Kiekvienas srities specialistas turi atskirą loginių apribojimų rinkinį, susijusį su jo sritimi.
Kai pateikiate užklausą Loom, mūsų PAP (Permuted Agreement Popcount) maršrutizavimo sistema suaktyvina tik 4-8 atitinkamos srities specialistus. Tai tarsi konsultuotis su specialistų grupe, o ne klausti vieno žmogaus, kuris teigia viską žinantis.
Skaidrumo pranašumas akivaizdus: dėl bet kurio sprendimo galime parodyti, kurie srities specialistai buvo konsultuoti ir kurie apribojimai buvo aktyvuoti. Galime atspausdinti sprendimo grandinę:
- Aktyvuotas srities specialistas #127 (Finansinė rizika)
- Apribojimas: „Pajamos > 3x mėnesiniai įsipareigojimai“ įvertintas TRUE
- Aktyvuotas srities specialistas #43 (Kredito istorija)
- Apribojimas: „Neseniai įvykę įsipareigojimų nevykdymai = 0“ įvertintas TRUE
- Aktyvuotas srities specialistas #89 (Skolos santykis)
- Apribojimas: „DTI < 0.43“ įvertintas FALSE (faktinė reikšmė: 0.52)
- SPRENDIMAS: ATMESTI (paskatino srities specialistas #89, apribojimas DTI)
Tai nėra pavėluotas apytikslis sprendimas. Tai yra tikrasis samprotavimo kelias, kuriuo sistema ėjo. Jei sprendimas klaidingas, tiksliai žinome, kurį apribojimą reikia išnagrinėti. Mums nereikia iš naujo mokyti milijardų parametrų. Pataisome apribojimą. Įdiegiame. Tai užtrunka minutes.
Teisinė prievolė: BDAR 22 straipsnis
Skaidrumas - ne tik inžinerinis pasirinkimas. Europoje jis vis dažniau tampa teisine prievole.
GDPR 22 straipsnis suteikia ES piliečiams teisę nebūti pavaldiems sprendimui, pagrįstam vien tik automatiniu duomenų tvarkymu, ir (svarbiausia) teisę gauti „prasmingą informaciją apie taikomą logiką“.
Pagrindinis žodis yra „prasminga“. Šilumos žemėlapis nėra prasminga informacija apie logiką. Tai statistinis artefaktas. Koreliacijos diagrama nėra prasminga. Ji parodo ką, o ne kodėl.
Pagal griežtą 22 straipsnio aiškinimą teigiame, kad dauguma šiandien diegiamų giliųjų mokymosi sistemų, skirtų reikšmingiems sprendimams priimti, teisiškai yra abejotinos. Jos negali pateikti prasmingos informacijos apie naudojamą logiką, nes neturi logikos jokia žmogui suprantama prasme. Jos turi tik svorius.
Suvaržymais pagrįstos sistemos, priešingai, yra sudarytos iš logikos. Sprendimų medis, kad ir koks sudėtingas, yra logika. IF/THEN taisyklių rinkinys yra logika. Sukristalinti suvaržymai yra logika. Juos galima atspausdinti, perskaityti ir suprasti.
Kurdami suvaržymais pagrįstas sistemas, užtikriname, kad atitiktis taptų paprasta. Kai reguliavimo institucija paklausia „Kaip jūsų sistema priima sprendimus?“, mūsų klientams nereikia atiduoti USB atmintinės su 100 GB svorio failu ir gūžčioti pečiais. Jie gali parodyti suvaržymų katalogą. Jie gali atspausdinti sprendimų seką. Jie gali įrodyti, kodėl buvo priimtas būtent toks sprendimas.
Verslo argumentai už skaidrumą
Be etikos ir teisės, skaidrumas yra tiesiog geras verslas. Juodosios dėžės yra trapios. Kai jos sugenda, jos sugenda tyliai ir katastrofiškai. Jūs nežinote, kodėl jos sugedo, todėl negalite jų efektyviai sutaisyti.
Nepermatomumo kaina
Jei juodosios dėžės modelis pradeda haliucinuoti ar priimti šališkus sprendimus, jūsų vienintelė galimybė paprastai yra jį „permokyti". Jūs įmetate į jį daugiau duomenų, pakoreguojate kelis hiperparametrus, išdeginate 100 000 USD GPU laiko ir tikitės, kad naujoji versija bus geresnė. Tai bandymų ir klaidų metodas. Tai vudu inžinerija.
2024 m. „Anthropic" atliktas tyrimas parodė, kad vidutinis laikas diagnozuoti ir išspręsti gamybos problemą dideliame kalbos modelyje buvo 14 dienų. Keturiolika dienų galimos žalos, reguliacinės rizikos ir klientų nepasitenkinimo, kol jūsų komanda naršo juodojoje dėžėje, bandydama suprasti, kas nutiko ne taip.
Stiklo greitis
Skaidri, apribojimais pagrįsta sistema yra derinama. Jei Dweve sistema padaro klaidą, mūsų valdymo skydelis tiksliai parodo, kuris apribojimas buvo suaktyvintas, kuris domeno specialistas įsijungė ir kokie duomenys buvo naudojami. Kūrėjas gali į tai pažiūrėti ir pasakyti: „O, 'Debt Ratio' apribojimo riba buvo nustatyta ties 0,40, kai mūsų politika numato 0,43." Jie pataiso apribojimą valdymo skydelyje. Jie įdiegia pataisymą. Tai užtrunka penkias minutes. Nereikia jokio permokymo. Jokio GPU deginimo.
Skaidrumas sumažina vidutinį sprendimo laiką (MTTR) gamybos problemoms nuo savaičių iki minučių. Tai ne tik geresnė inžinerija. Tai geresnė ekonomika.
Audito galimybė kaip funkcija
Reguliuojamose pramonės šakose (finansai, sveikatos priežiūra, draudimas, vyriausybė) audito galimybė nėra pasirinkimas. Tai būtina sąlyga diegimui. Kiekvienas sprendimas turi būti užregistruotas, atsekamas ir pagrįstas.
Juodosios dėžės sistemos reikalauja sudėtingų apėjimo būdų: šešėlinės registravimo sistemos, kurios bando užfiksuoti pakankamai konteksto sprendimams atkurti, atitikties komandos, kurios rankiniu būdu peržiūri pavyzdžius, teisiniai atsakomybės atsisakymai, kurie atsisako bet kokio faktinio supratimo, kaip sistema veikia.
Stiklo dėžės sistemos daro audito galimybę natūralia. Kiekvienas sprendimas automatiškai sugeneruoja išsamų pėdsaką. Audito žurnalas nėra rekonstrukcija; tai įrašas apie tai, kas iš tikrųjų įvyko. Atitiktis tampa normalaus veikimo šalutiniu produktu, o ne pavėluotai pritvirtintas papildomas elementas.
Pasitikėjimas kaip pagrindinė valiuta
Mes prašome AI padaryti vis daugiau ir daugiau už mus. Norime, kad ji vairuotų mūsų automobilius, diagnozuotų mūsų vaikus, valdytų mūsų pensijų fondus ir saugotų mūsų sienas. Tačiau negalime atiduoti raktų į mūsų civilizaciją sistemoms, kurių nesuprantame.
Pasitikėjimas yra trintis diegiant AI. Žmonės nenaudoja to, kuo nepasitiki. O jie nepasitiki tuo, ko negali suprasti.
Tai nėra neracionalu. Tai išmintis. Kai gydytojas skiria vaistus, tikimasi, kad jis galės paaiškinti kodėl. Kai inžinierius projektuoja tiltą, reikalaujame, kad jis parodytų savo skaičiavimus. Kai teisėjas skiria bausmę kaltinamajam, jis turi išdėstyti motyvus.
Kodėl AI turėtų būti atleista nuo šio pagrindinio atskaitomybės standarto?
Juodoji dėžė buvo laikinas spartusis kelias. Tai buvo būtinas etapas AI kūdikystėje, kai iškeitėme supratimą į našumą, nes nežinojome, kaip pasiekti abu. Tačiau mes augame. Technologija bręsta. O subrendusios sistemos nesaugo paslapčių.
Atskaitomybės architektūra
Skaidrumas nėra funkcija, kurią pridedate pabaigoje. Jis turi būti įdiegtas nuo pat pradžių. Tam reikia iš esmės kitokios architektūros.
Tradiciniai neuroniniai tinklai žinias koduoja paskirstytose svorių matricose, kurios priešinasi patikrai. Tai ne klaida; tai neišvengiama gradientų nusileidimo veikimo pasekmė. Žinios yra išsklaidytos per milijardus parametrų taip, kad nepaklūsta žmogaus supratimui.
Dvejetainis apribojimų atradimas žinias koduoja atskiruose, lokalizuotuose apribojimuose, kuriuos galima atskirai nagrinėti, keisti ir tikrinti. Kiekvienas apribojimas yra aiškus teiginys apie pasaulį: „JEI pajamos viršija tris kartus mėnesinius įsipareigojimus IR kredito istorija nerodo neseniai įvykusių įsipareigojimų nevykdymų, TADA patvirtinti iki X sumos."
Tai galite perskaityti. Dėl to galite diskutuoti. Tai galite reglamentuoti. Tai galite patobulinti. To negalite padaryti su 175 milijardų parametrų svorių matrica.
Kelias į priekį
Dirbtinio intelekto ateitis nėra paslaptinga. Ji nėra magija. Tai inžinerija. O gera inžinerija visada, visada yra skaidri.
Mes neprašome pramonės visiškai atsisakyti gilaus mokymosi. Neuroniniai tinklai ir toliau puikiai atlieka suvokimo užduotis: paverčia pikselius sąvokomis, bangų formas žodžiais, neapdorotus jutiklių duomenis struktūruotais vaizdiniais. Šie suvokimo sluoksniai gali likti gana nepermatomi, nes jie atlieka šablonų atpažinimą, o ne sprendimų priėmimą.
Tačiau samprotavimo sluoksnis, sluoksnis, kuris priima svarbius sprendimus žmonių gyvenimuose, turi būti skaidrus. Jis turi būti pagrįstas logika, kurią žmonės gali patikrinti, įvertinti ir taisyti. Jis turi būti atskaitingas.
Tai neurosimbolinis pažadas: naudokite neuroninius tinklus suvokimui, naudokite simbolinę logiką samprotavimui. Gaukite geriausią iš abiejų pasaulių. Išlaikykite galią, įgykite skaidrumą.
„Dweve" architektūra įkūnija šį principą. Mūsų 528 specializuotų srities specialistų apribojimų rinkiniai atlieka samprotavimą. Riba tarp jų yra aiški, audituojama ir atitinkanti reikalavimus.
Juodosios dėžės era baigiasi. Stiklinės dėžės era prasideda. Vienintelis klausimas, ar vadovausite šiam perėjimui, ar būsite jo sutrikdyti.
Dirbtinio intelekto ateitis yra skaidri. Dirbtinio intelekto ateitis yra atskaitinga. Dirbtinio intelekto ateitis yra „Dweve".