Dirbtinio intelekto paaiškinamumas: atveriant juodąją

AI priima sprendimus. Bet ar gali juos paaiškinti? Štai kodėl paaiškinamumas svarbus ir kaip užtikriname AI skaidrumą.

Dirbtinio intelekto paaiškinamumas: atveriant juodąją dėžę

Pasitikėjimo problema

AI atmeta jūsų paskolos paraišką. Kodėl? „Modelis nustatė, kad esate didelės rizikos.“ Tai ne paaiškinimas. Tai sprendimas.

Pasitikėjimas reikalauja supratimo. Kai dirbtinis intelektas negali paaiškinti savęs, pasitikėjimas žlunga. Paaiškinamumas nėra prabanga. Tai būtinybė.

Pasitikėjimas reikalauja supratimo. Kai dirbtinis intelektas negali savęs paaiškinti, pasitikėjimas žlunga. Paaiškinamumas nėra prabanga. Tai būtinybė.

Ką iš tikrųjų reiškia paaiškinamumas

Paaiškinamumas - tai gebėjimas suprasti, kodėl dirbtinis intelektas priėmė konkretų sprendimą. Ne tik koks buvo sprendimas, bet ir jo loginis pagrindas.

Paaiškinimo lygiai:

Pasaulinis paaiškinimas: Kaip modelis veikia apskritai? Kokius modelius jis naudoja? Bendras elgesys.
Vietinis paaiškinimas: Kodėl būtent ši prognozė? Būtent šiam įvesties duomeniui? Individualus sprendimas.
Kontrafaktinis paaiškinimas: Kas turėtų pasikeisti, kad rezultatas būtų kitoks? Jei jūsų pajamos būtų X, o ne Y, sprendimas pasikeistų.
Priežastinis paaiškinimas: Kurios savybės lėmė sprendimą? Ne tik koreliuojančios. Iš tikrųjų priežastinės.

Skirtingoms programoms reikia skirtingų paaiškinimų. Medicininei diagnostikai reikia priežastingumo. Sprendimams dėl paskolų reikia kontrafaktinių scenarijų. Auditui reikia visapusiško supratimo.

Paaiškinamumas nėra vienas bendras atsakymas; skirtingiems sprendimams reikia skirtingų „kodėl“ rūšių.

Kodėl paaiškinamumas svarbus

Ne akademinis smalsumas. Praktinė būtinybė:

Pasitikėjimas ir pritaikymas: Žmonės pasitiki tuo, ką supranta. Juodosios dėžės AI sulaukia pasipriešinimo. Gydytojai nenaudos diagnostinio AI, kurio negali patikrinti. Teisėjai nesirems sprendimų algoritmais, kurių negali paaiškinti. Paaiškinamumas įgalina pritaikymą.
Derinimas ir tobulinimas: Kai AI suklysta, kodėl? Be paaiškinimų derinimas neįmanomas. „Modelis yra 85 % tikslus“ nepasako, kur atsiranda 15 % klaidų. Paaiškinimai atskleidžia gedimų režimus. Įgalina tikslų tobulinimą.
Reguliavimo atitiktis: BDAR suteikia teisę į paaiškinimą. ES Dirbtinio intelekto aktas reikalauja skaidrumo. Reglamentai įpareigoja paaiškinamumą. Neprivaloma pasirinkti. Teisinė prievolė.
Šališkumo nustatymas: Nepaaiškinamas AI gali būti šališkas. Paslėpta diskriminacija. Be paaiškinimų negalite jos aptikti. Negalite jos ištaisyti. Paaiškinamumas atskleidžia, kada rasė, lytis ar kiti saugomi požymiai daro įtaką sprendimams.
Sauga ir patikimumas: Kritinės sistemos reikalauja patikros. Medicinos, finansų, autonominės transporto priemonės. „Pasitikėk manimi“ nepakanka. Paaiškinimai įgalina patikrą. Saugai reikia skaidrumo.
Moksliniai atradimai: AI randa modelius, kurių žmonės nepastebi. Bet kuriuos modelius? Nepaaiškinamas AI yra mokslinė aklavietė. Negalite iš jo mokytis. Paaiškinamumas paverčia AI moksliniu įrankiu.

Kai priežastis matoma, pasitikėjimas, derinimas, atitiktis, šališkumo patikros, sauga ir atradimai gali įsijungti.

Juodosios dėžės problema

Kodėl neuroninius tinklus sunku paaiškinti?

Milijardai parametrų: Didieji kalbos modeliai: 175 milijardai parametrų. Kiekvienas - skaičius. Kartu jie koduoja modelius. Tačiau ką daro kiekvienas parametras? Neįmanoma pasakyti. Atskiri parametrai yra beprasmiai. Svarbus tik kolektyvinis elgesys.
Paskirstytieji vaizdiniai: Sąvokos nėra lokalizuotos. „Katė“ nėra saugoma viename neurone. Ji paskirstyta per tūkstančius. Svarbūs aktyvacijos modeliai, o ne atskiri vienetai. Atsirandančios savybės. Sunku nurodyti „katės detektorių“.
Netiesinės transformacijos: Neuroniniai tinklai yra netiesinių funkcijų kompozicijos. Įvestis → 1 sluoksnis (netiesinis) → 2 sluoksnis (netiesinis) → ... → Išvestis. Stebėti matematiką per šimtus sluoksnių? Neįmanoma.
Nėra simbolinio mąstymo: Tinklai nenaudoja taisyklių. Nėra „jei-tai“ logikos. Tik skaitinės transformacijos. Iš skaitinių operacijų negalima išgauti loginių paaiškinimų. Mechanizmas iš esmės skiriasi nuo žmogaus mąstymo.

Štai kodėl neuroniniai tinklai yra „juodosios dėžės“. Ne todėl, kad ką nors slepiame. O todėl, kad vidinis mechanizmas priešinasi interpretacijai.

Paaiškinamumo metodai

Egzistuoja metodai, kaip atverti juodąją dėžę:

Požymių svarba (SHAP, LIME):

Kurios įvesties ypatybės turėjo įtakos sprendimui? SHAP priskiria svarbos balus. „Amžius prisidėjo +15 prie rizikos balo. Pajamos prisidėjo -10.“ Vietinis paaiškinimas.

LIME sukuria paprastą modelį lokaliai. Sudėtingą modelį apytiksliai atvaizduoja suprantamu modeliu. Tiesinė regresija. Sprendimų medis. Supraskite aproksimaciją.

Apribojimas: rodo koreliaciją, o ne priežastingumą. Didelė koreliacija nereiškia priežastinės įtakos.

Dėmesio vizualizacija:

Transformatoriams vizualizuokite dėmesį. Į kuriuos žodžius modelis sutelkė dėmesį? Dėmesio žemėlapiai tai parodo. „Modelis sutelkė dėmesį į „ne“, kai sentimentą klasifikavo kaip neigiamą.“

Padeda suprasti. Tačiau dėmesys nėra paaiškinimas. Modelis gali kreipti dėmesį į nesusijusius žodžius. Arba naudoti informaciją be dėmesio.

Svarbumo žemėlapiai:

Vaizdams paryškinkite svarbius pikselius. „Šie pikseliai nulėmė klasifikaciją.“ Pagrįsta gradientu. Rodo, kur modelis žiūri.

Problema: svarbumo žemėlapiai gali būti triukšmingi. Jautrūs nesusijusioms savybėms. Ne visada patikimi.

Konceptų aktyvavimo vektoriai (CAV): Tikrina, ar modelis naudoja žmogui suprantamas koncepcijas. „Ar modelis naudoja „juosteles“ klasifikuodamas zebrus?" CAV matuoja koncepcijų buvimą. Semantiniai paaiškinimai.
Sprendimų medžiai kaip aproksimacijos: Išmokykite sprendimų medį imituoti neuroninį tinklą. Medis yra interpretuojamas. „Jei požymis X > riba, prognozuok Y." Apytikslis sudėtingo modelio paaiškinimas.
Kontrafaktiniai paaiškinimai: „Jei įvestis pasikeistų į X, išvestis būtų Y." Rodo minimalius reikiamus pakeitimus. „Jei pajamos būtų 50 tūkst. eurų vietoj 40 tūkst. eurų, paskola būtų patvirtinta." Veiksmingi paaiškinimai.

Kiekvienas metodas suteikia dalinį supratimą. Nė vienas metodas nepaaiškina visko. Derinkite kelis metodus.

Iš esmės interpretuojami modeliai

Kai kurie modeliai yra paaiškinami pagal savo dizainą:

Sprendimų medžiai: Sekite šakomis. „Jei amžius > 30 IR pajamos > 50 tūkst. eurų, patvirtinkite paskolą." Aiški logika. Tobulas paaiškinimas. Tačiau ribota išraiškos galia. Sudėtingus modelius sunku aprašyti.
Tiesiniai modeliai: Svertinė požymių suma. „Rizika = 0,3×amžius + 0,5×skola - 0,7×pajamos." Koeficientai rodo svarbą. Interpretuojama. Tačiau daroma prielaida apie tiesiškumą. Tikras pasaulis nėra tiesinis.
Taisyklėmis pagrįstos sistemos: Aiškios taisyklės. „Jei simptomas A ir simptomas B, tada liga C." Visiškas skaidrumas. Tačiau reikalauja rankinio taisyklių kūrimo. Netinka sudėtingoms sritims.
Apibendrinti adityvūs modeliai (GAM): Netiesinių funkcijų suma. Lankstesni nei tiesiniai. Vis dar interpretuojami. Kiekvieno požymio indėlis vizualizuojamas. Pusiausvyra tarp išraiškos galios ir interpretuojamumo.

Egzistuoja kompromisas: interpretuojami modeliai yra mažiau galingi. Galingi modeliai yra mažiau interpretuojami. Pasirinkimas priklauso nuo prioritetų.

Dweve paaiškinamumo metodas

Dvejetainės apribojimų sistemos siūlo prigimtinį paaiškinamumą:

Aiškios apribojimų grandinės: Kiekvienas sprendimas atsekamas iki aktyvuotų apribojimų. „Apribojimai C1, C2, C5 suveikė → išvada Y." Visas audito pėdsakas. Jokio paslėpto skaičiavimo.
paaiškinamumas: Skirtingai nei aproksimacijos metodai (SHAP, LIME), apribojimų paaiškinimai yra tikslūs. Ne statistinė aproksimacija. Tikrasis sprendimo kelias. „Šie apribojimai lėmė šį sprendimą" yra tiesioginė tiesa.
Žmogui suprantami apribojimai: Apribojimai yra loginiai ryšiai. „Jei A IR B, tada C." Ne skaitiniai svoriai. Loginės taisyklės. Žmonės logiką supranta natūraliai.
Kontrafaktų generavimas: Tiksliai žinote, ką pakeisti. „Apribojimas C2 nepavyko. Pakeiskite požymį X, kad atitiktų C2." Tiesioginis veiksmingas grįžtamasis ryšys. Jokios aproksimacijos.
Jokio juodosios dėžės sluoksnio: Viskas yra skaidru. Dvejetainės operacijos (XNOR, popcount) yra paprastos. Apribojimų atitikimas yra aiškus. Jokių paslaptingų transformacijų. Gryna logika.

Tai architektūrinis paaiškinamumas. Ne paaiškinimas, pridėtas vėliau. Paaiškinimas yra būdingas mechanizmui.

Tikslumo ir paaiškinamumo kompromisas

Tobulas paaiškinamumas dažnai reiškia mažesnį tikslumą:

Paprasti modeliai: Labai paaiškinami. Mažiau tikslūs. Sprendimų medžiai negali užfiksuoti sudėtingų modelių, kuriuos gali neuroniniai tinklai.
Sudėtingi modeliai: Tikslesni. Mažiau paaiškinami. Gilus mokymasis pasiekia geriausius rezultatus. Tačiau yra nepermatomas.
Vidurio kelias: GAM, reti tiesiniai modeliai, negilūs neuroniniai tinklai. Subalansuoja abu. Nėra geriausi nė viename.

Pasirinkimas priklauso nuo srities:

Didelių statymų sprendimai: Pirmenybė aiškinamumui. Medicininės diagnozės. Teismo sprendimai. Baudžiamųjų nuosprendžių skyrimas. Paaiškinimas yra privalomas. Nedidelis tikslumo praradimas priimtinas.
Mažos rizikos programos: Pirmenybė tikslumui. Rekomendacijų sistemos. Reklamos taikymas. Paieškos reitingavimas. Aiškinamumas malonus, bet ne būtinas.
Reguliuojamos pramonės šakos: Aiškinamumą reikalauja įstatymas. Pasirinkimo nėra. Turi būti suprantama. BDAR ir ES Dirbtinio intelekto aktas įpareigoja užtikrinti skaidrumą.

Idealu: ir tikslumas, ir aiškinamumas. Moksliniai tyrimai juda į priekį. Atotrūkis siaurėja. Tačiau kompromisas išlieka.

Šis kompromisas nėra abstraktus; sritis nulemia, kiek toli slankiklis turi pasislinkti aiškinamumo link.

Aiškinamumo ateitis

Kur visa tai krypsta?

Geresni aproksimacijos metodai: Tikslesni „juodųjų dėžių“ paaiškinimai. SHAP patobulinimai. Naujos vizualizacijos technikos. Arčiau tikrosios padėties.
Iš prigimties suprantamas gilusis mokymasis: Neuroniniai tinklai, sukurti aiškinamumui. Dėmesio mechanizmai. Modulinės architektūros. Atskirti samprotavimą nuo suvokimo.
Reguliavimo reikalavimai: Aiškinamumas privalomas. ES Dirbtinio intelekto aktas. Kiti reglamentai seka paskui. Verčia keisti architektūrą. Rinka reikalauja skaidrumo.
Žmogaus ir dirbtinio intelekto aiškinimo dialogas: Interaktyvūs paaiškinimai. Paklausk „kodėl“. Gauk atsakymą. Gilinkis. Palaipsnis supratimas. Ne statiškas rezultatas.
Priežastiniai paaiškinimai: Už koreliacijos ribų. Tikra priežastingumas. Kas lėmė šį sprendimą? Ne tik kas koreliavo. Tikras supratimas.
Patikrinti paaiškinimai: Formalus patikrinimas. Įrodomai teisingi paaiškinimai. Matematinės garantijos. Kritinėms programoms.

Tendencija aiški: skaidrumas privalomas. „Juodosios dėžės“ tampa nepriimtinos. Aiškinamumas pereina iš malonaus dalyko į privalomą.

Ką reikia įsiminti

1. Paaiškinamumas - tai supratimas, kodėl. Ne tik kas. Priežastys. Mechanizmas. Visiškas skaidrumas.
2. Egzistuoja keli lygmenys. Globalus, lokalus, kontrafaktinis, priežastinis. Skirtingoms programoms reikia skirtingų paaiškinimų.
3. Juodosios dėžės priešinasi paaiškinimui. Milijardai parametrų. Paskirstytos reprezentacijos. Netiesinės transformacijos. Iš prigimties nepermatomos.
4. Metodai padeda. SHAP, LIME, dėmesio vizualizacija, svarbos žemėlapiai. Apytiksliai paaiškinimai. Geriau nei nieko.
5. Egzistuoja iš prigimties interpretuojami modeliai. Sprendimų medžiai, tiesiniai modeliai, taisyklės. Skaidrūs pagal dizainą. Mažiau galingi, bet paaiškinami.
6. Dweve užtikrina prigimtinį paaiškinamumą. Apribojimų grandinės. Loginės taisyklės. Architektūrinis, ne apytikslis.
7. Egzistuoja kompromisai. Tikslumas prieš paaiškinamumą. Rinkitės pagal svarbą. Reguliavimas vis labiau palankus skaidrumui.

Esmė yra sąrašas: pasirinkite tinkamą paaiškinimo lygį, metodą, modelį, grandinę ir svarbos ribą.

Esminė išvada

Pasitikėjimas reikalauja supratimo. Dirbtinis intelektas, kurio negalime paaiškinti, yra dirbtinis intelektas, kuriuo negalime pasitikėti. Ypač priimant kritinius sprendimus. Medicinos. Finansų. Teisės. Paaiškinamumas nėra pasirinkimas.

Dabartinis DI dažniausiai yra juodoji dėžė. Egzistuoja metodai, leidžiantys pažvelgti į vidų. SHAP, LIME, dėmesio žemėlapiai. Padeda, bet apytiksliai. Ne tikrasis skaidrumas.

Iš prigimties interpretuojamos sistemos užtikrina tikrą paaiškinamumą. Sprendimų medžiai. Taisyklių sistemos. Dvejetainiai apribojimai. Skaidrios pagal dizainą. Žinokite kompromisus. Mažiau lankstumo, daugiau supratimo.

Reguliavimas stumia skaidrumo link. BDAR teisė į paaiškinimą. ES Dirbtinio intelekto akto reikalavimai. Teisiniai įpareigojimai. Rinkos poreikiai. Juodosios dėžės tampa nepriimtinos.

Ateitis reikalauja abiejų: tikslumo IR paaiškinamumo. Tyrimai progresuoja. Architektūros evoliucionuoja. Tikslas yra dirbtinis intelektas, kuris veikia gerai ir visiškai paaiškina save.

Kol kas rinkitės išmintingai. Supraskite savo prioritetus. Didelės rizikos? Pirmenybę teikite paaiškinamumui. Mažos rizikos? Maksimaliai padidinkite tikslumą. Tačiau visada žinokite kompromisą. Skaidrumas yra pasitikėjimas.

Norite visiškai paaiškinamo dirbtinio intelekto? Išbandykite Dweve Loom ir Nexus. Kiekvienas sprendimas atsekamas iki loginių taisyklių. Visiškas skaidrumas. Jokių apytikslių skaičiavimų. Jokių juodųjų dėžių. Toks dirbtinis intelektas, kurį galite suprasti, patikrinti ir juo pasitikėti.