AI selgitatavus: musta kasti avamine

AI selgitatavus: musta kasti avamine

Usalduse probleem

AI lükkab teie laenutaotluse tagasi. Miks? „Mudel on määranud, et olete kõrge riskiga." See ei ole selgitus. See on otsus.

AI soovitab operatsiooni. Miks? „Närvivõrk ennustas positiivset tulemust." Mida see nägi? Millised tegurid olid olulised? Vaikus.

Usaldus nõuab mõistmist. Kui AI ei suuda end selgitada, usaldus kaob. Selgitatavus ei ole luksus. See on vajadus.

Mida selgitatavus tegelikult tähendab

Selgitatavus on võime mõista, miks AI tegi konkreetse otsuse. Mitte ainult see, mis otsus oli. Selle taga olev põhjendus.

Selgituse tasemed:

• Globaalne selgitus: Kuidas mudel üldiselt töötab? Milliseid mustreid see kasutab? Üldine käitumine.
• Kohalik selgitus: Miks just see konkreetne ennustus? Just selle konkreetse sisendi puhul? Üksikotsus.
• Kontrafaktuaalne selgitus: Mida peaks muutuma, et tulemus oleks teistsugune? Kui teie sissetulek oleks X asemel Y, muutuks otsus.
• Põhjuslik selgitus: Millised tunnused põhjustasid otsuse? Mitte ainult korrelatsioon. Tegelikult põhjuslik.

Erinevad rakendused vajavad erinevaid selgitusi. Meditsiiniline diagnoos vajab põhjuslikkust. Laenuotsused vajavad kontrafaktuaale. Audit vajab globaalset mõistmist.

Miks selgitatavus on oluline

Mitte akadeemiline uudishimu. Praktiline vajadus:

• Usaldus ja kasutuselevõtt: Inimesed usaldavad seda, mida nad mõistavad. Musta kasti AI seisab silmitsi vastuseisuga. Arstid ei kasuta diagnostilist AI-d, mida nad ei saa kontrollida. Kohtunikud ei tugine karistusalgoritmidele, mida nad ei oska selgitada. Selgitatavus võimaldab kasutuselevõttu.
• Silumine ja täiustamine: Kui AI ebaõnnestub, miks? Ilma selgitusteta on silumine võimatu. „Mudel on 85% täpne" ei ütle teile, kus need 15% vead esinevad. Selgitused paljastavad tõrkerežiimid. Võimaldavad sihipäraseid täiustusi.
• Regulatiivne vastavus: GDPR annab õiguse selgitusele. ELi AI-määrus nõuab läbipaistvust. Regulatsioonid kohustavad selgitatavust. Mitte vabatahtlik. Õiguslik nõue.
• Eelarvamuste tuvastamine: Selgitatamatu AI võib olla eelarvamuslik. Varjatud diskrimineerimine. Ilma selgitusteta ei saa te seda tuvastada. Ei saa seda parandada. Selgitatavus paljastab, millal rass, sugu või muud kaitstud tunnused mõjutavad otsuseid.
• Ohutus ja töökindlus: Kriitilised süsteemid nõuavad kontrollimist. Meditsiin, rahandus, isejuhtivad sõidukid. „Usalda mind" ei piisa. Selgitused võimaldavad kontrollimist. Ohutus nõuab läbipaistvust.
• Teaduslik avastus: AI leiab mustreid, mida inimesed ei märka. Aga milliseid mustreid? Selgitatamatu AI on teaduslik tupik. Sellest ei saa õppida. Selgitatavus muudab AI teaduslikuks tööriistaks.

Must kasti probleem

Miks on närvivõrke raske selgitada?

• Miljardid parameetrid: Suured keelemudelid: 175 miljardit parameetrit. Igaüks neist on arv. Koos kodeerivad nad mustreid. Aga mis parameeter mida teeb? Võimatu öelda. Üksikud parameetrid on mõttetud. Loeb ainult kollektiivne käitumine.
• Jaotatud esitused: Mõisted pole lokaliseeritud. "Kass" pole salvestatud ühte neuronisse. See on jaotatud tuhandete vahel. Aktiveerimismustrid, mitte üksikud üksused. Esilekerkivad omadused. Raske osutada "kassidetektorile".
• Mittelineaarsed teisendused: Närvivõrgud on mittelineaarsete funktsioonide kompositsioonid. Sisend → kiht 1 (mittelineaarne) → kiht 2 (mittelineaarne) → ... → väljund. Matemaatikat läbi sadade kihtide järgida? Teostamatu.
• Puudub sümboolne arutlus: Võrgud ei kasuta reegleid. Puudub "kui-siis" loogika. Ainult numbrilised teisendused. Numbrilistest tehtetest ei saa loogilisi selgitusi välja tuua. Mehhanism on põhimõtteliselt erinev inimese arutlusest.

Sellepärast on närvivõrgud "mustad kastid". Mitte sellepärast, et me midagi varjame. Vaid sellepärast, et sisemine mehhanism paneb tõlgendamisele vastu.

Selgitatavuse tehnikad

Must kasti avamiseks on meetodeid:

Funktsioonide olulisus (SHAP, LIME):

Millised sisendfunktsioonid mõjutasid otsust? SHAP määrab olulisuse skoorid. "Vanus andis riskiskoorile +15. Sissetulek andis -10." Kohalik selgitus.

LIME loob kohaliku lihtsa mudeli. Lähendab keerulist mudelit tõlgendatavaga. Lineaarne regressioon. Otsustuspuu. Mõista lähendust.

Piirang: näitab korrelatsiooni, mitte põhjuslikkust. Kõrge korrelatsioon ei tähenda põhjuslikku mõju.

Tähelepanu visualiseerimine:

Transformerite puhul visualiseeri tähelepanu. Millistele sõnadele mudel keskendus? Tähelepanukaardid näitavad seda. "Mudel pööras tähelepanu sõnale 'ei', kui klassifitseeris meelsust negatiivseks."

Aitab mõista. Aga tähelepanu pole selgitus. Mudel võib pöörata tähelepanu ebaolulistele sõnadele. Või kasutada infot ilma tähelepanuta.

Salientsuskaardid:

Piltide puhul tõsta esile olulised piksliid. "Need piksliid määrasid klassifikatsiooni." Gradiendipõhine. Näitab, kuhu mudel vaatab.

Probleem: salientsuskaardid võivad olla mürarikkad. Tundlikud ebaoluliste tunnuste suhtes. Mitte alati usaldusväärsed.

• Kontseptsiooni aktiveerimisvektorid (CAV): Testib, kas mudel kasutab inimesele arusaadavaid kontseptsioone. „Kas mudel kasutab sebrade klassifitseerimisel triipe?" CAV-id mõõdavad kontseptsioonide olemasolu. Semantilised selgitused.
• Otsustuspuud lähendustena: Treenitakse otsustuspuu, mis jäljendab närvivõrku. Puu on tõlgendatav. „Kui tunnus X > läviväärtus, siis ennusta Y." Keerulise mudeli ligikaudne selgitus.
• Kontrafaktuaalsed selgitused: „Kui sisend muutuks X-ks, oleks väljund Y." Näitab minimaalseid vajalikke muudatusi. „Kui sissetulek oleks 50 000 € 40 000 € asemel, oleks laen heaks kiidetud." Tegevusele suunatud selgitused.

Iga meetod annab osalise ülevaate. Ükski meetod ei selgita kõike. Kombineeri mitut lähenemist.

Olemuselt tõlgendatavad mudelid

Mõned mudelid on disaini poolest selgitatavad:

• Otsustuspuud: Jälgi harusid. „Kui vanus > 30 JA sissetulek > 50 000 €, kiida laen heaks." Selge loogika. Täiuslik selgitus. Kuid piiratud väljendusvõime. Keerulisi mustreid on raske tabada.
• Lineaarsed mudelid: Tunnuste kaalutud summa. „Risk = 0,3×vanus + 0,5×võlg − 0,7×sissetulek." Kordajad näitavad olulisust. Tõlgendatav. Kuid eeldab lineaarsust. Reaalmaailm pole lineaarne.
• Reeglipõhised süsteemid: Selgesõnalised reeglid. „Kui sümptom A ja sümptom B, siis haigus C." Täielik läbipaistvus. Kuid nõuab reeglite käsitsi loomist. Ei skaleeru keerulistesse valdkondadesse.
• Generaliseeritud liitmudelid (GAM): Mittelineaarsete funktsioonide summa. Paindlikum kui lineaarne. Siiski tõlgendatav. Iga tunnuse panus on visualiseeritav. Tasakaal väljendusvõime ja tõlgendatavuse vahel.

Eksisteerib kompromiss: tõlgendatavad mudelid on vähem võimekad. Võimekad mudelid on vähem tõlgendatavad. Valik sõltub prioriteetidest.

Dweve'i selgitatavuse lähenemine

Binaarsed piirangusüsteemid pakuvad olemuslikku selgitatavust:

• Selgesõnalised piiranguahelad: Iga otsus on jälgitav aktiveeritud piiranguteni. „Piirangud C1, C2, C5 käivitusid → järeldus Y." Täielik auditi jälg. Peidetud arvutusi pole.
• 100% selgitatavus: Erinevalt lähendusmeetoditest (SHAP, LIME) on piirangupõhised selgitused täpsed. Mitte statistiline lähendus. Tegelik otsustustee. „Need piirangud põhjustasid selle otsuse" on sõnasõnaline tõde.
• Inimesele arusaadavad piirangud: Piirangud on loogilised seosed. „Kui A JA B, siis C." Mitte numbrilised kaalud. Loogilised reeglid. Inimesed mõistavad loogikat loomulikult.
• Kontrafaktuaalne genereerimine: Tead täpselt, mida muuta. „Piirang C2 ebaõnnestus. Muuda tunnust X, et rahuldada C2." Otsene tegevusele suunatud tagasiside. Ilma lähenduseta.
• Pole musta kasti kihti: Kõik on läbipaistev. Binaarsed tehted (XNOR, popcount) on lihtsad. Piirangute vastendamine on selgesõnaline. Müstilisi teisendusi pole. Puhas loogika.

See on arhitektuurne selgitatavus. Mitte selgitus, mis on lisatud järelikult. Selgitus on mehhanismile omane.

Täpsuse ja selgitatavuse kompromiss

Täiuslik selgitatavus tähendab sageli väiksemat täpsust:

• Lihtsad mudelid: Väga hästi selgitatavad. Vähem täpsed. Otsustuspuud ei suuda tabada keerulisi mustreid nagu närvivõrgud.
• Keerulised mudelid: Täpsemad. Vähem selgitatavad. Sügavõpe saavutab tipptaseme. Kuid on läbipaistmatu.
• Kesktee: GAM-id, hõredad lineaarsed mudelid, madalad närvivõrgud. Tasakaalustavad mõlemat. Ei ole kummaski parimad.

Valik sõltub valdkonnast:

• Suure panusega otsused: Eelista selgitatavust. Meditsiiniline diagnoos. Õiguslikud hinnangud. Kriminaalkaristused. Selgitus on kohustuslik. Väike täpsusekadu on vastuvõetav.
• Väikese panusega rakendused: Eelista täpsust. Soovitussüsteemid. Reklaamide suunamine. Otsingutulemuste järjestus. Selgitatavus on tore, kuid mitte kriitiline.
• Reguleeritud tööstusharud: Selgitatavus on seadusega nõutud. Valikut pole. Peab olema tõlgendatav. GDPR ja ELi AI-määrus nõuavad läbipaistvust.

Ideaalne: nii täpsus kui ka selgitatavus. Teadus areneb. Lõhe kitseneb. Kuid kompromiss jääb.

Selgitatavuse tulevik

Kuhu see liigub?

• Paremad lähendusmeetodid: Mustade kastide täpsemad selgitused. SHAP-i täiustused. Uued visualiseerimistehnikad. Lähemal tegelikule tõele.
• Loomupäraselt tõlgendatav süvaõpe: Selgitatavuseks loodud närvivõrgud. Tähelepanumehhanismid. Modulaarsed arhitektuurid. Eralda arutlus taju­misest.
• Regulatiivsed nõuded: Selgitatavus on kohustuslik. ELi AI-määrus. Teised regulatsioonid järgnevad. Sunnivad arhitektuurimuudatusi. Turg nõuab läbipaistvust.
• Inimese ja tehisintellekti selgituste dialoog: Interaktiivsed selgitused. Küsi, miks. Saa vastus. Süvene. Iteratiivne mõistmine. Mitte staatiline väljund.
• Põhjuslikud selgitused: Kaugemale korrelatsioonist. Tõeline põhjuslikkus. Mis põhjustas selle otsuse? Mitte ainult see, mis korreleerus. Ehtne mõistmine.
• Kontrollitud selgitused: Formaalne kontroll. Tõestatavalt õiged selgitused. Matemaatilised garantiid. Kriitiliste rakenduste jaoks.

Suundumus on selge: läbipaistvus on nõutud. Mustad kastid muutuvad vastuvõetamatuks. Selgitatavus liigub meeldivast lisaväärtusest kohustuslikuks.

Mida pead meeles pidama

• 1. Selgitatavus tähendab mõistmist, miks. Mitte ainult mida. Põhjendust. Mehhanismi. Täielikku läbipaistvust.
• 2. Tasandeid on mitu. Globaalne, lokaalne, kontrafaktuaalne, kausaalne. Erinevad rakendused vajavad erinevaid selgitusi.
• 3. Mustad kastid osutavad selgitamisele vastu. Miljardid parameetrid. Jaotatud esitused. Mittelineaarsed teisendused. Olemuslikult läbipaistmatud.
• 4. Tehnikad aitavad. SHAP, LIME, tähelepanu visualiseerimine, salientsuskaardid. Ligikaudsed selgitused. Parem kui mitte midagi.
• 5. Olemuslikult tõlgendatavad mudelid on olemas. Otsustuspuud, lineaarsed mudelid, reeglid. Disainilt läbipaistvad. Vähem võimekad, kuid selgitatavad.
• 6. Dweve pakub olemuslikku selgitatavust. Piirangute ahelad. 100% läbipaistvus. Loogilised reeglid. Arhitektuurne, mitte ligikaudne.
• 7. Kompromissid on olemas. Täpsus vs selgitatavus. Vali lähtuvalt panustest. Regulatsioon soosib üha enam läbipaistvust.

Alumine rida

Usaldus nõuab mõistmist. AI-d, mida me ei oska selgitada, ei saa me usaldada. Eriti kriitiliste otsuste puhul. Meditsiiniliste. Finantsiliste. Õiguslike. Selgitatavus pole vabatahtlik.

Praegune AI on enamasti must kast. On olemas tehnikad sisse piilumiseks. SHAP, LIME, tähelepanukaardid. Aitavad, kuid ligikaudselt. Mitte tõeline läbipaistvus.

Olemuslikult tõlgendatavad süsteemid pakuvad ehtsat selgitatavust. Otsustuspuud. Reeglisüsteemid. Binaarsed piirangud. Disainilt läbipaistvad. Tea kompromisse. Vähem paindlikkust, rohkem mõistmist.

Regulatsioon surub läbipaistvuse poole. GDPR-i õigus selgitusele. ELi AI-määruse nõuded. Õiguslikud kohustused. Turu nõudmised. Mustad kastid muutuvad vastuvõetamatuks.

Tulevik nõuab mõlemat: täpsust JA selgitatavust. Teadus areneb. Arhitektuurid muutuvad. Eesmärk on AI, mis toimib hästi ja selgitab end täielikult.

Praegu vali targalt. Mõista oma prioriteete. Suured panused? Eelista selgitatavust. Väikesed panused? Maksimeeri täpsust. Kuid tea alati kompromissi. Läbipaistvus on usaldus.

Tahad täielikult selgitatavat AI-d? Avasta Dweve Loom ja Nexus. 100% selgitatavus binaarsete piirangute kaudu. Iga otsus jälgitav loogiliste reegliteni. Täielik läbipaistvus. Ei mingeid ligikaudseid lahendusi. Ei mingeid musti kaste. Selline AI, mida saad mõista, kontrollida ja usaldada.