Dirbtinio intelekto haliucinacijos: kai dirbtinis intelektas kuria išgalvotus dalykus (ir kodėl)
Įsitikinęs melas
Dirbtinis intelektas man pasakė, kad Eifelio bokštas buvo pastatytas 1889 metais Pasaulinei parodai. Teisingai.
Dirbtinis intelektas man pasakė, kad jį suprojektavo Gustave'as Eifelis. Teisingai.
Dirbtinis intelektas man pasakė, kad iš pradžių jį buvo planuota išardyti po 20 metų. Teisingai.
Dirbtinis intelektas man pasakė, kad 1962 metais jis buvo nudažytas ryškiai rožine spalva Prancūzijos nepriklausomybei paminėti. Visiškai netiesa. Pasakė įsitikinęs. Su konkrečiomis detalėmis. Visiškai išgalvota.
Tai haliucinacija. Dirbtinis intelektas kuria klaidingą informaciją ir pateikia ją kaip faktą. Svarbu suprasti, kodėl taip nutinka. Nes pasitikėti haliucinuojančiu dirbtiniu intelektu yra pavojinga.
Kas iš tikrųjų yra dirbtinio intelekto haliucinacijos
Haliucinacija yra tada, kai dirbtinis intelektas sukuria informaciją, kuri yra faktiškai neteisinga, beprasmė arba neištikima šaltinio medžiagai. Bet pateikia ją įsitikinęs. Tarsi žinotų.
- Ne atsitiktinės klaidos: Haliucinacijos nėra rašybos klaidos. Tai įtikinamai skambantys melai. Tai, kad Eifelio bokštas buvo nudažytas rožine spalva, skamba įtikinamai. Konkretūs metai. Konkreti priežastis. Tik netiesa.
- Didelis pasitikėjimas, mažas tikslumas: Dirbtinis intelektas nesako „galbūt“ ar „galimas daiktas“. Jis teigia faktus. Jokių išlygų. Jokių neapibrėžtumo žymeklių. Įsitikinęs klaidingos informacijos pateikimas.
- Haliucinacijų tipai: Faktinės haliucinacijos: Klaidinga informacija apie tikrus dalykus. „Einšteinas Nobelio premiją gavo 1922 metais“ (iš tikrųjų 1921).
- Išgalvoti objektai: Dalykų, kurių nėra, išradinėjimas. „Reikšmingas daktaro Johnsono tyrimas 2019 metais...“ (tokio tyrimo nėra).
- Neištikimos santraukos: Teksto apibendrinimas neteisingai. Teiginių, kurių nėra šaltinyje, pridėjimas. Svarbių išlygų praleidimas. Reikšmės keitimas.
- Loginiai nenuoseklumai: Prieštaravimas sau. Pirmoje pastraipoje teigiama X. Trečioje pastraipoje teigiama ne X. Abu teiginiai pateikiami įsitikinus.
Visa tai pateikiama kaip tiesa. Būtent todėl haliucinacijos yra pavojingos.
Kodėl atsiranda haliucinacijos
Suprasti priežastį padeda suprasti sprendimą:
Rašto užbaigimas, o ne žinių paieška:
Neuroniniai tinklai neturi faktų duomenų bazės. Jie užbaigia raštus. „Eifelio bokštas buvo nudažytas..." sukelia rašto atitikimą. Rožinė + šventė + metai skamba tikėtinai. Modelis užbaigia raštą. Tačiau raštas nėra pagrįstas faktais.
Tai sudėtingas automatinis užbaigimas. Ne faktų paieška. Modelis numato, kokie žodžiai turėtų eiti toliau. Kartais tie žodžiai sudaro netiesas.
Mokymo duomenų apribojimai:
Modelis mokosi iš mokymo duomenų. Jei tema mokymo duomenyse reta, modelis spėja. Tie spėjimai gali būti klaidingi. Retos temos = didesnė haliucinacijų rizika.
Pavyzdys: Paklauskite apie konkretų 2023 m. mokslinį straipsnį. Jei jo nėra mokymo duomenyse (mokymo riba buvo 2022 m.), modelis ekstrapoliuoja. Sukuria tikėtinai skambantį, bet netikrą straipsnį.
- Perdėtas apibendrinimas: Modelis dažnai mato raštą X→Y. Laiko jį visuotiniu. Taiko atvejui Z, kuriame jis negalioja. Sugeneruoja neteisingą informaciją klaidingu apibendrinimu.
- Patvirtinimo šališkumas generuojant: Kai modelis pradeda kryptį, jis tęsia. Pirmas ženklas rodo „rožinė" → kiti ženklai sustiprina rožinės spalvos pasakojimą. Nuoseklus pasakojimas. Tik netikras.
Kalbos modeliai yra nuoseklumo mašinos. Jie palaiko nuoseklius pasakojimus. Tai nereiškia, kad tie pasakojimai yra teisingi.
Nėra tiesos patikrinimo:
Modeliai netikrina faktų. Nėra vidinio patikrinimo. Nėra „ar tai tiesa?" žingsnio. Jie optimizuojami sklandumui ir nuoseklumui. Tiesa yra antraeilė. Iš tikrųjų tiesa apskritai nėra aiškus tikslas.
Tikri haliucinacijų pavyzdžiai
Dokumentuoti atvejai:
- Teisinės citatos (ChatGPT teisme): Advokatas naudojo ChatGPT teismų praktikos paieškai. Modelis citavo kelis precedentus. Bylų pavadinimus. Teismo sprendimus. Konkrečius nutarimus. Advokatas juos pateikė. Problema: tų bylų nebuvo. Jas sukūrė dirbtinis intelektas. Advokatui grėsė sankcijos. Dirbtinis intelektas haliucinavo teisinius precedentus.
- Medicininė informacija: Vartotojas klausia apie retą ligą. Dirbtinis intelektas pateikia simptomus, gydymo būdus, vaistų pavadinimus. Skamba mediciniškai. Nurodo konkrečias dozes. Tačiau sujungia tikrus vaistų pavadinimus su netinkamais vartojimo būdais. Arba išgalvoja neegzistuojančius gydymo būdus. Pavojinga, jei jais vadovaujamasi.
- Moksliniai šaltiniai: „Pasak 2020 m. Smith ir kt. tyrimo, paskelbto žurnale Nature..." Konkretus žurnalas. Autoriai. Metai. Tyrimo nėra. Visiškai išgalvotas. Tačiau atitinka tikrų citatų raštą.
- Istoriniai įvykiai: „1783 m. Paryžiaus sutartyje buvo nuostatų apie..." Prideda nuostatų, kurių sutartyje nebuvo. Arba sujungia skirtingų sutarčių detales. Tikėtinai skambanti istorijos perrašymas.
- Kodo generavimas: Dirbtinis intelektas generuoja kodą naudodamas biblioteką. Išgalvoja neegzistuojančius API metodus. Arba naudoja teisingus metodų pavadinimus su neteisingais parašais. Kodas atrodo teisingas. Neveikia. Haliucinuota API.
Visi pavyzdžiai turi bendrų bruožų: tikėtinas pateikimas, konkrečios detalės, visiška netiesa.
Kaip atpažinti haliucinacijas
Kaip jas pastebėti?
- Patikrinkite konkrečias detales: Konkretūs teiginiai yra patikrinami. „Tyrimas X žurnale Y, Z metai" → ieškokite jo. Haliucinacijose dažnai būna išgalvotų konkrečių detalių. Patikrinkite jas.
- Kryžminė nuoroda: Keli šaltiniai. Jei dirbtinis intelektas sako ką nors netikėto, patikrinkite kitur. Vikipedija. Oficialūs šaltiniai. Tikros mokslinių tyrimų duomenų bazės. Nepasikliaukite vien dirbtiniu intelektu.
- Ieškokite atsargumo kalbos: Tikras neapibrėžtumas apima „gali", „galbūt", „pasak kai kurių šaltinių". Absoliutus pasitikėjimas mažai žinomomis temomis yra įtartinas. Teisingi atsakymai pripažįsta neapibrėžtumą.
- Patikrinkite vidinį nuoseklumą: Užduokite tą patį klausimą skirtingais būdais. Haliucinacijos dažnai pateikia nenuoseklius atsakymus. Tikros žinios išlieka nuoseklios.
- Prašykite šaltinių: Paklauskite dirbtinio intelekto, iš kur jis to išmoko. Haliucinacijos negali nurodyti tikrų šaltinių. Jos gali išgalvoti šaltinius, bet jūs galite juos patikrinti.
- Eksperto peržiūra: Ekspertai atpažįsta haliucinacijas savo srityje. Subtilios klaidos išsiskiria. Kritinėms programoms eksperto peržiūra yra privaloma.
Švelninimo strategijos
Kaip sumažinti haliucinacijas:
RAG (atvejo papildymo generavimas):
Nepasikliaukite vien modelio mokymu. Gaukite svarbius dokumentus. Pagrįskite atsakymus gautu tekstu. Modelis mato: „Štai šaltinio medžiaga. Atsakykite pagal tai."
Sumažina haliucinacijas. Modelis vis tiek generuoja tekstą, bet pagrįstą tikrais dokumentais. Vis tiek ne tobula (gali klaidingai interpretuoti šaltinius), bet daug geriau.
- Apribotas dekodavimas: Apribokite, ką modelis gali pasakyti. Pateikite objektų sąrašus, faktų duomenų bazes, leistinas reikšmes. Modelis gali naudoti tik patvirtintą informaciją. Haliucinacijos sumažinamos iki patvirtinto rinkinio.
- Pasitikėjimo kalibravimas: Mokykite modelius išreikšti neapibrėžtumą. Mažas pasitikėjimas retomis temomis. Didelis pasitikėjimas gerai aprėptomis temomis. Vartotojas mato pasitikėjimo balus. Žino, kada būti skeptiškam.
- Derinimas pagal faktų tikslumą: Mokykite modelius būti faktiškai tikslius. Apdovanokite teisingus teiginius. Bauskite už klaidingus. Mokymasis su žmogaus atsiliepimais, sutelkiant dėmesį į tiesą, o ne tik į naudingumą.
- Patikros grandinė: Modelis generuoja atsakymą. Tada jį patikrina. Savikontrolė. „Ar šis teiginys tikslus? Ar galiu rasti patvirtinančių įrodymų?" Pagauna kai kurias haliucinacijas prieš pateikiant rezultatą.
- Kelių modelių sutarimas: Klauskite kelių modelių. Jei jie sutaria, greičiausiai teisinga. Jei nesutaria, tirskite. Haliucinacijos dažnai būdingos konkrečiam modeliui. Sutarimas didina pasitikėjimą.
- Tiesioginis šaltinių susiejimas: Reikalaukite citatų kiekvienam teiginiui. Jei modelis negali nurodyti šaltinio, neteikite teiginio. Priverčia pagrįsti. Sumažina nepagrįstus teiginius.
Apribojimais pagrįsti metodai (Dweve požiūris)
Dvejetainės apribojimų sistemos siūlo kitą kelią:
- Aiškus žinių atvaizdavimas: Apribojimai aiškiai užkoduoja faktus. „Objektas X turi savybę Y.“ Ne statistiniai modeliai. Tikras užkoduotas žinojimas. Paieška yra deterministinė. Jokio generavimo iš neaiškių modelių.
- Patikrinami rezultatai: Kiekviena išvada kyla iš apribojimų. „Šis atsakymas gaunamas iš apribojimų C1, C2, C3.“ Audito pėdsakas. Patikrinkite apribojimus. Jei jie teisingi, atsakymas teisingas. Jokio paslėpto modelio užbaigimo.
- Jokių generatyvinių haliucinacijų: Apribojimų sistemos negeneruoja taip pat. Jos atitinka modelius. Taiko taisykles. Išgauna žinias. Nėra „užbaikite šią tikėtiną istoriją“ dinamikos. Jei žinių nėra apribojimuose, sistema sako „nežinau“. Ji nesugalvoja.
- Apribotos žinios: Sistema žino, ką žino. Žinių grafas turi briaunas arba jų neturi. Apribojimai egzistuoja arba ne. Dvejetainė logika. Aiškios ribos. Už tų ribų? Aiškus neapibrėžtumas.
Kompromisas: Mažiau lankstus nei generatyvūs modeliai. Negali kūrybiškai užpildyti spragų. Tačiau dėl faktinio patikimumo tai yra privalumas, o ne trūkumas. Būti apribotam tiesos yra tikslas.
Europos reguliavimo atsakas (haliucinacijos kaip teisinė atsakomybė)
Europos reguliavimo institucijos haliucinacijas laiko rimtais atitikties pažeidimais, o ne smulkiais gedimais.
ES reikalavimai dėl dirbtinio intelekto skaidrumo pagal ES Dirbtinio intelekto aktą: 13 straipsnis nustato, kad didelės rizikos DI sistemos turi būti „pakankamai skaidrios, kad naudotojai galėtų interpretuoti sistemos išvestį ir tinkamai ja naudotis“. Haliucinacijos, t. y. įtikinami melagingi teiginiai, tiesiogiai pažeidžia šį principą. 15 straipsnis reikalauja „atitinkamo tikslumo, patikimumo ir kibernetinio saugumo lygio“. Sistemos, generuojančios išgalvotą informaciją, sunkiai atitinka šiuos tikslumo reikalavimus ir susiduria su reguliavimo iššūkiais atitikties vertinimo metu.
GDPR sankirtis: Kai dirbtinis intelektas haliucinuoja asmens duomenis (sugalvoja prisijungimo duomenis, darbo istoriją, sveikatos būklę), tai potencialiai sukuria neteisėtą duomenų tvarkymą pagal BDAR 6 straipsnį. Prancūzijos duomenų apsaugos institucija (CNIL) yra nustačiusi vykdymo užtikrinimo precedentus dėl su dirbtiniu intelektu susijusių pažeidimų, su baudomis iki 20 mln. eurų arba 4 % pasaulinės apyvartos už sunkius pažeidimus. Tai sukuria teisinę atsakomybę už dirbtinio intelekto sukurtus prasimanymus, vertinant juos kaip atitikties pažeidimus, o ne tik technines klaidas.
Valstybių narių įgyvendinimas: Vokietijos ir Prancūzijos reguliavimo institucijos nurodė, kad dirbtinio intelekto sistemos, diegiamos kritinėje infrastruktūroje, turi demonstruoti faktinio teisingumo patikros mechanizmus. Nors konkretūs testavimo protokolai skiriasi priklausomai nuo sektoriaus, principas aiškus: sistemos, linkusios į haliucinacijas, susiduria su griežtesne kontrole sveikatos priežiūros, finansų ir saugai svarbiose programose.
Kodėl haliucinacijos svarbios diegimui
Dirbtinio intelekto haliucinacijų duomenų bazė visame pasaulyje stebi 426 teismo bylas, susijusias su dirbtinio intelekto sukurtomis išgalvotomis informacijomis. Tyrimai rodo, kad bendrosios paskirties modelių haliucinacijų dažnis atsakant į konkrečius faktinius klausimus siekia 58-88 %, o net specializuotų įrankių haliucinacijų dažnis yra 20-33 %. Tai ne atsitiktiniai atvejai, o esminiai architektūros iššūkiai.
Ypač pažeidžiamos didelės rizikos sritys: Teisininkai yra užfiksavę atvejų, kai dirbtinis intelektas nurodė neegzistuojančią teismų praktiką, dėl ko taikytos profesinės sankcijos. Sveikatos priežiūros bandomuosiuose projektuose atskleista atvejų, kai dirbtinis intelektas pasiūlė neegzistuojančią vaistų sąveiką arba sugalvojo gydymo protokolus. Finansų sektoriuje susidurta su išgalvotais rodikliais ir suklastotomis analitikų ataskaitomis. Viešojo sektoriaus pokalbių robotai teikė neteisingas procedūrines konsultacijas, remdamiesi išgalvotais reglamentais.
Pasikartojantis modelis visose srityse: haliucinacijos sukuria realią atsakomybę: finansinę, reguliacinę ir reputacinę. Europos organizacijos vis dažniau laiko haliucinacijoms linkusį dirbtinį intelektą nepriimtina rizika kritinėse programose, teikdamos pirmenybę sistemoms su aiškiais patikros mechanizmais arba pasirinkdamos apriboti dirbtinio intelekto taikymą mažesnės rizikos atvejais, kur suklastoti duomenys padaro minimalią žalą.
Haliucinacijų mažinimo ateitis
Kokia kryptimi tai juda?
- Gerensis pagrindimas: Glaudesnė integracija su žinių bazėmis. Kiekvienas teiginys paremtas atsekamu šaltiniu. Privalomas pagrindimas, ne pasirenkamas.
- Neapibrėžtumo įvertinimas: Modeliai, kurie žino, ko nežino. Tiksliai išreiškia pasitikėjimą. Automatiškai pažymi galimas haliucinacijas.
- Faktų tikrinimo integracija: Faktų patikra realiuoju laiku. Modelis sugeneruoja teiginį. Faktų tikrintojas patvirtina. Išvedami tik patvirtinti teiginiai.
- Hibridinės architektūros: Generatyvūs modeliai sklandumui. Simbolinės sistemos faktams. Geriausia iš abiejų. Skaitomumas su patikimumu.
- Skaidrumo reikalavimai: Reguliavimas gali įpareigoti nurodyti šaltinius. Kiekvienas dirbtinio intelekto teiginys turi remtis šaltiniais. Haliucinacijos tampa teisiškai problemiškos. Priverčia keisti architektūrą.
Tikslas: dirbtinis intelektas, kuris generuoja sklandžiai IR teisingai. Ne vienas ar kitas. Abu.
Besiformuojantys haliucinacijų mažinimo metodai
Mokslo institucijos visame pasaulyje kuria architektūrinius haliucinacijų problemos sprendimus:
Pasitikėjimu apribota generacija: sistemos, kurios generuoja kelis galimus atsakymus, įvertina kiekvieno teiginio patikimumą ir pateikia tik aukšto pasitikėjimo teiginius su šaltinio nuoroda. Žemo pasitikėjimo teiginiai pažymimi kaip neaiškūs, o ne pateikiami kaip faktai.
Iteratyvūs patikros ciklai: architektūros, kuriose vienas modelis generuoja atsakymus, o antras tikrina teiginius pagal žinių bazes. Prieštaravimai sukelia pakartotinę generaciją su pataisymais, tęsiama tol, kol patikra pavyksta arba sistema aiškiai nurodo neapibrėžtumą. Skaičiavimo sąnaudos didesnės, tačiau haliucinacijų dažnis gerokai sumažėja.
Hibridinės simbolinės-neuroninės sistemos: generatyvinių modelių kalbos sklandumui derinimas su simbolinėmis sistemomis faktiniam pagrindimui. Kiekvienas faktinis teiginys turi egzistuoti žinių grafe: jei ne, sistema nurodo „nepavyko patikrinti" vietoj spėjimo, užkertant kelią išgalvojimui architektūriniu apribojimu.
Generacija nuo šaltinio: tradicinės eigos keitimas pradedant patikrintais šaltiniais, tada generuojant tekstą, kuris paaiškina arba apibendrina tuos šaltinius neperžengdamas šaltinio turinio. Kiekvienas sakinys lieka atsekamas iki konkrečių šaltinio dokumentų, todėl recenzentams lengviau pastebėti nepagrįstus teiginius.
Šių metodų bendras modelis: haliucinacijų sprendimas per architektūrą, o ne viltis, kad geresnis mokymas užteks. Kompromisai, didesnės skaičiavimo sąnaudos, sumažėjęs kūrybinis lankstumas, pasirodo priimtini programose, kuriose faktinis patikimumas svarbiausias.
Ką reikia įsiminti
- 1. Haliucinacijos yra įsitikinę melai. Konkretūs duomenys. Be išlygų. Visiškai klaidingi. Įtikinamas pateikimas.
- 2. Jos atsiranda dėl šablonų užbaigimo. Ne faktų paieškos. Modeliai nuspėja tikėtinus tęsinius. Tai nereiškia, kad jie teisingi.
- 3. Tipai skiriasi. Faktinės klaidos, išgalvoti objektai, neištikimos santraukos, loginiai nenuoseklumai. Visa pateikiama kaip tiesa.
- 4. Aptikimui reikia patikros. Tikrinkite konkrečias detales. Lyginkite šaltinius. Tikrinkite nuoseklumą. Ekspertų peržiūra. Nepasitikėkite aklai.
- 5. Sušvelninimo būdų yra. RAG, ribotas dekodavimas, pasitikėjimo kalibravimas, patikros grandinė. Ne tobula, bet geriau.
- 6. Apribojimų sistemos padeda. Aiškios žinios. Patikrinami rezultatai. Jokio generatyvaus išgalvojimo. Ribotas patikimumas.
- 7. Ateitis gerėja. Geresnis pagrindimas, neapibrėžtumo įvertinimas, faktų tikrinimas, hibridinės architektūros. Pažanga tęsiasi.
- 8. Europos reglamentai į haliucinacijas žiūri rimtai. ES Dirbtinio intelekto akto tikslumo reikalavimai, BDAR duomenų tvarkymo taisyklės. Išgalvojimai sukuria galimą atsakomybę: finansinę, reguliacinę, reputacinę.
- 9. Ypač paveikti didelės rizikos sektoriai. Teisė, sveikatos priežiūra, finansai, viešosios paslaugos. Užfiksuoti profesinių sankcijų, diegimo nesėkmių, atsakomybės rizikos atvejai. Prevencija būtina kritinėms programoms.
- 10. Atsiranda architektūriniai sprendimai. Pasitikėjimu ribojama generacija, iteratyvi patikra, hibridinės simbolinės-neuroninės sistemos, šaltiniu pagrįsti metodai. Tyrimai sprendžia haliucinacijų problemą per dizainą, ne tik per mokymą.
Esmė
AI haliucinacijos yra esminės dabartinėms architektūroms. Ne klaidos. Šablonų atpažinimo sistemų ypatybės. Modeliai užbaigia tikėtinas sekas. Tos sekos nėra garantuotai teisingos.
Pavojus yra pasitikėjimas. AI nesako „galbūt" ar „tikriausiai". Jis teigia. Vartotojai pasitiki. Tas pasitikėjimas yra nepagrįstas, kai turinys yra haliucinuotas.
Sprendimų yra. Paieška papildyta generacija. Apribojimais pagrįstos sistemos. Patikros sluoksniai. Nė vienas nėra tobulas. Bet visi mažina haliucinacijų riziką.
Kritinės programos reikalauja patikimumo. Medicininė diagnostika. Teisiniai tyrimai. Finansinės konsultacijos. Haliucinacijos nepriimtinos. Architektūra svarbi. Rinkitės sistemas, sukurtas faktų tikslumui, ne tik sklandumui.
Kasdieniam naudojimui būkite skeptiški. Tikrinkite teiginius. Tikrinkite šaltinius. Lyginkite. Nemanokite, kad AI žino. Jis nuspėja. Kartais klysta. Įsitikinęs klydimas yra pavojingiausias.
AI ateitis turi tai spręsti. Ne tik generuoti. Generuoti teisingai. Su patikrinamais šaltiniais. Aiškiai nurodant neapibrėžtumą, kai tinka. Tai patikimas AI. Ne tai, ką turime šiandien. Bet tai, ką turime sukurti rytoj.
Reguliavimo sistemos, tokios kaip ES Dirbtinio intelekto aktas, pripažįsta haliucinacijas esminiais AI patikimumo iššūkiais. Reikalaudami tikslumo, skaidrumo ir tvirtumo, šie reglamentai stumia plėtrą link patikros mechanizmų ir architektūrinių sprendimų. Klausimas ne ar spręsti haliucinacijas, o ar tai daryti aktyviai per geresnį dizainą, ar reaguoti po diegimo nesėkmių.
Norite faktais pagrįsto DI? Išbandykite „Dweve Loom“ ir „Nexus“. Dvejetainės apribojimų žinios. Aiškios samprotavimo grandinės. Patikrinami rezultatai. Apribotos žinios su aiškiu neapibrėžtumu. Toks DI, kuris žino, kai nežino. Ir nehaliucinuoja, kad užpildytų spragas.