Mākslīgā intelekta halucinācijas: kad MI izdomā lietas (un kāpēc)

Mākslīgā intelekta halucinācijas: kad MI izdomā lietas (un kāpēc)

Pārliecināts melojums

Mākslīgais intelekts man teica, ka Eifela tornis tika uzcelts 1889. gadā Pasaules izstādei. Pareizi.

Mākslīgais intelekts man teica, ka to projektējis Gustavs Eifels. Pareizi.

Mākslīgais intelekts man teica, ka sākotnēji to bija plānots nojaukt pēc 20 gadiem. Pareizi.

Mākslīgais intelekts man teica, ka 1962. gadā tas tika nokrāsots koši rozā, lai atzīmētu Francijas neatkarību. Pilnīgi aplami. To teica pārliecināti. Ar konkrētām detaļām. Pilnībā izdomāts.

Tā ir halucinācija. Mākslīgais intelekts rada nepatiesu informāciju, ko pasniedz kā faktu. Saprast, kāpēc tas notiek, ir svarīgi. Jo uzticēties mākslīgajam intelektam, kas halucinē, ir bīstami.

Kas īsti ir mākslīgā intelekta halucinācijas

Halucinācija ir tad, kad mākslīgais intelekts rada informāciju, kas ir faktiski nepareiza, bezjēdzīga vai neuzticīga avota materiālam. Bet to pasniedz pārliecināti. It kā tas zinātu.

• Nevis nejaušas kļūdas: Halucinācijas nav drukas kļūdas. Tās ir ticami skanoši meli. Tas, ka Eifela tornis nokrāsots rozā, izklausās ticami. Konkrēts gads. Konkrēts iemesls. Tikai nepareizi.
• Augsta pārliecība, zema precizitāte: Mākslīgais intelekts nesaka "varbūt" vai "iespējams". Tas apgalvo faktus. Bez izvairīšanās. Bez nenoteiktības pazīmēm. Pārliecināta nepatiesas informācijas pasniegšana.
• Halucināciju veidi: Faktiskas halucinācijas: Nepareiza informācija par reālām lietām. "Einšteins ieguva Nobela prēmiju 1922. gadā" (patiesībā 1921. gadā).

• Izdomāti objekti: Izgudrojot lietas, kas neeksistē. "Nozīmīgais Dr. Džonsona pētījums 2019. gadā..." (šāds pētījums neeksistē).
• Neuzticīgi kopsavilkumi: Nepareizi apkopojot tekstu. Pievienojot apgalvojumus, kas nav avotā. Izlaižot būtiskus precizējumus. Mainot nozīmi.
• Loģiskas pretrunas: Runājot pats sev pretī. 1. rindkopa saka X. 3. rindkopa saka ne-X. Abi teikti pārliecināti.

Viss tiek pasniegts kā patiesība. Tieši tas padara halucinācijas bīstamas.

Kāpēc rodas halucinācijas

Izprast cēloni palīdz izprast risinājumu:

Rakstu pabeigšana, nevis zināšanu izguve:

Neironu tīkliem nav faktu datubāzes. Tie pabeidz modeļus. "Eifeļa tornis tika nokrāsots..." iedarbina modeļa atpazīšanu. Rozā + svinības + gads izklausās ticami. Modelis pabeidz modeli. Taču modelis nav balstīts faktos.

Tā ir sarežģīta automātiskā pabeigšana. Ne faktu meklēšana. Modelis prognozē, kādiem vārdiem būtu jāseko. Dažkārt šie vārdi veido nepatiesības.

Mācību datu ierobežojumi:

Modelis mācās no mācību datiem. Ja tēma mācību datos ir reta, modelis min. Šie minējumi var būt nepareizi. Reti sastopamas tēmas = lielāks halucināciju risks.

Piemērs: pajautājiet par konkrētu 2023. gada pētījumu. Ja tā nav mācību datos (mācību datu robeža bija 2022. gads), modelis ekstrapolē. Izveido ticami skanošu, bet viltotu pētījumu.

• Pārmērīga vispārināšana: Modelis bieži redz modeli X→Y. Pieņem, ka tas ir universāls. Piemēro gadījumam Z, kur tas nedarbojas. Ģenerē nepareizu informāciju kļūdainas vispārināšanas rezultātā.
• Apstiprinājuma novirze ģenerēšanā: Kad modelis uzsāk virzienu, tas turpina. Pirmais tokens liecina par "rozā" → nākamie tokeni nostiprina rozā stāstījumu. Saskanīgs stāsts. Tikai nepatiess.

Valodas modeļi ir konsekvences mašīnas. Tie uztur saskanīgus stāstījumus. Tas nenozīmē, ka šie stāstījumi ir patiesi.

Nav patiesības pārbaudes:

Modeļi nepārbauda faktus. Nav iekšējas pārbaudes. Nav soļa "vai tas ir patiesi?". Tie optimizē raitumu un saskanību. Patiesība ir sekundāra. Patiesībā patiesība vispār nav skaidri definēts mērķis.

Reāli halucināciju piemēri

Dokumentēti gadījumi:

• Juridiskās atsauces (ChatGPT tiesā): Advokāts izmantoja ChatGPT, lai pētītu lietas. Modelis minēja vairākus precedentus. Lietu nosaukumus. Tiesas lēmumus. Konkrētus nolēmumus. Advokāts tos iesniedza. Problēma: šīs lietas neeksistēja. Tās izdomāja mākslīgais intelekts. Advokātam tika piemērotas sankcijas. MI bija halucinējis juridiskos precedentus.
• Medicīniskā informācija: Lietotājs jautā par retu slimību. MI sniedz simptomus, ārstēšanas veidus, zāļu nosaukumus. Izklausās medicīniski. Min konkrētas devas. Bet apvieno reālus zāļu nosaukumus ar nepareizu lietojumu. Vai izgudro neesošas ārstēšanas metodes. Bīstami, ja tām seko.
• Akadēmiskie avoti: "Saskaņā ar 2020. gada pētījumu, ko veica Smith un citi un kas publicēts žurnālā Nature..." Konkrēts žurnāls. Autori. Gads. Pētījums neeksistē. Pilnībā izdomāts. Bet atbilst reālu atsauču modelim.
• Vēstures notikumi: "1783. gada Parīzes līgums ietvēra noteikumus par..." Pievieno noteikumus, kas līgumā nebija. Vai sajauc detaļas no dažādiem līgumiem. Ticami skanoša vēstures pārrakstīšana.
• Koda ģenerēšana: MI ģenerē kodu, izmantojot bibliotēku. Izgudro API metodes, kas neeksistē. Vai izmanto pareizus metožu nosaukumus ar nepareiziem parakstiem. Kods izskatās pareizs. Nedarbojas. Halucinēta API.

Visiem piemēriem kopīgs: ticama pasniegšana, konkrētas detaļas, pilnīga nepatiesība.

Halucināciju atpazīšana

Kā tās pamanīt?

• Pārbaudiet konkrētās detaļas: Konkrēti apgalvojumi ir pārbaudāmi. "Pētījums, ko veicis X žurnālā Y, gadā Z" → meklējiet to. Halucinācijas bieži ietver konkrētas izdomātas detaļas. Pārbaudiet tās.
• Salīdziniet avotus: Vairāki avoti. Ja mākslīgais intelekts saka kaut ko pārsteidzošu, pārbaudiet citur. Vikipēdija. Oficiālie avoti. Reālas pētniecības datubāzes. Neuzticieties tikai mākslīgajam intelektam.
• Meklējiet izvairīgu valodu: Patiesa nenoteiktība ietver "var", "iespējams", "pēc dažu avotu domām". Absolūta pārliecība par neskaidrām tēmām ir aizdomīga. Leģitīmas atbildes atzīst nenoteiktību.
• Pārbaudiet iekšējo konsekvenci: Uzdodiet to pašu jautājumu dažādos veidos. Halucinācijas bieži rada nekonsekventas atbildes. Patiesas zināšanas paliek konsekventas.
• Pieprasiet avotus: Jautājiet mākslīgajam intelektam, no kurienes tas to uzzinājis. Halucinācijas nevar atsaukties uz reāliem avotiem. Tās var izdomāt avotus, bet jūs varat tos pārbaudīt.
• Nozares ekspertu pārskats: Eksperti atpazīst halucinācijas savā jomā. Smalkas kļūdas izceļas. Kritiskām lietojumprogrammām ekspertu pārskats ir obligāts.

Mazināšanas stratēģijas

Kā samazināt halucinācijas:

Ar izguvi papildināta ģenerēšana (RAG):

Nepaļaujieties tikai uz modeļa apmācību. Izgūstiet atbilstošus dokumentus. Pamatojiet atbildes izgūtajā tekstā. Modelis redz: "Šeit ir avota materiāls. Atbildiet, pamatojoties uz to."

Samazina halucinācijas. Modelis joprojām ģenerē tekstu, bet pamatotu reālos dokumentos. Joprojām ne ideāli (var nepareizi interpretēt avotus), bet daudz labāk.

• Ierobežota dekodēšana: Ierobežojiet, ko modelis var teikt. Nodrošiniet entītiju sarakstus, faktu datubāzes, atļautās vērtības. Modelis var izmantot tikai apstiprinātu informāciju. Halucinācijas samazinātas līdz apstiprinātajai kopai.
• Pārliecības kalibrēšana: Apmāciet modeļus izteikt nenoteiktību. Zema pārliecība par retām tēmām. Augsta pārliecība par labi aptvertām tēmām. Lietotājs redz pārliecības rādītājus. Zina, kad būt skeptiskam.
• Precizēšana uz faktualitāti: Apmāciet modeļus īpaši būt faktiskiem. Atalgojiet patiesus apgalvojumus. Sodiet nepatiesus. Pastiprināšanas mācīšanās no cilvēku atsauksmēm, koncentrējoties uz patiesību, ne tikai uz noderīgumu.
• Pārbaudes ķēde: Modelis ģenerē atbildi. Pēc tam to pārbauda. Pašpārbaude. "Vai šis apgalvojums ir precīzs? Vai es varu atrast apliecinošus pierādījumus?" Noķer dažas halucinācijas pirms izvades.
• Vairāku modeļu vienprātība: Jautājiet vairākiem modeļiem. Ja tie piekrīt, iespējams, pareizi. Ja tie nepiekrīt, izmeklējiet. Halucinācijas bieži ir modeļiem specifiskas. Vienprātība palielina pārliecību.
• Skaidra avotu saistīšana: Pieprasiet atsauces katram apgalvojumam. Ja modelis nevar norādīt avotu, neizsakiet apgalvojumu. Piespiež pamatotību. Samazina nepamatotus apgalvojumus.

Uz ierobežojumiem balstītas pieejas (Dweve skatījums)

Bināro ierobežojumu sistēmas piedāvā citu ceļu:

• Eksplicīta zināšanu reprezentācija: Ierobežojumi kodē faktus tieši. "Entītijai X ir īpašība Y." Ne statistiskas shēmas. Faktiskas kodētas zināšanas. Izguve ir deterministiska. Nav ģenerēšanas no izplūdušām shēmām.
• Pārbaudāmi rezultāti: Katrs secinājums izriet no ierobežojumiem. "Šī atbilde nāk no ierobežojumiem C1, C2, C3." Revīzijas pēdas. Pārbaudiet ierobežojumus. Ja tie ir pareizi, atbilde ir pareiza. Nav slēptas shēmas pabeigšanas.
• Nav ģeneratīvu halucināciju: Ierobežojumu sistēmas neģenerē tādā pašā veidā. Tās saskaņo shēmas. Piemēro noteikumus. Izgūst zināšanas. Nav "pabeidz šo ticamo stāstu" dinamikas. Ja zināšanu nav ierobežojumos, sistēma saka "es nezinu". Neizdomā.
• Ierobežotas zināšanas: Sistēma zina, ko tā zina. Zināšanu grafam ir malas vai nav. Ierobežojumi pastāv vai neeksistē. Bināri. Skaidras robežas. Ārpus šīm robežām? Eksplicīta nenoteiktība.

Izvēle: Mazāk elastīga nekā ģeneratīvie modeļi. Nevar radoši aizpildīt nepilnības. Bet faktiskai ticamībai tā ir iezīme, nevis kļūda. Ierobežotība ar patiesību ir mērķis.

Eiropas regulatīvā reakcija (halucinācijas kā juridiska atbildība)

Eiropas regulatori halucinācijas uzskata par nopietniem atbilstības pārkāpumiem, nevis nelielām kļūdām.

ES AI akta pārredzamības prasības: 13. pants nosaka, ka augsta riska AI sistēmām jābūt "pietiekami pārredzamām, lai lietotāji varētu interpretēt sistēmas izvadi un to atbilstoši izmantot". Halucinācijas, pārliecināti nepatiesi apgalvojumi, tieši pārkāpj šo principu. 15. pants prasa "atbilstošu precizitātes, robustuma un kiberdrošības līmeni". Sistēmām, kas ģenerē izdomātu informāciju, ir grūti izpildīt šīs precizitātes prasības, un tās saskaras ar regulatīvām problēmām atbilstības novērtējumu laikā.

VDAR saskarsme: Kad AI halucinē personas datus (izdomā akreditācijas datus, darba vēsturi, medicīniskos stāvokļus), tā potenciāli rada neatļautu datu apstrādi saskaņā ar VDAR 6. pantu. Francijas datu aizsardzības iestāde (CNIL) ir izveidojusi izpildes precedentus ar AI saistītiem pārkāpumiem, ar sodiem līdz 20 miljoniem eiro vai 4% no globālajiem ieņēmumiem par nopietniem pārkāpumiem. Tas rada juridisku atbildību par AI ģenerētiem izdomājumiem, uzskatot tos par atbilstības pārkāpumiem, nevis tikai tehniskām kļūdām.

Dalībvalstu ieviešana: Vācijas un Francijas regulatori ir norādījuši, ka AI sistēmām, kas izvietotas kritiskajā infrastruktūrā, jāpierāda verifikācijas mehānismi faktiskajai pareizībai. Lai gan konkrēti testēšanas protokoli atšķiras pa nozarēm, princips ir skaidrs: sistēmas, kurām ir tendence uz halucinācijām, saskaras ar pastiprinātu pārbaudi veselības aprūpē, finansēs un drošībai kritiskās lietojumprogrammās.

Kāpēc halucinācijas ir svarīgas izvietošanai

AI halucināciju datubāze izseko 426 juridiskus gadījumus globāli, kas saistīti ar AI ģenerētiem izdomājumiem. Pētījumi liecina, ka halucināciju līmenis ir no 58% līdz 88% vispārējas nozīmes modeļiem, atbildot uz konkrētiem faktiskiem jautājumiem, un pat specializētiem rīkiem halucināciju līmenis ir no 20% līdz 33%. Tie nav robežgadījumi; tās ir fundamentālas arhitektūras problēmas.

Īpaši neaizsargātas jomas ar augstu atbildības līmeni: Juristi ir dokumentējuši gadījumus, kad mākslīgais intelekts atsaucās uz neesošu tiesu praksi, kā rezultātā tika piemērotas profesionālas sankcijas. Veselības aprūpes pilotprojektos atklāti gadījumi, kad mākslīgais intelekts ieteica neesošas zāļu mijiedarbības vai izdomāja ārstēšanas protokolus. Finanšu pakalpojumu nozarē ir sastapti izdomāti rādītāji un safabricēti analītiķu ziņojumi. Valsts sektora tērzēšanas roboti ir snieguši nepareizus procesuālus norādījumus, pamatojoties uz izdomātiem noteikumiem.

Modelis visās nozarēs: Halucinācijas rada patiesu atbildību: finansiālu, regulatīvu un reputācijas. Eiropas organizācijas arvien biežāk uzskata mākslīgo intelektu, kuram ir tendence uz halucinācijām, par nepieņemamu risku kritiskās lietojumprogrammās, dodot priekšroku sistēmām ar skaidriem pārbaudes mehānismiem vai izvēloties ierobežot MI izmantošanu mazāk riskantos lietošanas gadījumos, kur izdomājumi rada minimālu kaitējumu.

Halucināciju mazināšanas nākotne

Kur tas virzās?

• Labāka pamatošana: Stingrāka integrācija ar zināšanu bāzēm. Katrs apgalvojums pamatots ar izgūstamu avotu. Obligāta pamatošana, nevis brīvprātīga.
• Nenoteiktības kvantificēšana: Modeļi, kas zina, ko tie nezina. Precīzi izteikta pārliecība. Automātiska iespējamo halucināciju iezīmēšana.
• Faktu pārbaudes integrācija: Reāllaika faktu pārbaude. Modelis ģenerē apgalvojumu. Pārbaudītājs validē. Tiek izvadīti tikai pārbaudīti apgalvojumi.
• Hibrīdas arhitektūras: Ģeneratīvie modeļi plūdumam. Simboliskās sistēmas faktiem. Labākais no abiem. Salasāmība ar uzticamību.
• Pārredzamības prasības: Regulējums var noteikt avotu norādīšanu. Katram MI apgalvojumam jānorāda avoti. Halucinācijas kļūst juridiski problemātiskas. Piespiedu arhitektūras izmaiņas.

Mērķis: MI, kas ģenerē plūstoši UN patiesi. Ne viens, ne otrs. Abi.

Jaunas pieejas halucināciju mazināšanai

Pētniecības institūcijas visā pasaulē izstrādā arhitektūras risinājumus halucināciju problēmai:

Pārliecības ierobežota ģenerēšana: Sistēmas, kas ģenerē vairākus iespējamos atbilžu variantus, novērtē pārliecību par katru apgalvojumu un atgriež tikai augstas pārliecības apgalvojumus ar avotu norādēm. Zemas pārliecības apgalvojumi tiek iezīmēti kā nenoteikti, nevis pasniegti kā fakti.

Iteratīvi pārbaudes cikli: Arhitektūras, kurās viens modelis ģenerē atbildes, bet otrs pārbauda apgalvojumus pret zināšanu bāzēm. Pretrunas izraisa atkārtotu ģenerēšanu ar labojumiem, kas turpinās, līdz pārbaude ir veiksmīga vai sistēma skaidri norāda nenoteiktību. Skaitļošanas izmaksas ir lielākas, bet halucināciju līmenis ievērojami samazinās.

Hibrīdas simboliskās-neironu sistēmas: Ģeneratīvo modeļu apvienošana valodas plūdumam ar simboliskām sistēmām faktu pamatošanai. Katram faktiskam apgalvojumam jābūt zināšanu grafā: ja tā nav, sistēma norāda "nevar pārbaudīt", nevis min, novēršot izdomājumus ar arhitektūras ierobežojumu.

Avotu prioritāte ģenerēšanā: Tradicionālās plūsmas apvēršana, sākot ar pārbaudītiem avotiem un pēc tam ģenerējot tekstu, kas izskaidro vai apkopo šos avotus, nepārsniedzot avota saturu. Katrs teikums paliek izsekojams līdz konkrētiem avota dokumentiem, padarot halucinācijas neiespējamas pēc dizaina.

Modelis šajās pieejās: halucināciju risināšana ar arhitektūru, nevis cerība, ka labāka apmācība būs pietiekama. Kompromisi, lielākas skaitļošanas izmaksas, samazināta radošā elastība, izrādās pieņemami lietojumprogrammām, kur faktiskā uzticamība ir vissvarīgākā.

Kas jums jāatceras

• 1. Halucinācijas ir pārliecinoši nepatiesi apgalvojumi. Konkrētas detaļas. Bez izvairīšanās. Pilnīgi nepareizi. Ticama pasniegšana.
• 2. Tās rodas modeļu pabeigšanas dēļ. Nevis faktu izguves dēļ. Modeļi prognozē ticamus turpinājumus. Tas nenozīmē, ka tie ir patiesi.
• 3. Veidi atšķiras. Faktu kļūdas, izdomātas vienības, neuzticami kopsavilkumi, loģiskas pretrunas. Viss tiek pasniegts kā patiesība.
• 4. Atklāšanai nepieciešama pārbaude. Pārbaudiet detaļas. Salīdziniet avotus. Pārbaudiet konsekvenci. Ekspertu vērtējums. Neuzticieties akli.
• 5. Iespējama mazināšana. RAG, ierobežota dekodēšana, ticamības kalibrēšana, pārbaudes ķēde. Ne ideāli, bet labāk.
• 6. Ierobežojumu sistēmas palīdz. Skaidras zināšanas. Pārbaudāmi rezultāti. Bez ģeneratīvas izdomāšanas. Ierobežota uzticamība.
• 7. Nākotne uzlabojas. Labāka pamatošana, nenoteiktības kvantificēšana, faktu pārbaude, hibrīdas arhitektūras. Progress turpinās.
• 8. Eiropas regulējums halucinācijas uztver nopietni. ES Mākslīgā intelekta akta precizitātes prasības, VDAR datu apstrādes noteikumi. Izdomājumi rada iespējamu atbildību: finansiālu, regulatīvu, reputācijas.
• 9. Īpaši skartas augsta riska nozares. Tiesības, veselības aprūpe, finanses, sabiedriskie pakalpojumi. Dokumentēti profesionālu sankciju, ieviešanas neveiksmju un atbildības risku gadījumi. Novēršana ir būtiska kritiskām lietojumprogrammām.
• 10. Parādās arhitektūras risinājumi. Uz ticamību ierobežota ģenerēšana, iteratīva pārbaude, hibrīdas simboliski-neironu sistēmas, avotu prioritātes pieejas. Pētījumi risina halucinācijas caur dizainu, ne tikai apmācību.

Galvenais secinājums

AI halucinācijas ir pamatā pašreizējām arhitektūrām. Nevis kļūdas. Raksturīgas modeļu atpazīšanas sistēmu iezīmes. Modeļi pabeidz ticamas secības. Šīs secības nav garantēti patiesas.

Bīstamība ir pārliecība. AI nesaka "varbūt" vai "iespējams". Tas apgalvo. Lietotāji uzticas. Šī uzticēšanās ir nepamatota halucinētam saturam.

Risinājumi pastāv. Ar izguvi papildināta ģenerēšana. Uz ierobežojumiem balstītas sistēmas. Pārbaudes slāņi. Neviens nav ideāls. Bet visi samazina halucināciju risku.

Kritiskām lietojumprogrammām nepieciešama uzticamība. Medicīniskā diagnostika. Tiesību pētījumi. Finanšu padomi. Halucinācijas nav pieņemamas. Arhitektūrai ir nozīme. Izvēlieties sistēmas, kas veidotas faktiem, ne tikai plūdumam.

Vispārējai lietošanai esiet skeptiski. Pārbaudiet apgalvojumus. Pārbaudiet avotus. Salīdziniet. Nepieņemiet, ka AI zina. Tas prognozē. Dažreiz nepareizi. Pārliecinoši nepareizi ir visbīstamākais veids.

AI nākotnei tas ir jārisina. Ne tikai ģenerēt. Ģenerēt patiesi. Ar pārbaudāmiem avotiem. Skaidra nenoteiktība, kad tas ir atbilstoši. Tā ir uzticama AI. Ne tas, kas mums ir šodien. Bet tas, kas mums jāveido rīt.

Regulatīvie regulējumi, piemēram, ES Mākslīgā intelekta akts, atzīst halucinācijas par pamata izaicinājumiem AI uzticamībai. Pieprasot precizitāti, pārredzamību un robustumu, šie noteikumi virza attīstību uz pārbaudes mehānismiem un arhitektūras risinājumiem. Jautājums nav par to, vai risināt halucinācijas; tas ir par to, vai to darīt proaktīvi, izmantojot labāku dizainu, vai reaktīvi pēc ieviešanas neveiksmēm.

Vēlaties uz faktiem balstītu mākslīgo intelektu? Iepazīstiet Dweve Loom un Nexus. Bināras ierobežojumu zināšanas. Skaidras argumentācijas ķēdes. Pārbaudāmi rezultāti. Ierobežotas zināšanas ar skaidru nenoteiktību. Tāds mākslīgais intelekts, kas zina, kad tas nezina. Un nevis izdomā, lai aizpildītu robus.