Precīzības mānīšanās problēma: kāpēc 98% precīzs mākslīgais intelekts kļūst par pilnīgām muļķībām
Ķīmijas eksperiments, kas izskaidro, kāpēc jūsu mākslīgais intelekts neizdodas
Iedomājieties, ka jums ir vārglāze ar tīru ūdeni. Kāds liek jums izņemt tieši 2% ūdens un aizstāt to ar kaut ko nekaitīgu. To izdarāt vienu reizi, un jums joprojām ir 98% ūdens. Nekādu problēmu.
Tagad atkārtojiet šo procesu 50 reizes. Cik daudz ūdens jums paliek?
Atbilde pilnībā ir atkarīga no tā, uz kuru jautājumu jūs atbildat. Un tieši šī atšķirība ir iemesls, kāpēc lielākā daļa pašreizējo mākslīgā intelekta sistēmu kļūst pilnīgi neuzticamas daudzsoļu spriešanas uzdevumos.
Šī nav metafora. Šī ir matemātika. Un tā iznīcina mākslīgā intelekta projektus visās nozarēs.
Divas domāšanas pieejas par kļūdām
Kad cilvēki runā par mākslīgā intelekta precizitāti, viņi parasti domā par to, ko statistiķi sauc par neatkarīgām kļūdām. Katrai mākslīgā intelekta darbībai ir 2% iespēja kļūdīties. Nākamā darbība ir neatkarīga. Arī tai ir 2% iespēja kļūdīties.
Saskaņā ar šo modeli pēc 50 darbībām esat pieļāvis 50 neatkarīgas 2% kļūdas. Tas ir aptuveni viena kļūda kopā. Nekas liels, vai ne?
Bet tā mākslīgais intelekts patiesībā nestrādā. Mākslīgā intelekta sistēmas balstās uz iepriekšējiem rezultātiem. Katrs solis ir atkarīgs no tā, kas bija pirms tam. Un tas maina visu.
Ķīmijā, kad atkārtoti atšķaidāt šķīdumu, jūs piemērojat samazinājuma koeficientu tam, kas paliek. Jūs neatņemat 2% no sākotnējās koncentrācijas katru reizi. Jūs samazināt pašreizējo koncentrāciju par 2%.
Tas izklausās līdzīgi. Bet rezultāti ir radikāli atšķirīgi.
Lineārā ilūzija
Sāksim ar nepareizo domāšanas veidu, jo tā lielākā daļa mākslīgā intelekta uzņēmumu faktiski modelē savas sistēmas.
Lineārais samazinājums pieņem, ka jūs vienmēr noņemat 2% no sākotnējā daudzuma. Sāciet ar 100% precizitāti. 1. solis: esat pie 98%. 2. solis: esat pie 96%. Pēc 50 soļiem esat tieši pie 0%.
Vienkārši. Paredzami. Un pilnīgi nepareizi mākslīgā intelekta sistēmām.
Šis lineārais modelis liek uzņēmumiem ticēt, ka viņu mākslīgais intelekts ir drošs. Viņi pārbauda viena soļa precizitāti, konstatē, ka tā ir 98%, un pieņem, ka daudzsoļu darbības samazināsies lineāri. Viņi izvieto aģentus, spriešanas ķēdes, daudzlēcienu vaicājumus. Tad viņi vēro, kā viņu sistēmas katastrofāli neizdodas.
Problēma ir tā, ka mākslīgā intelekta kļūdas nedarbojas kā neatkarīgas monētas mešanas. Tās uzkrājas.
Eksponenciālā realitāte
Lūk, kas patiesībā notiek. Katra mākslīgā intelekta darbība saglabā 98% no tās patiesības, kas palika pēc iepriekšējās darbības. Bet būtiski ir tas, ka šie 98% attiecas uz samazinošo atlikumu, nevis uz sākotnējo daudzumu.
Matemātika ir vienkārša eksponenciālā samazināšanās: 0,98 pakāpē n soļi.
Ļaujiet man parādīt, kā tas patiesībā izskatās:
- 0. solis: 100% precizitāte (perfekta patiesība)
- 10. solis: 81,7% precizitāte
- 25. solis: 60,3% precizitāte
- 50. solis: 36,4% precizitāte
- 100. solis: 13,3% precizitāte
- 228. solis: 1% precizitāte
- 342. solis: 0,1% precizitāte
Izlasi to vēlreiz. Pēc tikai 50 spriešanas soļiem ar 98% precizitāti katrā solī jūsu sistēma, visticamāk, kļūdīsies, nevis būs pareiza. Pēc 100 soļiem tā kļūdās 86,7% gadījumu. Pēc 228 soļiem ir palicis tikai aptuveni 1% patiesības.
Lūk, kāpēc jūsu mākslīgā intelekta aģenti cieš neveiksmi. Lūk, kāpēc daudzpakāpju spriešana rada muļķības. Lūk, matemātiskais pamats halucināciju sniega pikai.
Nederīguma slieksnis
Lūk, jautājums, uz kuru neviens mākslīgā intelekta jomā nevēlas atbildēt: kurā brīdī sistēma kļūst tik neuzticama, ka tā faktiski ir nederīga?
Matemātiskā atbilde ir 34 soļi. Pie 98% precizitātes katrā solī pēc 34 spriešanas operācijām sistēmas precizitāte nokrītas zem 50%. Tā, visticamāk, kļūdās, nevis sniedz pareizu atbildi.
Taču praktiskā atbilde nāk daudz agrāk. Ražošanas sistēmās nevar pieļaut neko tuvu 50% kļūdu. Nepieciešama 90% vai augstāka uzticamība. Šis slieksnis tiek sasniegts jau pēc 11 soļiem.
Ļaujiet man skaidri pateikt, ko tas nozīmē:
- 11 soļu spriešanas ķēde: 90% jūsu rezultātu ir nepareizi
- 34 soļu spriešanas ķēde: jūsu sistēma ir sliktāka par nejaušu minējumu
- 50 soļu spriešanas ķēde: 63,6% kļūmju līmenis
- 100 soļu spriešanas ķēde: 86,7% kļūmju līmenis
Tagad padomājiet, ko tas nozīmē aģentūras mākslīgajam intelektam. Tipiska aģenta darbplūsma var ietvert: uzdevuma izpratni (1), sadalīšanu soļos (2), informācijas meklēšanu (3), avotu izvērtēšanu (4), atziņu sintēzi (5), atbildes ģenerēšanu (6), kvalitātes pārbaudi (7) un tā tālāk. Tie jau ir 7 soļi, un mēs vēl neesam nonākuši pie sarežģītiem uzdevumiem.
Daudzpakāpju spriešanas ķēdes juridiskajos pētījumos, medicīniskajā diagnostikā vai finanšu analīzē regulāri pārsniedz 20 soļus. Pie 98% precizitātes katrā solī jūs saskaraties ar 33% kļūmju, pirms vēl vispār ņemat vērā sarežģītību.
Tas nav tikai teorija. Tieši tāpēc MI aģenti ražošanā cieš neveiksmi.
Ražošanas katastrofa, par kuru neviens nerunā
Statistika ir satriecoša, tomēr MI mārketinga materiālos tā gandrīz nekad netiek pieminēta.
Uzņēmumu MI neveiksmes: Saskaņā ar 2025. gada MIT un Fortune pētījumu 95% ģeneratīvā MI izmēģinājumu projektu nesasniedz ražošanu ar izmērāmu ietekmi uz biznesu. Nevis "cīnās, lai sasniegtu ražošanu". Pilnībā neizdodas.
Aģentiem raksturīgās neveiksmes: LinkedIn analīze, ko veikuši MI praktiķi, liecina, ka 95% MI aģentu ražošanā cieš neveiksmi. Ne tāpēc, ka modeļi nebūtu pietiekami inteliģenti. Bet tāpēc, ka kļūdu uzkrāšanās padara tos neuzticamus.
Daudzaģentu sistēmas: Pētījumi liecina, ka, vairākiem aģentiem sadarbojoties, kļūdas vairojas ātrāk. Ja viens aģents nodod kļūdainu informāciju citam, otrais aģents balstās uz kļūdām, un degradācija paātrinās.
Ekonomiskā ietekme: Uzņēmumi tērē simtiem miljonu MI sistēmām, kas paredzētajiem lietošanas gadījumiem principā nevar darboties. Viens daudzpakāpju aģenta izvietojums var izmaksāt miljoniem, taču neizdoties elementāras matemātikas dēļ.
Praksē tā ir 98% problēma: lieliska viena soļa precizitāte, katastrofāla daudzpakāpju kļūme.
Halucināciju sniega pikas efekts
Džana u.c. (2023) pētījums atklāja to, ko viņi dēvē par "halucināciju sniega piku". Lūk, kā tas darbojas: LLM pārlieku pieķeras agrīnām kļūdām un pēc tam ģenerē papildu nepatiesus apgalvojumus, lai attaisnotu šīs kļūdas. Kļūda ne tikai izplatās. Tā aug.
Padomājiet, ko tas nozīmē eksponenciālās kļūdu samazināšanās kontekstā. Jūsu pirmā kļūda 5. solī ne tikai samazina precizitāti par 2%. Tā rada kļūdainu pamatu 6. solim, kuram tagad ir vēl lielāka kļūdas varbūtība, jo tas balstās uz nepareiziem pieņēmumiem.
Tīrais eksponenciālās samazināšanās modelis patiesībā ir optimistisks. Praksē kļūdas sniega pikas efektā aug ātrāk, nekā prognozē matemātika, jo katra kļūda padara nākamās kļūdas varbūtīgākas.
Tāpēc mēs redzam dokumentētus gadījumus, piemēram:
CNET mākslīgā intelekta katastrofa (2023): 41 no 77 MI rakstītajiem rakstiem bija nepieciešamas korekcijas. Tas ir 53% kļūdu līmenis profesionālajā žurnālistikā, kur pat viencipara kļūdu līmenis būtu nepieņemams.
Medicīnisko diagnožu kļūmes: JAMA Pediatrics pētījumā konstatēts, ka ChatGPT sniedza nepareizas diagnozes vairāk nekā 80% pediatrijas gadījumu. Tā nav "halucinācija" abstraktā nozīmē. Tās ir konkrētas medicīniskas kļūdas, kas var kaitēt pacientiem.
Juridiskā MI halucinācijas: Stanfordas HAI pētījumi liecina, ka juridiskie MI modeļi halucinē 1 no 6 etalona vaicājumiem. Advokāti ir saņēmuši sankcijas par MI ģenerētu viltotu lietu iesniegšanu tiesās. Vairākkārt. Vairākās valstīs.
Google AI Overview kļūmes: Sistēma ieteica likt līmi uz picas un ēst akmeņus katru dienu. Tie nav robežgadījumi. Tas notiek, kad kļūdu uzkrāšanās sastopas ar pārliecību bez pārbaudes.
Pārbaudes slazds
Lūk, ironiskā daļa. Mēs zinām, ka LLM spēj atpazīt savas kļūdas. Pētījumi liecina, ka ChatGPT atpazīst 67% savu kļūdu, GPT-4 atpazīst 87%. Modeļi zina, kad tie kļūdās.
Bet tie joprojām pieķeras halucinācijām. Tie ģenerē nepatiesus apgalvojumus, lai attaisnotu sākotnējās kļūdas. Tie pārlieku pieķeras kļūdām, neskatoties uz spēju tās atpazīt.
Tāpēc vienkārša pārbaude neatrisina problēmu. "Pārbaudi savu darbu" soļa pievienošana nepalīdz, ja sistēma ir motivēta aizstāvēt savus iepriekšējos rezultātus, nevis tos labot.
Pārbaudes solis pats kļūst par vēl vienu soli spriešanas ķēdē. Vēl 2% kļūda. Vēl viena iespēja sniega pikam augt.
Kāpēc pašreizējās pieejas to nevar novērst
MI nozares atbilde uz kļūdu uzkrāšanos ir bijusi censties vairāk. Vairāk apmācības datu. Labāka smalkā pielāgošana. Gudri uzvedņu formulējumi. Domāšanas ķēdes spriešana. Pārbaudes soļi.
Neviens no šiem nerisina fundamentālo matemātisko problēmu.
Vairāk apmācības nepalīdz: Labāka viena soļa precizitāte nemaina eksponenciālo samazināšanos. 99% precizitāte tikai pārvieto slieksni no 34 soļiem uz 69 soļiem. 99,5% to pārvieto uz 138 soļiem. Tikmēr jūs tērējat eksponenciāli vairāk skaitļošanas jaudas par niecīgiem ieguvumiem.
Labāki uzvedņu formulējumi nepalīdz: Uzvedņu stratēģijas būtībā ir mēģinājums cīnīties ar matemātiku, izmantojot dabisko valodu. Jūs nevarat izkļūt no (0,98)ⁿ ar uzvedņu palīdzību.
Pārbaude saasina problēmu: Katrs pārbaudes solis ir vēl viena darbība ar savu kļūdas varbūtību. Jūs pievienojat soļus, lai cīnītos ar problēmu, ko radījis pārāk daudz soļu.
Ansambļa metodes palīdz, bet neatrisina: Pētījumi liecina, ka paškonsekvences metodes var uzlabot precizitāti līdz pat 17,9 procentpunktiem matemātikas uzdevumos. Bet tas notiek uz 40× lielākas skaitļošanas rēķina. Un tas neizslēdz eksponenciālo samazināšanos. Tas tikai nedaudz pārvieto līkni.
Galvenā problēma nav apmācības kvalitāte vai uzvedņu stratēģija. Problēma ir tā, ka peldošā komata neironu tīkli pēc būtības ir varbūtības balstīti. Katra darbība ievieš nenoteiktību. Nenoteiktība uzkrājas. Šai matemātikai nav iespējams apiet.
Uz ierobežojumiem balstīts risinājums
Uz ierobežojumiem balstītas mākslīgā intelekta sistēmas neseko eksponenciālās samazināšanās modelim. Lūk, kāpēc.
Deterministiskas darbības: Mūsu pieeja izmanto diskrētas darbības. XNOR, POPCNT, loģiskais UN, VAI. Šīs darbības ir deterministiskas. Viena un tā pati ievade, viens un tas pats rezultāts. Katru reizi.
Nav noapaļošanas kļūdu: Binārās vērtības ir precīzas. +1 vai -1. Nav peldošā komata tuvinājuma. Nav uzkrātas noapaļošanas kļūdas.
Ierobežojumu apmierināšana: Mūsu sistēmas strādā ar ierobežojumiem, nevis varbūtībām. Ierobežojums ir vai nu apmierināts, vai nav. Nav tādas lietas kā 98% apmierinātība. Ir apmierināts (100%) vai pārkāpts (0%).
Kristalizēti ierobežojumi: Dweve pieejā, kad ierobežojums ir atklāts un kristalizēts, tas darbojas deterministiski. Simtā ierobežojuma piemērošana ir tikpat uzticama kā pirmā. Nav samazināšanās. Nav uzkrātas kļūdas.
Tāpēc uz ierobežojumiem balstītas sistēmas var veikt daudzsoļu spriešanu bez degradācijas. Katrs solis tiek pārbaudīts pret kristalizētiem ierobežojumiem. 10. solis ir tikpat uzticams kā 1. solis. 100. solis ir tikpat uzticams kā 1. solis.
Kļūdu līkne neizskatās kā eksponenciāla samazināšanās. Tā izskatās kā pakāpju funkcija: 100% precizitāte, līdz tiek sasniegta ierobežojuma robeža, tad 0% (nosakāma kļūme). Nav pelēko zonu. Nav pakāpeniskas samazināšanās līdz bezjēdzībai.
Regulatīvais aspekts
Eiropas regulatoru izpratne par šo problēmu ir dziļāka, nekā Amerikas tehnoloģiju uzņēmumi vēlas atzīt.
ES Mākslīgā intelekta akts neparedz tikai precizitāti. Tas paredz izskaidrojamību un revidējamību. Jums ir jāpaskaidro, kāpēc jūsu MI pieņēma konkrētu lēmumu. Jums ir jāpierāda, ka tas darbojas pareizi.
Kā gan pierādīt, ka sistēma darbojas pareizi, ja tās ticamība samazinās eksponenciāli līdz ar spriešanas dziļumu?
To nevar izdarīt.
Tieši tāpēc Vispārīgās datu aizsardzības regulas 22. panta tiesības uz paskaidrojumu un ES Mākslīgā intelekta akta pārredzamības prasības būtībā dod priekšroku ierobežojumos balstītām pieejām. Ja lēmums ir ierobežojumu izpildes rezultāts, to var izskaidrot. Lūk, ierobežojums A, ierobežojums B, ierobežojums C. Visi izpildīti. Rezultāts izriet loģiski.
Ja lēmums ir 50 varbūtīgu darbību rezultāts, un katra no tām vairo iepriekšējās nenoteiktību? To nevar izskaidrot. To pat nevar droši atkārtot.
Šeit nav runa par atbilstības slogu. Šeit matemātika panāk mārketinga solījumus.
Ietekme uz uzņēmējdarbību
Lūk, ko eksponenciālā kļūdu uzkrāšanās nozīmē MI izmantošanai uzņēmējdarbībā:
Vienkārši uzdevumi: Vienpakāpju darbības darbojas labi. Klasifikācija, pamata jautājumu atbildēšana, vienkārša informācijas izguve. 98% precizitāte šeit patiešām ir noderīga.
Vidēja sarežģītība: Daudzpakāpju, bet ierobežotas darbības ir riskantas. Iespējams, varat tikt galā ar 5 līdz 10 soļiem, ja esat uzmanīgs. Taču jūs tuvojaties robežai, kurā kļūdas uzkrājas ātrāk, nekā tiek radīta vērtība.
Augsta sarežģītība: Dziļas spriešanas ķēdes, aģentu darbplūsmas un daudzpakāpju vaicājumi ir matemātiski neīstenojami ar peldošā komata varbūtības pieejām. Sistēma neizdosies. Nav jautājums par to, vai tas notiks, bet gan kad.
Tas izskaidro, kāpēc 95% uzņēmumu MI pilotprojektu cieš neveiksmi. Uzņēmumi mēģina risināt problēmas, kurām nepieciešami 20, 50 vai 100 spriešanas soļi, izmantojot sistēmas, kas kļūst neuzticamas jau pēc 11 soļiem.
Matemātikai nav nozīmes, kāds ir jūsu lietošanas gadījums. Tai nav nozīmes, kāds ir jūsu budžets. Tai nav nozīmes, cik vērienīgs ir jūsu ceļvedis. (0,98)ⁿ tuvojas nullei neatkarīgi no nodomiem.
Ceļš uz priekšu
Mēs esam identificējuši problēmu. Eksponenciālā kļūdu uzkrāšanās padara peldošā komata neironu tīklus nepiemērotus daudzpakāpju spriešanai. Matemātika ir skaidra. Ražošanas kļūmes ir dokumentētas. Ekonomiskās izmaksas ir izmērāmas.
Risinājums ir tikpat skaidrs: mums ir vajadzīgas MI sistēmas, kas necieš no eksponenciālas samazināšanās.
Ierobežojumos balstīts MI nodrošina tieši to. Determinētas darbības. Kristalizēti ierobežojumi. Bez uzkrātām kļūdām. Daudzpakāpju spriešana bez degradācijas.
Tas nav spekulatīvi. Tas ir tas, ko mēs veidojam uzņēmumā Dweve. Core nodrošina bināro algoritmu ietvaru. Loom ievieš 456 ierobežojumos balstītus nozares speciālistus. Nexus nodrošina daudzaģentu orķestrācijas slāni. Katra darbība ir matemātiski precīza. Katrs lēmums ir izsekojams līdz konkrētiem ierobežojumiem.
Rezultāts: MI sistēmas, kas saglabā ticamību simtiem spriešanas soļu garumā. Nevis 98% precizitāte 1. solī un 36% precizitāte 50. solī. 100% precizitāte 1. solī, 50. solī un 500. solī.
Kamēr nav sasniegta ierobežojumu robeža, ticamība ir absolūta. Pie robežas kļūme ir nosakāma. Sistēma zina, kad tā nezina. Tā nav kļūda. Tā ir drošība.
Kas jums jāatceras
- Kļūdu uzkrāšanās ir eksponenciāla, nevis lineāra. Katra daudzsoļu AI darbība pastiprina iepriekšējās kļūdas. 98% precizitāte vienā solī pārvēršas par 13% veiksmes iespējamību pēc 100 soļiem.
- Nelietderīguma slieksnis tiek sasniegts ātri. Pie 98% precizitātes vienā solī sistēmas noslīd zem 50% ticamības jau pēc 34 soļiem. Praktiski 90% ticamības slieksnis tiek sasniegts ap 11. soli.
- Halucinācijas sniega bumbas veidā pieaug, tās ne tikai izplatās. LLM pārāk stingri pieturas pie agrīnām kļūdām un ģenerē papildu nepatiesus apgalvojumus, lai tās attaisnotu. Kļūdu uzkrāšanās paātrinās vairāk nekā tīra eksponenciālā samazināšanās.
- Ražošanas atteices rādītāji ir katastrofāli. 95% ģeneratīvā AI pilotprojektu nesasniedz ražošanas stadiju. 95% AI aģentu neizdodas ieviešanas posmā. Tā nav slikta inženierija. Tā ir slikta matemātika.
- Verifikācija problēmu neatrisina. Verifikācijas soļu pievienošana rada vairāk darbību ar savām kļūdu iespējamībām. Jūs cīnāties pret eksponenciālo samazināšanos ar vēl lielāku eksponenciālo samazināšanos.
- Uz ierobežojumiem balstītas sistēmas necieš no eksponenciālās samazināšanās. Determinētas darbības un kristalizēti ierobežojumi nozīmē, ka 100. solis ir tikpat ticams kā 1. solis. Bez uzkrātām kļūdām. Bez pelēkajām zonām.
- Eiropas regulējums dod priekšroku matemātiskai noteiktībai. ES AI akta izskaidrojamības un revidējamības prasības saskan ar uz ierobežojumiem balstītām pieejām un ir pretrunā ar varbūtības melnajām kastēm.
Būtība
98% problēma ir reāla, izmērāma un iznīcina AI projektus visās nozarēs. Kad katra darbība zaudē 2% patiesības un kļūdas uzkrājas spriešanas soļos, sistēmām matemātiski ir garantēta neveiksme.
Šeit nav runa par labākiem apmācības datiem vai gudrākiem uzvedņiem. Runa ir par pamata matemātiku starp peldošā komata neironu tīkliem un uz ierobežojumiem balstītu spriešanu.
Tradicionālās pieejas seko eksponenciālajai samazināšanās: (0.98)ⁿ tuvojas nullei, kad n palielinās. No tā nav izejas. Tas ir iestrādāts matemātikā.
Uz ierobežojumiem balstītas pieejas darbojas citādi. Determinētas darbības. Kristalizēti ierobežojumi. 500. solis ir tikpat ticams kā 1. solis. Kļūdu līkne ir pakāpju funkcija, nevis eksponenciālā samazināšanās.
Nozare lēnām pamostas šai realitātei. Uzņēmumi tērē simtiem miljonu sistēmām, kurām matemātiski ir garantēta neveiksme. 95% ražošanas atteices rādītājs nav noslēpums. Tas ir prognozējams.
Eiropas AI uzņēmumi, kas veido uz ierobežojumiem balstītus pamatus, nav neizdevīgā situācijā. Viņi risina īsto problēmu, kamēr Amerikas uzņēmumi dubulto likmes uz kļūdainu matemātiku.
Uzticama AI nākotne nav vairāk skaitļošanas jaudas, lielāki modeļi vai gudrāki uzvedņi. Tā ir uz ierobežojumiem balstītas sistēmas ar kristalizētiem ierobežojumiem. Matemātiska noteiktība statistiskās pārliecības vietā. Pierādāma ticamība eksponenciālās samazināšanās vietā.
Vēlaties AI, kas nepārvēršas muļķībās? Dweve Core uz ierobežojumiem balstītais ietvars nodrošina determinētu daudzsoļu spriešanu. Bez eksponenciālas kļūdu uzkrāšanās. Bez halucināciju sniega bumbām. Tikai matemātika, kas darbojas. Pievienojieties mūsu gaidīšanas sarakstam.