Fakto skiedimo problema: kodėl 98 % tikslus DI virsta visiška nesąmone
Chemijos eksperimentas, paaiškinantis, kodėl jūsų dirbtinis intelektas žlunga
Įsivaizduokite, kad turite stiklinę gryno vandens. Kažkas liepia jums pašalinti lygiai 2 % vandens ir pakeisti jį kuo nors nekenksmingu. Tai padarote vieną kartą, ir vis dar turite 98 % vandens. Jokios problemos.
Dabar pakartokite šį procesą 50 kartų. Kiek vandens jums lieka?
Atsakymas visiškai priklauso nuo to, į kurį klausimą atsakote. Ir būtent šis skirtumas yra priežastis, kodėl dauguma dabartinių dirbtinio intelekto sistemų tampa visiškai nepatikimos atliekant daugiapakopes samprotavimo užduotis.
Tai ne metafora. Tai matematika. Ir ji naikina dirbtinio intelekto projektus visose pramonės šakose.
Du būdai galvoti apie klaidas
Kai žmonės kalba apie dirbtinio intelekto tikslumą, jie paprastai galvoja apie tai, ką statistikai vadina nepriklausomomis klaidomis. Kiekviena dirbtinio intelekto operacija turi 2 % tikimybę suklysti. Kita operacija yra nepriklausoma. Ji taip pat turi 2 % tikimybę suklysti.
Pagal šį modelį po 50 operacijų padarote 50 nepriklausomų 2 % klaidų. Tai maždaug viena klaida iš viso. Nieko baisaus, tiesa?
Bet taip dirbtinis intelektas iš tikrųjų neveikia. Dirbtinio intelekto sistemos remiasi ankstesniais rezultatais. Kiekvienas žingsnis priklauso nuo to, kas buvo prieš jį. Ir tai keičia viską.
Chemijoje, kai pakartotinai skiedžiate tirpalą, taikote skilimo koeficientą tam, kas lieka. Jūs neatimate 2 % pradinės koncentracijos kiekvieną kartą. Jūs sumažinate dabartinę koncentraciją 2 %.
Tai skamba panašiai. Rezultatai yra radikaliai skirtingi.
Tiesinė iliuzija
Pradėkime nuo neteisingo mąstymo būdo, nes būtent taip dauguma dirbtinio intelekto įmonių modeliuoja savo sistemas.
Tiesinis skilimas reiškia, kad visada pašalinate 2 % pradinio kiekio. Pradėkite nuo 100 % tikslumo. 1 žingsnis: esate ties 98 %. 2 žingsnis: esate ties 96 %. Po 50 žingsnių esate ties lygiai 0 %.
Paprasta. Nuspėjama. Ir visiškai neteisinga dirbtinio intelekto sistemoms.
Būtent šis tiesinis modelis verčia įmones tikėti, kad jų dirbtinis intelektas yra saugus. Jos išbando vieno žingsnio tikslumą, nustato, kad jis yra 98 %, ir daro prielaidą, kad daugiapakopės operacijos skils tiesiškai. Jos diegia agentus, samprotavimo grandines, daugiapakopes užklausas. Tada stebi, kaip jų sistemos katastrofiškai žlunga.
Problema ta, kad dirbtinio intelekto klaidos neveikia kaip nepriklausomi monetos metimai. Jos kaupiasi.
Eksponentinė realybė
Štai kas iš tikrųjų vyksta. Kiekviena dirbtinio intelekto operacija išsaugo 98 % tos tiesos, kuri liko po ankstesnės operacijos. Tačiau svarbiausia, kad tie 98 % yra nuo mažėjančio likučio, o ne nuo pradinio.
Matematika yra paprastas eksponentinis skilimas: 0,98 pakelta n žingsnių laipsniu.
Leiskite man parodyti, kaip tai iš tikrųjų atrodo:
- 0 žingsnis: 100 % tikslumas (tobula tiesa)
- 10 žingsnis: 81,7 % tikslumas
- 25 žingsnis: 60,3 % tikslumas
- 50 žingsnis: 36,4 % tikslumas
- 100 žingsnis: 13,3 % tikslumas
- 228 žingsnis: 1 % tikslumas
- 342 žingsnis: 0,1 % tikslumas
Perskaitykite tai dar kartą. Po vos 50 samprotavimo žingsnių su 98 % tikslumu kiekviename žingsnyje jūsų sistema greičiausiai klys, nei bus teisi. Po 100 žingsnių ji klysta 86,7 % laiko. Po 228 žingsnių lieka vos 1 % tiesos.
Štai kodėl jūsų dirbtinio intelekto agentai žlunga. Štai kodėl daugiapakopis samprotavimas sukuria nesąmones. Tai matematinis haliucinacijų sniego gniūžtės pagrindas.
Nenaudingumo riba
Štai klausimas, į kurį niekas dirbtinio intelekto srityje nenori atsakyti: kada sistema tampa tokia nepatikima, kad iš esmės tampa nenaudinga?
Matematinis atsakymas yra 34 žingsniai. Esant 98% tikslumui kiekvienam žingsniui, po 34 samprotavimo operacijų sistemos tikslumas nukrenta žemiau 50%. Ji dažniau klysta, nei būna teisi.
Tačiau praktinis atsakymas ateina gerokai anksčiau. Gamybinėse sistemose negalite pakęsti nieko panašaus į 50% klaidų. Jums reikia 90% patikimumo arba daugiau. Ši riba pasiekiama jau po 11 žingsnių.
Leiskite man aiškiai pasakyti, ką tai reiškia:
- 11 žingsnių samprotavimo grandinė: 90% jūsų rezultatų yra klaidingi
- 34 žingsnių samprotavimo grandinė: jūsų sistema yra blogesnė už atsitiktinumą
- 50 žingsnių samprotavimo grandinė: 63,6% nesėkmių dažnis
- 100 žingsnių samprotavimo grandinė: 86,7% nesėkmių dažnis
Dabar pagalvokite, ką tai reiškia agentiniam dirbtiniam intelektui. Įprastas agento darbo srautas gali apimti: užduoties supratimą (1), suskaidymą į žingsnius (2), informacijos paiešką (3), šaltinių įvertinimą (4), išvadų sintezę (5), atsakymo generavimą (6), kokybės patikrą (7) ir taip toliau. Tai jau 7 žingsniai, o mes dar net nepasiekėme sudėtingų užduočių.
Daugiapakopės samprotavimo grandinės teisiniuose tyrimuose, medicininėse diagnozėse ar finansinėje analizėje įprastai viršija 20 žingsnių. Esant 98% tikslumui kiekvienam žingsniui, jūs susiduriate su 33% nesėkmių dar prieš įvertindami sudėtingumą.
Tai ne teorija. Būtent dėl to dirbtinio intelekto agentai žlunga gamyboje.
Gamybos katastrofa, apie kurią niekas nekalba
Statistika yra pražūtinga, tačiau dirbtinio intelekto rinkodaros medžiagoje ji beveik niekada nepripažįstama.
Įmonių dirbtinio intelekto nesėkmės: Remiantis 2025 m. MIT ir Fortune tyrimais, 95% generatyvaus dirbtinio intelekto bandomųjų projektų nepasiekia gamybos su išmatuojamu verslo poveikiu. Ne „sunkiai pasiekia gamybą". Žlunga visiškai.
Agentams būdingos nesėkmės: LinkedIn analizė, parengta dirbtinio intelekto praktikų, rodo, kad 95% dirbtinio intelekto agentų žlunga gamyboje. Ne todėl, kad modeliai nėra pakankamai protingi. O todėl, kad klaidų kaupimasis daro juos nepatikimus.
Daugiaagentės sistemos: Tyrimai rodo, kad keliems agentams bendradarbiaujant, klaidos kaupiasi greičiau. Jei vienas agentas perduoda klaidingą informaciją kitam, antrasis agentas kuria ant klaidų, o degradacija spartėja.
Ekonominis poveikis: Įmonės išleidžia šimtus milijonų dirbtinio intelekto sistemoms, kurios iš esmės negali veikti pagal numatytą paskirtį. Vieno daugiapakopio agento diegimas gali kainuoti milijonus, tačiau žlugti dėl elementarios matematikos.
Tai yra 98% problema praktikoje: puikus vieno žingsnio tikslumas, katastrofiška daugiapakopė nesėkmė.
Halucinacijų sniego gniūžtės efektas
Zhang ir kt. (2023) tyrimas nustatė tai, ką jie vadina „halucinacijų sniego gniūžte". Štai kaip tai veikia: LLM pernelyg įsipareigoja ankstyvoms klaidoms, o tada generuoja papildomus melagingus teiginius, kad pateisintų tas klaidas. Klaida ne tik plinta. Ji auga.
Pagalvokite, ką tai reiškia eksponentinio klaidų mažėjimo kontekste. Jūsų pirmoji klaida 5 žingsnyje ne tik sumažina tikslumą 2%. Ji sukuria ydingą pagrindą 6 žingsniui, kuris dabar turi dar didesnę klaidos tikimybę, nes remiasi klaidingomis prielaidomis.
Grynasis eksponentinio mažėjimo modelis iš tikrųjų yra optimistiškas. Praktikoje klaidos kaupiasi greičiau, nei prognozuoja matematika, nes kiekviena klaida padidina vėlesnių klaidų tikimybę.
Štai kodėl matome dokumentuotus atvejus, pavyzdžiui:
CNET dirbtinio intelekto katastrofa (2023 m.): 41 iš 77 dirbtinio intelekto parašytų straipsnių reikalavo pataisymų. Tai 53% klaidų lygis produkcinėje žurnalistikoje, kur vienaženklis klaidų lygis būtų nepriimtinas.
Medicinos diagnozių nesėkmės: JAMA Pediatrics tyrimas nustatė, kad ChatGPT pateikė neteisingas diagnozes daugiau nei 80% pediatrinių atvejų. Tai ne abstrakti „halucinacija". Tai konkrečios medicinos klaidos, kurios gali pakenkti pacientams.
Teisinės dirbtinio intelekto halucinacijos: Stanfordo HAI tyrimas rodo, kad teisiniai dirbtinio intelekto modeliai halucinuoja 1 iš 6 etaloninių užklausų. Advokatai buvo nubausti už tai, kad teismams pateikė dirbtinio intelekto sugeneruotas netikras bylas. Daug kartų. Daugelyje šalių.
„Google AI Overview" nesėkmės: Sistema siūlė dėti klijus ant picos ir kasdien valgyti akmenis. Tai ne ribiniai atvejai. Taip atsitinka, kai klaidų kaupimasis susiduria su pasitikėjimu be patikros.
Patikros spąstai
Štai ironiška dalis. Mes žinome, kad LLM gali atpažinti savo klaidas. Tyrimai rodo, kad ChatGPT atpažįsta 67% savo klaidų, GPT-4 atpažįsta 87%. Modeliai žino, kada klysta.
Bet jie vis tiek įsipareigoja halucinacijoms. Jie generuoja melagingus teiginius, kad pateisintų pradines klaidas. Jie pernelyg įsipareigoja klaidoms, nepaisant gebėjimo jas atpažinti.
Štai kodėl paprasta patikra neišsprendžia problemos. „Patikrinkite savo darbą" žingsnio pridėjimas nepadeda, kai sistema yra skatinama ginti ankstesnius rezultatus, o ne juos taisyti.
Pats patikros žingsnis tampa dar vienu samprotavimo grandinės žingsniu. Dar 2% klaida. Dar viena galimybė sniego gniūžtei augti.
Kodėl dabartiniai metodai negali to išspręsti
Dirbtinio intelekto pramonės atsakas į klaidų kaupimąsi buvo stengtis labiau. Daugiau mokymo duomenų. Geresnis tikslus derinimas. Išmanūs raginimai. Samprotavimo grandinės. Patikros žingsniai.
Nė vienas iš šių dalykų nesprendžia pagrindinės matematinės problemos.
Daugiau mokymo nepadeda: Geresnis vieno žingsnio tikslumas nekeičia eksponentinio mažėjimo. 99% tikslumas tik perkelia ribą nuo 34 žingsnių iki 69 žingsnių. 99,5% perkelia ją iki 138 žingsnių. Tuo tarpu išleidžiate eksponentiškai daugiau skaičiavimo resursų dėl nežymių pagerėjimų.
Geresni raginimai nepadeda: Raginimų strategijos iš esmės yra bandymas kovoti su matematika natūralia kalba. Negalite išraginti savęs iš (0,98)ⁿ.
Patikra apsunkina problemą: Kiekvienas patikros žingsnis yra dar viena operacija su savo klaidos tikimybe. Jūs pridedate žingsnių, kad kovotumėte su problema, kurią sukelia per daug žingsnių.
Ansambliniai metodai padeda, bet neišsprendžia: Tyrimai rodo, kad savęs nuoseklumo metodai gali pagerinti tikslumą iki 17,9 procentinio punkto sprendžiant matematikos uždavinius. Tačiau tai kainuoja 40× daugiau skaičiavimų. Ir tai nepanaikina eksponentinio mažėjimo. Tai tik šiek tiek pakreipia kreivę.
Pagrindinė problema nėra mokymo kokybė ar užklausų strategija. Esmė ta, kad slankiojo kablelio neuroniniai tinklai iš esmės yra tikimybiniai. Kiekviena operacija įveda neapibrėžtumą. Neapibrėžtumas kaupiasi. Nuo šios matematikos nepabėgsi.
Sprendimas, pagrįstas apribojimais
Apribojimais pagrįstos dirbtinio intelekto sistemos nesivadovauja eksponentinio mažėjimo modeliu. Štai kodėl.
Deterministinės operacijos: Mūsų metodas naudoja diskrečiąsias operacijas. XNOR, POPCNT, loginį IR, ARBA. Šios operacijos yra deterministinės. Tas pats įvestis, tas pats rezultatas. Kiekvieną kartą.
Jokių apvalinimo klaidų: Dvejetainės reikšmės yra tikslios. +1 arba -1. Jokio slankiojo kablelio aproksimavimo. Jokių susikaupusių apvalinimo klaidų.
Apribojimų tenkinimas: Mūsų sistemos veikia su apribojimais, o ne su tikimybėmis. Apribojimas arba tenkinamas, arba ne. Nėra 98 % tenkinimo. Yra tenkinamas (100 %) arba pažeistas (0 %).
Kristalizuoti apribojimai: Taikant Dweve metodą, kai apribojimas atrandamas ir kristalizuojamas, jis taikomas deterministiškai. Šimtasis apribojimo taikymas yra toks pat patikimas kaip ir pirmasis. Jokio mažėjimo. Jokių susikaupusių klaidų.
Štai kodėl apribojimais pagrįstos sistemos gali atlikti daugiapakopį samprotavimą be degradacijos. Kiekvienas žingsnis tikrinamas pagal kristalizuotus apribojimus. 10 žingsnis yra toks pat patikimas kaip 1 žingsnis. 100 žingsnis yra toks pat patikimas kaip 1 žingsnis.
Klaidų kreivė nepanaši į eksponentinį mažėjimą. Ji panaši į laiptuotąją funkciją: 100 % tikslumas, kol pasiekiama apribojimo riba, tada 0 % (aptinkamas gedimas). Jokių pilkųjų zonų. Jokio laipsniško smukimo į nesąmones.
Reguliavimo aspektas
Europos reguliavimo institucijos šią problemą supranta geriau, nei Amerikos technologijų bendrovės norėtų pripažinti.
ES Dirbtinio intelekto aktas reikalauja ne tik tikslumo. Jis reikalauja paaiškinamumo ir audito galimybės. Turite paaiškinti, kodėl jūsų dirbtinis intelektas priėmė konkretų sprendimą. Turite įrodyti, kad jis veikia tinkamai.
Kaip įrodyti, kad sistema veikia teisingai, kai jos patikimumas mažėja eksponentiškai didėjant samprotavimo gyliui?
Negalite.
Būtent todėl BDAR 22 straipsnio teisė į paaiškinimą ir ES Dirbtinio intelekto akto skaidrumo reikalavimai iš esmės palankūs apribojimais grindžiamiems metodams. Kai sprendimas yra apribojimų tenkinimo rezultatas, galite jį paaiškinti. Štai apribojimas A, apribojimas B, apribojimas C. Visi tenkinami. Rezultatas išplaukia logiškai.
Kai sprendimas yra 50 tikimybinių operacijų rezultatas, kurių kiekviena didina ankstesnės neapibrėžtumą? To negalite paaiškinti. To netgi negalite patikimai atkartoti.
Tai ne atitikties našta. Tai matematika, pasivijanti rinkodaros teiginius.
Verslo pasekmės
Štai ką eksponentinis klaidų mažėjimas reiškia dirbtiniam intelektui versle:
Paprastos užduotys: Vieno žingsnio operacijos veikia gerai. Klasifikavimas, pagrindinis atsakymų į klausimus teikimas, paprasta paieška. 98% tikslumas čia tikrai naudingas.
Vidutinis sudėtingumas: Daugiažingsnės, bet ribotos operacijos yra rizikingos. Tikriausiai galite atlikti 5-10 žingsnių, jei būsite atsargūs. Tačiau artėjate prie ribos, kai klaidos kaupiasi greičiau nei kuriama vertė.
Didelis sudėtingumas: Gilūs samprotavimo grandinės, agentų darbo srautai, daugiapakopės užklausos yra matematiškai neįmanomos naudojant slankiojo kablelio tikimybinius metodus. Sistema žlugs. Tai ne klausimas „ar“, o „kada“.
Tai paaiškina, kodėl 95 % įmonių dirbtinio intelekto bandomųjų projektų žlunga. Įmonės bando išspręsti problemas, kurioms reikia 20, 50 ar 100 samprotavimo žingsnių, naudodamos sistemas, kurios tampa nepatikimos po 11.
Matematikai nerūpi jūsų naudojimo atvejis. Jiems nerūpi jūsų biudžetas. Jiems nerūpi jūsų ambicingas veiksmų planas. (0,98)ⁿ vis tiek artėja prie nulio, kad ir kokie būtų ketinimai.
Kelias į priekį
Mes nustatėme problemą. Eksponentinis klaidų kaupimasis daro slankiojo kablelio neuroninius tinklus netinkamus daugiapakopiam samprotavimui. Matematika yra aiški. Gamybos gedimai yra dokumentuoti. Ekonominės išlaidos yra išmatuojamos.
Sprendimas yra vienodai aiškus: mums reikia dirbtinio intelekto sistemų, kurios nepatirtų eksponentinio nykimo.
Į apribojimais pagrįstą dirbtinį intelektą tai tiksliai tinka. Deterministinės operacijos. Kristalizuoti apribojimai. Jokios susikaupusios klaidos. Daugiažingsnis samprotavimas be degradacijos.
Tai ne spėlionės. Tai, ką kuriame „Dweve“. „Core“ suteikia dvejetainio algoritmo sistemą. „Loom“ įgyvendina 528 į apribojimus orientuotus srities specialistus. „Nexus“ suteikia kelių agentų orkestravimo sluoksnį. Kiekviena operacija yra matematiškai tiksli. Kiekvienas sprendimas yra atsekamas iki konkrečių apribojimų.
Rezultatas: dirbtinio intelekto sistemos, kurios išlieka patikimos per šimtus samprotavimo žingsnių. Ne 98 % tikslumas 1 žingsnyje ir 36 % tikslumas 50 žingsnyje. 100 % tikslumas 1, 50 ir 500 žingsnyje.
Kol nepasiekiama apribojimo riba, patikimumas yra absoliutus. Ties riba gedimas yra aptinkamas. Sistema žino, kada ji nežino. Tai ne klaida. Tai saugumas.
Ką turite atsiminti
- Klaidų kaupimasis yra eksponentinis, o ne tiesinis. Kiekviena daugiažingsnė dirbtinio intelekto operacija didina ankstesnes klaidas. 98 % tikslumas vienam žingsniui tampa 13 % sėkmės tikimybe po 100 žingsnių.
- Nenaudingumo riba pasiekiama greitai. Esant 98 % tikslumui vienam žingsniui, sistemos patikimumas nukrenta žemiau 50 % jau po 34 žingsnių. Praktiškai 90 % patikimumo riba yra maždaug 11 žingsnių.
- Haliucinacijos sniego gniūžtės principu didėja, o ne tik plinta. Didieji kalbos modeliai pernelyg įsipareigoja ankstyvoms klaidoms ir generuoja papildomus melagingus teiginius, kad jas pateisintų. Klaidų kaupimasis spartėja virš paprasto eksponentinio mažėjimo.
- Nesėkmės rodikliai gamyboje yra katastrofiški. 95 % generatyvaus dirbtinio intelekto bandomųjų projektų nepasiekia gamybos etapo. 95 % dirbtinio intelekto agentų žlunga diegimo metu. Tai ne prasta inžinerija. Tai prasta matematika.
- Patikrinimas problemos neišsprendžia. Pridėjus patikrinimo žingsnius, atsiranda daugiau operacijų su savomis klaidų tikimybėmis. Jūs kovojate su eksponentiniu mažėjimu dar didesniu eksponentiniu mažėjimu.
- Apribojimais pagrįstos sistemos nepatiria eksponentinio mažėjimo. Deterministinės operacijos ir kristalizuoti apribojimai reiškia, kad 100 žingsnis yra toks pat patikimas kaip ir 1 žingsnis. Jokio susikaupusios klaidos. Jokių pilkųjų zonų.
- Europos reglamentai palankiai vertina matematinį tikrumą. ES Dirbtinio intelekto akto paaiškinamumo ir audituojamumo reikalavimai atitinka apribojimais pagrįstus metodus ir prieštarauja tikimybinėms juodosioms dėžėms.
Esmė
98 % problema yra reali, išmatuojama ir naikina dirbtinio intelekto projektus visose pramonės šakose. Kai kiekviena operacija praranda 2 % tiesos, o klaidos kaupiasi per samprotavimo žingsnius, sistemos matematiškai pasmerktos žlugti.
Tai ne apie geresnius mokymo duomenis ar protingesnius raginimus. Tai apie esminę slankiojo kablelio neuroninių tinklų matematiką, palyginti su apribojimais pagrįstu samprotavimu.
Tradiciniai metodai vadovaujasi eksponentiniu mažėjimu: (0.98)ⁿ artėja prie nulio, kai n didėja. Nėra jokio būdo to išvengti. Tai įdiegta į pačią matematiką.
Apribojimais pagrįsti metodai veikia kitaip. Deterministinės operacijos. Kristalizuoti apribojimai. 500 žingsnis yra toks pat patikimas kaip ir 1 žingsnis. Klaidų kreivė yra laiptinė funkcija, o ne eksponentinis mažėjimas.
Pramonė pamažu suvokia šią realybę. Įmonės išleidžia šimtus milijonų sistemoms, kurios matematiškai pasmerktos žlugti. 95 % nesėkmės rodiklis gamyboje nėra paslaptis. Jis nuspėjamas.
Europos dirbtinio intelekto įmonės, kuriančios ant apribojimais pagrįstų pamatų, nėra nepalankioje padėtyje. Jos sprendžia tikrąją problemą, o Amerikos įmonės stato ant klaidingos matematikos.
Patikimo dirbtinio intelekto ateitis nėra daugiau skaičiavimo galios, didesni modeliai ar protingesni raginimai. Tai apribojimais pagrįstos sistemos su kristalizuotais apribojimais. Matematinis tikrumas vietoj statistinio pasitikėjimo. Įrodomas patikimumas vietoj eksponentinio mažėjimo.
Norite dirbtinio intelekto, kuris nevirstų nesąmonėmis? Dweve Core apribojimais pagrįsta sistema užtikrina deterministinį daugiažingsnį samprotavimą. Jokio eksponentinio klaidų kaupimosi. Jokių haliucinacijų sniego gniūžčių. Tik matematika, kuri veikia. Šiuo metu vartotojai „Dweve“ gali naudotis tik gavę kvietimą.