Zakaj 98-odstotno natančna umetna inteligenca postane popolna neumnost
Kemijski poskus, ki pojasni, zakaj vaš AI odpove
Predstavljajte si čašo s čisto vodo. Nekdo vam reče, naj odstranite natanko 2 % vode in jo nadomestite z nečim neškodljivim. To storite enkrat in še vedno imate 98 % vode. Brez težav.
Zdaj ta postopek ponovite 50-krat. Koliko vode vam ostane?
Odgovor je v celoti odvisen od tega, na katero vprašanje odgovarjate. In prav to razlikovanje je razlog, zakaj večina trenutnih sistemov AI postane popolnoma nezanesljivih pri nalogah večstopenjskega sklepanja.
To ni metafora. To je matematika. In uničuje projekte AI v vseh panogah.
Dva načina razmišljanja o napakah
Ko ljudje govorijo o natančnosti AI, običajno mislijo na to, kar statistiki imenujejo neodvisna napaka. Vsaka operacija AI ima 2-odstotno verjetnost, da bo napačna. Naslednja operacija je neodvisna. Prav tako ima 2-odstotno verjetnost, da bo napačna.
Po tem modelu po 50 operacijah naredite 50 neodvisnih 2-odstotnih napak. To je približno ena napaka skupaj. Nič hudega, kajne?
Ampak tako AI v resnici ne deluje. Sistemi AI gradijo na prejšnjih rezultatih. Vsak korak je pogojen s tem, kar je bilo prej. In to spremeni vse.
V kemiji, ko večkrat razredčite raztopino, uporabite faktor upadanja na tisto, kar ostane. Vsakič ne odštejete 2 % prvotne koncentracije. Zmanjšate trenutno koncentracijo za 2 %.
To se sliši podobno. Rezultati pa so povsem drugačni.
Linearna iluzija
Začnimo z napačnim načinom razmišljanja, ker tako večina podjetij AI dejansko modelira svoje sisteme.
Linearno upadanje predpostavlja, da vedno odstranjujete 2 % prvotne količine. Začnete s 100-odstotno natančnostjo. 1. korak: ste pri 98 %. 2. korak: ste pri 96 %. Po 50 korakih ste pri natanko 0 %.
Preprosto. Predvidljivo. In za sisteme AI povsem napačno.
Prav ta linearni model vodi podjetja k prepričanju, da je njihov AI varen. Preizkusijo natančnost posameznega koraka, ugotovijo, da je 98-odstotna, in domnevajo, da se bodo večstopenjske operacije linearno poslabšale. Uporabijo agente, verige sklepanja, poizvedbe z več skoki. Nato opazujejo, kako njihovi sistemi katastrofalno odpovedo.
Težava je v tem, da napake AI ne delujejo kot neodvisni meti kovanca. Kopičijo se.
Eksponentna resničnost
Evo, kaj se dejansko zgodi. Vsaka operacija AI ohrani 98 % tiste resnice, ki je ostala iz prejšnje operacije. A ključno je, da je teh 98 % od vedno manjšega preostanka, ne od prvotnega.
Matematika je preprost eksponentni upad: 0,98 na potenco n korakov.
Naj vam pokažem, kako to dejansko izgleda:
- 0. korak: 100-odstotna natančnost (popolna resnica)
- 10. korak: 81,7-odstotna natančnost
- 25. korak: 60,3-odstotna natančnost
- 50. korak: 36,4-odstotna natančnost
- 100. korak: 13,3-odstotna natančnost
- 228. korak: 1-odstotna natančnost
- 342. korak: 0,1-odstotna natančnost
Preberite to še enkrat. Po samo 50 korakih sklepanja z 98-odstotno natančnostjo na korak je vaš sistem bolj verjetno napačen kot pravilen. Po 100 korakih je napačen v 86,7 % primerov. Po 228 korakih ostane komaj 1 % resnice.
Zato vaši agenti umetne inteligence spodletijo. Zato večstopenjsko sklepanje ustvarja nesmisel. To je matematična osnova snežne kepe halucinacij.
Meja neuporabnosti
Tukaj je vprašanje, na katerega nihče v svetu umetne inteligence noče odgovoriti: kdaj sistem postane tako nezanesljiv, da je dejansko neuporaben?
Matematični odgovor je 34 korakov. Pri 98-odstotni natančnosti na korak sistem po 34 sklepalnih operacijah pade pod 50-odstotno natančnost. Verjetneje je, da bo napačen, kot da bo pravilen.
Toda praktični odgovor pride veliko prej. V produkcijskih sistemih si ne moreš privoščiti ničesar blizu 50-odstotne napake. Potrebuješ 90-odstotno zanesljivost ali več. Ta meja je dosežena že pri 11 korakih.
Naj povem jasno, kaj to pomeni:
- 11-korakova veriga sklepanja: 90 % vaših rezultatov je napačnih
- 34-korakova veriga sklepanja: vaš sistem je slabši od naključja
- 50-korakova veriga sklepanja: 63,6-odstotna stopnja napak
- 100-korakova veriga sklepanja: 86,7-odstotna stopnja napak
Zdaj pa pomislite, kaj to pomeni za agentsko umetno inteligenco. Tipičen agentski potek dela lahko vključuje: razumevanje naloge (1), razčlenitev na korake (2), iskanje informacij (3), vrednotenje virov (4), sintezo ugotovitev (5), pripravo odgovora (6), preverjanje kakovosti (7) in tako naprej. To je že 7 korakov, pa še nismo prišli do zapletenih nalog.
Večstopenjske verige sklepanja pri pravnih raziskavah, medicinski diagnostiki ali finančnih analizah redno presegajo 20 korakov. Pri 98-odstotni natančnosti na korak govorimo o 33-odstotni stopnji napak, še preden upoštevamo zapletenost.
To ni teoretično. To je razlog, zakaj agentski sistemi umetne inteligence odpovedujejo v produkciji.
Produkcijska katastrofa, o kateri nihče ne govori
Statistika je uničujoča, a v marketinških gradivih o umetni inteligenci skoraj nikoli ni omenjena.
Neuspehi generativne umetne inteligence v podjetjih: Po raziskavi iz leta 2025, ki sta jo izvedla MIT in Fortune, 95 % pilotnih projektov generativne umetne inteligence ne doseže produkcije z merljivim poslovnim učinkom. Ne »s težavo dosežejo produkcije«. Popolnoma odpovejo.
Neuspehi agentskih sistemov: Analiza LinkedIna med praktiki umetne inteligence kaže, da 95 % agentskih sistemov odpove v produkciji. Ne zato, ker modeli ne bi bili dovolj inteligentni. Zato, ker jih kopičenje napak naredi nezanesljive.
Večagentski sistemi: Raziskave kažejo, da se pri sodelovanju več agentov napake kopičijo hitreje. Če en agent posreduje pomanjkljive informacije drugemu, drugi gradi na napakah in poslabšanje se pospeši.
Gospodarski učinek: Podjetja porabijo več sto milijonov za sisteme umetne inteligence, ki za predvidene primere uporabe temeljno ne morejo delovati. Že ena sama večstopenjska agentska uvedba lahko stane milijone za razvoj, pa vseeno odpove zaradi osnovne matematike.
To je problem 98 % v praksi: odlična natančnost pri posameznem koraku, katastrofalna odpoved pri več korakih.
Učinek snežne kele pri halucinacijah
Raziskava Zhang et al. (2023) je opredelila pojav, ki so ga poimenovali »snežna kepa halucinacij«. Deluje takole: modeli LLM se preveč zavežejo zgodnjim napakam, nato pa ustvarijo dodatne napačne trditve, da bi te napake upravičili. Napaka se ne samo širi. Raste.
Pomislite, kaj to pomeni v okviru eksponentnega upadanja napak. Vaša prva napaka pri koraku 5 ne zmanjša natančnosti samo za 2 %. Ustvari pomanjkljivo podlago za korak 6, ki ima zdaj še večjo verjetnost napake, ker temelji na napačnih predpostavkah.
Čisti model eksponentnega upadanja je pravzaprav optimističen. V praksi se napake kopičijo hitreje, kot napoveduje matematika, ker vsaka napaka poveča verjetnost nadaljnjih napak.
Zato obstajajo dokumentirani primeri, kot so:
CNET-ova AI katastrofa (2023): 41 od 77 člankov, ki jih je napisala umetna inteligenca, je zahtevalo popravke. To je 53-odstotna stopnja napak v produkcijskem novinarstvu, kjer bi bile enomestne stopnje napak nesprejemljive.
Neuspehi pri medicinski diagnozi: Študija JAMA Pediatrics je pokazala, da je ChatGPT v več kot 80 % pediatričnih primerov postavil napačne diagnoze. To ni »halucinacija« v abstraktnem smislu. To so konkretne medicinske napake, ki bi lahko škodovale bolnikom.
Pravne halucinacije umetne inteligence: Raziskava Stanford HAI kaže, da pravni modeli umetne inteligence halucinirajo pri 1 od 6 primerjalnih poizvedb. Odvetniki so bili sankcionirani, ker so sodiščem predložili izmišljene primere, ki jih je ustvarila umetna inteligenca. Večkrat. V več državah.
Neuspehi Google AI Overview: Sistem je predlagal, da se na pico daje lepilo in da se vsak dan uživa kamenje. To niso robni primeri. To se zgodi, ko se kopičenje napak sreča z zaupanjem brez preverjanja.
Past preverjanja
Tu je ironični del. Vemo, da lahko modeli LLM prepoznajo lastne napake. Raziskave kažejo, da ChatGPT prepozna 67 % svojih napak, GPT-4 pa 87 %. Modeli vedo, kdaj se motijo.
A kljub temu vztrajajo pri halucinacijah. Ustvarjajo napačne trditve, da bi upravičili začetne napake. Preveč se zavežejo napakam, čeprav imajo sposobnost, da jih prepoznajo.
Zato preprosto preverjanje ne reši težave. Dodajanje koraka »preveri svoje delo« ne pomaga, kadar je sistem spodbujen, da brani svoje prejšnje rezultate, namesto da bi jih popravil.
Korak preverjanja sam postane še en korak v verigi sklepanja. Še 2-odstotna napaka. Še ena priložnost, da snežna kepa zraste.
Zakaj trenutni pristopi tega ne morejo popraviti
Odziv industrije umetne inteligence na kopičenje napak je bil, da poskuša še bolj. Več podatkov za usposabljanje. Boljše prilagajanje. Pametno pozivanje. Verižno sklepanje. Koraki preverjanja.
Nič od tega ne obravnava temeljnega matematičnega problema.
Več usposabljanja ne pomaga: Boljša natančnost posameznega koraka ne spremeni eksponentnega upadanja. 99-odstotna natančnost samo premakne prag s 34 korakov na 69 korakov. 99,5-odstotna ga premakne na 138 korakov. Medtem porabite eksponentno več računske moči za minimalne dobičke.
Boljše pozivanje ne pomaga: Strategije pozivanja v bistvu poskušajo matematiko premagati z naravnim jezikom. Iz (0,98)ⁿ se ne morete izpozivati.
Preverjanje poslabša težavo: Vsak korak preverjanja je dodatna operacija z lastno verjetnostjo napake. Dodajate korake, da bi se spopadli s težavo, ki jo povzroča preveč korakov.
Ansambelske metode pomagajo, a ne rešijo: Raziskave kažejo, da lahko metode samokonsistentnosti izboljšajo natančnost pri matematičnih problemih za do 17,9 odstotne točke. A to pride s ceno 40-krat večje računske moči. In ne odpravlja eksponentnega upadanja. Samo nekoliko premakne krivuljo.
Temeljni problem ni kakovost učenja ali strategija pozivov. Gre za to, da so nevronske mreže s plavajočo vejico v osnovi verjetnostne. Vsaka operacija vnaša negotovost. Negotovost se kopiči. Te matematike ni mogoče zaobiti.
Rešitev na podlagi omejitev
Sistemi umetne inteligence, ki temeljijo na omejitvah, ne sledijo modelu eksponentnega upadanja. Razlog je naslednji.
Deterministične operacije: Naš pristop uporablja diskretne operacije. XNOR, POPCNT, logični IN, ALI. Te operacije so deterministične. Enak vhod, enak izhod. Vedno znova.
Ni napak zaradi zaokroževanja: Binarne vrednosti so natančne. +1 ali -1. Brez približkov s plavajočo vejico. Brez nabranih napak zaradi zaokroževanja.
Izpolnjevanje omejitev: Naši sistemi delujejo z omejitvami, ne z verjetnostmi. Omejitev je bodisi izpolnjena bodisi ni. Ne obstaja 98-odstotna izpolnitev. Obstaja izpolnjena (100 %) ali kršena (0 %).
Kristalizirane omejitve: V pristopu Dweve velja, da se odkrita in kristalizirana omejitev uporablja deterministično. Stota uporaba omejitve je enako zanesljiva kot prva. Brez upadanja. Brez nabrane napake.
Zato lahko sistemi, ki temeljijo na omejitvah, obvladajo sklepanje v več korakih brez poslabšanja. Vsak korak se preverja glede na kristalizirane omejitve. 10. korak je enako zanesljiv kot 1. korak. 100. korak je enako zanesljiv kot 1. korak.
Krivulja napak ni videti kot eksponentno upadanje. Videti je kot stopničasta funkcija: 100-odstotna natančnost, dokler ni dosežena meja omejitve, nato 0 % (zaznaven izpad). Brez sivih con. Brez postopnega upadanja v nesmisel.
Regulativni vidik
Evropski regulatorji to težavo razumejo bolje, kot si ameriška tehnološka podjetja želijo priznati.
Akt EU o umetni inteligenci ne zahteva le natančnosti. Zahteva pojasnljivost in revidibilnost. Pojasniti morate, zakaj je vaša umetna inteligenca sprejela določeno odločitev. Dokazati morate, da deluje pravilno.
Kako dokažete, da sistem deluje pravilno, ko njegova zanesljivost eksponentno upada z globino sklepanja?
Ne morete.
Zato 22. člen GDPR o pravici do pojasnila in zahteve po preglednosti iz Akta EU o umetni inteligenci v osnovi dajejo prednost pristopom, ki temeljijo na omejitvah. Ko je odločitev rezultat izpolnjevanja omejitev, jo lahko pojasnite. Tukaj je omejitev A, omejitev B, omejitev C. Vse so izpolnjene. Rezultat logično sledi.
Ko je odločitev rezultat 50 verjetnostnih operacij, pri čemer vsaka povečuje negotovost prejšnje? Tega ne morete pojasniti. Tega ne morete niti zanesljivo ponoviti.
To ni skladnostno breme. To je matematika, ki dohiteva marketinške trditve.
Poslovne posledice
Kaj eksponentno kopičenje napak pomeni za umetno inteligenco v poslovanju:
Preproste naloge: Enostopenjske operacije delujejo brez težav. Klasifikacija, osnovno odgovarjanje na vprašanja, preprosto pridobivanje informacij. 98-odstotna natančnost je tukaj resnično uporabna.
Srednja zahtevnost: Večstopenjske, a omejene operacije so tvegane. Verjetno lahko obvladate 5 do 10 korakov, če ste previdni. A bližate se pragu, kjer se napake kopičijo hitreje, kot nastaja vrednost.
Visoka zahtevnost: Globoke verige sklepanja, agentski poteki dela in poizvedbe z več skoki so matematično neizvedljive s pristopi, ki temeljijo na plavajoči vejici in verjetnosti. Sistem bo odpovedal. Ni vprašanje, ali se bo to zgodilo, ampak kdaj.
To pojasnjuje, zakaj 95 odstotkov pilotnih projektov umetne inteligence v podjetjih propade. Podjetja poskušajo reševati probleme, ki zahtevajo 20, 50 ali 100 korakov sklepanja, s sistemi, ki postanejo nezanesljivi po 11 korakih.
Matematiki ni mar za vaš primer uporabe. Ni ji mar za vaš proračun. Ni ji mar za vaš ambiciozen načrt. (0,98)ⁿ gre proti ničli ne glede na namere.
Pot naprej
Težavo smo prepoznali. Eksponentno kopičenje napak naredi nevronske mreže s plavajočo vejico neprimerne za večstopenjsko sklepanje. Matematika je jasna. Napake v produkciji so dokumentirane. Gospodarski stroški so merljivi.
Rešitev je prav tako jasna: potrebujemo sisteme umetne inteligence, ki ne trpijo zaradi eksponentnega upadanja.
Umetna inteligenca, ki temelji na omejitvah, zagotavlja prav to. Deterministične operacije. Kristalizirane omejitve. Brez kopičenja napak. Večskokovno sklepanje brez degradacije.
To ni špekulacija. To je tisto, kar gradimo pri podjetju Dweve. Core zagotavlja ogrodje binarnih algoritmov. Loom izvaja 456 domeno specifičnih strokovnjakov, ki temeljijo na omejitvah. Nexus zagotavlja večagentsko orkestracijsko plast. Vsaka operacija je matematično natančna. Vsako odločitev je mogoče izslediti do določenih omejitev.
Rezultat: sistemi umetne inteligence, ki ostanejo zanesljivi skozi stotine korakov sklepanja. Ne 98-odstotna natančnost v 1. koraku in 36-odstotna natančnost v 50. koraku. 100-odstotna natančnost v 1. koraku, v 50. koraku in v 500. koraku.
Dokler ni dosežena meja omejitev, je zanesljivost absolutna. Na meji je odpoved zaznavna. Sistem ve, kdaj ne ve. To ni napaka. To je varnost.
Kaj si morate zapomniti
- Kopičenje napak je eksponentno, ne linearno. Vsaka večstopenjska operacija umetne inteligence še poveča prejšnje napake. 98-odstotna natančnost na stopnjo postane 13-odstotni uspeh po 100 korakih.
- Prag neuporabnosti nastopi hitro. Pri 98-odstotni natančnosti na stopnjo zanesljivost sistemov pade pod 50 odstotkov že po 34 korakih. Za praktične namene je prag pri približno 11 korakih za 90-odstotno zanesljivost.
- Halucinacije se snežijo, ne le širijo. Jezikovni modeli se preveč zavežejo zgodnjim napakam in ustvarijo dodatne napačne trditve, da bi jih upravičili. Kopičenje napak se pospeši prek čistega eksponentnega upadanja.
- Stopnje neuspeha v produkciji so katastrofalne. 95 odstotkov pilotnih projektov generativne umetne inteligence ne doseže produkcije. 95 odstotkov agentov umetne inteligence odpove pri uvajanju. To ni slabo inženirstvo. To je slaba matematika.
- Preverjanje ne reši težave. Dodajanje korakov preverjanja doda več operacij z lastnimi verjetnostmi napak. Borite se proti eksponentnemu upadanju z več eksponentnega upadanja.
- Sistemi, ki temeljijo na omejitvah, ne trpijo zaradi eksponentnega upadanja. Deterministične operacije in kristalizirane omejitve pomenijo, da je 100. korak tako zanesljiv kot 1. korak. Brez kopičenja napak. Brez sivih con.
- Evropska zakonodaja daje prednost matematični gotovosti. Zahteve po razložljivosti in revidibilnosti iz akta EU o umetni inteligenci so usklajene s pristopi, ki temeljijo na omejitvah, in v nasprotju s probabilističnimi črnimi škatlami.
Bistvo
Problem 98 odstotkov je resničen, merljiv in uničuje projekte umetne inteligence v vseh panogah. Ko vsaka operacija izgubi 2 odstotka resnice in se napake kopičijo skozi korake sklepanja, sistemi matematično zagotovo odpovejo.
Ne gre za boljše podatke za usposabljanje ali pametnejše pozive. Gre za temeljno matematiko nevronskih mrež s plavajočo vejico v primerjavi s sklepanjem na podlagi omejitev.
Tradicionalni pristopi sledijo eksponentnemu upadanju: (0,98)ⁿ se približuje ničli, ko n narašča. Temu se ni mogoče izogniti. Vgrajeno je v matematiko.
Pristopi, ki temeljijo na omejitvah, delujejo drugače. Deterministične operacije. Kristalizirane omejitve. 500. korak je tako zanesljiv kot 1. korak. Krivulja napak je stopničasta funkcija, ne eksponentno upadanje.
Industrija se te resničnosti počasi zaveda. Podjetja porabijo na stotine milijonov za sisteme, za katere je matematično zagotovljeno, da bodo odpovedali. 95-odstotna stopnja neuspeha v produkciji ni skrivnostna. Predvidljiva je.
Evropska podjetja za umetno inteligenco, ki gradijo na temeljih z omejitvami, niso v slabšem položaju. Rešujejo dejanski problem, medtem ko ameriška podjetja še naprej vlagajo v pomanjkljivo matematiko.
Prihodnost zanesljive umetne inteligence ni več računalniške moči, večjih modelov ali pametnejših pozivov. So sistemi, ki temeljijo na omejitvah, s kristaliziranimi omejitvami. Matematična gotovost namesto statističnega zaupanja. Dokazljiva zanesljivost namesto eksponentnega upadanja.
Želite umetno inteligenco, ki ne zdrsne v nesmisel? Ogrodje Dweve Core, ki temelji na omejitvah, zagotavlja deterministično večstopenjsko sklepanje. Brez eksponentnega kopičenja napak. Brez snežnih kep halucinacij. Samo matematika, ki deluje. Pridružite se našemu čakalnemu seznamu.