Problem razrjeđivanja činjenica: zašto 98% točan AI postaje potpuna besmislica
Kemijski pokus koji objašnjava zašto vaš AI ne uspijeva
Zamislite da imate čašu s čistom vodom. Netko vam kaže da uklonite točno 2% vode i zamijenite je nečim bezopasnim. To učinite jednom i još uvijek imate 98% vode. Nema problema.
Sada ponovite taj postupak 50 puta. Koliko vam je vode ostalo?
Odgovor u potpunosti ovisi o tome na koje pitanje odgovarate. A ta razlika upravo je razlog zašto većina današnjih AI sustava postaje potpuno nepouzdana u zadacima koji zahtijevaju višestruko zaključivanje.
Ovo nije metafora. Ovo je matematika. I uništava AI projekte u svim industrijama.
Dva načina razmišljanja o pogrešci
Kada ljudi govore o točnosti AI-ja, obično misle na ono što statističari nazivaju neovisnom pogreškom. Svaka AI operacija ima 2% šanse da bude pogrešna. Sljedeća operacija je neovisna. I ona ima 2% šanse da bude pogrešna.
Prema tom modelu, nakon 50 operacija napravili ste 50 neovisnih pogrešaka od 2%. To je otprilike jedna pogreška ukupno. Ništa strašno, zar ne?
Ali AI zapravo ne funkcionira tako. AI sustavi nadograđuju se na prethodne rezultate. Svaki korak ovisi o onome što je bilo prije. A to mijenja sve.
U kemiji, kada više puta razrjeđujete otopinu, primjenjujete faktor raspada na ono što je ostalo. Ne oduzimate 2% od početne koncentracije svaki put. Smanjujete trenutnu koncentraciju za 2%.
To zvuči slično. Rezultati su radikalno drugačiji.
Linearna iluzija
Krenimo od pogrešnog načina razmišljanja, jer tako većina AI tvrtki zapravo modelira svoje sustave.
Linearni raspad pretpostavlja da uvijek uklanjate 2% od izvorne količine. Počnite sa 100% točnosti. Korak 1: na 98% ste. Korak 2: na 96% ste. Nakon 50 koraka, na točno 0% ste.
Jednostavno. Predvidljivo. I potpuno pogrešno za AI sustave.
Taj linearni model navodi tvrtke da vjeruju kako je njihov AI siguran. Testiraju točnost jednog koraka, utvrde da je 98%, i pretpostave da će se operacije s više koraka degradirati linearno. Implementiraju agente, lance zaključivanja, upite s više skokova. A onda gledaju kako njihovi sustavi katastrofalno otkazuju.
Problem je u tome što AI pogreške ne funkcioniraju kao neovisna bacanja novčića. One se kumuliraju.
Eksponencijalna stvarnost
Evo što se zapravo događa. Svaka AI operacija očuva 98% istine koja je ostala iz prethodne operacije. Ali ključno je da se tih 98% odnosi na sve manji ostatak, a ne na izvornu vrijednost.
Matematika je jednostavan eksponencijalni raspad: 0,98 na potenciju n koraka.
Pokazat ću vam kako to zapravo izgleda:
- Korak 0: 100% točnosti (savršena istina)
- Korak 10: 81,7% točnosti
- Korak 25: 60,3% točnosti
- Korak 50: 36,4% točnosti
- Korak 100: 13,3% točnosti
- Korak 228: 1% točnosti
- Korak 342: 0,1% točnosti
Pročitajte to ponovno. Nakon samo 50 koraka zaključivanja s 98% točnosti po koraku, vaš sustav vjerojatnije će biti pogrešan nego točan. Nakon 100 koraka, pogrešan je 86,7% vremena. Nakon 228 koraka, jedva 1% istine je ostalo.
Zato vaši AI agenti ne uspijevaju. Zato višestupanjsko zaključivanje proizvodi besmislice. To je matematički temelj lavine halucinacija.
Prag beskorisnosti
Evo pitanja na koje nitko u svijetu umjetne inteligencije ne želi odgovoriti: u kojem trenutku sustav postaje toliko nepouzdan da je zapravo beskoristan?
Matematički odgovor glasi: nakon 34 koraka. Uz točnost od 98 % po koraku, nakon 34 operacije zaključivanja sustav pada ispod 50 % točnosti. Vjerojatnije je da će pogriješiti nego biti u pravu.
No praktični odgovor stiže mnogo ranije. U produkcijskim sustavima ne možete tolerirati pogrešku ni blizu 50 %. Trebate pouzdanost od 90 % ili više. Do tog se praga stiže već nakon 11 koraka.
Budimo jasni što to znači:
- Lanac zaključivanja od 11 koraka: 90 % vaših rezultata pogrešno je
- Lanac zaključivanja od 34 koraka: vaš je sustav lošiji od slučajnog pogađanja
- Lanac zaključivanja od 50 koraka: stopa neuspjeha 63,6 %
- Lanac zaključivanja od 100 koraka: stopa neuspjeha 86,7 %
Sad razmotrite što to znači za agentsku umjetnu inteligenciju. Tipičan tijek rada agenta može uključivati: razumijevanje zadatka (1), rastavljanje na korake (2), pretraživanje informacija (3), procjenu izvora (4), sintetiziranje nalaza (5), generiranje odgovora (6), provjeru kvalitete (7) i tako dalje. To je već 7 koraka, a nismo ni stigli do složenih zadataka.
Višestupanjski lanci zaključivanja u pravnim istraživanjima, medicinskoj dijagnostici ili financijskoj analizi redovito premašuju 20 koraka. Uz točnost od 98 % po koraku, govorimo o 33 % neuspjeha prije nego što uopće uzmete u obzir složenost.
To nije teorija. Zbog toga agenti umjetne inteligencije propadaju u produkciji.
Produkcijska katastrofa o kojoj nitko ne govori
Statistike su porazne, a ipak ih u marketinškim materijalima o umjetnoj inteligenciji gotovo nikad ne spominju.
Neuspjesi poslovne umjetne inteligencije: Prema istraživanju iz 2025. godine koje su proveli MIT i Fortune, 95 % pilot-projekata generativne umjetne inteligencije ne uspijeva doći do produkcije s mjerljivim poslovnim učinkom. Ne "muče se doći do produkcije". U potpunosti propadnu.
Neuspjesi specifični za agente: Analiza LinkedIna među praktičarima umjetne inteligencije pokazuje da 95 % agenata umjetne inteligencije propada u produkciji. Ne zato što modeli nisu dovoljno inteligentni. Zato što ih nakupljanje pogrešaka čini nepouzdanima.
Višeagentski sustavi: Istraživanja pokazuju da kada više agenata surađuje, pogreške se brže gomilaju. Ako jedan agent prenese pogrešnu informaciju drugome, drugi agent gradi na pogreškama i degradacija se ubrzava.
Ekonomski učinak: Tvrtke troše stotine milijuna na sustave umjetne inteligencije koji u osnovi ne mogu funkcionirati za predviđene slučajeve uporabe. Samo jedno uvođenje višestupanjskog agenta može koštati milijune za razvoj, a opet propasti zbog osnovne matematike.
To je problem od 98 % u praksi: izvrsna točnost u jednom koraku, katastrofalan neuspjeh u više koraka.
Efekt grudve snijega kod halucinacija
Istraživanje Zhanga i suradnika (2023) identificiralo je ono što nazivaju "grudvom snijega halucinacija". Evo kako to funkcionira: LLM-ovi se previše vežu uz rane pogreške, a zatim generiraju dodatne netočne tvrdnje kako bi opravdali te pogreške. Pogreška se ne samo širi. Ona raste.
Razmislite što to znači u kontekstu eksponencijalnog opadanja pogrešaka. Vaša prva pogreška u koraku 5 ne smanjuje samo točnost za 2%. Ona stvara pogrešan temelj za korak 6, koji sada ima još veću vjerojatnost pogreške jer se gradi na krivim pretpostavkama.
Čisti model eksponencijalnog opadanja zapravo je optimističan. U praksi se pogreške gomilaju brže nego što matematika predviđa jer svaka pogreška čini sljedeće pogreške vjerojatnijima.
Zato imamo dokumentirane slučajeve poput:
CNET-ova AI katastrofa (2023.): 41 od 77 članaka koje je napisala umjetna inteligencija zahtijevalo je ispravke. To je stopa pogreške od 53% u profesionalnom novinarstvu, gdje bi i pogreške od jednog znamenkastog postotka bile neprihvatljive.
Neuspjesi u medicinskoj dijagnostici: Studija JAMA Pediatrics otkrila je da je ChatGPT postavio netočne dijagnoze u više od 80% pedijatrijskih slučajeva. To nije "halucinacija" u apstraktnom smislu. To su konkretne medicinske pogreške koje mogu naštetiti pacijentima.
Pravne AI halucinacije: Istraživanje Stanford HAI pokazuje da pravni AI modeli haluciniraju u 1 od 6 benchmark upita. Odvjetnici su kažnjeni zbog podnošenja sudovima lažnih slučajeva koje je generirala umjetna inteligencija. Više puta. U više zemalja.
Neuspjesi Google AI Overviewa: Sustav je predlagao stavljanje ljepila na pizzu i svakodnevno jedenje kamenja. To nisu rubni slučajevi. To je ono što se događa kada se nakupljanje pogrešaka susretne sa samopouzdanjem bez provjere.
Zamka provjere
Ovdje je ironičan dio. Znamo da LLM-ovi mogu prepoznati vlastite pogreške. Istraživanja pokazuju da ChatGPT prepoznaje 67% svojih pogrešaka, a GPT-4 87%. Modeli znaju kada su u krivu.
Ali se i dalje drže halucinacija. Generiraju lažne tvrdnje kako bi opravdali početne pogreške. Previše se vežu uz pogreške unatoč tome što imaju sposobnost prepoznati ih.
Zato jednostavna provjera ne rješava problem. Dodavanje koraka "provjeri svoj rad" ne pomaže kada je sustav potaknut da brani svoje prethodne rezultate umjesto da ih ispravi.
Sam korak provjere postaje još jedan korak u lancu zaključivanja. Još jedna pogreška od 2%. Još jedna prilika da se grudva snijega poveća.
Zašto trenutačni pristupi to ne mogu popraviti
Odgovor AI industrije na nakupljanje pogrešaka bio je pokušati jače. Više podataka za obuku. Bolje fino podešavanje. Pametniji promptovi. Zaključivanje lancem misli. Koraci provjere.
Ništa od toga ne rješava temeljni matematički problem.
Više obuke ne pomaže: Bolja točnost u jednom koraku ne mijenja eksponencijalno opadanje. Točnost od 99% samo pomiče prag s 34 koraka na 69 koraka. 99,5% pomiče ga na 138 koraka. U međuvremenu trošite eksponencijalno više računalne snage za marginalne dobitke.
Bolji promptovi ne pomažu: Strategije promptanja u biti su pokušaj borbe s matematikom prirodnim jezikom. Ne možete se promptovima izvući iz (0,98)ⁿ.
Provjera pogoršava problem: Svaki korak provjere još je jedna operacija s vlastitom vjerojatnošću pogreške. Dodajete korake kako biste se borili protiv problema uzrokovanog previše koraka.
Ensemble metode pomažu, ali ne rješavaju problem: Istraživanja pokazuju da metode samodosljednosti mogu poboljšati točnost za do 17,9 postotnih bodova na matematičkim problemima. Ali to dolazi po cijeni 40× više računanja. I ne eliminira eksponencijalno opadanje. Samo malo pomiče krivulju.
Temeljni problem nije kvaliteta obuke ili strategija upita. Problem je u tome što su neuronske mreže s pomičnim zarezom u osnovi probabilističke. Svaka operacija unosi nesigurnost. Nesigurnost se gomila. Ovoj matematici nema zaobilaska.
Rješenje temeljeno na ograničenjima
AI sustavi temeljeni na ograničenjima ne slijede model eksponencijalnog opadanja. Evo zašto.
Determinističke operacije: Naš pristup koristi diskretne operacije. XNOR, POPCNT, logičko I, ILI. Te su operacije determinističke. Isti ulaz, isti izlaz. Svaki put.
Nema pogrešaka zaokruživanja: Binarne vrijednosti su točne. +1 ili -1. Nema aproksimacije s pomičnim zarezom. Nema nagomilane pogreške zaokruživanja.
Zadovoljenje ograničenja: Naši sustavi rade s ograničenjima, ne s vjerojatnostima. Ograničenje je ili zadovoljeno ili nije. Ne postoji 98% zadovoljenja. Postoji zadovoljeno (100%) ili prekršeno (0%).
Kristalizirana ograničenja: U Dweveovom pristupu, jednom kada je ograničenje otkriveno i kristalizirano, primjenjuje se deterministički. Stota primjena ograničenja jednako je pouzdana kao i prva. Nema opadanja. Nema nagomilane pogreške.
Zato sustavi temeljeni na ograničenjima mogu obraditi višestupanjsko zaključivanje bez degradacije. Svaki korak provjerava kristalizirana ograničenja. Korak 10 jednako je pouzdan kao korak 1. Korak 100 jednako je pouzdan kao korak 1.
Krivulja pogreške ne izgleda kao eksponencijalno opadanje. Izgleda kao stepenasta funkcija: 100% točnosti dok se ne dosegne granica ograničenja, zatim 0% (prepoznatljiv neuspjeh). Nema sivih zona. Nema postupnog opadanja u besmisao.
Regulatorna perspektiva
Europski regulatori razumiju ovaj problem bolje nego što američke tehnološke tvrtke žele priznati.
Akt EU-a o umjetnoj inteligenciji ne propisuje samo točnost. Propisuje objašnjivost i reviziju. Morate objasniti zašto je vaša umjetna inteligencija donijela određenu odluku. Morate dokazati da radi ispravno.
Kako dokazati da sustav radi ispravno kada mu pouzdanost opada eksponencijalno s dubinom zaključivanja?
Ne možete.
Zato pravo na objašnjenje iz članka 22. GDPR-a i zahtjevi za transparentnost iz Akta EU-a o umjetnoj inteligenciji u osnovi idu u prilog pristupima temeljenima na ograničenjima. Kada je odluka rezultat zadovoljenja ograničenja, možete je objasniti. Evo ograničenja A, ograničenja B, ograničenja C. Sva su zadovoljena. Izlaz logično slijedi.
A kada je odluka izlaz 50 probabilističkih operacija, pri čemu svaka povećava nesigurnost prethodne? To ne možete objasniti. Ne možete je čak ni pouzdano reproducirati.
To nije teret usklađivanja. To je matematika koja sustiže marketinške tvrdnje.
Poslovna implikacija
Evo što eksponencijalno nakupljanje pogrešaka znači za umjetnu inteligenciju u poslovanju:
Jednostavni zadaci: Operacije u jednom koraku rade bez problema. Klasifikacija, osnovno odgovaranje na pitanja, jednostavno dohvaćanje. Točnost od 98 % ovdje je doista korisna.
Srednja složenost: Višestupanjske, ali ograničene operacije rizične su. Vjerojatno možete obraditi 5 do 10 koraka ako ste oprezni. No približavate se pragu na kojem se pogreške nakupljaju brže nego što se stvara vrijednost.
Visoka složenost: Duboki lanci zaključivanja, tijekovi rada agenata i upiti s više skokova matematički su neizvedivi s pristupima koji se temelje na probabilističkim operacijama s pomičnim zarezom. Sustav će zakazati. Nije pitanje hoće li, nego kada.
To objašnjava zašto 95 % pilot-projekata umjetne inteligencije u poduzećima propadne. Tvrtke pokušavaju riješiti probleme koji zahtijevaju 20, 50 ili 100 koraka zaključivanja koristeći se sustavima koji postaju nepouzdani nakon 11.
Matematiku nije briga za vaš slučaj uporabe. Nije je briga za vaš proračun. Nije je briga za vaš ambiciozni plan. (0,98)ⁿ teži nuli bez obzira na namjere.
Put naprijed
Prepoznali smo problem. Eksponencijalno nakupljanje pogrešaka čini neuronske mreže s pomičnim zarezom neprikladnima za višestupanjsko zaključivanje. Matematika je jasna. Proizvodni neuspjesi dokumentirani su. Ekonomski troškovi mjerljivi su.
Rješenje je jednako jasno: trebamo sustave umjetne inteligencije koji ne pate od eksponencijalnog opadanja.
Umjetna inteligencija temeljena na ograničenjima pruža upravo to. Determinističke operacije. Kristalizirana ograničenja. Bez nakupljenih pogrešaka. Višestupanjsko zaključivanje bez degradacije.
To nije spekulacija. To je ono što gradimo u Dweveu. Core pruža okvir za binarne algoritme. Loom implementira 456 specijaliziranih domena temeljenih na ograničenjima. Nexus pruža sloj za orkestraciju više agenata. Svaka je operacija matematički egzaktna. Svaka se odluka može pratiti do konkretnih ograničenja.
Rezultat: sustavi umjetne inteligencije koji ostaju pouzdani kroz stotine koraka zaključivanja. Ne 98 % točnosti u prvom koraku i 36 % točnosti u pedesetom. 100 % točnosti u prvom, pedesetom i petstotom koraku.
Sve dok se ne dosegne granica ograničenja, pouzdanost je apsolutna. Na granici je neuspjeh vidljiv. Sustav zna kada ne zna. To nije greška. To je sigurnost.
Što trebate zapamtiti
- Akumulacija pogrešaka je eksponencijalna, a ne linearna. Svaka višestupanjska AI operacija pojačava prethodne pogreške. Točnost od 98 % po koraku postaje uspjeh od 13 % nakon 100 koraka.
- Prag beskorisnosti nastupa brzo. Uz točnost od 98 % po koraku, sustavi padaju ispod 50 % pouzdanosti nakon samo 34 koraka. Za praktične potrebe, prag je oko 11 koraka za 90 % pouzdanosti.
- Halucinacije se gomilaju, ne samo šire. LLM-ovi se previše vežu za rane pogreške i generiraju dodatne lažne tvrdnje kako bi ih opravdali. Akumulacija pogrešaka ubrzava se iznad čistog eksponencijalnog opadanja.
- Stope neuspjeha u produkciji su katastrofalne. 95 % generativnih AI pilot projekata ne dospijeva u produkciju. 95 % AI agenata ne uspijeva u primjeni. Ovo nije loše inženjerstvo. Ovo je loša matematika.
- Verifikacija ne rješava problem. Dodavanje koraka verifikacije dodaje više operacija s vlastitim vjerojatnostima pogreške. Borite se protiv eksponencijalnog opadanja s još eksponencijalnog opadanja.
- Ograničenjima utemeljeni sustavi ne pate od eksponencijalnog opadanja. Determinističke operacije i kristalizirana ograničenja znače da je korak 100 jednako pouzdan kao korak 1. Bez akumulirane pogreške. Bez sivih zona.
- Europska regulativa favorizira matematičku izvjesnost. Zahtjevi EU AI Akta o objašnjivosti i revidibilnosti usklađeni su s pristupima utemeljenim na ograničenjima, a u sukobu su s probabilističkim crnim kutijama.
Zaključak
Problem od 98 % je stvaran, mjerljiv i uništava AI projekte u svim industrijama. Kada svaka operacija gubi 2 % istine i pogreške se gomilaju kroz korake zaključivanja, sustavi su matematički zajamčeno osuđeni na neuspjeh.
Ovdje se ne radi o boljim podacima za obuku ili pametnijim uputama. Radi se o temeljnoj matematici neuronskih mreža s pomičnim zarezom naspram zaključivanja utemeljenog na ograničenjima.
Tradicionalni pristupi slijede eksponencijalno opadanje: (0,98)ⁿ približava se nuli kako n raste. Ovo se ne može zaobići. Ugrađeno je u matematiku.
Pristupi utemeljeni na ograničenjima djeluju drugačije. Determinističke operacije. Kristalizirana ograničenja. Korak 500 jednako je pouzdan kao korak 1. Krivulja pogreške je stepenasta funkcija, a ne eksponencijalno opadanje.
Industrija se polako budi u ovu stvarnost. Tvrtke troše stotine milijuna na sustave za koje je matematički zajamčeno da će propasti. Stopa neuspjeha u produkciji od 95 % nije misteriozna. Predvidljiva je.
Europske AI tvrtke koje grade na temeljima utemeljenim na ograničenjima nisu u nepovoljnom položaju. One rješavaju stvarni problem dok se američke tvrtke dvostruko klade na pogrešnu matematiku.
Budućnost pouzdanog AI-ja nije više računalne snage, veći modeli ili pametnije upute. To su sustavi utemeljeni na ograničenjima s kristaliziranim ograničenjima. Matematička izvjesnost umjesto statističke pouzdanosti. Dokaziva pouzdanost umjesto eksponencijalnog opadanja.
Želite AI koji ne propada u besmisao? Okvir Dweve Corea utemeljen na ograničenjima pruža determinističko višestupanjsko zaključivanje. Bez eksponencijalne akumulacije pogrešaka. Bez gomilanja halucinacija. Samo matematika koja funkcionira. Pridružite se našoj listi čekanja.