98% täpsusega AI muutub täielikuks jaburaks: faktide lahjenduse probleem
Keemiaeksperiment, mis selgitab, miks sinu AI ebaõnnestub
Kujutle, et sul on keeduklaas puhast vett. Keegi ütleb sulle, et eemalda täpselt 2% veest ja asenda see millegi kahjutuga. Teed seda üks kord ja sul on ikka veel 98% vett. Pole probleemi.
Nüüd korda seda protsessi 50 korda. Kui palju vett sul alles on?
Vastus sõltub täielikult sellest, millisele küsimusele sa vastad. Ja just see eristus on põhjus, miks enamik tänapäevaseid AI-süsteeme muutub mitmeastmeliste arutlusülesannete puhul täiesti ebausaldusväärseks.
See pole metafoor. See on matemaatika. Ja see hävitab AI-projekte igas tööstusharus.
Kaks viisi veast mõtlemiseks
Kui inimesed räägivad AI-täpsusest, mõtlevad nad tavaliselt sellele, mida statistikud nimetavad sõltumatuks veaks. Igal AI-toimingul on 2% tõenäosus eksida. Järgmine toiming on sõltumatu. Ka sellel on 2% tõenäosus eksida.
Selle mudeli järgi teed pärast 50 toimingut 50 sõltumatut 2% viga. See on umbes üks viga kokku. Pole suur asi, eks?
Aga nii AI tegelikult ei tööta. AI-süsteemid tuginevad eelmistele väljunditele. Iga samm sõltub sellest, mis enne juhtus. Ja see muudab kõike.
Keemias, kui lahjendad lahust korduvalt, rakendad lagunemistegurit sellele, mis alles on. Sa ei lahuta iga kord 2% algsest kontsentratsioonist. Sa vähendad praegust kontsentratsiooni 2% võrra.
Need kõlavad sarnaselt. Need annavad radikaalselt erinevaid tulemusi.
Lineaarne illusioon
Alustame valest mõtlemisviisist, sest nii modelleerivad enamik AI-ettevõtteid oma süsteeme tegelikult.
Lineaarne lagunemine eeldab, et eemaldad alati 2% algsest kogusest. Alusta 100% täpsusega. Samm 1: oled 98% juures. Samm 2: oled 96% juures. Pärast 50 sammu oled täpselt 0% juures.
Lihtne. Ennustatav. Ja AI-süsteemide puhul täiesti vale.
See lineaarne mudel paneb ettevõtted uskuma, et nende AI on ohutu. Nad testivad üheastmelist täpsust, leiavad, et see on 98%, ja eeldavad, et mitmeastmelised toimingud lagunevad lineaarselt. Nad võtavad kasutusele agendid, arutlusahelad, mitmehüppelised päringud. Siis vaatavad, kuidas nende süsteemid katastroofiliselt ebaõnnestuvad.
Probleem on selles, et AI-vead ei tööta nagu sõltumatud mündivisked. Need kuhjuvad.
Eksponentsiaalne tegelikkus
Siin on, mis tegelikult juhtub. Iga AI-toiming säilitab 98% sellest tõest, mis eelmisest toimingust alles jäi. Kuid oluline on see, et see 98% on kahanevast jäägist, mitte algsest.
Matemaatika on lihtne eksponentsiaalne lagunemine: 0,98 astmes n sammu.
Näitan sulle, kuidas see tegelikult välja näeb:
- Samm 0: 100% täpsus (täiuslik tõde)
- Samm 10: 81,7% täpsus
- Samm 25: 60,3% täpsus
- Samm 50: 36,4% täpsus
- Samm 100: 13,3% täpsus
- Samm 228: 1% täpsus
- Samm 342: 0,1% täpsus
Loe seda uuesti. Pärast vaid 50 arutlussammu 98% sammupõhise täpsusega on su süsteem tõenäolisemalt vale kui õige. Pärast 100 sammu on see 86,7% juhtudest vale. Pärast 228 sammu on alles vaid 1% tõde.
Seepärast teie AI-agendid ebaõnnestuvad. Seepärast annab mitmeastmeline arutlus jama. See on hallutsinatsioonilumepalli matemaatiline alus.
Kasutuskõlblikkuse piir
Siin on küsimus, millele keegi tehisintellekti vallas vastata ei taha: millisel hetkel muutub süsteem nii ebausaldusväärseks, et see on sisuliselt kasutu?
Matemaatiline vastus on 34 sammu. 98-protsendilise sammupõhise täpsuse juures langeb süsteem pärast 34 arutlustoimingut alla 50-protsendilise täpsuse. Tõenäolisem on, et see eksib, kui et see on õige.
Aga praktiline vastus tuleb palju varem. Tootmissüsteemides ei saa te taluda midagi 50-protsendilise veamäära lähedalegi. Teil on vaja 90-protsendilist või kõrgemat usaldusväärsust. See piir saavutatakse juba 11 sammuga.
Olgu ma selgesõnaline selle kohta, mida see tähendab:
- 11-sammuline arutlusahel: 90% teie väljunditest on valed
- 34-sammuline arutlusahel: teie süsteem on halvem kui juhuslik oletamine
- 50-sammuline arutlusahel: 63,6% ebaõnnestumiste määr
- 100-sammuline arutlusahel: 86,7% ebaõnnestumiste määr
Mõelge nüüd, mida see agentse tehisintellekti jaoks tähendab. Tüüpiline agendi töövoog võib hõlmata: ülesande mõistmine (1), sammudeks jaotamine (2), teabe otsimine (3), allikate hindamine (4), leidude sünteesimine (5), vastuse genereerimine (6), kvaliteedi kontrollimine (7) ja nii edasi. See on juba 7 sammu ja me pole isegi keeruliste ülesanneteni jõudnud.
Mitmehüppelised arutlusahelad õigusuurimuses, meditsiinilises diagnoosimises või finantsanalüüsis ületavad rutiinselt 20 sammu. 98-protsendilise sammupõhise täpsuse juures vaatate 33-protsendilisele ebaõnnestumisele vastu juba enne, kui keerukust üldse arvesse võtate.
See pole teoreetiline. Sellepärast agentid tootmises ebaõnnestuvadki.
Tootmiskatastroof, millest keegi ei räägi
Statistika on laastav, kuid seda tunnistatakse tehisintellekti turundusmaterjalides peaaegu kunagi.
Ettevõtete tehisintellekti ebaõnnestumised: 2025. aasta MIT-i ja Fortune'i uuringu kohaselt ei jõua 95% generatiivse tehisintellekti pilootprojektidest tootmisse mõõdetava ärilise mõjuga. Mitte "vaevaliselt tootmisse jõudmine". Täielik ebaõnnestumine.
Agendipõhised ebaõnnestumised: LinkedIni analüüs tehisintellekti praktikutelt näitab, et 95% tehisintellekti agentidest ebaõnnestub tootmises. Mitte sellepärast, et mudelid pole piisavalt intelligentsed. Vaid sellepärast, et vigade kuhjumine muudab need ebausaldusväärseks.
Mitme agendi süsteemid: Uuringud näitavad, et kui mitu agenti teevad koostööd, kuhjuvad vead kiiremini. Kui üks agent edastab teisele vigase teabe, ehitab teine agent vigadele edasi ja halvenemine kiireneb.
Majanduslik mõju: Ettevõtted kulutavad sadu miljoneid tehisintellektisüsteemidele, mis põhimõtteliselt ei saa nende sihtotstarbeliste kasutusjuhtumite jaoks töötada. Üksainus mitmeastmeline agendi kasutuselevõtt võib maksma minna miljoneid, kuid ebaõnnestuda lihtsa matemaatika tõttu.
See on 98% probleem praktikas: suurepärane üheastmeline täpsus, katastroofiline mitmeastmeline ebaõnnestumine.
Hallutsinatsioonide lumepalliefekt
Zhang jt (2023) uuring tuvastas nähtuse, mida nad nimetavad "hallutsinatsioonide lumepalliks". See toimib nii: LLM-id kohustuvad liigselt varajaste vigadega ja genereerivad seejärel täiendavaid valeväiteid, et neid vigu õigustada. Viga ei lihtsalt levi. See kasvab.
Mõelge, mida see tähendab eksponentsiaalse vea kahanemise kontekstis. Teie esimene viga 5. sammul ei vähenda täpsust ainult 2% võrra. See loob vigase aluse 6. sammuks, millel on nüüd veelgi suurem vea tõenäosus, sest see tugineb valedele eeldustele.
Puhas eksponentsiaalse kahanemise mudel on tegelikult optimistlik. Praktikas kasvavad vead lumepallina kiiremini, kui matemaatika ennustab, sest iga viga muudab järgnevad vead tõenäolisemaks.
Sellepärast näeme dokumenteeritud juhtumeid nagu:
CNET-i AI-katastroof (2023): 41 artiklit 77-st AI kirjutatud artiklist vajasid parandusi. See on 53% veamäär tootmisajakirjanduses, kus ühekohalised veamäärad oleksid vastuvõetamatud.
Meditsiinilise diagnoosi ebaõnnestumised: JAMA Pediatrics uuring leidis, et ChatGPT tegi valesid diagnoose enam kui 80% pediaatrilistest juhtudest. See ei ole "hallutsinatsioon" abstraktselt. Need on konkreetsed meditsiinilised vead, mis võivad patsiente kahjustada.
Õiguslikud AI-hallutsinatsioonid: Stanfordi HAI uuring näitab, et õiguslikud AI-mudelid hallutsinatsioonivad 1 juhul 6-st testimispäringust. Advokaate on karistatud AI genereeritud võltsjuhtumite kohtutele esitamise eest. Mitu korda. Mitmes riigis.
Google AI Overview ebaõnnestumised: Süsteem soovitas panna liimi pitsale ja süüa kive iga päev. Need ei ole äärejuhtumid. Need on tulemused, mis tekivad, kui vea kuhjumine kohtub enesekindlusega ilma kontrollimiseta.
Kontrollimise lõks
Siin on irooniline osa. Me teame, et LLM-id suudavad oma vigu tuvastada. Uuringud näitavad, et ChatGPT tuvastab 67% oma vigadest, GPT-4 tuvastab 87%. Mudelid teavad, millal nad eksivad.
Kuid nad kohustuvad ikkagi hallutsinatsioonidele. Nad genereerivad valeväiteid, et õigustada algseid vigu. Nad kohustuvad liigselt vigadele, hoolimata võimest neid ära tunda.
Sellepärast lihtne kontrollimine probleemi ei lahenda. "Kontrolli oma tööd" sammu lisamine ei aita, kui süsteem on motiveeritud oma varasemaid väljundeid kaitsma, mitte neid parandama.
Kontrollimise samm ise muutub veel üheks sammuks arutlusahelas. Veel üks 2% viga. Veel üks võimalus lumepallil kasvada.
Miks praegused lähenemisviisid seda parandada ei suuda
AI-tööstuse vastus vea kuhjumisele on olnud rohkem pingutada. Rohkem treeningandmeid. Parem peenhäälestus. Nutikas päringute koostamine. Mõttekäikude ahel. Kontrollimise sammud.
Ükski neist ei lahenda põhilist matemaatilist probleemi.
Rohkem treenimist ei aita: Parem ühe sammu täpsus ei muuda eksponentsiaalset kahanemist. 99% täpsus liigutab künnise 34 sammult 69 sammuni. 99,5% liigutab selle 138 sammuni. Vahepeal kulutate eksponentsiaalselt rohkem arvutusvõimsust marginaalsete kasude nimel.
Parem päringute koostamine ei aita: Päringustrateegiad üritavad sisuliselt võidelda matemaatikaga loomuliku keele abil. Te ei saa end (0,98)ⁿ-st välja pärida.
Kontrollimine süvendab probleemi: Iga kontrollimise samm on veel üks toiming oma vea tõenäosusega. Te lisate samme, et võidelda probleemiga, mille põhjustas liiga paljude sammude olemasolu.
Ansamblimeetodid aitavad, kuid ei lahenda: Uuringud näitavad, et enesejärjekindluse meetodid võivad parandada täpsust kuni 17,9 protsendipunkti võrra matemaatikaülesannetes. Kuid see tuleb 40× rohkem arvutusvõimsust. Ja see ei kõrvalda eksponentsiaalset kahanemist. See ainult nihutab kõverat veidi.
Põhiprobleem ei ole treeningu kvaliteet ega päringustrateegia. Asi on selles, et ujukomaarvudel põhinevad närvivõrgud on oma olemuselt tõenäosuslikud. Iga tehe toob sisse määramatuse. Määramatus kuhjub. Sellest matemaatikast pole möödapääsu.
Piirangutel põhinev lahendus
Piirangutel põhinevad tehisintellektisüsteemid ei järgi eksponentsiaalse kahanemise mudelit. Siin on põhjus.
Deterministlikud tehted: Meie lähenemine kasutab diskreetseid tehteid. XNOR, POPCNT, loogiline AND, OR. Need tehted on deterministlikud. Sama sisend, sama väljund. Iga kord.
Ümardamisvigu pole: Binaarsed väärtused on täpsed. +1 või -1. Puudub ujukomaarvude lähendus. Puudub kuhjuv ümardamisviga.
Piirangute rahuldamine: Meie süsteemid töötavad piirangutega, mitte tõenäosustega. Piirang on kas rahuldatud või mitte. Puudub 98% rahuldatus. On rahuldatud (100%) või rikutud (0%).
Kristalliseerunud piirangud: Dweve lähenemises rakendub avastatud ja kristalliseerunud piirang deterministlikult. Piirangu sajas rakendamine on sama usaldusväärne kui esimene. Puudub kahanemine. Puudub kuhjuv viga.
Seetõttu saavad piirangutel põhinevad süsteemid hakkama mitmeastmelise arutlusega ilma kvaliteedi languseta. Iga samm kontrollib kristalliseerunud piiranguid. Samm 10 on sama usaldusväärne kui samm 1. Samm 100 on sama usaldusväärne kui samm 1.
Veakõver ei näe välja nagu eksponentsiaalne kahanemine. See näeb välja nagu astmefunktsioon: 100% täpsus kuni piirangu piirini, seejärel 0% (tuvastatav rike). Puuduvad hallid tsoonid. Puudub järkjärguline libisemine mõttetusse.
De regelgevende invalshoek
Europese toezichthouders begrijpen dit probleem beter dan Amerikaanse techbedrijven willen toegeven.
ELi tehisintellekti määrus ei nõua ainult täpsust. See nõuab ka selgitatavust ja auditeeritavust. Te peate selgitama, miks teie AI konkreetse otsuse tegi. Te peate tõestama, et see töötab korrektselt.
Kuidas tõestada, et süsteem töötab korrektselt, kui selle usaldusväärsus väheneb eksponentsiaalselt arutlussügavusega?
Dat kan niet.
Seetõttu eelistavad GDPR-i artikli 22 õigus selgitusele ja ELi tehisintellekti määruse läbipaistvusnõuded põhimõtteliselt piirangupõhiseid lähenemisviise. Kui otsus on piirangute rahuldamise tulemus, saate seda selgitada. Siin on piirang A, piirang B, piirang C. Kõik on täidetud. Väljund järgib loogiliselt.
Kui otsus on 50 tõenäosusliku toimingu väljund, millest igaüks võimendab eelmise määramatust? Seda ei saa selgitada. Seda ei saa isegi usaldusväärselt taasesitada.
Dit is geen nalevingslast. Dit is wiskunde die marketingclaims inhaalt.
De zakelijke implicatie
Mida tähendab vigade eksponentsiaalne kuhjumine tehisintellektile äris:
Eenvoudige taken: Bewerkingen in één stap werken prima. Classificatie, eenvoudige vraagbeantwoording, eenvoudige opvraging. 98% nauwkeurigheid is hier echt nuttig.
Keskmine keerukus: Mitmeastmelised, kuid piiratud toimingud on riskantsed. Ettevaatlik olles saate tõenäoliselt hakkama 5–10 sammuga. Kuid lähenete lävele, kus vead kuhjuvad kiiremini, kui väärtust luuakse.
Kõrge keerukus: Sügavad arutlusahelad, agentide töövood ja mitme hüppega päringud on ujukomaga tõenäosuslike lähenemisviisidega matemaatiliselt teostamatud. Süsteem ebaõnnestub. Küsimus pole selles, kas, vaid millal.
Dit verklaart waarom 95% van de AI-pilots in het bedrijfsleven mislukken. Bedrijven proberen problemen op te lossen die 20, 50 of 100 redeneerstappen vereisen met systemen die na 11 stappen onbetrouwbaar worden.
De wiskunde geeft niets om jouw use case. Ze geven niets om jouw budget. Ze geven niets om jouw ambitieuze roadmap. (0.98)ⁿ gaat naar nul, ongeacht je intenties.
De weg vooruit
Oleme probleemi tuvastanud. Eksponentsiaalne vigade kuhjumine muudab ujukomaga närvivõrgud mitmeastmeliseks arutlemiseks sobimatuks. Matemaatika on selge. Tootmisvead on dokumenteeritud. Majanduslikud kulud on mõõdetavad.
Lahendus on sama selge: vajame tehisintellekti süsteeme, mis ei kannata eksponentsiaalse lagunemise all.
Constraint-gebaseerde AI biedt precies dit. Deterministische bewerkingen. Gekristalliseerde beperkingen. Geen opgebouwde fouten. Multi-hop-redenering zonder degradatie.
See ei ole spekulatsioon. See on see, mida me Dweve'is ehitame. Core pakub binaarse algoritmi raamistikku. Loom rakendab 528 piirangupõhist valdkonnaspetsialisti. Nexus pakub mitme agendi orkestreerimiskihti. Iga toiming on matemaatiliselt täpne. Iga otsus on jälgitav konkreetsete piiranguteni.
Tulemus: AI-süsteemid, mis jäävad usaldusväärseks sadade arutlussammude vältel. Mitte 98% täpsed 1. sammul ja 36% täpsed 50. sammul. 100% täpsed 1., 50. ja 500. sammul.
Kuni piirangu piirini jõudmiseni on usaldusväärsus absoluutne. Piiril on rike tuvastatav. Süsteem teab, millal ta ei tea. See ei ole viga. See on turvalisus.
Wat je moet onthouden
- Vigade kuhjumine on eksponentsiaalne, mitte lineaarne. Iga mitmeastmeline tehisintellekti toiming liidab varasematele vigadele uued. 98% täpsus astme kohta muutub 100 sammu järel 13% edukuseks.
- Kasutuskõlbmatuse piir saabub kiiresti. 98% täpsuse juures astme kohta langeb süsteemide usaldusväärsus alla 50% juba pärast 34 sammu. Praktilistel eesmärkidel on 90% usaldusväärsuse piir umbes 11 sammu juures.
- Hallutsinatsioonid lumepallina kasvavad, mitte ainult ei levita. Keelemudelid klammerduvad varajaste vigade külge ja genereerivad nende õigustamiseks täiendavaid valeväiteid. Vigade kuhjumine kiireneb üle puhta eksponentsiaalse kahanemise.
- Tootmise ebaõnnestumise määr on katastroofiline. 95% generatiivse tehisintellekti pilootprojektidest ei jõua tootmisse. 95% tehisintellekti agentidest ebaõnnestuvad kasutuselevõtul. See pole halb inseneritöö. See on halb matemaatika.
- Kontrollimine ei lahenda probleemi. Kontrollimise sammude lisamine toob juurde rohkem toiminguid, millel on omad veatõenäosused. Võitled eksponentsiaalse kahanemisega veel suurema eksponentsiaalse kahanemise abil.
- Piirangutel põhinevad süsteemid ei kannata eksponentsiaalse kahanemise all. Deterministlikud toimingud ja kristalliseerunud piirangud tähendavad, et samm 100 on sama usaldusväärne kui samm 1. Pole kuhjunud vigu. Pole halltsoone.
- Euroopa regulatsioonid soosivad matemaatilist kindlust. ELi tehisintellekti määruse selgitatavuse ja auditeeritavuse nõuded ühilduvad piirangutel põhinevate lähenemisviisidega ja on vastuolus tõenäosuslike mustade kastidega.
Alumine rida
98% probleem on reaalne, mõõdetav ja hävitab tehisintellekti projekte igas tööstusharus. Kui iga toiming kaotab 2% tõest ja vead kuhjuvad arutlussammude lõikes, on süsteemide ebaõnnestumine matemaatiliselt garanteeritud.
See ei puuduta paremaid treeningandmeid ega targemaid päringuid. See puudutab ujukoma-närvivõrkude ja piirangutel põhineva arutluse põhimatemaatikat.
Traditsioonilised lähenemisviisid järgivad eksponentsiaalset kahanemist: (0.98)ⁿ läheneb nullile, kui n kasvab. Sellest ei pääse. See on matemaatikasse sisse küpsetatud.
Piirangutel põhinevad lähenemisviisid toimivad teisiti. Deterministlikud toimingud. Kristalliseerunud piirangud. Samm 500 on sama usaldusväärne kui samm 1. Veakõver on astmefunktsioon, mitte eksponentsiaalne kahanemine.
Tööstus ärkab sellele reaalsusele aeglaselt. Ettevõtted kulutavad sadu miljoneid süsteemidele, mille ebaõnnestumine on matemaatiliselt garanteeritud. 95% tootmise ebaõnnestumise määr pole salapärane. See on etteaimatav.
Euroopa tehisintellekti ettevõtted, mis ehitavad piirangutel põhinevatele alustele, pole halvemas olukorras. Nad lahendavad tegelikku probleemi, samal ajal kui Ameerika ettevõtted panustavad vigasele matemaatikale.
Usaldusväärse tehisintellekti tulevik pole rohkem arvutusvõimsust, suuremad mudelid ega nutikamad päringud. See on piirangutel põhinevad süsteemid kristalliseerunud piirangutega. Matemaatiline kindlus statistilise usalduse asemel. Tõestatav usaldusväärsus eksponentsiaalse kahanemise asemel.
Tahad tehisintellekti, mis ei mandu mõttetuseks? Dweve Core'i piirangutel põhinev raamistik pakub deterministlikku mitmeastmelist arutlust. Pole eksponentsiaalset veakuhjumist. Pole hallutsinatsioonide lumepalle. Lihtsalt matemaatika, mis töötab. Tarbijad pääsevad Dweve'i praegu kasutama ainult kutse alusel.