Манифестът за честния ИИ: защо се нуждаем от прозрачен интелект
Архитектурният проблем на съвременния изкуствен интелект
Съвременните системи с изкуствен интелект имат основен недостатък в дизайна, който никой в индустрията не иска да адресира: те са изградени да звучат правилно, а не да бъдат правилни.
Вижте как работят големите езикови модели. Те анализират милиарди текстови примери, откриват статистически закономерности и предвиждат кои думи биха звучали правдоподобно заедно. Няма стъпка за проверка. Няма проверка на истинността. Няма разбиране дали резултатът е фактически верен. Само разпознаване на закономерности и предвиждане.
Този архитектурен избор означава, че тези системи уверено ще генерират невярна информация, когато неверният отговор следва обичайни езикови закономерности. Това не е грешка, която може да се поправи. Така са проектирани да работят.
И ние внедряваме тези системи в болници, съдебни зали и финансови институции в цяла Европа.
Само в Нидерландия компании като ScreenPoint Medical използват изкуствен интелект за откриване на рак на гърдата. Delft Imaging го прилага за диагностика на туберкулоза. Thirona анализира белодробни сканирания с дълбоко обучение. Когато тези системи допуснат грешка относно нечие здраве, „моделът беше 87% уверен“ не е достатъчно. Човешки животи са заложени на карта.
Проблемът е по-дълбок от случайните грешки. Традиционните невронни мрежи се оптимизират за статистическа вероятност, а не за истина. Те се учат да предвиждат кой отговор обикновено следва даден вход въз основа на закономерности в обучителните данни. Когато тези закономерности са точни, системата работи добре. Когато са подвеждащи, системата се проваля систематично.
Помислете за медицинската диагностика. Традиционната невронна мрежа може да научи, че определени симптоми корелират с конкретни заболявания в обучителните данни. Но корелацията не е причинно-следствена връзка. Ако обучителните данни съдържат регионални пристрастия, моделът усвоява тези пристрастия. Ако редките състояния са недостатъчно представени, моделът не успява да ги разпознае. Архитектурата няма механизъм, който да разграничава истинските медицински връзки от статистически артефакти.
Това създава криза на доверието. Как внедрявате изкуствен интелект в среди с високи залози, когато не можете да проверите неговите разсъждения? Как обяснявате на пациент защо изкуственият интелект е препоръчал конкретно лечение, когато самата система не може да артикулира своята логика? Как извършвате одит за пристрастия, когато процесът на вземане на решения е черна кутия от матрични умножения?
Как невронните мрежи всъщност вземат решения
Традиционните невронни мрежи работят чрез слоеве от претеглени връзки. Входът преминава през няколко слоя, всеки от които извършва математически трансформации, докато не се получи изход със свързана оценка на увереността.
Проблемът? Не можете да проследите защо е взето дадено решение. Системата е научила милиони стойности на тежести по време на обучението. Когато произведе резултат, можете да видите кои неврони са се активирали, но това не ви казва защо. Разсъжденията са разпределени в безброй математически операции без ясен логически път.
Това е добре за препоръчване на филми. Опасно е за диагностициране на заболявания.
Проблемът с оптимизацията за ангажираност
Ето я тъмната тайна, която никой не иска да признае: повечето търговски AI системи дори не са оптимизирани за точност. Те са оптимизирани за показатели за ангажираност. Кликове. Прекарано време. Степен на взаимодействие. Нещата, които правят акционерите щастливи, а истината незадължителна.
Алгоритмите за препоръки се учат какво задържа хората на платформата, независимо дали това съдържание е вярно или полезно. Ако противоречивите твърдения генерират повече ангажираност от балансирания анализ, алгоритъмът се учи да извежда на преден план противоречията. Ако емоционалното съдържание се представя по-добре от фактическото отразяване, емоциите печелят. Всеки път.
Системата работи точно както е проектирана. Казахме ѝ да максимизира ангажираността. Тя научи, че истината и ангажираността често влизат в конфликт, и избра ангажираността. Не можем наистина да обвиняваме AI, че следва заповеди.
Това не е теоретично въртене на ръце. Проучване на MIT от 2018 г. анализира 126 000 новинарски истории в Twitter и установи, че фалшивите новини се разпространяват шест пъти по-бързо от истината, достигайки до 1 500 души, преди истинските истории да достигнат до 1 000. Алгоритмите са научили този модел и го експлоатират безмилостно. Истината е скучна. Възмущението е вирусно. Познайте кой печели?
Корелация без причинно-следствена връзка
Статистическите модели откриват модели в данните. Но моделите не са разбиране.
Продажбите на сладолед корелират със смъртните случаи от удавяне. И двете нарастват през лятото. Статистическият модел вижда корелацията и може да предскаже риска от удавяне въз основа на продажбите на сладолед. Той е открил реален модел в данните. Просто моделът не означава това, което наивната интерпретация предполага.
Хората разбират причинно-следствените връзки. Знаем, че лятното време причинява и двете явления. AI системите, обучени върху корелации, не могат да направят това разграничение, освен ако изрично не кодираме причинно-следствена структура в модела.
Това ограничение засяга реални решения. Медицинският AI може да свърже симптом с диагноза въз основа на статистически модели, пропускайки действителния причинно-следствен механизъм. Финансовият AI може да свърже пазарните движения, без да разбира основните икономически взаимоотношения.
Разграничението има огромно значение на практика. Система, базирана на корелации, може да забележи, че пациентите, които получават определено лечение, имат по-добри резултати. Но какво ще стане, ако тези пациенти получават лечението, защото са по-здрави от самото начало? Корелацията съществува, но причинно-следствената връзка действа в обратната посока. Статистическите модели не могат да открият това без изрично причинно-следствено моделиране.
В европейските финансови системи корелациите се променят постоянно. Пазари, които са се движели заедно в миналото, се разделят поради регулаторни промени (поздрави, MiFID II), технологични промени или геополитически събития (Брекзит, някой?). Модел, базиран на корелации, продължава да прилага остарели модели, докато не се провали катастрофално. Той няма разбиране защо е съществувала корелацията, така че не може да разпознае кога основната връзка се е променила.
Германската банка Schufa научи това по трудния начин през 2024 г. Съдът на Европейския съюз постанови, че тяхната AI система за кредитен скоринг нарушава изискванията на GDPR именно защото корелациите, които е научила, не могат да бъдат обяснени или одитирани. Когато алгоритъмът откаже на някого заем от 20 000 евро, „компютърът казва не“ не е юридически достатъчно според европейското право.
Основният проблем: разпознаването на модели без разбиране създава крехки системи. Те работят, докато не спрат, и когато се провалят, се провалят напълно и без предупреждение.
Какво всъщност изисква прозрачността
Истинската прозрачност означава, че можете да проследите всяко решение през ясни логически стъпки. Не „доверете ни се, математиката излиза“, а „ето точно защо, стъпка по стъпка“.
Съвременните AI платформи като Dweve постигат това чрез множество архитектурни иновации, които работят заедно. Вместо непрозрачни числа с плаваща запетая, разпределени сред милиони връзки, интелигентността произтича от кристализирани ограничения (изрични логически правила), хибридни невронно-символни разсъждения (съчетаващи разпознаване на образи с логически извод) и системи за проверка с множество агенти (няколко специализирани агента, които проверяват работата си взаимно).
Когато системата вземе решение, тя може да ви каже точно какво се е случило: „Агентът за възприятие откри модел X с характеристики Y и Z. Агентът за разсъждение приложи ограничения C1 и C2, като отхвърли вариант A. Агентът за решения избра вариант B въз основа на удовлетворяването на ограничения C3, C4 и C5 със 100% логическа удовлетвореност.“ Не неясни вероятностни резултати. Ясна логическа дедукция, която можете да проверите, одитирате и оспорите.
Това е разликата между „моделът казва 73% вероятност“ (превод: нямаме представа защо, но статистиката го твърди) и „ето логическото доказателство защо този извод следва от тези предпоставки“ (превод: можем да покажем работата си, както сте учили в училище).
Формална верификация и доказуема коректност
Разширените AI системи, изградени върху архитектури, базирани на ограничения, позволяват математическа верификация на поведението на системата. Тук компютърните науки срещат математиката по най-красивия начин.
Чрез формални методи можете да докажете, че такава система винаги ще се държи в определени граници. Не „вероятно коректна въз основа на тестване“ или „работеше добре в симулацията ни“. Доказуемо коректна чрез математическо доказателство. Такова доказателство, от което математикът би кимнал одобрително, вместо да посегне към червения химикал.
Това е от значение за критични системи. Когато AI контролира медицински устройства в болници в Ротердам, управлява финансови системи за банки в Амстердам или оперира критична инфраструктура в цяла Европа, имаме нужда от математически гаранции за коректно поведение при всички условия. „Опа, не тествахме този краен случай“ не е приемливо, когато заложени са човешки животи и поминък.
Традиционните невронни мрежи не могат да дадат тези гаранции. Тяхното поведение произтича от милиони научени параметри, които взаимодействат по начини, които никой не разбира напълно. Мрежите, базирани на ограничения, могат да докажат поведението си математически, по същия начин, по който можете да докажете Питагоровата теорема. Това е вярно, защото логиката го изисква, а не защото данните за обучение са го предположили.
Изрично количествено определяне на несигурността
Настоящите AI системи изразяват увереността си чрез вероятностни резултати. Но тези резултати често измерват статистическата увереност в модела, а не действителната сигурност относно истината.
Една система може да е 99% уверена в напълно грешен отговор, ако грешният отговор следва силни статистически модели в данните за обучение.
Двоичните системи с ограничения обработват несигурността по различен начин. Когато ограниченията са напълно удовлетворени, заключението следва логически. Когато ограниченията са частично удовлетворени или противоречиви, системата изрично заявява: „Не съществува валидно решение в рамките на зададените ограничения.“
Това е честна несигурност. Системата признава, когато не може да достигне до валидно заключение, вместо да изведе най-доброто си статистическо предположение с резултат за увереност.
Актът за ИИ на ЕС и регулаторните изисквания
На 1 август 2024 г. Актът за ИИ на ЕС влезе в сила, превръщайки се в първия цялостен регламент за ИИ в света. Това не е бюрокрация от Брюксел, излязла извън контрол. Това е признаването, че ИИ, който засяга живота на хората, трябва да бъде отчетен. Нова концепция, очевидно.
Член 13 изисква системите с ИИ с висок риск да бъдат проектирани така, че потребителите действително да могат да интерпретират резултатите и да ги използват по подходящ начин. Член 14 налага човешки надзор (хора в процеса, представете си). Член 15 изисква точност, стабилност и киберсигурност. Пълното прилагане започва на 2 август 2026 г., а неспазването може да струва до 7% от годишния световен приход или 35 милиона евро, което от двете ви накара да се свиете повече.
Двоичните мрежи с ограничения отговарят на тези изисквания архитектурно. Прозрачността не е добавена след като адвокатите са се изплашили. Тя е основополагаща за начина, по който системата работи от самото начало. Всяко решение е присъщо обяснимо, защото следва изрични логически ограничения, които регулаторите действително могат да одитират.
Последици в реалния свят
Тези архитектурни различия имат конкретни последици.
В здравеопазването необяснимият ИИ може да постигне висока точност при тестване, но да се провали при внедряване, защото е научил случайни корелации. Двоичните системи с ограничения могат да докажат своята диагностична логика, позволявайки на медицинските специалисти да проверят разсъжденията преди внедряване.
Във финансите моделите от типа „черна кутия“ могат да одобряват или отказват заеми въз основа на модели, които съдържат исторически пристрастия. Системите, базирани на ограничения, правят критериите за решения изрични, позволявайки одити за справедливост.
В правните системи необяснимите препоръки за присъди подкопават правосъдието. Обяснимата логика с ограничения позволява на съдиите да преценят дали разсъжденията са в съответствие с правните принципи.
Помислете за автономните превозни средства. Традиционните невронни мрежи обработват сензорни данни чрез милиони претеглени връзки, за да произвеждат решения за управление и спиране. Когато нещо се обърка, разследващите не могат да определят защо системата е направила определен избор. Разсъжденията са разпределени в цялата мрежа по начин, който се противопоставя на човешкото разбиране.
Двоичните системи с ограничения работят по различен начин. Всяко решение удовлетворява набор от изрични ограничения за безопасност. Ако системата спира, можете да проследите разсъжденията: „Ограничение C1 откри препятствие в рамките на 8 метра. Ограничение C2 изисква спиране, когато разстоянието до препятствието е по-малко от 10 метра и скоростта надвишава 50 км/ч. Текуща скорост 70 км/ч. Следователно спиране е задействано.“ Тези разсъждения могат да бъдат проверени, тествани и доказани като правилни.
Разликата има значение за сертификацията и отговорността. На 7 юли 2024 г. влязоха в сила нови правила за безопасност на ЕС, с които се въвеждат първите международни изисквания за напълно безпилотни превозни средства. Правилата изискват цялостни оценки на безопасността, изисквания за киберсигурност и докладване на инциденти, преди превозните средства да излязат по европейските пътища. Как сертифицирате система, която не можете напълно да проверите? Как определяте отговорността, когато процесът на вземане на решения е непрозрачен? Традиционните невронни мрежи създават правни и регулаторни кошмари. Двоичните системи с ограничения осигуряват прозрачността, която европейските регулатори реално изискват.
В производството изкуственият интелект за контрол на качеството трябва да обяснява класификациите на дефектите на работниците, които предприемат коригиращи действия. Системите от черната кутия не дават никаква представа: „установен дефект със 87% сигурност“. Системите, базирани на ограничения, обясняват: „размерът надвишава допустимото отклонение с 0,3 mm в позиция (x,y), грапавостта на повърхността нарушава спецификацията в зона Z3“. Работниците могат да използват тази информация, за да коригират процесите.
Моделът е ясен: обяснимостта не е луксозна функция. Тя е от съществено значение, за да се интегрират системите с изкуствен интелект в човешките работни потоци и процеси на вземане на решения. Без прозрачност изкуственият интелект остава изолиран, непроверим и в крайна сметка недостоен за доверие.
Изграждане на честен изкуствен интелект в Dweve
В Dweve сме изградили цялостна платформа за изкуствен интелект, която прави прозрачността неизбежна. Не като допълнителна мисъл или отметка за съответствие, а като основна архитектура.
**Dweve Core** предоставя 1 930 оптимизирани за хардуера алгоритъма за двоични невронни мрежи, невронни мрежи с ограничения и спайкови невронни мрежи. Това не са операции с плаваща запетая от времето на дядо ви, които изискват GPU клъстери. Те работят ефективно на стандартни процесори, като консумират 96% по-малко енергия от традиционните подходи.
**Dweve Loom** оркестрира 456 системи с тясна специализация, всяка от които е специалист в своята област. Само съответните специалисти се активират за всяка задача (обикновено от 4 до 8 от 456), което създава огромен капацитет на знанието с минимален изчислителен отпечатък. Това е като да имате 456 консултанти на разположение, но да плащате само за тези, които реално използвате.
**Dweve Nexus** реализира мултиагентен интелект с над 31 екстрактора на възприятия, 8 различни режима на разсъждение и хибридна невронно-символна интеграция. Множество специализирани агенти възприемат, разсъждават, решават и действат, като логиката на всеки агент е напълно проследима. Когато системата стигне до заключение, можете да видите кои агенти са допринесли с какви прозрения.
**Dweve Aura** предоставя автономна помощ за разработка чрез 32 специализирани агента, организирани в 6 режима на оркестрация. От нормално изпълнение с един агент до паралелно проучване в рояк режим и дебат между множество LLM в консенсусен режим, системата адаптира когнитивната си архитектура към конкретната задача.
**Dweve Spindle** управлява качеството на знанията чрез 7-степенен епистемологичен конвейер. Информацията преминава от кандидат към канонична едва след преминаване на строга проверка, като 32 специализирани агента гарантират, че всяко знание отговаря на праговете за качество, преди да обучи бъдещи модели.
**Dweve Mesh** децентрализира всичко това, като позволява федеративно обучение в публични и частни мрежи с изключителна устойчивост на грешки. Мрежата продължава да работи дори когато 70% от възлите откажат. Суверенитетът на данните остава локален, като само криптирани актуализации на моделите преминават през мрежата.
**Dweve Fabric** обединява всичко в единен таблоу, където потребителите управляват агенти, работни потоци, модели и разговори с ИИ в реално време с пълна прозрачност и проследяване на произхода.
Всяко решение в цялата платформа преминава през изрични логически стъпки. Регулаторните органи могат да одитират базите от ограничения и веригите на разсъждение. Експертите в дадена област могат да проверят дали логиката съответства на тяхното разбиране. Потребителите могат да видят точно защо системата е стигнала до всяко заключение, кои агенти са допринесли и какви ограничения са били удовлетворени.
Това е ИИ, изграден за отчетност от самото начало. Не защото сме мили хора (макар че сме), а защото архитектурата прави нечестността архитектурно невъзможна.
Принципите зад честната интелигентност
Изградихме Dweve върху десет основни принципа:
- Истината пред ангажираността. Оптимизирайте за фактическа коректност, а не за задържане на потребителите. Честните отговори са по-важни от убедителните.
- Прозрачността пред производителността. Обяснимите разсъждения надделяват над маргиналните печалби в точността от моделите с черна кутия. Разбирането има значение.
- Несигурността пред увереността. Изричната несигурност е по-добра от фалшивата увереност. Когато системата не знае, тя го казва.
- Верификацията пред доверието. Осигурете математическо доказателство за коректност, вместо да искате от потребителите да се доверят на системата.
- Логиката пред вероятността. Детерминираното удовлетворяване на ограничения е по-добро от статистическото съвпадение на модели за критични решения.
- Хората пред показателите. Обслужвайте човешките нужди, а не целите за оптимизация. Истината е по-важна от показателите за ангажираност.
- Безопасността пред мащаба. Гарантирано правилното поведение в конкретни области е по-добро от приблизителното поведение навсякъде.
- Поверителността пред данните. Обработвайте локално, когато е възможно. Минимизирайте събирането и централизацията на данни.
- Независимостта пред обвързването. Избягвайте зависимости от доставчици и патентовани архитектури.
- Европейски ценности. Отнасяйте се към регулациите като към насоки за дизайн. Изграждайте за съответствие от самото начало.
Защо подходът на Европа има значение
Регулаторният подход на Европа към ИИ не цели да забави иновациите, колкото и лобистките кръгове в Силициевата долина да твърдят обратното. Той насочва иновациите към резултати, за които по-късно не се налага да се извиняваш пред парламенти.
Актът на ЕС за ИИ признава, че системите с изкуствен интелект, които засягат основни права (здравеопазване, правосъдие, кредитиране, заетост), трябва да бъдат прозрачни, справедливи и отчетни. Революционна концепция: може би алгоритъмът, който решава дали да получиш заем, трябва да се обясни. Тази регулаторна рамка насърчава архитектури, които предоставят тези свойства по проект, а не като кръпка за съответствие, добавена след факта.
Модерните ИИ архитектури, съчетаващи разсъждения на базата на ограничения, мултиагентни системи и хибридни невронно-символни подходи, се вписват напълно в тази визия. Те не се опитват да заобиколят регулациите чрез умни вратички. Те въплъщават принципите: прозрачност чрез изрични вериги на разсъждение, справедливост чрез проверима логика, отчетност чрез доказуемо поведение.
Това е възможността на Европа да поведе развитието на ИИ към надеждни и проверими системи, вместо към подхода „движи се бързо и чупи демокрацията“, предпочитан другаде. Наричайте ни старомодни, но ние предпочитаме нашите ИИ системи да не изискват изслушвания в Конгреса.
Регулаторният подход създава конкурентно предимство, а не бреме. Докато американските компании добавят обяснимост върху архитектури, които ѝ се съпротивляват (късмет с обясняването на матриците на вниманието пред одитор по GDPR), европейските компании вграждат прозрачността в основата. Докато други се мъчат да изпълнят изисквания, срещу които са лобирали, европейските компании проектират системи, които естествено отговарят на изискванията, защото ние реално сме говорили с регулаторите по време на проектирането.
Това не е регулаторна тежест, която ни забавя. Това е стратегическа посока, която ни ускорява. Европа рано разпозна, че ИИ, внедрен в критични системи, трябва да бъде надежден. Регламентите кодифицират това прозрение. Архитектурите на базата на ограничения, мултиагентните и хибридните архитектури са техническата реализация на тези принципи.
Глобалният пазар на изкуствен интелект все повече ще изисква това, което европейските регулации вече налагат: обяснимост, одитируемост, доказуема безопасност. Европейските AI платформи, разработени при тези изисквания, имат предимство на първия влязъл. Когато Калифорния най-накрая приеме собствена регулация за AI (след третия голям скандал), когато Пекин изисква прозрачност за системите, внедрени в Китай, и когато всяка друга юрисдикция осъзнае, че „доверявай се на технологичните предприемачи“ не е стратегия за управление, европейската технология ще бъде готова. Защото ние строим за тази реалност от самото начало.
Пътят напред
Намираме се в решаваща точка за развитието на изкуствения интелект.
Единият път продължава да мащабира традиционните невронни мрежи: по-големи модели, повече параметри, повече данни, по-малка интерпретируемост. Този път води до мощни, но безотговорни системи.
Другият път изгражда AI върху логически основи: изрични ограничения, формална верификация, доказуема коректност. Това води до системи, на които наистина можем да се доверим в критични приложения.
Dweve е избрал втория път. Нашите мрежи от двоични ограничения осигуряват пълна обяснимост, формална верификация и съответствие със Закона за изкуствения интелект на ЕС по архитектура.
Въпросът пред индустрията е: кое бъдеще искаме да изградим?
Изборът има дълбоки последици. Традиционните невронни мрежи оптимизират за възможности на всяка цена. Мрежите от двоични ограничения оптимизират за надеждни възможности. Първият подход дава впечатляващи демонстрации. Вторият дава системи, готови за внедряване.
Виждаме разликата в моделите на приемане. Традиционният AI се отличава в приложения с нисък риск: препоръчване на съдържание, генериране на изображения, довършване на текст. AI с двоични ограничения се отличава в области с висок риск: медицинска диагностика, финансови решения, автономни системи, индустриален контрол.
Разделението отразява фундаментални архитектурни различия. Когато коректността е по-важна от покритието, когато обяснимостта е задължителна, когато формалната верификация е изискване, подходите, основани на ограничения, печелят. Когато широката функционалност е по-важна от гаранциите, статистическите подходи са достатъчни.
Но пейзажът се променя. С навлизането на AI в критични системи надеждността става от съществено значение. Архитектурите, които я осигуряват, получават предимство. Тези, които не го правят, се сблъскват с бариери: регулаторен отказ, опасения за отговорност, съпротива на пазара.
Мрежите от двоични ограничения не са бъдещето, защото са новост. Те са бъдещето, защото решават проблемите, които имат значение: прозрачност, отчетност, доказуема безопасност. Те осигуряват това, от което критичните системи се нуждаят и което регулациите изискват.
Пътят напред е ясен. Създавайте AI, който можете да обясните. Проектирайте системи, които можете да верифицирате. Внедрявайте интелигентност, на която можете да се доверите. Това е честен AI. Това е архитектурата, която се мащабира в области с висок риск. Това е, което Европа изгражда.
Dweve разработва прозрачен изкуствен интелект чрез разсъждения, базирани на ограничения, мултиагентни системи и хибридни невронно-символни архитектури. Всяко решение може да бъде проследено чрез изрични логически правила. Всяко заключение може да бъде проверено чрез формални методи. Съответстващ на ЕС AI Act по дизайн. Със седалище в Нидерландия, обслужващ изключително европейски организации.