Защо скучната инфраструктура печели в сериозния ИИ
Демото, което изглеждаше като бъдещето до обяд
Най-убедителната AI демонстрация, която някога съм виждал, се провали заради опашка. Не моделът, не подканата, не векторното търсене, не елегантният малък агентски граф, който накара всички в стаята да се наведат напред. Опашката. През сутринта системата приемаше имейли за поддръжка, намираше съответните документи, изготвяше чернови на отговори, отбелязваше несигурността и насочваше трудните случаи към човек. Изглеждаше спокойна и почти нечестно умна. По обяд заданието за импорт се удвои, поточната пощенска система се забави, повторните опити се трупаха един върху друг и опашката започна да се държи като учтива задръстване с приложени фактури.
Към три часа моделът все още беше способен. Това беше обидната част. Интелигентността не беше изчезнала. Инфраструктурата беше. Съобщенията се обработваха извън ред. Някои задачи се повтаряха с остарял контекст. Няколко дублирани отговора чакаха одобрение. Таблото показваше зелено, защото таблото измерваше крайната точка на модела, а не работата. Инцидентът не беше кинематографичен. Никой не ритна сървър. Системата просто разкри, че умната част е била поставена върху под от картон и оптимизъм.
Ето защо скучната инфраструктура печели в сериозния AI. Сериозният AI не е версията, която впечатлява стая за петнадесет минути. Той е версията, която оцелява при лош вход, забавени зависимости, частични прекъсвания, изтекли идентификационни данни, претоварени индекси, опашки за човешки преглед, скокове на разходите, промени в схемите, регионална латентност, одитни запитвания и понеделник сутрин. Моделът има значение. Разбира се, че има значение. Но моделът е един компонент в система, която трябва да придвижва работата във времето, без да лъже за случилото се.
Индустрията обича да обсъжда интелигентността, сякаш моделът е продуктът, а всичко около него е скеле. В производството скелето често е продуктът. Идентичността решава кой има право да пита. Договорите за данни решават какво е позволено да знае системата. Извличането решава какви доказателства достигат до модела. Опашките решават дали работата пристига в възстановим ред. Логовете решават дали грешка може да бъде разследвана. Оценяването решава дали подобрението е реално. Връщането назад решава дали лошото издание се превръща в инцидент или в бележка под линия. Нито едно от тези не изглежда впечатляващо във видео за пускане. Това е точка в тяхна полза.
Скучното не е просто
Скучната инфраструктура често се бърка с основната инфраструктура. Не е. Това е инфраструктура, от която изненадите са отстранени чрез проектиране, повторение и доказателства. Добрата опашка е скучна, защото има изрично подреждане, политика за повторен опит, дедупликация, време за видимост, обработка на мъртви писма и обратен натиск. Добрата схема е скучна, защото е версионирана, тествана, документирана и се отхвърля, когато е грешна. Добрият лог е скучен, защото казва какво се е случило по начин, който може да бъде свързан с други доказателства. Скучното не е липса на мисъл. То е мисъл, която вече е платила наема си.
AI системите се нуждаят от това повече от обикновения софтуер, защото въвеждат несигурност в центъра. Една традиционна услуга често може да бъде описана чрез детерминирани преходи. Един AI компонент може да върне вероятностен отговор, класиран набор от опции, генериран текст, извлечено поле, извикване на инструмент или отказ. Този резултат след това трябва да влезе в работен процес, който очаква състояния, разрешения, крайни срокове, нива на обслужване и отчетност. Ако инфраструктурата около модела е неясна, несигурността на модела изтича в операциите. Тогава хората го наричат AI риск, когато голяма част от него всъщност е тръбопровод с проблеми с увереността.
Скучната инфраструктура дава на вероятностните компоненти безопасна форма. Тя улавя подкани, входни данни, извлечени доказателства, версии на модели, политики, извиквания на инструменти, изходи, човешки решения и последващи ефекти. Тя ограничава властта чрез идентичност и обхвати. Тя третира провала като състояние, а не като изненада. Тя разделя черновата от действието. Тя изисква доказателства, преди автоматизацията да докосне важен работен процес. Тя запазва достатъчно контекст за преглед. Моделът все още може да бъде креативен, несигурен и понякога грешен. Системата около него не трябва да импровизира всеки път.
Това не е против иновациите. То е това, което позволява на иновациите да оцелеят. Най-бързите екипи, които познавам, не са тези с най-малко процеси. Те са тези, чийто процес живее в полезни релси: локални тестови набори, повтарящи се внедрявания, ясен rollback, известни договори за данни, лесна наблюдаемост и пътища за преглед, които не изискват комитет, за да намери правилната електронна таблица. Те се движат бързо, защото обикновеният риск е получил място, където да отиде. Останалите от нас наричат това скучно само защото надеждните неща не се представят за внимание.
Моделът не е операционната система
Съществува повтаряща се фантазия, че способен модел може да замени инфраструктурата около него. Дайте му достатъчно контекст и той ще маршрутизира, валидира, решава, наблюдава, обяснява, поправя и може би ще актуализира runbook-а, докато прави чай. Фантазията е разбираема, защото моделите са гъвкави. Гъвкавостта е съблазнителна. Тя също е лош заместител на изричните системни граници. Моделът може да помогне при избора на маршрут. Той не трябва да бъде единственото място, където маршрутът съществува.
Когато екипите позволят на модела да поеме инфраструктурни отговорности, те създават скрита политика. Подканата казва кои източници са предпочитани. Подканата казва кога да откаже. Подканата казва кой инструмент да използва. Подканата казва как да се справя с липсващи полета. Подканата казва какво се счита за риск. Част от това може да е добре за проучване. В производството скритата политика става трудна за тестване, версиониране, одит и оспорване. Дългата подкана може да се превърне в конституция, написана на салфетка и съхранявана в променлива на средата. Това е жив подход към управлението, но не и зрял.
Сериозният изкуствен интелект разделя разсъжденията от властта. Моделът може да предлага. Работният процес решава дали предложението има достатъчно доказателства, дали потребителят има разрешение, дали действието е обратимо, дали човек трябва да одобри и дали разходите се побират в бюджета. Моделът може да обобщи даден случай. Системата за случаи решава дали обобщението става запис. Моделът може да извика инструмент. Шлюзът за инструменти решава дали извикването е позволено. Това разделение не е бюрокрация. То е начинът, по който системата остава проверима, когато интелигентността греши, е непълна или е убедителна.
Колкото по-способен е моделът, толкова по-важни стават границите. Слабият модел се проваля шумно и често. Силният модел може да се провали тихо, правдоподобно и в мащаб. Той може да напише уверено обяснение за грешен източник. Може да извика инструмент с отлична граматика. Може да прикрие липсващи доказателства по начин, който успокоява оператора. Затова инфраструктурата трябва да е по-упорита от модела. Тя трябва да изисква доказателства, да проверява обхватите, да налага ограничения на скоростта и да води записи, дори когато отговорът звучи красиво разумно.
Договорите за данни побеждават добрите намерения
Много инциденти с изкуствен интелект започват с малко несъответствие. Поле, което е било незадължително, става задължително. Времевият отпечатък сменя часовата зона. Парсерът за документи започва да извежда етикетите на секциите по различен начин. Кодът на състоянието получава нова стойност. Етикетът за език липсва. Идентификаторът на клиента пристига хеширан в един поток и обикновен в друг. Моделът получава нещо достатъчно правдоподобно, за да го обработи, и достатъчно грешно, за да отрови резултата. Добрите намерения не хващат това. Договорите за данни го хващат.
Договорът за данни не е грандиозен философски обект. Той посочва каква форма имат данните, кои полета са задължителни, какво означават стойностите, как се променят версиите, какви прагове за качество се прилагат, кой притежава потока и какво се случва, когато договорът бъде нарушен. В системите с изкуствен интелект договорите трябва също да описват свежестта, произхода, разрешенията, значението на етикетите, политиката за разделяне на части, модела за вграждане, обхвата на извличане и правилата за редактиране. Договорът е мястото, където данните престават да бъдат усещане и се превръщат в споразумение.
Договорите имат значение, защото моделите са толерантни. Те могат да разберат объркан вход. Тази толерантност е полезна в крайните случаи и опасна на границата. Ако човек зададе необичаен въпрос, толерантността помага. Ако източникът тихо промени значението си, толерантността скрива повредата. Системата трябва да е строга на интеграционните граници и гъвкава в слоя за разсъждения. Обръщането на този модел ви дава крехки потребители и отпуснати тръбопроводи, което е ефикасен начин за събиране на извинения.
Същото важи и за изхода. Генерираният отговор не е достатъчен. Системите надолу по веригата се нуждаят от структурирано състояние: прието, отказано, изисква преглед, липсващи доказателства, блокирано от политика, повреда на инструмент, превишен разход. Те се нуждаят от кодове за причина, показатели за увереност, позовавания на източници, версии на модела и идентификатори за проследяване. Ако AI компонентът излъчва само проза, всеки потребител надолу по веригата се превръща в литературен критик. Това е несправедливо към софтуера и обикновено и към литературата.
Логовете не са страничен продукт
В сериозния AI логовете не са отпадък. Те са част от нервната система на продукта. Полезният лог свързва намерението на потребителя, разрешенията, шаблона на подканата, извлечените доказателства, версията на модела, параметрите, извикванията на инструменти, латентността, разхода, изхода, човешката намеса и действието надолу по веригата. Не е нужно да разкрива тайни или лични данни в широк мащаб. Трябва обаче да запази достатъчно, за да отговори на важните въпроси: защо се случи това, кой го разреши, какво е видяло, какво се е променило и как да спрем да се случва отново.
Без логове всеки инцидент с AI се превръща в сеанс. Хората се събират около екранна снимка. Някой си спомня, че подканата е била променена миналата седмица. Друг казва, че индексът е бил обновен. Трети смята, че потребителят може да е имал различна роля. Страницата за статуса на доставчика на модела се разглежда с ритуална сериозност. В крайна сметка екипът написва правдоподобна история. Правдоподобните истории са полезни в романите. В операциите те са данък върху липсващите доказателства.
Логирането трябва да бъде проектирано с оглед на поверителността и сигурността, а не добавено като безразборно записване. Чувствителните подкани може да изискват редактиране или хеширане. Достъпът до следите трябва да бъде ограничен. Срокът на съхранение трябва да съответства на риска. Някои данни изобщо не трябва да попадат в логовете. Но отказът от логиране, защото логирането е рисковано, е като отказ от спирачки, защото скоростта е опасна. Правилният отговор е контролирано логиране, а не оперативна слепота.
Добрите логове правят и подобренията честни. Ако нова подкана намалява грешките върху ръчно подбран набор от примери, но увеличава човешките намеси в производствена среда, системата трябва да го покаже. Ако промяна в извличането намалява латентността, но увеличава остарелите цитирания, системата трябва да го покаже. Ако надстройка на модела намалява разходите, но увеличава отказите за определен език, системата трябва да го покаже. Сериозният AI се нуждае от по-малко слайдове за победи и повече свързани следи.
Оценяването е инфраструктура
Оценяването твърде често се третира като изследователска дейност, която се случва преди внедряването. В сериозния AI то е инфраструктура. То работи непрекъснато, обвързва се с версиите, взема проби от производствената среда, сравнява версии на модели, тества извличането, измерва човешките намеси и следи за регресии в групи, езици, домейни и работни потоци. Оценяването е паметта на системата за това какво означава добро. Без него подобрението се превръща във въпрос на вкус, а вкусът има навика да се съгласява с човека, който представя демонстрацията.
Един набор за оценка не трябва да бъде статичен трофей. Той трябва да включва обичайни случаи, трудни случаи, скорошни провали, състезателни подкани, граници на политиките, езици с ограничени ресурси, крайни документи, остарели записи, двусмислени въпроси и примери, при които правилният отговор е отказ. Той трябва да знае кой показател има значение за кой работен процес. Система за обобщаване, класификатор, асистент за код, система за триаж и агент за извличане не се провалят по един и същи начин. Ако се третират като един бенчмарк, резултатът е число и не особено много прозрение.
Оценяването изисква също и управление на данните. Откъде са дошли примерите. Разрешени ли са за тази употреба. Съдържат ли чувствителна информация. Все още ли са представителни. Кой ги е етикетирал. Как е било обработено несъгласието. Какво се е променило от миналия месец. Един тестов набор може да остарее или да се пристрасти като всеки друг набор от данни. Ако корпусът за оценка се третира като свещен, той в крайна сметка се превръща в светилище на стари предположения. Светилищата рядко улавят отклоненията в производствената среда.
Най-важното е, че оценяването трябва да бъде свързано с контрола на пускането. Модел, подкана, индекс за извличане, анализатор, шлюз за инструменти или промяна в политиката не трябва да влизат в производство само защото изглежда, че работят по-добре. Те трябва да преминат съответните тестове, да посочат известните компромиси и да оставят запис. Някои промени ще си струва да бъдат внедрени въпреки регресиите, защото разходите, латентността, безопасността или покритието се подобряват. Това е напълно нормално. Сериозното инженерство не е липса на компромиси. То е отказ да ги откриваш случайно.
Контролът на разходите е надеждност
Разходите за изкуствен интелект често се обсъждат от финансистите, след като архитектурата вече е била емоционално приета. Това е твърде късно. Разходите са свойство на средата за изпълнение. Те влияят на надеждността, защото скъпите системи развиват странно поведение под напрежение. Екипите спират регистрирането, за да спестят пари. Те понижават качеството на контекста. Пропускат оценки. Избягват повторните опити. Групират задачите твърде агресивно. Позволяват на опашките да растат. Скриват използването. Тогава разходите престават да бъдат фактура и се превръщат в ограничение на дизайна, което се преструва на изненада.
Сериозната инфраструктура за изкуствен интелект прави разходите видими на същото ниво като латентността и грешките. Всяка заявка трябва да има бюджет. Скъпите извиквания на инструменти трябва да бъдат ограничени. Извличането трябва да избягва да донася половината библиотека, за да отговори на въпрос за един параграф. Дългият контекст трябва да бъде обоснован. Пакетните задачи трябва да имат квоти и възможност за отмяна. Агентите трябва да имат ограничения за броя стъпки. Оценяването трябва да измерва разходите за приемлив резултат, а не само разходите за токен. Мерната единица, която има значение, е полезната работа, а не изчислителен конфети.
Контролът на разходите също така защитава безопасността. Необузданият цикъл на агент не е само скъп. Той може да повтаря действия, да изпраща дублирани съобщения, да заключва записи или да претоварва система на трета страна. Процес на извличане, който индексира всичко, може да разкрие данни извън предназначението им. Задача за обобщаване, която се изпълнява върху всеки документ, може да създаде производни записи с нови задължения за съхранение. Границите на бюджета налагат яснота в дизайна. Те питат защо системата прави нещо и кога трябва да спре. Машините имат нужда от тази помощ. Те не са известни с доброволната си умереност.
Няма срам в оптимизирането за обикновен хардуер, по-малки модели, кеширане, пакетна обработка, предварително изчисление и локално извеждане, където е подходящо. Сериозният изкуствен интелект не се измерва с това колко грандиозно звучи хардуерът. Той се измерва с това дали системата може да достави необходимото качество в рамките на разходен лимит, който ѝ позволява да продължи да работи. Блестящ модел, който е твърде скъп за наблюдение, оценка и възстановяване, не е производствена система. Той е предложение за безвъзмездно финансиране с API.
Човешкият преглед не е лепенка за лоша инфраструктура
Човешката проверка е необходима в много AI системи, особено когато решенията засягат права, пари, здраве, безопасност или доверие. Но проверката често се използва като кош за всичко, с което инфраструктурата не се е справила: липсващи доказателства, неясни политики, ниска увереност, счупено насочване, дублирани задачи, лоши етикети и неясна отговорност. Тогава ръководителите казват, че има човек в процеса, сякаш човекът е вълшебен разтворител. Човекът обикновено е служител с опашка от задачи, краен срок и стол със съмнителни ергономични качества.
Проверката също има нужда от инфраструктура. Проверяващите се нуждаят от доказателствата, които моделът е видял, доказателствата, които не е видял, приложената политика, версията на модела, кодовете за увереност и причина, изходните документи, възможността да коригират структурирани полета и начин да връщат корекциите обратно в данните за оценка и обучение. Те се нуждаят от ограничения на натоварването. Нуждаят се от ескалация. Нуждаят се от одитни следи. Нуждаят се от защита от пристрастие към автоматизацията, където плавен отговор тихо се превръща в подкана.
Добрата система за проверка също разграничава несигурността от риска. Някои случаи са несигурни, но с ниско въздействие и могат да бъдат отговорени с уговорки. Някои са сигурни, но с високо въздействие и все пак изискват одобрение. Някои са с ниска увереност, защото липсват данни. Някои са блокирани от политиката независимо от увереността. Ако инфраструктурата сведе всичко това до „питай човек“, проверяващият се превръща в съоръжението за сортиране на отпадъци на системата. Хората могат да правят това известно време. След това качеството се превръща в план за персонал с учтиво име.
Смисълът не е да се премахнат хората. Смисълът е да им се даде работа, която заслужава преценка. Нека инфраструктурата се занимава с подреждането, опаковането на доказателства, проверките на политики, дедупликацията, проследяването на срокове, събирането на обратна връзка и възпроизвеждането. Нека хората се занимават с оспорвано значение, изключения, състрадание, преговори и отговорност. Това разделение е по-уважително към човека и по-безопасно за системата. То също така намалява древния бизнес ритуал за решаване на архитектурни проблеми с численост на персонала.
Тихата архитектура на доверието
Доверието в AI често се представя като комуникационен проблем. Обяснете системата по-добре. Добавете известие. Публикувайте принципи. Направете интерфейса по-топъл. Тези неща могат да помогнат, но потребителите се учат на доверие чрез поведение. Дали системата помни своите ограничения. Дали отказва, когато липсват доказателства. Дали показва източници. Дали се възстановява елегантно. Дали спира дублираната работа. Дали позволява на хората да оспорват. Дали се подобрява след грешки. Това са инфраструктурни поведения, преди да са маркови поведения.
Тихата архитектура на доверието е изградена от стабилни идентификатори, ясни разрешения, изрични състояния, трайни регистрационни записи, тествано възстановяване, представителна оценка, разбираем преглед и честен отказ. Потребителят може никога да не види по-голямата част от това. Той ще го усети, когато системата не изгуби неговия случай, когато едно обжалване има доказателства, когато една корекция се задържи, когато лошо издание бъде върнато назад или когато отговорът каже, че не може да знае, вместо да изфабрикува малка опера.
Ето защо сериозните AI екипи трябва да отделят повече време, за да възхваляват небляскавите части. Човекът, който накара идемпотентността да работи, спаси продукта от дублирани действия. Инженерът, който настоя за идентификатори за проследяване, спаси прегледа на инцидента. Отговорникът за данните, който блокира неверсиониран поток, спаси модела от тиха лъжа. Ръководителят на операциите, който репетира връщането назад, спаси уикенда. Никой от тях няма да се появи в основната презентация. Производството им дължи признание въпреки това.
Скучната инфраструктура не е липса на амбиция. Тя е амбиция, която очаква да бъде използвана от реални хора в реални организации при реални ограничения. Моделът може да остане най-интелектуално интересният компонент. Той не трябва да бъде единственият сериозен. Интелигентност, която не може да бъде поставена в опашка, ограничена, наблюдавана, оценявана, обяснена и възстановена, не е готова за сериозна работа. Тя е готова за демонстрация, което е различен и много по-кратък сезон.
Урокът
Скучната инфраструктура печели в сериозния AI, защото сериозният AI се състои основно в спазване на обещания, след като новостта напусне стаята. Обещанието не е, че всеки отговор ще бъде перфектен. Обещанието е, че системата ще познава своите входни данни, ще спазва своите граници, ще запазва доказателства, ще насочва несигурността, ще се възстановява от повреди, ще контролира разходите и ще се подобрява от опита. Това обещание се изпълнява чрез опашки, схеми, регистрационни записи, договори, идентичности, оценки, оперативни наръчници и планове за връщане назад.
Умният модел е важен. Той също така е взискателен. Той се нуждае от ясни граници, свежи доказателства, ограничени инструменти, търпелива оценка, контролирани разходи и хора, които получават смислена работа, а не остатъци. Дайте му тези неща и той може да стане полезен. Откажете му тези неща и организацията в крайна сметка ще открие, че интелигентността без инфраструктура е просто по-бърз начин да се създаде работа за операциите.
Демонстрацията, която се провали по време на обяда, не се провали, защото бъдещето беше невъзможно. Тя се провали, защото бъдещето беше балансирано върху опашка, която никой не беше третирал като част от бъдещето. Това е тихият урок. В сериозния AI скучните части не са поддържащи актьори. Те са сцената.