Защо повторяемостта е по-важна от демонстрациите
Второто изпълнение е истината
Първото изпълнение получи аплодисменти. Моделът откри клаузата, таблото светна, отговорът цитира правилния документ и стаята се отпусна по точния начин, по който стаите се отпускат, когато ред в бюджета току-що е станал по-лесен за защита. Екипът беше репетирал внимателно. Данните бяха достатъчно чисти, въпросите бяха разумни, мрежата работеше, лаптопът на доставчика не беше решил да се превърне в малък радиатор и никой не попита за единичния граничен случай, който беше учтиво отложен за по-късна фаза. Беше добра демонстрация. Добрите демонстрации са полезни. Те показват възможности. Дават на хората общ обект за обсъждане. Правят абстрактната способност видима.
После дойде второто изпълнение. Същият случай на употреба, но сега с данните от миналата седмица, различен оператор, изходен документ със странна таблица, актуализация на политиката, която не беше достигнала до подканата, и ръководител, който наблюдаваше, защото резултатът щеше да оформи реално решение. Отговорът все още беше плавен. Това не беше проблемът. Проблемът беше, че никой не можеше да каже дали това е същият отговор по същите причини, или различен отговор, облечен в същия тон. Демонстрацията беше доказала, че системата може да се представи. Не беше доказала, че организацията може да повтори представянето.
Тук сериозната работа с ИИ променя характера си. Демонстрацията пита можем ли да го накараме да работи веднъж. Операциите питат можем ли да го накараме да работи отново, да обясним защо е работило, да знаем кога не е работило и да запазим доказателствата, когато някой попита шест месеца по-късно. Повторяемостта не е противоположност на иновацията. Тя е частта от иновацията, която оцелява при контакт с ведомости, право, безопасност, клиенти, граждани, одитори, уморен персонал и тихата враждебност на реалните данни.
Повечето провали в операциите с ИИ не идват като кинематографичен колапс. Те идват като малки разлики, които никой не може да възпроизведе. Резултатът от извличането се променя. Актуализация на подканата поправя един случай и отслабва друг. Надстройка на модела измества границата на решението. Източникът на данни изпуска поле. Човешко коригиране е записано в една система, но не и в друга. Организацията все още има работеща система в театрален смисъл. Вече няма система, която може да разкаже същата история два пъти.
Демонстрацията скрива скучния договор
На демо версията ѝ е позволено да подбира. Тя има история, начало, удовлетворяващо кликване и обикновено примерен набор от данни, сресан като дете преди училищни снимки. Това не е измама. Това е комуникация. Проблемът започва, когато организацията обърка комуникацията с оперативен договор. Демото не определя свежестта на източника, границите на версиите, пътищата за връщане назад, правата на човешка проверка, езика при отказ, съхранението или точното условие, при което системата трябва да откаже да отговори. Тези подробности често стоят точно извън екрана, изглеждат старомодни и чакат по-късно да издадат фактура на всички.
Повторяемостта прави договора видим. Тя пита кой вход е входът, а не кой е най-близкото копие. Пита коя версия на правилата е ограничила отговора, а не коя страница с политики е изглеждала позната. Пита дали редът на извличане е стабилен, дали равенствата се обработват детерминистично, дали подканите са с версии, дали параметрите на модела могат да бъдат назовани, дали извикванията на инструменти се записват, дали операторът може да преиграе даден случай и дали отмяната променя работния процес или просто украсява дневника. Това не са философски въпроси. Това е окабеляването зад надеждната работа.
Трудната част е, че повторяемостта в началото изглежда по-бавна. Екип, който гони демо, може да използва най-бързия път през градината. Екип, който изгражда повторяемост, трябва да постави каменни плочи, да обозначи портите и да реши кой притежава ключа от навеса. Това може да изглежда бюрократично за хората, които виждат само първата седмица. До третия инцидент започва да изглежда милостиво.
AI системите увеличават нуждата от тази милост, защото въвеждат легитимна променливост. Езиковите модели могат да бъдат семплирани. Извличането може да изведе близки кандидати. Човешката преценка може да се различава. Документите могат да бъдат двусмислени. Повторяемата система не се преструва, че светът е детерминистичен във всеки детайл. Тя разграничава позволеното отклонение от неуправляваното отклонение. Тя казва, че това поле може да варира, защото потребителят задава въпрос на естествен език, но този набор от източници не трябва да варира без регистрирана промяна в корпуса. Тази формулировка на резюмето може да се различава, но основата за допустимост не трябва. Този резултат може да се промени след надстройка на модела, но надстройката трябва да бъде проследима.
Един и същ вход не е проста фраза
Хората казват един и същ вход, сякаш фразата е очевидна. В реалните системи рядко е очевидна. Видимият въпрос на потребителя е само една част. Действителният вход може да включва извлечени документи, скрити инструкции, системни подкани, схеми на инструменти, правила на политиките, роля на потребителя, време, локал, права за достъп, кеширани записи, функционални флагове, версия на модела, индекс на вгражданията, настройки на праговете и тихото предположение, че вчерашното опресняване на склада за данни е било успешно. Един и същ вход може да се превърне в изненадващо претъпкана стая.
Ето защо повторяемостта започва с идентичността на входа. Системата трябва да знае кои записи са били налични, кои записи са били избрани, коя версия на корпуса е била търсена, кой шаблон за подкана е бил използван, кой набор от политики е бил приложен, кой модел е работил, кои инструменти са били разрешени и коя човешка роля е приела изхода. Ако това звучи много, то е защото пътят за вземане на решения вече е бил голям. Единственият въпрос е дали организацията го признава.
Разликата е най-важна, когато резултатите са оспорвани. Ако клиент попита защо дадена претенция е отхвърлена, болница попита защо се е появил флаг за риск, банка попита защо даден случай е ескалиран или публична агенция попита защо гражданин е получил определена инструкция, организацията не може да отговори само с видимия въпрос. Тя се нуждае от оперативния контекст. Без него прегледът на инцидента се превръща в учтив сеанс, в който всички призовават дневници, памет и екранни снимки, докато се преструват, че това е метод.
Идентичността на входа също предпазва екипите от несправедливи обвинения. Ако резултатът се е променил, защото е променен изходен документ, това е проблем със съдържанието. Ако се е променил, защото индексът е изграден наново с различни параметри, това е проблем с извличането. Ако се е променил, защото моделът е надстроен, това е проблем с внедряването. Ако се е променил, защото операторът е използвал различен работен процес, това е проблем с процеса. Да се наричат всички тези неща поведение на модела е удобно и погрешно, силна комбинация в организации с натоварени календари.
Повторяемостта не означава замразяване на всичко
Съществува мързеливо възражение, че повторяемостта убива адаптацията. Не е така. Тя убива мистерията. Повторяема операция може все още да подобрява модели, да променя подкани, да актуализира правила, да почиства данни, да добавя източници, да настройва прагове и да препроектира работни процеси. Разликата е, че промените стават именувани събития, а не време. Когато резултатът се премести, екипът може да попита коя контролирана промяна го е преместила. Така подобрението се превръща в учене, а не в суеверие с бележка за изданието.
Най-добрите оперативни екипи третират промените като експерименти с граници. Те поддържат базови случаи. Пускат сенчести оценки. Сравняват стари и нови резултати от извличане. Проверяват случаи с голямо въздействие преди повишаване. Записват кой е одобрил промяната и защо. Определят условията за връщане назад преди разговора за пускане, а не докато каналът за поддръжка свети. Това не е театрална предпазливост. Така екипите се движат по-бързо, след като първата система има значение.
Има и морално измерение, въпреки че е по-добре, когато е изразено ясно. Ако системата влияе върху пари, работа, грижа, приоритет, правоприлагане или достъп, засегнатите хора заслужават повече от представление. Те заслужават процес, който може да се обясни. Повторяемостта създава предпоставката за това обяснение. Не можете да одитирате изчезващ акт. Можете само да ръкопляскате или да се оплаквате.
Добрата повторяемост следователно разделя стабилното от гъвкавото. Стабилни са записите за случилото се, идентификаторите на версиите, наборът за оценка, произходът на източниците, собственикът на правилата, пътят на одобрение и условията за отказ. Гъвкави са техниките, използвани за подобрение в тези граници. Занаятът е да знаете кое е кое. Много организации ги обръщат. Те замразяват процеса, защото никой не вярва на системата, след което позволяват скрити технически промени, защото никой не може да ги види. Това е управление чрез щори.
Наборът за оценка е работна памет
Всяка зряла организация има нужда от малък набор от случаи, които отказва да забрави. Не синтетичен бенчмарк, избран, защото изглежда впечатляващо в даден отчет, а жив набор за оценка, изграден от неудобните случаи, които са научили екипа на нещо. Документът с противоречиви дати. Заявката на клиент, която смесва две политики. Фактурата, при която извличането на таблицата почти работи. Медицинската бележка с двусмислени съкращения. Случаят по обществени поръчки, при който правното основание е по-важно от очевидния отговор. Тези случаи се превръщат в институционална памет.
Повторяема система пуска тези случаи, когато нещо се промени. Целта не е да се преклоняваме пред стари резултати. Понякога старият резултат е бил грешен. Целта е да разберем движението. Подобри ли новата версия случая по правилната причина. Счупи ли крехко, но важно поведение. Стана ли по-уверена, докато губеше доказателства. Избра ли различен източник. Достигна ли до същото заключение по по-слаб път. При сериозната работа пътят има значение, защото същият отговор по грешната причина не е същият отговор.
Точно тук много програми, водени от демонстрации, губят контрол. Те измерват удовлетвореността на потребителите, латентността и общата точност, но не държат болезнените случаи наблизо. Резултатът е система, която може да изглежда по-добра като цяло, докато се влошава по ръбовете, които имат значение. Средните стойности са полезни. Ръбовете са мястото, където пристига оплакването с прикачени файлове.
Наборът за оценка трябва също да включва случаи на отказ. Система, която винаги отговаря, не е полезна. Тя е натрапчива. Повторяемостта изисква системата да отказва последователно, когато източниците липсват, няма правомощие, увереността е твърде слаба, потребителят пита извън ролята си или задачата изисква човешко решение. Поведението на отказ е част от качеството. Чистото „не“ често е по-ценно от очарователното „може би“, облечено като сигурност.
Човешката преценка също трябва да е повторяема
Повторяемостта не е свойство само на машините. Човешките стъпки също се нуждаят от повторяемост. Ако единият рецензент третира резултата на модела като чернова, друг го третира като решение, а трети като дразнещ колега, работният процес ще се отклонява, колкото и стабилен да е моделът. Организацията трябва да определи какво означава рецензирането. Дали човекът проверява източниците, проверява политиката, взема проби от доказателствата, одобрява, редактира езика или носи отговорност за заключението. Всеки глагол създава различно задължение.
Операторите се нуждаят от интерфейси, които поддържат тези задължения. Ако трябва да проверяват източници, източниците трябва да са видими. Ако трябва да проверяват политика, основата на правилата трябва да е близо до резултата. Ако трябва да отменят, пътят за отмяна трябва да е нормален, а не скрит зад бутон, който се усеща като признание за предателство. Ако трябва да обяснят решение по-късно, системата трябва да запази какво са видели по това време. В противен случай човешкият надзор се превръща в декоративна фраза с прикачен служителски номер.
Обучението също има значение, но не видът, който учи хората да се възхищават на системата. Полезното обучение показва границите. То дава на рецензентите примери за силни резултати, слаби резултати, липсващи доказателства, остарели източници, инжектиране на подкани, конфликт на политики и случаи, в които моделът трябва да бъде пренебрегнат със спокойно сърце. То казва на хората кои разногласия са очаквани. То им казва, че добрите отмени са част от системата за контрол. Ако всяка отмяна се третира като провал на внедряването, хората ще се научат да спрат да забелязват. Хората са адаптивни, понякога неудобно.
Има суха утеха в записването на процедурата. Не защото документите са магия. Не са, както знае всеки, който се е сблъсквал със споделено устройство. Утехата идва от това, че организацията е принудена да избере. Една повторяема човешка стъпка казва, че тази роля трябва да направи тази проверка, с тези доказателства, в този срок, и ето какво се случва, когато проверката се провали. Изведнъж надзорът има скелет.
Случайността има нужда от домашен адрес
Някои AI системи включват случайност по дизайн. Семплирането може да доведе до по-добър език. Търсенето може да изследва алтернативи. Агентите могат да опитват различни пътища с инструменти. Човешката обратна връзка може да промени поведението с течение на времето. Нищо от това не е по своята същност лошо. Оперативната грешка е да се позволи на случайността да живее навсякъде и никъде. Ако вариацията е полезна, кажете къде е разрешена. Ако е рискова, ограничете я. Ако се появи, запишете достатъчно, за да я разберете. Случайност без адрес е начинът, по който екипите се озовават да дебъгват машина за мъгла.
Има практически техники. Използвайте детерминистични настройки, когато резултатът е важен и задачата е ограничена. Фиксирайте версии и шаблони. Поддържайте моментни снимки на корпуса. Записвайте кандидатите за извличане. Разделяйте творческото чертане от подкрепата за решения. За генеративен текст, който може да варира, оценявайте твърденията и източниците, а не повърхностната формулировка. За агентни работни потоци записвайте плановете с инструменти, резултатите от инструменти и пътищата на отказ. При актуализации на модели изпълнявайте сравнения по двойки, преди трафикът да се премести. Нищо от това не премахва несигурността. То дава на несигурността стол на срещата и ѝ пречи да се скита из таванните плочи.
Повтаряемостта също променя езика на инцидентите. Вместо да се казва, че AI е дал лош отговор, екипът може да каже, че отговорът е използвал моментна снимка на корпуса 18, пакет от политики 12, версия на модела 4, шаблон за подкана 31, извлечени документи A, C и F, пропуснат документ B поради обхват на достъпа и е приет от роля X без ескалация. Това изречение е по-малко вълнуващо от „системата излезе извън контрол“. То е и по-полезно, което е повтарящо се разочарование за драматичните хора.
Когато системата не може да предостави това изречение, организацията не управлява AI. Тя присъства на AI. Гледа, реагира, утешава и се надява следващата смяна да е по-добра. Това може да е приемливо за прототип. Не е приемливо за работа, от която хората зависят.
Грешката при възлагането на обществени поръчки
Повтаряемостта трябва да се купува, както и да се изгражда. Много процеси за възлагане на обществени поръчки все още възнаграждават най-добрата демонстрация. Системата, която изглежда гладка, отговаря бързо и дава на ръководството приятно усещане за модерност, печели точки. Системата, която обяснява запазването на доказателства, формата за експорт, регресионното тестване, детерминистичното извличане, фиксирането на версии на модели, прегледа на база роли и политиката за връщане назад, може да звучи по-малко вълнуващо. Така организациите купуват бъдещи срещи.
По-добрите въпроси при покупка са директни. Можем ли да преиграем даден случай. Можем ли да експортираме пътя на доказателствата. Можем ли да закачим или именуваме всеки модел и подсказка, които влияят на даден отговор. Може ли извличането да бъде възпроизведено след възстановяване на индекса. Можем ли да сравним текущото поведение с базово ниво, зададено преди приемането на актуализация. Могат ли човешките корекции да бъдат анализирани, без да се наказва полезната преценка. Можем ли да си тръгнем с нашите записи. Можем ли да кажем на одитор какво се е случило, без да отваряме билет за поддръжка и да палим свещ.
Тези въпроси не изискват враждебност към доставчиците. Те изискват зрялост. Един добър доставчик трябва да може да каже кои части са повторими, кои части са вероятностни, кои доказателства са налични, кои доказателства не са и какво купувачът трябва да управлява сам. Купувач, който не може да зададе тези въпроси, в крайна сметка ще открие отговорите в производствена среда, където отговорите са по-скъпи и пристигат със слушалки на главата.
Същата логика за покупка важи и вътрешно. Екипите за платформата не трябва да продават демонстрация на оперативните екипи без договор за повторимост. Екипите за данни не трябва да предават източници без произход. Екипите за модели не трябва да пускат подобрения без сравнение с базово ниво. Управителните екипи не трябва да одобряват принципи, без да тестват записите. Всички искат пускането. Повторимостта е дисциплината да ти пука за вторника след пускането.
Повторимостта е доброта към бъдещите екипи
Има човешка причина да се грижим за повторимостта, която рядко се появява в стратегическите презентации. Тя е по-добра. По-добра е към операторите, които не трябва да гадаят защо дадена система се е променила. По-добра е към инженерите, които не трябва да възстановяват инциденти от трохи по таблата. По-добра е към мениджърите, които трябва да вземат решения под наблюдение. По-добра е към клиентите, гражданите, пациентите и колегите, които заслужават отговори, които не са импровизирани след факта. Повторимата система намалява количеството институционално преструване, необходимо, за да се премине през седмицата.
Повторимостта също прави честността по-лесна. Когато доказателствата са налични, екипите могат да кажат, че моделът се е провалил тук, данните са били остарели там, политиката е била двусмислена, проверяващият е имал недостатъчен контекст или източникът е липсвал. Без доказателства всяко признание изглежда рисковано, защото никой не знае къде ще падне вината. Затова хората смекчават езика, отлагат решения и създават гъстата мъгла, известна като съгласуваност. Доказателствата не правят организациите смели, но намаляват цената на прецизността.
Изненади все пак ще има. Повторяемостта не е заклинание срещу реалността. Нови случаи ще разбиват предположения. Потребителите ще задават странни въпроси. Документи ще пристигат с форматиране, което изглежда уговаряно по време на прекъсване на тока. Моделите ще се подобряват в една посока и ще регресират в друга. Смисълът не е да премахнем изненадата. Смисълът е тя да бъде поучителна, а не заразителна.
Затова повторяемостта е по-важна от демонстрациите. Демонстрациите създават вяра, че дадена възможност съществува. Повторяемостта създава способността да разчитаме на нея. Първото е полезно, за да започне разговор. Второто е необходимо, за да се върши работа. Когато AI система стане част от институция, въпросът престава да бъде дали може да впечатли залата. Въпросът става дали може да създава, съхранява и обяснява работата си в обикновен ден, при обикновено напрежение, с участието на обикновени хора. Обикновените дни са тези, в които сериозните системи доказват стойността си.