Обяснимост без възпроизвеждане е театър
Обяснението, което дойде твърде късно
Неудобното обяснение обикновено идва, след като решението вече е имало значение. Клиент е бил отхвърлен. Пациент е бил насочен. Студент е бил маркиран. Пратка е била забавена. Гражданин е бил помолен да изчака. Системата с изкуствен интелект е дала отговор преди дни или седмици, всички са били заети, опашката се е придвижила напред и сега някой иска да знае защо се е появил този отговор. Тогава организацията открива дали разполага с обяснимост или само с отдел за обяснения.
Първата версия често изглежда разумна. Табло показва увереност. Карта на модела заявява, че системата е била тествана. Генериран абзац обяснява, че няколко фактора са допринесли за резултата. Проверяващ си спомня, че доказателствата са изглеждали наред по онова време. Експортът на журнал съдържа много редове и затова изглежда сериозен. Хората се събират около артефактите и започват да разказват. Може да са честни. Може да са опитни. Може дори да са прави. Но ако пътят не може да бъде възпроизведен, обяснението е представление с реквизит.
Възпроизвеждането променя стандарта. То пита дали организацията може да реконструира пътя на решението от действителните съставки: заявка, идентичност, състояние на данните, резултати от извличането, подкана или инструкция, версия на модела, настройки, извиквания на инструменти, проверки на политики, човешки действия, време и изход. Не подобен път. Не правдоподобен път. Пътят, който е довел до отговора, или контролирано обяснение защо точно възпроизвеждане е невъзможно и коя част не може да бъде възстановена. Това е по-малко бляскаво от панел за обяснения. Също така е много по-трудно да се фалшифицира.
Обяснимостта без възпроизвеждане е театър, защото кани хората да се възхищават на история вместо да инспектират система. Театърът не е безполезен. Добрият театър може да учи, утешава, предупреждава и понякога да поддържа жив селския дом. Той не трябва да решава дали автоматизирано решение е законосъобразно, справедливо, пропорционално или правилно. За това публиката се нуждае от машините зад кулисите.
Защо плавното обяснение не е достатъчно
Големите езикови модели са много добри в създаването на причини. Това е част от тяхната полезност и част от проблема. Една причина може да бъде ясна, правдоподобна, учтива и откъсната от действителния път, който е довел до отговора. Системата може да обясни класификация, като посочи фактори, които звучат уместно, докато реалното влияние е дошло от остарял източник, разклонение в подканата, скрит стандарт или резултат от инструмент, който никога не се появява в текста. Текстът може да бъде полезен. Той не е автоматично доказателство.
Това не е особен морален недостатък на ИИ. Хората също обясняват действията си след факта с голяма доза креативност и селективна памет. Разликата е в мащаба и текстурата. Системите с ИИ могат да генерират хиляди решения, всяко с подредено обяснение, докато оперативният път зависи от движението на данни, версии, кешове, политики и услуги. Обяснителният слой може да остане спокоен, докато процесът отдолу прилича на чекмедже с прибори по време на земетресение.
Полезното обяснение трябва да отговори на два въпроса. Какви причини може да разбере човек. Какви доказателства показват, че тези причини са свързани с това, което действително се е случило. Първият въпрос е за комуникацията. Вторият е за възпроизвеждането. Ако организацията може да отговори само на първия, тя може да има добро потребителско изживяване и слаба повърхност за отчетност. Това е опасно, защото обяснението може да стане по-убедително точно когато трябва да стане по-скромно.
Има ситуации, в които простото обяснение е достатъчно. Ако асистент с нисък риск предложи корекция на правописа, никой не се нуждае от криминалистична реконструкция на икономиката на гласните. Но когато даден резултат засяга права, пари, достъп, безопасност, професионална преценка или обществено доверие, организацията се нуждае от нещо повече от гладко обяснение. Тя се нуждае от път обратно през системата. Човек трябва да може да попита: покажи ми какво е видяла системата, какво ѝ е било позволено да прави, коя версия е работила, кое правило е приложено, кой е разчитал на нея и как мога да я оспоря.
Възпроизвеждането не е само детерминизъм
Хората често чуват възпроизвеждане и си мислят, че означава натискане на бутон и получаване на точно същата последователност от токени. Понякога това е възможно. Понякога не е. Моделите могат да бъдат стохастични. Външните услуги могат да се променят. Индексите за извличане могат да се обновяват. Чувствителните към времето данни могат да изтекат. Инструментът може да зависи от ограничение на скоростта, пазарна цена, състояние на календара или човешки вход. Точното побитово повторение е полезно, когато е налично, но възпроизвеждането е по-широка дисциплина от детерминистичната носталгия.
Възпроизвеждането означава, че системата може да реконструира пътя на решението на нивото, необходимо за въпроса. За фактически отговор това може да означава източниците, класирането, откъсите, подканата, версията на модела и резултата. За действие с инструмент това може да означава правомощието, параметрите, проверките на политиките, състоянието на одобрение, резултата от изпълнението и записа надолу по веригата. За решение с човешко участие това може да означава препоръката на модела, пакета от доказателства, действието на проверяващия, несъгласието и крайния резултат. Целта е миналото да бъде проверимо, а не да се преструваме, че миналото е лабораторна проба, държана под стъкло.
Това разграничение има значение, защото точното възпроизвеждане може да се превърне в извинение да не се прави нищо. Екипът казва, че моделът е недетерминистичен, следователно възпроизвеждането е невъзможно, следователно обясненията ще се генерират при поискване. Това е като да се каже, че времето не може да се превърти назад, следователно няма смисъл да се води бордови записващ прибор. Не можем да възпроизведем всяка молекула на турбуленцията. Все пак можем да запишем надморската височина, курса, управлението, предупрежденията и решенията. Системите с ИИ заслужават същата скромност и същата дисциплина.
Възпроизвеждането също изисква обхват. Записването на всичко завинаги не е отговорно. То създава риск за поверителността, разходи и управленска мъгла. Дизайнът на възпроизвеждането трябва да улавя минималните доказателства, необходими за реконструиране на значимите пътища, като съхранението и достъпът са съобразени с риска. Изборът не е между тотална памет и театрална амнезия. Сериозните системи живеят по средата, където доказателствата са целенасочени, ограничени и достатъчно силни, за да отговорят на по-късни въпроси.
Къде се проваля възпроизвеждането
Повторното изпълнение обикновено се прекъсва на границите. Извикването на модела е лесно за запомняне, защото всички гледат към него. Околният контекст е мястото, където фактите се изплъзват. Ролята на потребителя се е променила. Изходният документ е бил презаписан. Индексът за извличане е бил изграден наново без моментна снимка. Шаблонът на подканата е бил редактиран на място. Механизмът на правилата е използвал текущото правило, когато е бил попитан за миналия месец. Инструментът е върнал стойност от днес. Системният часовник е бил грешен в една услуга и верен в друга, малък подарък от разпределените системи за бъдещите срещи.
Гниенето на контекста е особено често срещано в системите за извличане. Генериран отговор цитира страница с правила. Шест месеца по-късно страницата се е променила. Цитатът все още се разрешава, но вече не казва това, което е казвал. Обяснението казва, че системата е разчитала на правилата, което е вярно в най-безполезния смисъл. Без хеш на съдържанието, версия, моментна снимка или архивна препратка организацията не може да покаже кое правило е оформило отговора. Тя може да покаже само текущата страница и да се надява, че историята ще бъде съдействаща.
Използването на инструменти създава друго прекъсване. Моделът може да реши да извика инструмент, но обяснението може да не запази параметрите, проверката на разрешенията, отговора, пътя на повторния опит или страничния ефект. Тогава изходът изглежда като отговор, докато важното действие се е случило другаде. Ако инструментът е променил запис, изпратил е съобщение, оценил е риск или е задействал работен процес, повторното изпълнение трябва да следва тази граница. В противен случай обяснението описва говорещата част и пропуска ръката, която е преместила лоста.
Човешкият преглед също може да наруши повторното изпълнение. Рецензент може да види доказателства, да направи преценка и да остави само краен статус. По-късно организацията казва, че човек е бил включен. Това е вярно и повърхностно. Кои доказателства е видял рецензентът. Променил ли е изхода. Приел ли е препоръка или е взел самостоятелно решение. Имал ли е време. Записал ли е съмнение. Интерфейсът показвал ли е увереност по начин, който го е подтикнал. Ако човешкото състояние не е записано, човешкият преглед се превръща в завеса. Изглежда успокояващо от страна на публиката. Зад нея никой не може да намери стола.
Обяснението трябва да бъде изглед върху доказателствата
По-добрият модел е да се третира обяснението като изглед върху доказателствата от повторното изпълнение. Пакетът от доказателства е основният запис. Обяснението е визуализация, ориентирана към хората, на избрани части от този запис. Гражданин може да види кратък разказ за категориите източници, основата на правилата, автоматизираната подкрепа, човешкия преглед и пътя за обжалване. Оператор може да види откъси от източници, увереност, проверки на правилата и резултати от инструменти. Одитор може да види хешове, версии, времеви отпечатъци, събития за одобрение и политиката за съхранение. Различни изгледи, една и съща основа от доказателства.
Това предпазва обясненията от превръщане в измислена проза. Системата не трябва да иска от модела да обяснява минало решение по памет или въз основа на обобщение за себе си. Тя трябва да генерира или съставя обяснението от записани доказателства. Ако доказателства липсват, обяснението трябва да го каже. Липсващото доказателство не е неудобство в потребителския интерфейс. То е факт за отчетността на решението. Да го скриеш под по-гладък параграф е начинът, по който театърът става скъп.
Обяснението, подкрепено от доказателства, също подобрява достъпността. Хората, засегнати от решения, не се нуждаят от сурови логове. Те се нуждаят от разбираеми причини, пътища за корекция и достатъчно подробности, за да оспорят решението. Разработчиците и одиторите се нуждаят от по-дълбоки слоеве. Разделянето на доказателствата от изгледите позволява на системата да обслужва и двете страни, без да обърква прозрачността с изхвърляне на технически материал върху хората, докато не се предадат. Проследяване от хиляда реда може да е също толкова непрозрачно, колкото черна кутия, ако е дадено на грешната аудитория.
Изгледът също трябва да избягва преувеличения. Обяснението на модел не трябва да се преструва, че разкрива вътрешни психологически мотиви. Обяснението на резултат не трябва да превръща корелацията в морална присъда. Обяснението за извличане не трябва да внушава, че нецитирани източници са били без значение, ако никога не са били извлечени. Доброто обяснение използва сух език: тази заявка използва тези версии на източници, при тези правила, с тази настройка на модела, произвеждайки този резултат, прегледан от тази роля, водещ до това действие. Сухият език е подценен. Той има по-малко места, където да скрие глупости.
Възпроизвеждането затваря цикъла на учене
Възпроизвеждането не е само за одити и жалби. То е начинът, по който системите се учат, без да се самозалъгват. Ако се появи лош резултат, възпроизвеждането позволява на екипа да инспектира пътя. Липсваше ли източникът. Беше ли източникът наличен, но класиран твърде ниско. Потисна ли подканата несигурността. Игнорира ли моделът правило. Върна ли инструмент грешно състояние. Одобри ли човешкият рецензент, защото пакетът от доказателства беше лошо проектиран. Принуди ли конфликт на политики към крехък път. Всеки отговор сочи към различен ремонт.
Без възпроизвеждане подобрението се превръща в суеверие. Екипът променя подканите, защото подканите са видими. Сменя модела, защото моделите са вълнуващи. Добавя предупреждение, защото предупрежденията са евтини. Истинският проблем може да е бил остарял индекс, правило без версия, тих отказ на разрешение или интерфейс за рецензенти, който е скривал несъгласието. Суеверието може да създаде движение. То рядко създава контрол. Организацията се чувства заета и остава объркана, популярен, но изтощителен оперативен модел.
Цикълът на възпроизвеждане може да захранва оценяването. Неуспешните случаи стават тестови случаи със запазен контекст. Човешките корекции стават обозначени примери. Резултатите от обжалванията стават сигнали за управление. Провалите при свежестта на източниците стават показатели за качество на данните. Грешките на инструментите стават тестове за договори. Системата получава памет за грешките си, която е по-богата от купчина жалби. Тази памет позволява на екипите да правят промени и след това да сравняват новия път със стария.
Възпроизвеждането също предпазва от театър на подобрението. Нова версия може да произвежда по-хубави обяснения, докато взема по-лоши решения. Друга може да подобри точността, но да отслаби поведението при отказ. Трета може да намали латентността, като изхвърли доказателства от източници. Ако организацията записва и възпроизвежда случаи, тя може да види компромисите. Ако само подбира полирани обяснения, ще бъде изкушена да повярва на версията с най-добри маниери.
Възражението за поверителност е реално
Replay може да бъде проектиран погрешно. Мързеливият вариант записва всичко: пълни подкани, пълни документи, лични данни, резултати от инструменти, вътрешни бележки, коментари на рецензенти и може би цвета на стола, ако наблизо е имало сензор. Тогава организацията нарича това одитируемост и създава втори рисков обект. Това не е зряло. Това е трупане с значка за съответствие.
Отговорният дизайн на replay започва с целта. Кои решения се нуждаят от replay. Кои доказателства са необходими. Кои части могат да бъдат посочени чрез стабилен идентификатор, вместо да бъдат копирани. Кои стойности трябва да бъдат хеширани. Кое съдържание се нуждае от редактиране. Кои роли имат достъп до по-дълбоките слоеве. Кой период на съхранение отговаря на правната и човешка стойност на процеса. Кои доказателства никога не трябва да бъдат записвани, защото рискът надвишава ползата. Тези въпроси не са пречки пред обяснимостта. Те са част от нея.
Replay, който запазва поверителността, често означава наслояване. Публичното обяснение може да съдържа категории и причини. Вътрешният преглед може да съдържа идентификатори на източници и откъси. Одитният слой може да съдържа хешове, времеви отпечатъци и подписи. Слоят за инциденти може да изисква временно по-широк достъп при строг контрол. Слоевете трябва да са свързани, но не трябва да се сливат в един гигантски архив, достъпен за всеки, който знае къде се намира бутонът за експорт. Бутоните за експорт не са управление. Те са врати, а вратите изискват ключалки.
Има и причина за справедливост да се проектира replay внимателно. Ако само някои случаи получават подробни записи, защото са високорискови или с висока стойност, организацията трябва да знае това и да го обоснове. Ако случаите с нисък риск са недостатъчно записани, хората може да имат по-малка възможност да оспорват грешки в тези потоци. Ако случаите с висок риск са прекомерно записани, чувствителните групи може да носят по-тежко наблюдение. Replay не е неутрална памет. Това е дизайнерски избор за това чие минало може да бъде проверено и от кого.
Replay променя начина, по който екипите пишат подкани
След като replay има значение, подканите престават да бъдат частен фолклор. Подканата става част от пътя на решението. Тя се нуждае от версии, собственост, тестове и връзка с политиката. Това не означава, че всяка промяна на формулировката изисква церемония с бисквити. Означава, че значима подкана не трябва да се редактира на място, без да остане запис. Ако подканата се е променила между решение и обжалване, организацията трябва да знае коя е била приложена.
Replay също прави подканите по-малки на правилните места. Екипите често натъпкват политики, форматиране, правила за отказ, инструкции за данни, тон, използване на инструменти, примери и оперативни ограничения в един дълъг подкан. После очакват от него да бъде едновременно управление, интерфейс и памет. Една възпроизвеждаема система може да премести част от тази структура в изрични контроли: политически порти, филтри за източници, валидатори на схеми, разрешения за инструменти и преходи на състояние. Подканът може да върши езикова работа, вместо да се прави на конституция.
Това подобрява обясненията, защото системата може да посочи конкретни контроли. Отговорът беше отказан, защото политическата порта блокира медицински съвет извън ролята, а не защото моделът имаше смътно усещане. Източникът беше изключен, защото договорът за данни го отбеляза като извън целта, а не защото подканът казваше да се внимава с поверителността. Инструментът не се изпълни, защото действието беше необратимо без одобрение, а не защото изречение в подкана се надяваше на предпазливост. Надеждата е прекрасно човешко качество. Тя не е контролна равнина.
Подканите все още имат значение. Те оформят рамката, несигурността, тона и поведението на разсъждение. Replay просто спира да ги прави единственото място, където се крие отговорността. Това е по-здравословно за всички, включително за човека, който трябва да поддържа подкана шест месеца по-късно, когато тя се е превърнала в деликатна вкаменелост от минали срещи.
Цената на полезното обяснение
Полезното обяснение има цена. Записването на доказателства струва съхранение и инженерно време. Версионирането на източници изисква дисциплина. Съхраняването на моментни снимки струва пари. Изграждането на изгледи за конкретни роли изисква продуктов дизайн. Прегледът за поверителност изисква внимание. Тестовете на Replay струват време за изпълнение. Четимите кодове за причини изискват работа по домейна. Тези разходи са реални. Да се преструваш, че не са, е начинът, по който организациите стигат до претрупани архиви или очарователно безполезни обяснения.
Правилният въпрос е какво ниво на възпроизвеждане заслужава решението. Небрежен асистент за писане може да се нуждае от леки следи и кратък период на съхранение. Клиничен инструмент за триаж се нуждае от по-силни доказателства, моментни снимки на източници, записи за преглед и подкрепа за обжалване. Решение за публични обезщетения се нуждае от разписки за всеки случай и правно версиониране. Система за разследване на измами се нуждае от внимателен баланс между обяснимост, сигурност и оспоримост. Една позиция за възпроизвеждане за всяка система е толкова глупава, колкото един размер обувки за всяка среща.
Компромисите трябва да са изрични. Повече детайли подобряват проверката, но могат да увеличат риска за поверителността. Силните моментни снимки подобряват възпроизвеждането, но струват пари. По-бързите системи може да записват по-малко. По-богатите обяснения може да разкрият чувствителна логика. Човешките бележки може да изяснят преценката, но също така създават записи, които изискват управление. Това са дизайнерски решения, не извинения. Сериозните екипи ги назовават преди внедряването. По-малко сериозните ги откриват по време на оплаквания и после го наричат поуки, което е традиционна фраза, означаваща следващия път, може би.
Най-добрите системи за възпроизвеждане са скромни и надеждни. Те записват доказателствата, необходими за въпросите, на които организацията е вероятно и задължена да отговори. Те избягват да записват всичко. Те произвеждат обяснения от доказателства, не от усещания. Те признават несигурността. Те правят липсващите доказателства видими. Те позволяват на екипите да се подобряват. Това не е бляскаво. Доброто управление рядко е. Неговото най-високо постижение често е, че на труден въпрос може да се отговори, без всички да станат театрални.
Урокът
Обяснимостта без replay е театър, защото бърка убедителния разказ с проверимия. Генерирано обяснение, табло, моделна карта и уверен рецензент могат да помогнат. Нито едно от тях не е достатъчно, когато трябва да се реконструира решение с важни последици. Системата се нуждае от пътя: контекст, източници, инструкции, състояние на модела, проверки на политиките, действия на инструментите, човешка преценка, резултат и ефект.
Replay не изисква перфектен детерминизъм. Той изисква дисциплинирана памет. Изисква стабилни препратки, версии, моментни снимки там, където са нужни, ролево специфични изгледи, граници на поверителността и записи, които отбелязват кога доказателства липсват. Той третира обяснението като изглед върху доказателства, а не като история, измислена след събитието. Дава на засегнатите хора нещо, което да оспорят, на операторите нещо, което да поправят, и на одиторите нещо по-добро от обиколка с екскурзовод сред надежди.
Бъдещето на обяснимия ИИ няма да бъде спечелено само от по-красиви обяснителни текстове. То ще бъде спечелено от системи, които могат да се върнат назад през собствената си работа. Ако пътят може да се реплейне, обяснението може да бъде тествано. Ако пътят не може да се реплейне, обяснението може да е красноречиво. Може дори да е вярно. Но в сериозни среди красноречието е слаб заместител на механизма, който може да покаже работата си.