Обоснованието за решения с доказателства
Решението, което пристигна без багаж
Писмото изглеждаше завършено. Имаше дата, референтен номер, учтиво обръщение, решение и път за обжалване. Системата беше класирала случая, приложила няколко правила, извлякла подкрепящи записи и предложила окончателния текст. Човек го беше одобрил. Работният процес беше отчел успех. Нищо не изглеждаше очевидно грешно, докато човекът, получил писмото, не зададе прост въпрос: защо това решение, за моя случай, точно в този ден.
Организацията можеше да отговори на част от въпроса. Можеше да покаже окончателното писмо. Можеше да покаже записа на заявлението такъв, какъвто съществува сега. Можеше да покаже, че работният процес е бил изпълнен. Можеше да покаже, че служител е кликнал върху „одобри“. Можеше да покаже резултат от модел, закръглен до два знака след десетичната запетая, защото десетичните знаци имат талант да се представят за авторитет. Това, което не можеше да покаже ясно, беше веригата, която е направила решението оправдано в момента, в който е било взето.
Решението беше пристигнало без багаж. Нямаше траен пакет от източници, версии на правила, версия на модела, път на извличане, изключени доказателства, несигурност, човешка преценка, правомощие и път за оспорване. Хората започнаха да реконструират миналото от табла, експортирани файлове, бележки към билети и памет. Това е археологията на слабото управление. Всички работят усърдно. Никой не се гордее.
Аргументът за решения, носещи доказателства, започва оттук. Важните решения не трябва да пътуват като голи резултати. Те трябва да носят достатъчно доказателства, в широкия оперативен смисъл, за да може друго лице или система да провери защо действието е било разрешено. Доказателството не трябва да бъде формална теорема във всяка област. Понякога това е сертификат. Понякога това е структуриран пакет от доказателства. Понякога това е възпроизводим запис на решението. Принципът е същият: оправданието пътува заедно с решението.
Дневниците не са достатъчни
Дневниците са полезни. Те ни казват, че събития са се случили, коя услуга е работила, кой потребител е действал, кой крайна точка е отговорила и кой времеви отпечатък е приела системата. Без дневници операциите се превръщат в суеверие с обаждания при инциденти. Но дневниците не са автоматично доказателство за решение. Те често записват движение, а не оправдание. Те казват, че заявката е преминала от едно състояние в друго. Не казват непременно дали преминаването е било оправдано.
Ред в дневника може да каже, че модел е върнал резултат. Може да не показва кои източници са били извлечени, кои източници са липсвали, дали резултатът е бил калибриран за този тип случай или коя политика е позволила на резултата да повлияе на действието. Дневник може да каже, че оператор е одобрил. Може да не показва какво е видял операторът, каква несигурност е била видима, дали е било възможно отменяне или дали одобрението е било смислено под натиска на опашката. Дневник може да каже, че експортът е завършен. Може да не запази семантичния контекст, който е направил записа разбираем.
Това разграничение не е педантичност. Управлението се проваля, когато екипите объркват провенанса на събитието с доказателство за решение. Хронологията е ценна, но хронологията сама по себе си не установява оправдание. Ако мост се срути, знанието за последователността от имейли не е същото като знанието дали изчислението на натоварването е било валидно. Ако решение, подкрепено от изкуствен интелект, навреди на някого, знанието, че работният процес е завършен, не е същото като знанието, че доказателствата, правомощията и ограниченията са подкрепяли действието.
Доказателствата, носещи решение, не заменят логовете. Те използват логовете като един от компонентите. Пакетът за доказателства задава по-труден въпрос: като се имат предвид състоянието на света и правилата по това време, защо това решение е било позволено. Този въпрос изисква структура, а не само хронология.
Обяснението също не е доказателство
Генерираните обяснения могат да бъдат полезни. Обяснение на прост език може да помогне на потребителя да разбере какво се е случило. Обосновката може да помогне на служител да прегледа даден резултат. Кодът на причината може да насочи обжалването. Проблемът започва, когато обяснението се третира като доказателство. Едно обяснение може да опише решението след факта. Доказателството трябва да обвърже решението с доказателствата и правилата, които са го направили легитимно.
Тук има няколко капана. Първият е плавността. Моделът може да създаде правдоподобна обосновка, която звучи по-подредено от действителния процес. Вторият е селективността. Едно обяснение може да спомене факторите, които подкрепят решението, и да пропусне факторите, които са отсъствали, остарели, противоречиви или извън обхвата. Третият е самооценяването. Ако същата система, която е взела решението, създава и единственото обяснение, организацията не е придобила независима гаранция. Тя е придобила по-добър разказвач.
Доказателството, в този оперативен смисъл, не е по-красив параграф. То е проверима връзка между твърдение, доказателства, правомощие, метод и запис. То трябва да посочва кои факти са използвани, кои са изключени, кое правило или модел ги е трансформирал, каква несигурност е останала, коя роля е приела резултата и как решението може да бъде оспорено. Обяснението може да стои отгоре на това. Не трябва да се иска то да го замества.
Това е от значение и за справедливостта. Хората заслужават повече от уверена история, когато решенията засягат права, достъп, пари, грижи, работа или репутация. Те се нуждаят от начин да проверят дали решението е взето по правилните правила и с правилните доказателства. Обяснение без доказателство може да успокои. Доказателството дава на хората нещо, което да оспорят.
Какво означава доказателство в обикновените системи
Думата доказателство може да звучи твърде официално, сякаш всяка организация трябва да превърне работния си процес в доказателствена машина, преди да изпрати писмо. Това не е твърдението. Формалното доказателство е ценно там, където логиката, ограниченията или правилата за безопасност го оправдават. Но решенията, носещи доказателства, могат да съществуват на няколко нива. Ключовото е, че решението носи структурирана гаранция, съобразена с последиците му.
За препоръка с нисък риск доказателството може да бъде списък с източници, маркер за актуалност, диапазон на доверие и бележка, че резултатът е със съвещателен характер. За публично решение за допустимост доказателството може да включва версии на правилата, източници на доказателства, проверки за липсващи доказателства, човешки преглед, изисквания за уведомяване и път за обжалване. За препоръка за медицинска триаж доказателството може да включва моментна снимка на досието на пациента, проверки за противопоказания, позовавания на насоки, ограничения на модела, действие на клинициста и път за ескалация. За логистично решение доказателството може да включва ограничения, капацитет, допускания за маршрута, статус на решаващия алгоритъм и резервен план.
Всеки пакет отговаря на едно и също семейство въпроси. Какво решение е взето. Каква е била разрешената употреба. Какви доказателства са съществували по това време. Какъв път на трансформация или разсъждение е използван. Кои ограничения са били обвързващи. Каква несигурност е останала. Кой е имал правомощие. Какво се е променило след факта. Как решението може да бъде възпроизведено, оспорено, коригирано или да послужи за поука.
Нивото на доказателство трябва да съответства на последиците и обратимостта. Предложение за правопис не се нуждае от досие за управление. Автоматизиран отказ на услуга се нуждае. Предложение за маршрут може да се нуждае от следа за осъществимост. Инструкция за безопасност може да се нуждае от по-силен запис. Смисълът не е максимално количество документация. Смисълът е гаранция, пропорционална на действието.
Моментът на улавяне има значение
Доказателството за решение трябва да се улавя в момента, в който решението се взема. Не след жалба. Не по време на одит. Не когато регулаторът изпрати писмо. В момента на решението системата все още има достъп до съответното състояние: моментната снимка на записа, активната политика, версията на модела, извлечените източници, ролята на потребителя, състоянието на интерфейса, несигурността и наличните алтернативи. По-късно тези неща се променят. Записите се коригират. Политиките се променят. Моделите се обновяват. Таблата се разгръщат отново. Хората забравят. Паметта се превръща в локална база данни с проблеми с доверието.
Улавянето на доказателства в момента също променя поведението. Ако даден работен процес знае, че трябва да запази доказателства, е по-вероятно да поиска доказателства преди действие. Ако изходът на модел трябва да носи несигурност, интерфейсът е по-малко склонен да я скрие. Ако одобрението трябва да запише какво е видял човекът, системата е по-вероятно да покаже нещо, което си струва да се види. Улавянето на доказателства не е само архивна работа. То оформя самия дизайн на решението.
Ето защо екранните снимки са слаби заместители. Екранната снимка записва изображение, а не състояние на решение. Тя може да пропусне скрити панели, свежестта на източниците, версиите на политиките, настройките на модела или липсващи входни данни. Трудно е да се прави заявка към нея, трудно е да се тества и лесно е да бъде разбрана погрешно по-късно. Екранните снимки понякога са полезни при поддръжка. Те не са сериозен формат за доказателства за решения, които имат значение. Екранната снимка вече е свършила достатъчно работа в корпоративния живот. Нека си почине.
Решенията, носещи доказателства, изискват структурирано улавяне. Това означава, че системата съхранява полета, версии, препратки, хешове, където е полезно, кодове за причини, несигурност, действие на потребителя и връзки към неизменяеми или независимо контролирани записи. Точната схема варира според областта, но навикът не трябва: улавяйте гаранцията, докато съществува.
Доказателствата защитават и двете страни на отчетността
Отчетността често се описва като нещо, което организациите дължат на засегнатите хора. Това е вярно. Тя е също нещо, което организациите дължат на собствените си служители. Служител по случай, клиницист, диспечер, анализатор или проверяващ не трябва да бъде оставен сам с мистериозна препоръка и бъдещо обвинение. Ако организацията очаква хората да разчитат на система, тя трябва да им даде доказателства. Ако очаква от тях да оспорват системата, тя трябва да им даде път.
Решенията, носещи доказателства, защитават засегнатите хора, като правят оспорването възможно. Те защитават служителите, като показват каква информация е била налична и как системата я е представила. Те защитават инженерите, като разграничават повреда на данните от повреда на модела, повреда на интерфейса, повреда на политиката и човешка преценка. Те защитават мениджърите, като разкриват къде оперативният модел е слаб. Те защитават одиторите, като им дават нещо по-добро от обиколка на таблата.
Тук не става въпрос за избягване на отговорност. Става въпрос за точното локализиране на отговорността. Лошо решение може да произтича от грешни данни, невалидно правило, модел извън обхвата, неясен интерфейс, извратени стимули или човешко отменяне. Без доказателства вината се насочва към най-близкия човек. С доказателства организацията може да види кой слой се е провалил. Това е по-справедливо и много по-полезно.
Има и полза от доверието. Хората са по-склонни да приемат автоматизирани или подпомагани решения, когато знаят, че оспорването е реално. Не защото всяко решение ще бъде харесано, а защото процесът има дръжки. Решение, носещо доказателство, казва: ето какво използвахме, ето какво направихме, ето кой действа, ето как да го поставите под въпрос. Това не е гаранция за коректност. Това е отказ да се скриеш зад резултата.
Пакетът с доказателства трябва да пътува
Запис за решение, който може да бъде разбран само в едно табло на доставчик, не носи доказателство. Той показва доказателство на къса каишка. Важните решения се нуждаят от пакети с доказателства, които могат да пътуват през времето, системите, доставчиците и контекстите на преглед. Архивирането трябва да е възможно. Независимото вземане на проби трябва да е възможно. Миграцията не трябва да унищожава смисъла. Одитът не трябва да зависи от това оригиналното приложение да е все още онлайн и в щедро настроение.
Преносимостта променя дизайнерските избори. Използвайте документирани схеми. Запазвайте идентификаторите. Пазете версиите на правилата и препратките към източници. Съхранявайте достатъчно контекст, за да възпроизведете решението, без да разкривате повече лични данни от необходимото. Отделете записа на доказателствата от интерфейса, който случайно ги е показал. Когато поверителността изисква минимизиране, съхранявайте ангажименти, препратки или контролирани моментни снимки, вместо да изхвърляте всичко завинаги. Носенето на доказателства не означава безгрижно трупане. То означава запазване на правилното основание под правилния контрол.
Има и въпрос за локалността. Част от доказателствата трябва да останат под властта на институцията, която носи отговорността. Ако публичен орган трябва да обясни решение, доказателствата не трябва да са достъпни само чрез акаунт на доставчик. Ако болница трябва да защити пътека на лечение, съответният запис не трябва да изчезва, когато доставчикът на модела промени политиката си за съхранение. Ако компания трябва да разследва инцидент със сигурността, тя не трябва да чака билет за поддръжка, за да възстанови собственото си основание.
Пътуващото доказателство помага и за ученето. Когато записите за решения използват стабилна структура, екипите могат да анализират модели: кои правила пораждат обжалвания, кои източници остаряват, кои версии на модели увеличават несигурността, кои проверяващи правят полезни корекции, кои групи изпитват повече преработки. Пакетът с доказателства не е само защитен. Той се превръща в оперативен инструмент.
Какво се променя за AI системите
AI прави решенията, носещи доказателства, по-наложителни, защото AI системите често създават междинни артефакти, които изглеждат по-скоро като временни изчисления, отколкото като записи. Подсказки, извлечени пасажи, вграждания, резултати от повторно класиране, резултати от филтри за безопасност, версии на модели, извиквания на инструменти, обобщения на вериги и оценки на увереността могат да повлияят на решението. Ако те изчезнат, организацията запазва резултата, но губи основанието.
Пакетът с доказателства не трябва да запазва всеки вътрешен токен завинаги. Това би било скъпо, натрапчиво и често ненужно. Той трябва да запази материала, необходим за проверка на решението. Кои източници са извлечени и избрани. Кои източници не са били налични. Кой модел и конфигурация са използвани. Коя подсказка или шаблон за задача е оформил работата. Кои извиквания на инструменти са променили състоянието. Коя несигурност е била разкрита. Кой човек е видял какво. Коя политика е позволила или блокирала действие.
Системите с изкуствен интелект също трябва да записват отказа. Ако системата е отказала да отговори, защото липсват доказателства, този отказ е част от управлението. Ако човек е отменил отказа, това е важно. Ако системата е отговорила въпреки ниската увереност, причината трябва да е видима. Доказателственият пакет трябва да описва не само успешните решения, но и границите около тях. Границите са мястото, където обикновено се крие безопасността.
Друг специфичен за ИИ проблем е промяната на модела. Решение, взето при една версия на модела, не трябва по-късно да се обяснява с друга. Ако актуализация на модела промени поведението, историческите решения се нуждаят от първоначалния си контекст. В противен случай организацията може случайно да пренапише миналото. Това може да е удобно в научнофантастичен филм. Но е лоша практика за одит.
Доказателството струва нещо, но и реконструкцията също
Решенията, носещи доказателство, струват нещо. Те изискват проектиране на схема, съхранение, версии, контрол на достъпа, преглед на поверителността, работа по интерфейса, собственост върху управлението и оперативна дисциплина. Те могат да добавят малко триене. Могат да разкрият, че съществуващите работни процеси всъщност не знаят защо вземат някои решения. Това откритие може да е неудобно. Добре. Неудобството преди вредата е изгодна сделка.
Алтернативната цена е реконструкцията. Реконструкцията след жалба, инцидент, одит или съдебен процес е бавна, скъпа, непълна и стресираща. Хората търсят стари регистрационни файлове, питат кой помни, правят изводи кой политика е била активна, искат експорт от доставчици, сравняват екранни снимки и пишат внимателни изречения, които са наполовина доказателство и наполовина надежда. Реконструкцията е наказанието за това, че не е уловено основанието, когато е било евтино.
Има и полза за качеството на решенията. Когато една система е проектирана да носи доказателство, тя обикновено взема по-добри решения, защото трябва да знае собствените си условия. Тя трябва да знае кои доказателства са актуални, кое правило се прилага, кой орган е наличен, каква несигурност остава и кое действие е разрешено. Изискването за доказателство принуждава към яснота нагоре по веригата. Тази яснота е ценна, дори ако никой никога не одитира записа.
Доказателството също обезкуражава надценяването. Екип, който трябва да запази основанието, е по-малко склонен да се преструва, че резултатът от модела е достатъчен, че обобщението е източник или че човешкото кликване е смислен преглед. Записът държи всички малко по-честни. Това може да намали блясъка на демонстрациите. Но увеличава шанса системата да живее извън демонстрацията.
Правейки го нормално
Решенията, носещи доказателство, трябва да станат нормален модел на проектиране за автоматизирани и подпомагани работни процеси с високи последици. Започнете с класифициране на видовете решения. Кои са предложения с нисък риск. Кои са оперативни препоръки. Кои засягат права, безопасност, пари, достъп или репутация. Съобразете доказателствения пакет с последиците. Не строете катедрала за всяка подсказка. Не изпращайте решения с големи последици голи.
След това определете схемата за основанието. Какви източници, версии, правила, данни за модела, несигурност, човешки действия и пътища за преглед трябва да присъстват. Определете какво се съхранява, към какво се препраща, какво се хешира, какво се минимизира и кой има достъп. Определете колко дълго живее. Определете как се движи по време на миграция. Определете какво се случва, когато липсва задължително поле. Ако отговорът е „продължете въпреки това“, схемата е декоративна.
След това свържете доказателствения пакет с интерфейса. Проверяващият трябва да види основанието, преди да одобри. Засегнатото лице трябва да получи обяснение, извлечено от основанието. Одиторът трябва да вземе извадка от основанието. Операторът трябва да диагностицира от него. Ръководителят трябва да вижда модели от него. Доказателствата не трябва да живеят в мазе, което отделът за съответствие посещава веднъж годишно с фенерче.
Накрая поддържайте модела. Правилата се променят. Моделите се променят. Източниците се променят. Работните процеси се променят. Доказателственият пакет трябва да се развива чрез версионирани схеми и преглед на управлението. Система за доказателства, която не се поддържа, се превръща в поредната вкаменелост, а вкаменелостите са очарователни само когато не вземат решения.
Случаят
Случаят за решения с доказателствена тежест е прост. Важните решения създават задължения. Задълженията изискват доказателства. Доказателствата трябва да бъдат събрани, докато все още съществуват. Ако решението засяга хора, пари, безопасност, права, достъп или институционално доверие, самият резултат не е достатъчен. Решението трябва да носи своята обосновка.
Това не прави всяко решение правилно. Прави нещо по-скромно и по-полезно. Прави решенията проверими. Дава възможност на засегнатите да оспорват със съдържателни аргументи. Дава възможност на работещите да разчитат на решението и да не са съгласни с контекст. Дава възможност на инженерите да отстраняват грешки на правилното ниво. Дава възможност на ръководителите да виждат слабите оперативни модели. Дава възможност на одиторите да проверяват записите, вместо да се възхищават на таблата.
Писмото от началната история никога не е трябвало да пристига само. То е трябвало да пристигне с пакет от решения, който организацията да може да провери: ето източниците, ето правилото, ето състоянието на модела, ето несигурността, ето човешката преценка, ето пътя за обжалване. Тогава въпросът защо това решение, за моя случай, точно в този ден нямаше да предизвика археологическо разследване. Той щеше да предизвика преглед.
Това е практическото обещание на решенията с доказателствена тежест. Не съвършени системи. Системи, които носят причините със себе си.