Машината на състоянията зад отговорния ИИ
Формулярът, който не проработи
Първият отговорен AI семинар често завършва с формуляр. Формулярът обикновено е представителен по начина, по който вътрешните формуляри могат да бъдат представителни, когато комисия е открила разстоянията между редовете. Пита за цел, въздействие, данни, риск, пристрастие, човешки надзор, зависимост от доставчици, съхранение и ескалация. Хората го попълват внимателно. Отбелязва се квадратче. Комисията по преглед кимва. Проектът продължава напред. Някъде една папка получава поредния документ и започва още повече да вярва в себе си.
Три месеца по-късно системата е в производствена среда и формулярът вече не е там, където се случва действителното действие. Пристига заявка за поддръжка с липсващи полета. Моделът връща уверен отговор със слаби доказателства. Извикване на инструмент би актуализирало запис за клиент. Политика се променя между черновата и крайното действие. Човекът, който прави прегледа, е болен. Индексът за извличане е остарял. Предлага се нов източник на данни, защото би бил удобен, а така се представят учтиво много лоши идеи.
В този момент отговорният AI не е принцип. Той е преход между състояния. Системата е в едно състояние и иска да премине в друго. От чернова до решение. От предложение до действие. От ниско до високо въздействие. От вътрешен помощник до външна комуникация. От прегледано до изпълнено. От разрешено до блокирано. От временно изключение до постоянен маршрут, ако никой не наблюдава. Въпросът е дали преходът има защита, запис, отговорник и път за изход.
Това е машината на състоянията зад отговорния AI. Не защото етиката може да се сведе до квадратчета и стрелки. Това би било странно нещо, в което да вярваш, и още по-странно нещо, което да поръчаш. Смисълът е по-прост. Сериозните системи вече преминават през състояния. Ако тези състояния не са назовани, моделът пак ще се движи, работният процес пак ще напредва, а организацията ще открие управлението си случайно. Назоваването на състоянията не е бюрократична придирчивост. То е начинът, по който отговорността получава форма в реално време.
Защо принципите имат нужда от граници
Принципите са полезни в началото, защото дават посока. Справедливост, прозрачност, отчетност, поверителност, безопасност, човешка свобода на действие, устойчивост, възможност за оспорване. Тези думи не са празни. Но те също не са изпълними сами по себе си. Една система не може да извика принцип по време на изпълнение и да попита дали следващото действие е разрешено. Разработчик може да напише подкана, която казва бъди справедлив, но работният процес пак трябва да знае кога да спре, кога да попита, кога да запише и кога да откаже.
Ръбовете са мястото, където принципите стават полезни. Принципът за справедливост се превръща в изискване определена категория решения да премине групова оценка преди пускане и да генерира кодове за причина на индивидуално ниво след пускането. Принципът за прозрачност се превръща в разписка, която посочва източниците, версията на модела, версията на политиката и ролята на човека. Принципът за поверителност се превръща в защита, която отказва извличане извън целта, срока на съхранение, съгласието или правното основание. Отчетността се превръща в състояние, което не може да напредне без отговорник. Оспоримостта се превръща в път за обжалване, който съществува преди първото оплакване, а не след първото обаждане до вестник.
Без ръбове отговорният ИИ се превръща в набор от прилагателни около система, която все още се държи както позволява работният процес. Екип може искрено да вярва, че има човешки надзор, защото човек може да види резултатите. Но ако системата може да действа, преди този човек да е видял доказателствата, надзорът е декоративен. Екип може да вярва, че има прозрачност, защото моделът се обяснява сам. Но ако обяснението не може да бъде свързано с източници и състояние, прозрачността се е превърнала в театър. Екип може да вярва, че е в безопасност, защото моделът отказва опасни подкани. Но ако порталът за инструменти предоставя широки правомощия, отказът е само една врата в къща с много ентусиазирани прозорци.
Машината на състоянията не е замяна на преценката. Тя е начин преценката да намери своето място. Тя принуждава екипа да отговори на практически въпроси. В какво състояние е този случай. Кои преходи са възможни оттук. Какви доказателства се изискват. Коя роля може да одобри. Кой преход е необратим. Кой преход създава запис. Кой преход създава задължение за уведомяване, съхранение, изтриване или ескалация. Тези въпроси са по-малко поетични от изявленията за ценности. Те също са по-трудни за избягване.
Скритата машина винаги съществува
Всеки ИИ работен процес вече има машина на състоянията, дори когато никой не я е нарисувал. Скритата версия живее в статуси на задачи, колони в електронни таблици, опашки за повторен опит, разклонения в подкани, навици на рецензенти, съобщения в Slack, флагове в бази данни, таблици за изключения и в паметта на единствения човек, когото всички питат, защото е бил там, когато се е случил пилотът. Това не е очарователна разпределена архитектура. Това е институционален фолклор със закъснение.
Скритата машина е опасна, защото създава вид на контрол, докато премества отговорността на места, които не могат да бъдат проверени. Подканата може да казва, че чувствителните случаи трябва да бъдат ескалирани, но опашката може да не запази причината. Системата за случаи може да показва одобрено, но не и дали одобрението се отнася до отговора на модела, извикването на инструмента или външната комуникация. Рецензент може да отхвърли резултат, но отхвърлянето може никога да не влезе в набора за оценка. Случай може да бъде затворен, но производните данни може все още да живеят в хранилище за характеристики. Модел може да бъде заменен, но висящите случаи може все още да носят резултати от по-старата версия. Системата се движи; записът куца след нея с вратовръзка.
Правенето на машината на състоянията изрична не изисква превръщането на организацията в лаборатория за формални методи. Изисква достатъчно дисциплина, за да се разделят състоянията с различни задължения. Черновата не е рецензирана. Рецензираното не е изпълнено. Изпълненото не е затворено. Затвореното не е изтрито. Изтритото не е архивирано. Блокирано от политика не е провалено от инфраструктура. Изисква човешка преценка не е ниска увереност. Подозиран инцидент не е потвърден инцидент. Тези разлики звучат обикновено, докато одит не попита кое от тях се е случило, кога и защо.
Именуваните състояния спират и един често срещан провал на автоматизацията: тихият преход от помощ към решение. Една система започва като помощник при изготвянето на текст. Хората ѝ се доверяват. Черновата се превръща в подразбиращ се вариант. Подразбиращият се вариант се превръща в препоръка. Препоръката се превръща в действие. Никой не е гласувал за пълна автоматизация. Никой не е проектирал новата повърхност на отчетност. Преходът се е случил чрез удобството, което е най-успешният лобист в софтуера. Машината на състоянията може да принуди тази стъпка да стане видима.
Защитите не са усещания
За всеки преход е нужна защита. Защитата е условието, което трябва да е изпълнено, преди системата да може да премине. В обикновения софтуер това може да е булева проверка, оценка на политика, граница на разрешенията, резултат от валидация или човешко одобрение. В отговорния изкуствен интелект това е и мястото, където институционалните обещания стават оперативни. Защитата проверява дали целта е разрешена, дали данните са в обхват, дали резултатът има достатъчно доказателства, дали моделът е одобрен за тази употреба, дали действието е обратимо, дали лицето има правомощия, дали разходите са ограничени и дали засегнатият потребител има път назад.
Практическият трик е защитите да стоят близо до прехода, който пазят. Ако защитата съществува само в документ с политика, системата ще я забрави с впечатляваща скорост. Ако съществува само в подкана, ще е трудно да се тества и лесно да се заобиколи. Ако съществува само в човешки навик, ще се провали в болнични дни, по празници, при реорганизации и през седмицата, когато всички бързат да пуснат версия. Добрата защита е достатъчно изрична, за да се тества, и достатъчно локална, за да има значение.
Това не означава, че всяка защита трябва да е автоматизирана. Някои защити са човешки, защото въпросът е наистина контекстуален. Но дори човешките защити се нуждаят от състояние. Проверяващият трябва да види доказателствата, приложимата политика, класификацията на риска, предложеното действие и последиците от одобрението. Системата трябва да запише решението като преход, а не като коментар, който бъдещата археология може или не може да открие. Човешкият надзор без промяна на състоянието често е просто среща с потребителски интерфейс.
Има и един скучен, но важен въпрос за отрицателните защити. Отговорният изкуствен интелект не е само за това да се казва „да“ отговорно. Той е и за това да се казва „не“ ясно. Не, защото целта липсва. Не, защото източникът е остарял. Не, защото моделът е извън одобрения си домейн. Не, защото потребителят няма правомощия. Не, защото се изисква човешка проверка. Не, защото действието е твърде значимо за наличните доказателства. Отказът с посочена причина е по-добро състояние на системата от неясен провал, който подканва към повторни опити, докато нещо не се помръдне.
Състоянията правят отговорността приписваема
Една от причините отчетността на ИИ да стане размита е, че отговорността се обсъжда на нивото на цялата система. Организацията е отговорна. Доставчикът е отговорен. Собственикът на продукта е отговорен. Служителят по защита на данните е отговорен. Моделът е отговорен, което е израз, от който на юрист му се приисква да гледа в тавана за сили. По време на изпълнение отговорността се нуждае от по-малка дръжка.
Състоянията създават тази дръжка. По време на приемане собственикът на услугата може да отговаря за целта и обхвата. По време на извличане собственикът на данните може да отговаря за качеството на източника и разрешенията. По време на генериране от модела техническият собственик може да отговаря за одобрените версии и настройки. По време на преглед човешка роля може да отговаря за преценката. По време на действие собственикът на работния процес може да отговаря за външните ефекти. По време на приключване управлението на документи може да отговаря за съхранението и изтриването. Точната карта ще се различава, но принципът остава: отговорността се закрепва по-добре към преходите, отколкото към мъглата.
Това има значение, когато нещо се обърка. Ако даден резултат е бил лош, защото източникът е бил остарял, машината на състоянията трябва да показва къде е проверена или пропусната актуалността. Ако човек е одобрил рисковано действие, записът трябва да показва какви доказателства е видял. Ако дадена политика се е променила, висящите случаи трябва да разкриват коя версия ги е управлявала. Ако даден модел е бил надстроен, преходите през границата на изданието трябва да могат да се проверяват. Смисълът не е да се намери по-бързо виновник. Смисълът е да се направи възможен ремонтът, без да се преструваме, че цялата система се е провалила в едно неразличимо свиване на рамене.
Присвояемата отговорност също подобрява ежедневната работа. Екипите знаят кое състояние притежават. Показателите стават по-малко театрални. Вместо да обявява, че програмата за отговорен ИИ е зряла, организацията може да измерва блокировките поради остарял източник, отказите поради липсваща цел, отменените прегледи, резултатите от обжалванията, преходите при инциденти и закъсненията при приключване. Това е по-малко подходящо за лъскав слайд. Много по-подходящо е за управлението на система.
Лошите състояния заслужават собствени имена
Повечето провали на отговорния ИИ не са злодейски. Те са обикновени състояния с лоши имена или без имена. Чернова на отговор се третира като окончателен отговор. Временно изключение се превръща в постоянен път. Резултат с ниска увереност се превръща в действие с високо въздействие, защото работният процес няма междинно състояние. Модел вижда данни, които не е трябвало да вижда, защото състоянието на извличане не е носело цел. Човешкият рецензент се превръща в гумена печат, защото състоянието, наречено преглед, не е изисквало доказателства или улавяне на несъгласие.
Даването на собствени имена на лошите състояния е неудобно и полезно. Тиха чернова. Разширяване на обхвата. Остарял източник. Липсващ собственик. Непрегледано действие. Без изход. Сами по себе си те не са първопричини, но са места, където да се поставят контроли. Система може да открие тиха чернова, когато генериран текст бъде копиран във външна комуникация без одобрение. Тя може да открие разширяване на обхвата, когато работен процес поиска източник извън обявената цел. Тя може да открие остарял източник, когато цитат е по-стар, отколкото политиката позволява. Тя може да открие без изход, когато блокирани случаи стоят вечно, защото никой не е проектирал хуманния отказ.
Този навик също предотвратява моралната свръхреакция. Не всеки провал е етична криза. Понякога това е състояние на опашка без собственик. Понякога това е състояние на съхранение, което никой не е свързал с изтриването. Понякога това е праг на увереност, който се преструва на преценка. Назоваването на състоянието позволява на екипа да поправи механизма. Без имена всеки инцидент се превръща в дебат за културата. Културата има значение, но тя е лош заместител на знанието кой преход е протекъл.
Има суха комедия в това да гледаш как организациите се страхуват от думата машина на състоянията, защото звучи твърде технически, докато в същото време управляват лабиринт от имейли за одобрение, статуси в електронни таблици и изключения, известни само на трима души и една покана в календара. Формалната версия често е по-проста. Тя просто има неучтивостта да бъде видима.
Доказателствата принадлежат на прехода
Ако машината на състоянията трябва да има значение, тя се нуждае от доказателства. Записът не трябва просто да казва, че даден случай е одобрен. Той трябва да казва какво е задействало прехода, кой пазител е бил оценен, кои данни са използвани, кои версии на модела и политиката са приложени, кой или какво е одобрило, какъв ефект е последвал и как случаят може да бъде повторен или оспорен. Доказателствата не са украса след действието. Те са част от действието, което става отговорно.
Това е особено важно за ИИ, защото резултатите могат да бъдат правдоподобни, докато пътят им е крехък. Резюме може да е правилно, но да се основава на източник, до който потребителят не е имал право на достъп. Препоръка може да е разумна, но извън одобрената употреба на модела. Класификация може да е точна, но произведена след краен срок на политиката. Отказ може да е безопасен, но юридически безполезен, ако не дава път за поправка. Самият отговор не може да ви каже тези неща. Записът на прехода може.
Добрите доказателства също дават на екипите смелост да автоматизират там, където автоматизацията е подходяща. Отговорният ИИ не е постоянно извинение за използването на машини. Ако дадена задача е с ниско въздействие, добре ограничена, обратима, адекватно тествана и правилно записана, автоматизацията може да бъде отговорният път. Ако задачата е с високо въздействие, оспорвана, нова или необратима, машината на състоянията трябва да я забави. Смисълът не е да се обожава човешката проверка. Смисълът е да се насочва работата според риска, доказателствата и средствата за поправка.
Доказателствата правят това насочване по-малко политическо. Екип може да покаже, че дадено състояние е безопасно за автоматизация, защото предишните преходи са били точни, жалбите са били редки, корекциите са били включени и контролите са улавяли правилните случаи. Или може да покаже, че състоянието се нуждае от повече човешка преценка, защото моделите на грешки остават трудни, засегнатите хора оспорват резултатите или качеството на данните е слабо. Това е по-добър аргумент от обичайния театър, в който едната страна казва иновация, а другата риск, докато на всички не им трябва кафе.
Човешката проверка е състояние, не жест
Човешката проверка често се споменава, сякаш самото ѝ съществуване решава въпроса за отговорността. Веригата включва човек. Добре. Коя верига. В какво състояние. С какви доказателства. С какви правомощия. Може ли човекът да възрази. Променя ли възражението системата. Проверката извадкова ли е, задължителна ли е, задейства ли се при риск, или е козметична. Вижда ли проверяващият изходния материал или само спретнатото изложение на модела. Има ли време за размисъл. Има ли обучение. Има ли запис. Изразът човек във веригата трябва да се приема като отправен въпрос, а не като заключителен аргумент.
Машината на състоянията прави човешката проверка конкретна. Тя може да различи изисквана проверка от незадължителна, висяща проверка от завършена, променен от човека резултат от потвърден от човека, нужда от ескалация от приключена ескалация. Може също да различи вида на присъдата. Някои проверки установяват фактическото използване на източници. Други проверяват съответствието с политиката. Трети проверяват емпатията и тона. Четвърти проверяват правното основание. Пети проверяват дали изключението е оправдано. Единствено поле, наречено одобрено, рядко е достатъчно богато за сериозна работа.
Проектирането на проверката като състояние също така предпазва хората от използването им като морална подплата. Ако системата изпраща всеки труден случай на човек без доказателства, приоритизация или обратна връзка, човекът се превръща в бунище за несигурност. Това не е надзор. Това е модел на обезпеченост с вина към него. Отговорното състояние на проверка опакова случая, назовава изискваното решение, запазва правото на несъгласие и връща резултатите в оценяването. То дава на човека работа, достойна за човек.
Вярно е и обратното. Някои системи използват човешка проверка там, където по-добра защита би била по-милосърдна. Ако даден случай няма правно основание, не го изпращайте на проверяващ, за да го открие ръчно. Блокирайте го. Ако източникът е остарял, опреснете го или откажете. Ако потребителят няма правомощия, кажете го. Хората трябва да вършат преценка, а не да компенсират липсваща инфраструктура. Прекарахме десетилетия в изобретяване на машини. Би било лошо възпитание да накараме хората да се държат като скриптове за валидация.
Необратимостта променя машината
Не всички преходи са равни. Някои са обратими. Чернова може да се редактира. Маршрут може да се промени. Препоръка може да се оттегли. Други преходи са по-трудни за отмяна: изпратено е съобщение, отказана е придобивка, промяна на риска е разместила опашка, запис е обновен, лице е докладвано, извършено е плащане, клиент е заключен извън системата. Отговорният ИИ трябва да знае кои преходи пресичат границата към реалния свят.
Необратимостта трябва да промени охраната. Системата трябва да изисква повече доказателства, по-силен авторитет, по-ясна човешка преценка, по-добро уведомяване и по-видим път за обжалване преди необратими ефекти. Тя трябва също така да предпочита постепенни преходи, където е възможно. Чернова преди изпращане. Препоръка преди решение. Задържане преди отхвърляне. Уведомяване преди прилагане. Преглед преди доклад. Това не е бавене заради самото бавене. Това е разликата между система, която може да се коригира, и система, която създава работа по почистване със самоуверено изражение.
Машината на състоянията помага и при частична обратимост. Някои вреди могат да бъдат поправени технически, но не и социално. Грешно вътрешно обобщение може да бъде коригирано. Грешно външно обвинение може да остане дори след корекция. Забавена полза може да бъде изплатена по-късно, но наемът е трябвало да бъде платен по-рано. Изтрит запис понякога може да бъде възстановен, но доверието може да не бъде. Машината трябва да третира тези преходи със сериозността на тяхното човешко въздействие, а не само на тяхното връщане в базата данни.
Тук отговорният изкуствен интелект избягва фантазията, че етиката е отделна от операциите. Оперативният детайл е етичната повърхност. Проектирането на опашката влияе върху справедливостта. Политиката за повторен опит влияе върху дублирането. Поведението при изчакване влияе върху достъпа. Запазването влияе върху поверителността. Натоварването при преглед влияе върху достойнството. Преходите на състояния не са неутрална инфраструктура. Те са начинът, по който системата среща хората.
Оценяването като доказателство за преход
Оценяването често стои извън работния процес, сякаш е училищен изпит, положен преди системата да завърши. В отговорна машина на състоянията оценяването се превръща в непрекъснато доказателство за прехода. Всеки преход може да произведе сигнали: колко често охраната е блокирала, колко често хората са отменяли, колко често обжалванията са успявали, колко често източниците са били остарели, колко често увереността на модела не е съвпадала с човешката преценка, колко често предполагаем път с ниско въздействие е създавал оплаквания.
Тези сигнали трябва да захранват машината. Преход, който произвежда повтарящи се обжалвания, може да се нуждае от по-силна охрана или по-ясно уведомяване. Състояние на човешки преглед с високо съгласие и ниско въздействие може да отговаря на условията за повече автоматизация, при условие че средството за защита остане реално. Състояние на отказ, което хваща потребителите в капан, може да се нуждае от път за поправка. Политическа охрана, която блокира твърде много законни случаи, може да разкрие лоша политика, а не лош модел. Машината не е отговорна, защото е статична. Тя е отговорна, защото може да се учи, без да крие миналото.
Това учене изисква версиониране. Състоянията, охраните, праговете, подканите, моделите, политиките, източниците на данни и инструкциите за преглед се променят. Записът трябва да показва коя версия е приложена към кой преход. В противен случай организацията може да оценява само супа от минали избори. Супата има кулинарни приложения. Тя не е метод за управление, колкото и табла да плават отгоре.
Версионираното доказателство за преход също поддържа подобрението честно. Екип може да каже, че нова охрана е намалила действията без преглед, но е увеличила забавянето. Може да каже, че нов източник е подобрил точността, но е повишил триенето за поверителността. Може да каже, че надстройка на модел е подобрила обобщенията, но е отслабила дисциплината при отказ. Компромисите не са провали. Скритите компромиси са провали, които чакат покана за среща.
Урокът
Машината на състоянията зад отговорния изкуствен интелект не е призив за по-студени системи. Тя е призив за системи, които знаят какво правят, докато го правят. Наименувано състояние не е морално постижение. Охраната не е справедливост. Разписката не е доверие. Но без тези неща отговорният изкуствен интелект остава на нивото на намерение, а намерението има лош рекорд на наличност.
Отговорният ИИ се нуждае от цел, правомощия, доказателства, ограничения, човешка преценка, обжалване, поправка, съхранение и учене. Тези думи стават оперативни чрез състояния и преходи. Те решават кога даден случай се придвижва, кога спира, кой го притежава, какъв запис се създава, какво средство за защита съществува и какво трябва да запомни системата следващия път. Това не е цялата етика. Това е частта, която може да спре едно лошо действие, преди то да се превърне в много добре документирано съжаление.
Формулярът в началото все още има стойност. Той задава правилните първоначални въпроси. Но формулярът трябва да води до машина, която работи: именувани състояния, изрични защити, трайни доказателства, реален преглед и изходи за хората, засегнати от системата. Отговорният ИИ не се доказва от съществуването на политика. Той се доказва или опровергава при прехода, където системата решава какво се случва по-нататък.