Какво се смята за доказателство, когато машината е вероятностна?
Вероятността не е присъда
Когато машината върне 0.87, първият въпрос обикновено е твърде малък. Хората питат дали 0.87 е висока стойност. Висока спрямо какво, за кой резултат, върху кои случаи и за какво решение? Число, отпечатано до даден резултат, изглежда като свойство на този резултат. Често не е. То е опит да се опише връзка между модел, определена съвкупност от случаи и резултат, наблюдаван във времето. Тази връзка може да бъде полезна. Тя може да насочва опашка за преглед, да задава праг или да каже на оператора кога даден резултат заслужава втори поглед. Но тя не превръща отделна прогноза във факт с прикачена десетична запетая.
Това е неудобният момент в основата на вероятностните системи. Техните резултати често са по-информативни от гол етикет, защото могат да изразяват степен на подкрепа или несигурност. Те също така са по-лесни за свръхинтерпретиране. Една оценка може да бъде третирана като свидетелско показание, правно заключение, диагноза или разрешително. По подразбиране тя не е нито едно от тези неща. Доказателството започва, когато организацията може да каже какво представлява числото, как е било проверено, къде се прилага тази проверка и какво действие числото има право да промени.
Това разграничение има значение много преди системата да срещне регулатор. Екип може да решава дали предложен документ се нуждае от човешка проверка. Купувач може да сравнява двама доставчици, които и двамата рекламират мерки за увереност. Оператор може да задава правило за ескалация. Публичен орган може да пита дали класиран списък е достатъчно добър, за да повлияе на това къде първо отива вниманието. Във всеки случай успешното изпълнение е доказателство за едно нещо: че това изпълнение е произвело резултат. То все още не е доказателство, че системата заслужава властта, прикачена към нея.
Разумният отговор не е да се забранят вероятностите в работа с важни последици. Той е да им се даде подходящо описание на длъжността. Една вероятност може да подкрепи решение, когато е обвързана с определено събитие, подходяща съвкупност, метод на наблюдение, граница на несигурност и правило за това какво се случва, когато доказателствата са слаби. Това е по-бавно от възхищаването на едно число и много по-бързо от откриването по-късно, че никой не може да обясни какво е трябвало да прави числото.
Доказателството трябва да назове своя въпрос
Доказателствата никога не са просто налице. Те са доказателства за дадено твърдение. Резултатът от тест може да подкрепи твърдението, че даден компонент произвежда определен изход за определен вход при определена конфигурация. Може да подкрепи твърдението, че даден модел класира примерите добре върху отделен набор от данни. Може да подкрепи твърдението, че дадена вероятностна оценка съответства в разумна степен на наблюдаваните честоти в определен набор за оценка. Тези твърдения са различни. Дисциплината започва с формулирането на твърдението, преди да се избере показателят.
Помислете за привидно простата претенция, че дадена система е точна. Точна в какво отношение? Точността на класификацията може да описва колко често класът с най-висок резултат е съвпаднал с етикета. Тя не казва дали посочената вероятност е била добре калибрирана. Показателят за класиране може да описва реда, а не качеството на скалата на резултатите. Ниската средна грешка може да съществува едновременно с вреден модел на грешки в дадена подгрупа или при праг, който задейства действие. Показателят не е грешен. Скокът от показателя към оперативното заключение е мястото, където обикновено започват проблемите.
Работата на ОИСР върху инструментите за оценка е полезна именно защото се отказва от илюзията, че един резултат може да поеме цялото обяснение. Нейната рамка разграничава аспекти, включително обхват, цел, реализъм, надеждност, възпроизводимост, обективност и пристрастност. Това не са бюрократични украшения около даден бенчмарк. Те описват дали резултатът има правилното отношение към зададения въпрос. Научно сравнение, оценка на съответствието и оперативно решение за пускане могат да използват тестове. Те не изискват едно и също нещо от тези тестове.
Започнете, следователно, с изречение, на което може да се възрази. Например: тази система може да насочва случаи за човешки преглед, когато документираната ѝ вероятностна оценка за определен резултат надвишава определен праг, при условие че входът съответства на валидирания обхват и че проверяващият запазва правото да отхвърли предложението. Това е оспоримо оперативно твърдение. То посочва действието, условието и границата. То не се преструва, че даден резултат самостоятелно е избрал ролята си в света.
Противоположното изречение е познато, защото е удобно: моделът е 87 процента уверен. Дори когато моделът наистина излъчва вероятност, изречението пропуска събитието, доказателствата за калибриране, съвкупността, периода и решението. То превръща една връзка в личностна черта. Машините не трябва да бъдат описвани като срамежливи или уверени. Те трябва да бъдат описвани като системи, чиито изходи имат определени значения и определени граници.
Увереността не е същото като коректност
Една система може да е уверена и да греши. Тя може също така да е коректна, докато изразява ниска увереност. Тези два факта не са изненадващи, след като термините се държат разделени. Коректността пита дали даден изход е съвпаднал с избрания референтен показател за един случай. Увереността е твърдение, прикрепено към даден изход, често изведено от резултата на модела или от негова трансформация. Калибрирането задава допълнителен въпрос върху много случаи: когато системата приписва сходни вероятности, случват ли се резултатите приблизително с посочения процент? Това са свързани въпроси, но един добър отговор не доставя останалите.
Представете си набор от случаи, за които класификаторът съобщава вероятност от 0,80 за едно определено събитие. Ако върху адекватно описан и достатъчно голям набор от сравними случаи събитието се случва около осем пъти от десет, оценката може да се нарече добре калибрирана за тази съвкупност и условие. Това не означава, че следващият случай с 0,80 има осемдесет процента предопределеност. Това означава, че резултатът е показал връзка с наблюдаваните резултати в рамките на посочената съвкупност. Фразата в рамките на посочената съвкупност върши по-голямата част от интелектуалната работа.
Калибрирането също не е универсална значка. Един резултат може да е добре калибриран върху исторически набор от данни и слабо калибриран, след като се променят източникът на входните данни, потребителската група, работният процес, процесът на етикетиране или условията на внедряване. Може да е добре калибриран като цяло, но да се държи различно в част от групата, която е от значение за услугата. Може да изглежда добре в широк сегмент, докато прикрива рязка разлика около прага за вземане на решение. Графиката на калибрирането не е диплома, окачена над производствената система. Тя е наблюдение с дата и обхват.
Литературата за калибриране на модели прави разделението конкретно. Guo и колегите му изследват калибрирането на увереността в съвременните невронни мрежи и показват, че самата точност не решава дали оценките на увереността отразяват наблюдаваните вероятности за коректност. Тяхната работа също така оценява методи за калибриране след обработка. Важният оперативен урок е по-тесен от рецепта: не трябва да се приема, че резултатът от модела има подходящо вероятностно значение само защото се предоставя в удобен диапазон между нула и едно.
Ето защо една внимателна организация записва три различни неща. Тя записва изпълнението на задачата, за да може да прецени дали резултатите отговарят на определената задача. Тя записва калибрирането или друго изрично свойство на неопределеността, за да може да прецени какво означава резултатът на практика. И записва последствията от действието при даден праг, за да може да прецени дали правилото за вземане на решение е подходящо. Комбинирането на трите в един зелен показател може да опрости таблото за управление. То не опростява света.
Калибрирането има знаменател
Всяко твърдение за калибриране има знаменател. Знаменателят не е просто броят на записите във файл. Той е съвкупността от случаи, които са имали право да бъдат отчетени, начинът, по който са групирани, определението за резултата, периодът от време, изключенията и процесът, който е създал референтните етикети. Премахнете тези условия и диаграмата на надеждността се превръща в приятна крива без юрисдикция над решението.
Да предположим, че една оценка групира прогнозите според заявената увереност. Наблюдаваният процент във всяка група зависи от случаите, допуснати в групата, и от определението за резултат. Били ли са изключени нееднозначните случаи? Третирани ли са въздържанията като грешки, безопасни откази или нещо друго? Означавал ли е етикетът непосредствено събитие, по-късен преглед или окончателно обжалване? Запазени ли са дубликатите? Включвала ли е оценката само записи, преминали през предходна стъпка за валидиране? Всеки отговор може да е разумен. Всеки отговор променя значението на произтичащото твърдение за калибриране.
Ето защо един модел може да има уважаван глобален резултат за калибриране и въпреки това да е неподходящ за конкретна употреба. Глобалният резултат може да обединява езици, дължини на входните данни, региони, видове устройства, пътеки на клиентите или режими на работа, които не споделят една и съща структура на грешките. Обединената цифра може да е честно обобщение и пак да е недостатъчно доказателство за локално решение. Правилният отговор не е да се изисква отделен модел за всеки човек. Той е да се проверят допусканията за групиране, които самото решение прави значими.
Оценъчната рамка на ОИСР нарича това покритие. Рамката пита дали даден оценъчен инструмент покрива пристрастно или представително разпределение на това, което трябва да измерва, и прави разлика между изпълнението на задачата и по-широко твърдение за способност. Тези разграничения са полезни за доказателства за вероятности. Един резултат може да е доказателство за изпълнението върху разпределение на задачи. Той не трябва тихо да се превръща в доказателство за способност, засегната група или бъдещ контекст, които оценката не е покрила.
Знаменателят има и социална страна. Когато една организация решава кои случаи са достатъчно лесни за автоматизиране и кои трябва да изчакат човек, определенията определят кой поема оставащата несигурност. Един обобщен резултат може да скрие факта, че по-малка група има по-малко примери, по-нестабилни етикети или различен оперативен контекст. Това не е причина да се обещават равни статистики там, където доказателствата са оскъдни. Това е причина да се докладва оскъдната доказателствена база ясно и да се изгради предпазливо правило за вземане на решения около нея.
Успешното изпълнение е образец, а не заключение
Вероятностните системи провокират особена форма на самоувереност, защото са толкова лесни за демонстриране. Въведете вход, получете впечатляващ изход, повторете с близък вход, получете друг. Демонстрацията може да покаже, че системата може да изпълни задачата. Може дори да покаже нещо, което си струва да се проучи. Тя не може да покаже разпределението на резултатите, стабилността на резултата, реакцията към гранични случаи, качеството на референтните етикети или ефекта от променени условия на внедряване. Един образец може да започне проучване. Той не може да го завърши.
Същото важи и за единичен бенчмарк тест. Един резултат може да е събран коректно, върху добре описана система, с легитимна метрика. Ако е изпълнен веднъж, той е доказателство за стойността, наблюдавана веднъж при тези условия. Той не е автоматично доказателство за стабилно свойство на системата. Повторението помага да се разкрие вариацията. То не премахва нуждата да се попита дали тестът представя предвидената употреба. Възпроизводимостта и валидността решават различни проблеми и и двете заслужават място в документацията.
Рамката на ОИСР прави това разграничение изрично. Надеждността се отнася до това дали дадена оценка представя достатъчно повторения, дължина на епизодите или примери, за да даде ниска вариация при повторно прилагане. Възпроизводимостта се отнася до това дали същият тест може да бъде генериран отново, включително дали стохастичните компоненти променят взаимодействията. Един тест може да бъде точно възпроизводим и въпреки това да отговаря на безполезен въпрос. Той може да бъде реалистичен и труден за точно възпроизвеждане, защото средата се е променила. Нито едно от двете условия не е недостатък само по себе си. Документацията трябва да посочи кое условие е налице и какво позволява на читателя да заключи.
Тук има скромен, но ценен оперативен навик: запазете успешното изпълнение, но не го натоварвайте с повече, отколкото може да понесе. Запазете входа, конфигурацията, версията, сийдът, където е приложим, зависимостите, изхода и решението за оценка. След това го поставете до повторени измервания, контрапримери, въздържания и променени условия. Резултат, който остава полезен, след като се е сблъскал с неудобните си съседи, е по-ценен от резултат, който е трябвало да бъде защитаван от тях.
За генеративните системи успешният отговор е особено слабо доказателство за повторяемост, освен ако договорът за взаимодействие не е записан. Настройките за семплиране, подканите, извлеченият материал, наличността на инструменти, версията на модела, политиката за безопасност и околният работен процес могат да оформят резултата. Възпроизвеждането на низ от думи без съответното състояние може да възпроизведе вида на тест, но да пропусне условието, което го е направило смислен. В работата с доказателства приликата не е повторение.
Повторяемостта не е синоним на доверие
Детерминираното възпроизвеждане може да бъде отлично доказателство за едно тясно твърдение: при едни и същи записани входове, конфигурация и условия на внедряване, системата е произвела същия резултат. Това прави разследванията, регресионните тестове и сравненията на версии по-осъществими. То не установява, че резултатът е бил правилен, че входът е бил подходящ, че системата е трябвало да се използва за решението или че резултатът ще се обобщи извън записаната си граница. Повторяемостта е свойство на експеримента. Доверието е преценка за по-широка договореност.
Стохастичното поведение променя записа, а не извинява липсата му. Ако даден резултат варира, оценката трябва да отчете кои части варират, колко често, в какъв диапазон и как това изменение влияе върху решението. Система, която предлага алтернативни формулировки, може да толерира по-широк диапазон от система, която класира случаи за внимание. Система, която съветва човек, може да изисква различни доказателства от тази, която прави необратимо действие възможно. Вероятността сама по себе си не е оперативна категория. Последствията определят колко несигурност може безопасно да понесе даден процес.
Има лесна грешка и от двете страни. Един екип изисква фиксиран резултат от инструмент, чиято заявена цел включва проучване, и след това бърка произтичащия детерминизъм с качество. Друг екип приема променлив резултат от система за подпомагане на решения и после нарича променливостта творческа, когато стане трудно да се оцени. Нито една от двете позиции не е сериозна. Въпросът е дали вариацията е очаквана, ограничена, наблюдаема и съвместима с правомощията, възложени на системата.
Европейското законодателство не свежда този въпрос до един универсален резултат. За системите с изкуствен интелект с висок риск член 15 от Акта за ИИ изисква подходящо ниво на точност, надеждност и киберсигурност, както и последователно представяне в тези отношения през целия жизнен цикъл. Той също така казва, че нивата на точност и съответните показатели за точност трябва да бъдат посочени в инструкциите за употреба, и насърчава бенчмаркове и методи за измерване на техническите аспекти на измерването на производителността. Разпоредбата не казва, че един повтарящ се тест решава въпроса. Тя изисква производителността да бъде специфицирана и поддържана в контекст.
Това е разумната позиция за всяка сериозна оценка. Повтаряемият тест е част от веригата от доказателства. Той се нуждае от собственик, граница на версията, тригер за промяна и връзка с оперативното решение, което поддържа. Без тях възпроизводимостта може да се превърне в още една привлекателна дума, която пътува по-далеч от експеримента.
Несигурността се нуждае от оперативен път
Практическата цел на несигурността не е да направи таблото да изглежда сложно. Тя е да промени какво е позволено да прави системата. Ако даден резултат няма ефект върху маршрутизирането, прегледа, обяснението, мониторинга или спирането, той може да бъде техническо любопитство, а не оперативен сигнал. Ако променя дадено действие, организацията трябва да посочи пътя от резултата до правомощието.
Прагът е един такъв път, но не е магическа линия. Задаването на праг избира компромис между видовете грешки, натоварването, забавянето и потенциалната вреда. Един праг може да е подходящ за приоритизиране на опашка за преглед с ниски последствия и неподходящ за отказ на достъп на човек до услуга. Същият числов праг може да означава различни неща, когато базовият процент, цената на грешката, наличната правна защита и качеството на последващия преглед се променят. Няма универсално разумно число, което чака в ръководството на доставчика.
Поради тази причина правилото за вземане на решение трябва да описва повече от праг. То трябва да посочи резултата, който се оценява, доказателствата, които подкрепят резултата, случаите извън обхвата, обстоятелствата, които налагат въздържане, човешкото правомощие, което остава, записът, който ще се води, и условията за преразглеждане на правилото. Праг без тези спътници е решение, маскирано като конфигурация.
Полезна хипотеза илюстрира точката, без да измисля публичен инцидент. Помислете за услуга, която използва резултат от модел, за да сортира входящи заявки за обучен рецензент. Доказателствата може да подкрепят ограничено твърдение: резултатът може да помогне за подреждането на сравними заявки в рамките на посочена категория на приемане, докато окончателното приоритизиране остава при рецензента. Същите доказателства не подкрепят автоматичното отхвърляне на заявки с нисък резултат, защото това е различно действие с различни последици и различни изисквания за доказателства. Резултатът не се промени. Правомощието му се промени.
Въздържането заслужава същата сериозност. Система, която може да каже, че доказателствата ѝ са недостатъчни, може да създаде повече работа в краткосрочен план и да намали неоткритите грешки в дългосрочен. Но въздържането е полезно само когато има отговорно място, към което да се насочи. Ако несигурните случаи изчезнат в опашка без отговорник, системата просто е превърнала несигурността в забавяне. Добрият път посочва кой получава случая, какво може да види, как го коригира и как тази корекция информира по-късната оценка.
Причинно-следствените твърдения изискват повече от графика „преди и след“
Оценките на вероятности често се използват в подкрепа на твърдения за това какво ще се случи, ако дадена организация предприеме действие. Това е различна доказателствена задача от предвиждането на това какво се е случило в историческите данни. Един модел може да прецени, че даден случай прилича на други случаи с определен резултат. От това не следва, че промяната на случая, промяната на политика или следването на препоръка ще доведе до промяна на резултата. Предвиждането и намесата не трябва да се сливат само защото графиката изглежда подредена.
Графиките „преди и след“ са особено примамливи. Екип въвежда инструмент, резултатът се променя и на инструмента се приписва заслугата или вината. Много други неща може да са се променили: съставът на хората, ползващи услугата, документацията, персоналът, политиките, сезонните условия, филтрите по-нагоре по веригата или самото измерване. Наблюдението може да заслужава внимание. То не е причинно-следствено заключение, докато сравнението, алтернативните обяснения и оставащата несигурност не бъдат разгледани.
Това има значение за управлението на ИИ, защото една система може да има оперативно влияние много преди да е формално решаваща. Класирането може да промени кой запис човек отваря първо. Индикаторът за увереност може да подтикне проверяващия да приеме даден резултат. Препоръчано действие може да стане рутинно, защото опашката е натоварена. Причинно-следственият път включва човешката интерпретация, дизайна на интерфейса, стимулите, времевия натиск и наличния път за корекция. Оценката само на модела не може да разкаже цялата история.
Когато едно причинно-следствено твърдение има значение, планът за събиране на доказателства трябва да посочи какво сравнение би направило твърдението по-достоверно и какво то все още не би могло да изключи. Това може да включва контролиран тест, поетапно внедряване, независим преглед, внимателно изграден наблюдателен дизайн или решение изобщо да не се прави причинно-следствено твърдение. Въпросът не е да се изисква академично съвършенство от всяка оперативна промяна. Въпросът е увереността на твърдението да съответства на действително наличните доказателства.
В това има един вид холандски здрав разум, макар че той се пренася добре: ако си измерил само че вятърът се е променил, не обявявай, че си препроектирал времето. Едно предвиждане може да е ценно, без да се превръща в история за причинно-следствена връзка. Честността не е отстъпление. Тя е това, което прави резултата използваем за някого, който трябва да реши какво да прави по-нататък.
Точността може да прикрие лошо правило за вземане на решения
Точността често е полезна и често недостатъчна. Една система може да постигне висока точност, когато даден резултат е често срещан, като същевременно предлага малка помощ за случаите, които имат най-голямо значение. Тя може да има силна средна стойност, но да се представя слабо близо до границата на действието. Тя може да прави верни предвиждания, без да предлага оценки на вероятностите, които подкрепят разумни прагове. Тя може да изглежда успешна, защото референтният етикет е лесен за предвиждане, въпреки че самият етикет е слаб заместител на решението, което услугата трябва да вземе.
Нищо от това не означава, че точността е безсмислена. Означава, че читателят трябва да попита какво измерва тя и какво остава извън рамката. Актът за ИИ признава тази нужда от контекст в изискванията си за инструкциите за употреба: документацията за системи с висок риск трябва да включва характеристики и ограничения на производителността, предвиденото предназначение, подходящите показатели за точност, използвани за тестване и валидиране на системата, както и известни или предвидими обстоятелства, които могат да повлияят на очакваната производителност. Една стойност за точност става по-полезна, когато условията около нея останат приложени.
Ето защо един добър оперативен преглед пита за моделите на грешки, а не само за общите числа. Кои видове случаи са били погрешно класифицирани? Кои са били несигурни? Кои случаи са били изключени или изпратени за преглед? Какво се случва с фалшиво положителен резултат, фалшиво отрицателен резултат, забавен отговор или неоправдано въздържане? Кой може да открие резултата, да го оспори и да коригира записа? Тези въпроси връщат оценяването към услугата, вместо да го оставят при модела.
Може също да е полезно да се прави разлика между доказателство за компонент и доказателство за работен процес. Тест на компонент може да установи свойства на модел при определени входни данни. Оценка на работен процес може да установи как си взаимодействат моделът, интерфейсът, данните, хората и политиката. Един компонент може да има силна калибрация на резултатите, докато работният процес поражда пристрастие към автоматизацията, защото интерфейсът скрива несигурността. Един работен процес може да има отличен процес на преглед, но да разчита на компонент, чиито изходни данни вече не отговарят на заявения обхват. Тестовете трябва да се срещнат някъде.
Полученото доказателство не е непременно голям доклад. То може да бъде кратък запис с версия, ако решението е тясно. Важното е друг човек да може да провери твърдението, съвкупността, метода, резултата, ограничението и решението. Размерът на файла не определя качеството на разсъждението. Кратък запис може да бъде строг. Голяма презентация може да е предимно празна.
Промяната превръща вчерашното доказателство във въпрос
Всеки резултат от оценка има дата, дори когато датата е скрита. Моделите се променят. Подсказките се променят. Източниците на данни се променят. Горна форма придобива ново поле. Доставчик променя политика. Екип премества услуга в друга среда. Нова група започва да използва системата. Показател се изчислява след променен процес на преглед. Всяка промяна може да промени твърдението, което предишното доказателство е подкрепяло.
Правилният отговор не е да се преизпълнява всеки тест след всяка редакция. Той е да се определи кои промени са от значение за кои твърдения. Промяна на цвят може да не повлияе на калибрацията на вероятностите. Нов входен канал може да повлияе. Ревизирана политика за етикети може да промени определението за резултат. Нова версия на модела може да промени както производителността, така и тълкуването на неговите резултати. Промяна в правомощията, дадени на системата, може да обезсили правило за вземане на решение, дори ако моделът остане байт за байт същият. Планът за тестване трябва да направи тези връзки видими, преди пускането да е удобно.
Член 9 от Акта за ИИ описва непрекъснат, итеративен процес на управление на риска за системи с висок риск през целия им жизнен цикъл. Процесът включва идентифициране и анализиране на известни и разумно предвидими рискове, оценяване на рисковете, когато системата се използва по предназначение и при разумно предвидима злоупотреба, както и приемане на мерки за управление на риска. Изводът за оценяването е пряк: доказателството не е еднократна церемония при пускането. То принадлежи на операционна система от преглед, промяна и реакция.
Мониторингът не означава събиране на всеки наличен сигнал с надеждата, че някаква закономерност сама ще се прояви. Той означава да се реши кое наблюдение би отворило отново дадено твърдение. Проверка на калибрирането може да бъде планирана по период, обем или промяна във входния микс. Праг може да бъде преразгледан, когато натискът върху опашката промени качеството на човешкия надзор. Промяна в източника може да спре дадена употреба, докато съответният тест не бъде повторен. Един сериозен план за мониторинг посочва какво се наблюдава, от кого, спрямо какъв референтен показател и какво действие следва.
Това е по-взискателно от карта на модела, архивирана в деня на придобиването, но е и по-полезно. Статичен документ може да запази това, което е било твърдяно. Живият запис на доказателства може да покаже дали твърдението все още има своето място. За една вероятностна система тази разлика е разликата между това да знаеш, че резултатът е съществувал, и това да знаеш дали той все още означава това, което услугата смята, че означава.
Записите позволяват на по-късен читател да не се съгласи по подобаващ начин
Доказателствата се нуждаят от памет. По-късен рецензент не може да оцени твърдение от екранна снимка на резултат и спомен от срещата. Той се нуждае от версионирания обект: въпроса, входните условия, метода на теста или наблюдението, резултата, изключенията, несигурността, решението и отговорния собственик. Може също да е необходимо да се знае какво не е било уловено. Запис, който прави слепите си петна видими, е по-полезен от запис, който изглежда безупречен, но оставя състоянието на системата на догадки.
За системите с висок риск ИИ актът изисква автоматично записване на събития през целия жизнен цикъл на системата, с възможности за регистриране, подходящи за предвидената цел и полезни за идентифициране на риск, подпомагане на мониторинга след пускането на пазара и наблюдение на работата. Той също така изисква техническата документация да бъде изготвена преди пускането на системата на пазара и да се поддържа актуална. Тези изисквания не са просто покана да се водят повече регистрационни файлове. Те са покана регистрационните файлове да станат разбираеми във връзка със система, цел и решение.
Проследимостта е особено важна, когато вероятността се интерпретира от човек. Ако рецензентът види резултат, записът на доказателствата трябва да даде възможност да се реконструира към какво е бил прикрепен резултатът, как е бил представен, какви данни или източници са били в обхвата, какво е решил рецензентът и дали е имало по-късна корекция. Без тази верига екипът може да разбере, че даден резултат е бил грешен, но не и дали проблемът е бил във входа, модела, интерфейса, правилото за вземане на решение или в човешкия процес около него.
В Dweve AION е малък, подходящ пример за по-широкия принцип, а не твърдение, че доказателствата могат да бъдат сведени до криптография. В публичното му описание се казва, че производител може да издаде типизиран сертификат заедно с резултата и че AION проверява сертификата независимо спрямо първоначалните предпоставки. Такъв проверим запис може да укрепи тясно твърдение за това дали даден резултат следва от записаните предпоставки. Той не доказва, че предпоставките са били подходящи, че задачата е била справедлива или че употребата е била уместна. Доказателствата изискват както проверка, така и преценка.
Това ограничение си струва да се запази, защото предотвратява често срещана категорийна грешка. Една безупречно запазена следа може да покаже какво се е случило. Тя не може да направи лошо формулиран въпрос добър. Едно възпроизводимо решение може все пак да бъде решение, което никога не е трябвало да бъде автоматизирано. Записът трябва да помогне на по-късния читател да зададе и двата въпроса, а не преждевременно да отговори на втория.
Увереността може да е честна, без да е полезна
Една добре калибрирана вероятност пак може да е безполезна. Тя може да е твърде широка, за да раздели случаите, които се нуждаят от различно третиране. Може да дойде твърде късно, за да повлияе на решението. Може да е обвързана с резултат, който не е приложим. Може да е толкова несигурна, че всеки случай да изисква еднакъв преглед. Това не са провали на честността. Това са ограничения на полезността и те трябва да бъдат признати рано, вместо да бъдат открити, след като около резултата е изграден работен процес.
Обратно, една полезна система не е нужно да се преструва, че е сигурна. Един скромен сигнал може да подобри организацията на работата, ако има тясна цел и ясен път за преглед. Той може да помогне на оператора да види кои случаи заслужават допълнителна проверка на източника. Може да избере малък набор за осигуряване на качеството. Може да извади наяве конфликт между записи. При тези употреби изискването за доказателства се отнася до това дали сигналът подобрява конкретния процес на вземане на решения, без да въвежда неприемливи нови грешки или зависимости. Сигналът не трябва да се превръща в оракул, за да заслужи мястото си.
Ето защо предназначението трябва да контролира оценката. Принципите на ОИСР за ИИ изискват смислена информация за възможностите и ограниченията на системите, както и проследимост по отношение на наборите от данни, процесите и решенията, така че резултатите да могат да бъдат анализирани и на въпросите да бъде отговорено. Принципите изискват също подходяща човешка намеса и надзор. Практическият извод не е, че всеки интерфейс се нуждае от показване на вероятност. Той е, че доказателствата и обясненията на една система трябва да съответстват на човека и решението, които засяга.
Няма награда за излагане на стойност на несигурността, която потребителят не може да интерпретира или да използва. Число без път за решение може да създаде театър на прозрачността. То дава на хората нещо, към което да сочат, и никакъв начин да го оспорят. По-добре е да се покаже съответната граница на прост език, например това предложение е извън валидираната категория или този резултат изисква преглед, защото наличните доказателства са непълни. Подходящото представяне следва оперативния контрол, а не обратното.
По същата причина резултатът за увереност не трябва да се третира като мярка за морална стойност, достоверност или право. Той е техническо твърдение с ограничен доказателствен договор. Може да помогне на даден процес. Не трябва да се превръща в смътна социална класация, защото числовата му форма го прави да изглежда решителен.
Организацията носи отговорност за извода
Доставчиците могат да предоставят модели, документация, резултати и тестове. Те не могат мълчаливо да притежават значението на решение, взето в услуга на някой друг. Организацията, която свързва вероятностен резултат с действие, трябва да реши на кое твърдение разчита, коя съвкупност има значение, кой праг е приемлив, кой преглежда изключенията, кои записи се съхраняват и кога доказателствата са изтекли. Договорите могат да разпределят задачи. Те не премахват нуждата от преценка.
Това става видимо при обществените поръчки. Купувачът трябва да попита потенциален доставчик не само за основен показател, но и за оценъчния въпрос, съвкупността, етикетите, изключенията, версиите, вариацията, метода за калибриране, ако се прави твърдение за вероятност, известните ограничения и политиката за промени. Смисълът не е да се изисква разкриване, което доставчикът не може законно да предостави. Смисълът е да се установи дали купувачът може да разбере границите на твърдението достатъчно добре, за да го използва отговорно в европейски оперативен контекст.
Отговорът понякога може да бъде, че доказателствата не са достатъчни за предвидената употреба. Това не е провалена процедура за обществена поръчка. Това е процедурата за обществена поръчка, която върши действителната си работа, преди организацията да е станала зависима от необяснен резултат. По-малка, проверима употреба може все още да е възможна. Различен доставчик може да е подходящ. Или решението може да остане човешко, защото доказателствата и пътят за корекция не са достатъчно силни, за да оправдаят автоматизация. Казването на „не“ е част от дисциплината на доказателствата.
Доказателствата също се нуждаят от посочен отговорник след пускането. Някой трябва да отговаря за проверката дали съвкупността се е изместила, дали прегледите разкриват нов модел на грешки, дали прагът все още отговаря на натоварването, дали записите могат да бъдат интерпретирани и дали промяна задейства преоценка. Отговорникът не трябва лично да изпълнява всеки тест. Но ако никоя роля не притежава извода, системата постепенно ще придобие авторитет чрез навик. Навикът е слаба замяна на запис на решения.
Най-трудната част често е културната. Екипите са свикнали да представят успешните модели като продукти, а неуспешните като изследвания. Вероятностните доказателства ги приканват да запазят неяснотата помежду: полезно, ограничено, наблюдавано и все още нелицензирано да стане повече от това, което доказателствата подкрепят. Това може да звучи по-малко вълнуващо. По-трайно е.
Какво съдържа съразмерен запис на доказателства
Подходящият запис зависи от употребата. Помощно средство за писане, използвано от автор, има различни последици от система, която влияе върху достъпа до обществена услуга. Въпреки това съразмерният запис има разпознаваема форма. Той идентифицира твърдението и предвидената цел. Идентифицира модела, конфигурацията и околния работен процес. Определя резултата и съвкупността, използвани за оценка на твърдението. Запазва метода, резултата и значимите ограничения. Идентифицира правилото за решение, отговорника, пътя за преглед и задействащите промени. Всяко поле дава на по-късния читател откъде да започне.
Записът трябва да разграничава измерването от интерпретацията. Измерено наблюдение може да казва, че върху определен набор от данни и период определен набор от резултати е съответствал на наблюдаваните резултати в описан диапазон. Интерпретация може да казва, че това подкрепя употребата като сигнал за подреждане на прегледи при определени контроли. Решение може да казва, че системата може да се използва за тази цел, докато не настъпи посочена задействаща промяна. Поставянето на трите изречения под заглавие, наречено „ефективност“, е ефективно само ако никой никога не трябва да оспори разсъждението.
То също трябва да направи неизвестните неща използваеми. Може би етикетите закъсняват. Може би малка езикова група няма достатъчно случаи за стабилна оценка на калибрирането. Може би внедряването е ново и все още няма оперативни доказателства. Записът може да каже това, да постави временно ограничение на употребата, да организира допълнително наблюдение или да запази човешки път. Да се преструваме, че неизвестното е решено, защото моделът е произвел число, само превръща несигурността в недокументиран риск.
Визуалната дисциплина е полезна тук. Начертайте веригата от вход до резултат, от резултат до показаното обяснение, от обяснението до човешкото действие и от действието до наблюдавания резултат и корекцията. Начертайте къде се съхранява състоянието, къде се губи и къде човек може да спре или да обърне пътя. Ако екипът не може да начертае маршрута, е малко вероятно да може да го оцени. Диаграмите не заместват доказателствата. Те предотвратяват приписването на доказателства към грешната част на системата.
Най-важното е да запишете какво записът не установява. Той може да не установява причинно-следствена връзка. Може да не установява справедливост във всяка група. Може да не установява поведение след промяна на доставчик. Може да не установява пригодност за по-значимо действие. Тези не-твърдения не са извинение. Те са това, което предпазва ограничената оценка от използване като универсално разрешение.
Доказателствата печелят правото да останат несигурни
Съществува изкушението да се мисли, че целта на оценката е да премахне несигурността. Често по-добрата цел е да я локализира. Вероятностната система не е дефектна, защото не може да превърне всеки случай в сигурност. Тя става опасна, когато организацията третира несигурността като частен технически детайл, докато дава на резултата публичен авторитет. Работата е да се реши коя несигурност е поносима, видима и поправима за конкретната цел.
Това решение трябва да става по-взискателно с нарастването на последствията. Предложение с ниски последствия може да изисква ясен обхват, видимо ограничение и лесна корекция. Система, която влияе върху права, безопасност, достъп или материални възможности, изисква по-силни доказателства за целия процес, по-внимателно наблюдение, смислен човешки авторитет и път за оспорване и поправка. Резултатът на модела не определя сам този стандарт. Ефектът от действието въз основа на него го определя.
Един успешен опит може все пак да си струва да бъде запазен. Той може да е първият образец в полезен запис. Може да разкрие способност, режим на отказ или въпрос, който заслужава подходяща оценка. Но той трябва да остане образец, докато организацията не тества твърдението, на което иска да разчита. Разстоянието между тези две неща е мястото, където живее отговорното инженерство.
Така че отговорът на въпроса какво се счита за доказателство, когато машината е вероятностна, не е резултат, диаграма или етикет за съответствие. Той е ограничен аргумент: този резултат, за този въпрос, в тази група и период, при тези условия, е наблюдаван по този начин; това е, което можем да заключим; това е, което не можем да заключим; и това е действието, което сме подготвени или не сме подготвени да позволим да промени. Този аргумент не е бляскав. Той е проверим, което е по-добре.