Малък модел може да носи голямо задължение

Размерът на модела е инженерно свойство. Задължението следва целта, контекста, данните, правомощията и хората около системата.

Малък модел може да носи голямо задължение

Законът не пита колко е голям

Отворите ли Закона за изкуствения интелект на Европейския съюз, няма да срещнете брояч на модели. Няма първа страница, на която дадена машина да бъде претеглена, измерена и поставена в подредено правно чекмедже. Законът започва със система: система, основана на машина, която работи с различни степени на автономност, може да се адаптира след пускането си в действие и извежда от входните данни как да генерира прогнози, съдържание, препоръки или решения, които могат да повлияят на физическа или виртуална среда. Определението е за това какво прави системата и какво могат да променят резултатите ѝ.

Това е полезно място за начало, защото разговорът за технологиите непрекъснато се опитва размерът да свърши работата на контекста. По-малкият модел звучи скромно. Може да се побере на обикновен хардуер, да отговаря на един тесен въпрос или да връща етикет вместо абзац. Това могат да бъдат ценни инженерни свойства. Те могат да намалят повърхността, която трябва да бъде тествана, да понижат апетита на разгръщането за ресурси или да улеснят подмяната на даден компонент. Нито едно от тях не ни казва дали човек може да загуби право, услуга, работа или безопасен маршрут заради етикета.

Задължението се появява във връзката между системата и света около нея. Кой използва резултата. Какво решение следва. Кои данни влизат в пътя. Колко власт има системата. Може ли човек да оспори резултата. Може ли някой да го обърне, преди вредата да стане трайна. Зависи ли засегнатият човек от резултата, може би защото няма практическа алтернатива. Един модел може да бъде технически малък и институционално голям. Това е аргументът на тази статия, а думата институционално носи основната тежест.

Това не е аргумент за третиране на всеки класификатор като обществена извънредна ситуация. Това е аргумент за пропорционалност. Пропорционалността не означава, че малките системи получават церемониална усмивка и никакви въпроси. Тя означава, че въпросите следват действителното следствие. Модел, използван за сортиране на частна колекция от бележки, и модел, използван за решаване кой да бъде подложен на проверка, може да изглеждат сходни в хранилище. Те не са сходни в света.

Размерът на модела описва компонент. Предназначението, засегнатите хора и контролът определят задължението, което този компонент носи.

Малък е измерване, а не контекст

„Малък“ може да означава няколко различни неща и тези значения често тихо се подменят. Може да означава по-малко параметри, по-малък отпечатък в паметта, по-малко изчислителни ресурси за обучение, ограничен речник, тясна изходна схема или кратък входен прозорец. Може да означава, че моделът работи на устройство, а не чрез отдалечена услуга. Може също да означава, че екип е дал на модела тясна задача. Това не са едно и също твърдение. Малкият брой параметри не предполага малка социална роля, точно както големият брой параметри не ви казва къде на системата е позволено да действа.

Има и второ объркване. Хората използват „малък“, за да означат локален, и „локален“, за да означат безвреден. Локалното разполагане може да подобри контрола върху движението на данните, наличността или оперативната собственост. То може също да постави дадено решение директно в работното място, на публично гише, в медицински работен процес или в устройство, което човек трудно може да напусне. Физическата близост може да намали един вид зависимост, като същевременно увеличи значението на хората, които управляват системата. Сървърът в същата сграда не е морална категория.

След това има „малък“ като обещание за възможности. Един компонент може да бъде обучен за една задача и все пак да влияе на по-голям процес. Той може да връща само „одобрява“, „преглежда“ или „отказва“. Последващият работен процес може да третира тези три думи като врата. Компонентът не трябва да пише есе, за да вземе значимо решение. Той просто трябва да бъде поставен там, където следващата система или следващият човек трудно може да го постави под въпрос.

За управлението полезната единица следователно не е само моделът. Тя е моделът такъв, какъвто е разположен, с цел, оператор, входна граница, изходен договор, последващо действие и път за корекция. Това е по-малко подредено от класация. Също така е по-близо до реалността. Класацията може да ви каже как се е представил моделът на дадена задача. Тя не може да ви каже дали тази задача е била разрешена, дали засегнатите хора са могли да възразят или дали организацията е имала правомощието да използва резултата.

Езикът на Европейската комисия относно изкуствения интелект с общо предназначение тихо илюстрира това разграничение. Комисията дава технически критерии, които да помогнат да се определи кога даден модел може да попада в задълженията за ИИ с общо предназначение, но също така казва, че критериите са ориентировъчни и че оценката за всеки отделен случай остава необходима. Насоката не се преструва, че едно число може да опише всяка роля, която даден модел може да играе. Тя се опитва да направи един въпрос за класификация работещ, без да го превръща в универсална теория за вредите.

Прагът не е присъдата

В Закона за ИИ има числа, което е една от причините хората да посягат към числата, когато искат сигурност. Член 51 създава презумпция за възможности с високо въздействие за модел на ИИ с общо предназначение, обучен с кумулативно количество изчисления, по-голямо от 1025 операции с плаваща запетая. Тази презумпция принадлежи на класификацията на моделите на ИИ с общо предназначение със системен риск. Тя не е правило, че модел под прага е безопасен, нито правило, че всеки модел над него причинява една и съща вреда.

Насоката на Комисията за ИИ с общо предназначение използва различен ориентировъчен праг, над 1023 операции с плаваща запетая, заедно с широка генеративна възможност, за да помогне да се идентифицират моделите, които може да са с общо предназначение. Страницата е изрична относно ограниченията. Модел под показателя може все пак да отговаря на условията, ако проявява значителна обобщеност. Модел, който го отговаря, може по изключение да не отговаря на условията, ако му липсва съответната обобщеност. Насоката е тълкуване за конкретен правен въпрос, а не разрешително за всяка последваща употреба.

Тези два прага са полезни именно защото са тесни. Те помагат на органите и доставчиците да сортират конкретен клас задължения за моделите. Те не решават дали малък модел, вграден в система с висок риск, заслужава внимание. Те не решават дали обработването на данни е законосъобразно. Те не решават дали дадено лице може да оспори решение. Един праг може да установи, че даден въпрос трябва да бъде зададен. Той не може да отговори на въпроса, който принадлежи на друг слой.

Техническите прагове също остаряват. Актът предвижда, че Комисията може да коригира прага за системен риск в светлината на технологичното развитие, включително подобрения в алгоритмите и ефективността на хардуера. Насоките на Комисията посочват, че нейният собствен критерий не е абсолютен. Това е разумно признание. Число, което изглежда стабилно в електронна таблица за обществени поръчки, може да се промени, когато околната технология се развие. Отговорният подход не е да се недоверява на всяко число. Той е числото да остане обвързано с въпроса, за който е създадено.

Има практичен урок за екипите, които публикуват карти на модели или вътрешни бележки за архитектурата. Посочете прага, единицата, правната разпоредба и границата. Кажете дали дадено число е правна презумпция, индикатор на Комисията, условие за бенчмарк или вътрешна проектна цел. Не позволявайте на един показател да придобие по-голямо значение, защото е удобен в презентация. Малък показател може да носи и голямо задължение. Числото се нуждае от собствен произход.

Една система е повече от модела в нея

Актът за ИИ прави границата на системата видима. Той определя доставчици и внедряващи, разделя моделите от системите и възлага задължения по веригата на стойността. Доставчик може да бъде лицето или организацията, която разработва система или възлага нейното разработване и я пуска на пазара или въвежда в действие под свое име. Внедряващ е лицето или организацията, която използва система под своя отговорност. Тези роли имат значение, защото един и същ основен компонент може да се намира в различни договорености с различни отговорности.

Представете си компактен текстов класификатор, който връща една от четири категории. Моделът няма потребителски интерфейс, няма памет и няма способност да извиква инструмент. В една среда той сортира документите на собствения екип в папки. В друга той обозначава заявления за обществена услуга, така че някои хора да бъдат насочени към допълнителна проверка. Компонентът може да е технически идентичен. Втората система има различна цел, различни засегнати хора, различна властова връзка и различна нужда от обяснение и правна защита.

Правилата на Акта за класифициране на високорискови системи следват точно този вид разлика. Те проверяват дали дадена система е компонент за безопасност, дали се използва в област, изброена в приложение III, и дали представлява значителен риск за здравето, безопасността или основните права. Пътят на изброената употреба не е преценка за елегантността на модела. Това е преценка за това какво прави системата в среда, където грешен резултат може да има значение. Тясна процедурна задача може да попадне в внимателно формулирано изключение, когато не влияе съществено върху дадено решение, но доставчикът трябва да документира тази оценка.

Това изискване за документация е лесно да бъде подценено. Екип, който казва, че системата е само подготвителна, прави твърдение за причинно-следствената връзка. Той заявява, че резултатът не влияе съществено върху решението, което следва. Ако проверяващият третира етикета като основание за откриване на преписка, ако служителите се доверяват на класирането или ако кандидатът няма смислен начин да коригира данните зад сигнала, практическото влияние може да е по-голямо, отколкото интерфейсът подсказва. Думата „подготвителен“ не може да означава невидим.

Системните граници включват и скучната машинерия около модела: източника на данни, прага, опашката, човека, който получава резултата, записа, който се запазва, договора с доставчика, процеса на актуализация и пътя за спиране на работния процес. Малкият модел може да е видимият обект, докато реалният риск се крие в предаването. Затова прегледът на риска, който пита само какво предвижда моделът, е непълен. По-трудният въпрос е какво прави организацията, защото моделът го е предвидил.

Целта променя значението на един и същ резултат

Един резултат няма задължение във вакуум. Същата вероятност, категория или препоръка може да е безобидна в една задача и значима в друга. Това не е защото думите променят речниковото си значение. Причината е, че резултатът попада в структура за вземане на решения. Класирането, използвано за избор кои изследователски бележки да се прочетат първо, не е същото като класирането, използвано за решението кое домакинство да получи разследване за измама. Машината може да използва същата математика. Институцията няма същото отношение към хората от другата страна.

Член 7 от Акта за ИИ изброява критериите, които Комисията трябва да вземе предвид при добавянето или изменението на случаите на употреба с висок риск. Те включват предвидената цел, колко широко се използва или е вероятно да се използва системата, естеството и количеството на данните, автономията и възможността за човешка намеса, обхвата и интензивността на възможната вреда, зависимостта от резултата, дисбаланса на властта, уязвимостта, обратимостта, ползата и наличието на правна защита. Разгледани заедно, тези критерии предлагат убедителен контрааргумент на мисленето, ориентирано към размера на модела. Те описват взаимоотношение, а не файл с тежести.

Компонентът остава малък, докато околните цел, власт, зависимост и обратимост променят въпроса за контрола.

Зависимостта е особено важна. Човек понякога може да игнорира препоръка, да потърси друга услуга или да помоли колега да провери отговора. Човек може също да няма практическа алтернатива. Ако автоматизирана стъпка за скрининг определя дали дадена услуга се забавя, дали дадено заявление получава внимание или дали даден служител е извикан на среща, засегнатият човек може да трябва да се примири с първото тълкуване на системата, докато организацията решава дали да погледне отново. Колкото по-малко е видимото решение, толкова по-лесно може да се пропусне зависимостта под него.

Обратимостта има значение по същата причина. Грешка във вътрешен етикет може да бъде поправена, преди някой да се е позовал на нея. Флаг за риск може да промени реда, в който се обработва даден случай, а самото забавяне може да се окаже съществено. Отказ може да доведе до пропуснат срок. Една класация може да се окаже единствената, която претоварен екип ще види. Фактът, че администратор технически може да редактира база данни, не доказва, че социалният резултат лесно се обръща. Техническата обратимост и житейската обратимост са свързани, но не са едно и също нещо.

Тук пропорционалността придобива реално съдържание. Вътрешно предложение с нисък ефект може да изисква лек запис и ясен отговорник. Система, която влияе върху достъпа до обществена услуга, изисква по-силна доказателствена пътека, информиран човешки маршрут и начин за оспорване както на входа, така и на изхода. Пропорционалните контроли не са липса на контроли. Те са контроли, избрани, защото връзката ги заслужава.

Данните запазват своите задължения

Размерът на модела не прави данните анонимни по подразбиране. Становище 28/2024 на Европейския комитет по защита на данните (EDPB) гласи, че въпросът дали даден ИИ модел може да се счита за анонимен трябва да се оценява за всеки отделен случай. Тестът в публичното резюме на EDPB пита дали е много малко вероятно моделът да може пряко или косвено да идентифицира хората, чиито данни са използвани за създаването му, и дали е много малко вероятно личните им данни да могат да бъдат извлечени чрез заявки. По-малкият модел може да съдържа по-малко информация, но по-малкото не е правен извод.

EDPB също така държи предвид контекста около легитимния интерес. Анализът му сочи към необходимост и балансиране и изброява връзката между хората и администратора, естеството на услугата, контекста, в който са събрани данните, източника, възможните по-нататъшни употреби и какво хората разумно биха очаквали. Тези фактори не изчезват, когато моделът бъде компресиран, дестилиран, квантован или поставен зад изчистен API. Компресията променя техническия обект. Тя не пренаписва историята защо данните са събрани или какво е било казано на хората.

Има полезна дисциплина в четенето на това становище заедно с моделното инженерство. Попитайте за какво е обучен или адаптиран моделът, какви данни получава по време на работа, кои записи се съхраняват и кой може да го запитва. След това попитайте какво се случва надолу по веригата. Копира ли се изходът в досие по дело. Дали класация се превръща в инструкция. Дали човешкият преглеждащ вижда изходния материал или само етикета на модела. Има ли път за засегнатото лице да коригира фактическа грешка. Това са въпроси за данните и управлението, а не само за точността.

Публичното резюме на EDPB също отбелязва, че използването на незаконосъобразно обработени лични данни при разработването на модел може да засегне законосъобразността на внедряването, освен ако моделът не е надлежно анонимизиран. Това изречение се противопоставя на познат път за бягство. Екип не може да накара проблем да изчезне, като каже, че крайният модел е малък, данните вече не са видими или моделът е само един компонент. Правната и етична история на данните остава част от историята на системата.

За инженерите това означава, че записът за обучение и записът за внедряване не трябва да се третират като отделни вселени. За обществените поръчки това означава, че изявлението на доставчика за размера на модела не замества произхода на данните, целта, съхранението, обработката на права или документацията надолу по веригата. За засегнатото лице това означава, че полезният въпрос не е колко параметъра са участвали. Въпросът е какво се е случило с информацията му и какво може да направи организацията, когато резултатът е грешен.

Малък сигнал може да премести голяма опашка

Помислете за хипотетичен център за обслужване на клиенти, който получава заявки от жители. Компактен класификатор прочита първото съобщение и определя маршрут: информация, рутинна работа, спешен преглед или обработка от специалист. Примерът е умишлено обикновен и изцяло илюстративен. Няма посочен общински съвет, реално внедряване, времева отметка или твърдение, че това се е случило. Смисълът е да се направи границата видима.

Ако категориите само помагат на служител да подреди лични бележки, рискът може да е умерен. Ако спешният маршрут определя кой получава проверка за безопасност, резултатът вече е по-близо до публично решение. Ако липсваща ключова дума изпрати заявката на човек към рутинна работа, забавянето може да има значение, въпреки че моделът никога не разговаря с жителя. Ако служителят може да види оригиналното съобщение, да промени маршрута, да запише причината и да отговори бързо на оспорване, системата има различна позиция на контрол от тази, при която етикетът се превръща в скрита врата.

Моделът не е станал по-голям. Задължението е станало по-ясно. То следва пътя от входа до последицата. Организацията трябва да знае какво означават категориите, какви доказателства моделът може да използва, кои случаи изискват отказ или ескалация, кой може да отмени маршрута и какъв запис позволява на по-късен преглеждащ да разбере решението. Скромността на модела не е причина да се пропуснат тези въпроси. Тя може да е причина да се отговори по-точно, защото договорът на компонента може да бъде стеснен.

Подобен хипотетичен пример се появява в заетостта. Малък модел би могъл да извлече умения от автобиография, да класифицира длъжност или да отбележи липсващ сертификат. Извличането звучи по-малко значимо от подбора, но извличането може да оформи класирането, което следва. Ако резултатът никога не се използва, за да се реши кой продължава напред, системата може да остане от подготвителната страна на границата. Ако хората третират извлечения етикет като обективно обобщение и спрат да гледат документа, границата се премества. Задължението живее в употребата, а не в глагола, избран за описанието на работата на модела.

И в двата примера правилният отговор не е паника заради малък модел. Той е да се направи предаването изрично. Назовете предвидената цел. Обявете какво резултатът може и какво не може да промени. Запазете източника и версията на модела, когато решение зависи от тях. Дайте на човек достатъчно информация и правомощия, за да не се съгласи. Тествайте случаите, в които се очаква системата да е несигурна. Прегледайте работния процес, когато организацията промени данните, прага, аудиторията или последващото действие.

Какво всъщност учи холандското решение по делото SyRI

Европа вече има документиран пример за система за оценка на риск с компактен вид, която носи задължение с тежестта на права. На 5 февруари 2020 г. Окръжният съд в Хага описа SyRI като законов правителствен инструмент, използван за борба с измамите в обезщетения, помощи и данъци. Съдът не реши делото, като попита колко параметъра е имала системата. Той оцени правната рамка спрямо член 8 от Европейската конвенция за правата на човека, включително дали намесата в личния живот постига справедлив баланс.

Съдът заключи, че законодателството за SyRI не издържа този тест. Според съда използването на SyRI не е било достатъчно прозрачно и контролируемо. Правната рамка следователно е била несъвместима с правото от по-висок ранг и не е можела да остане в сегашния си вид. Публичната страница по делото е кратка, но поуката ѝ не е малка: когато държава използва система за индикация на риск срещу хора, които може да имат малко власт да я разберат или оспорят, системата се нуждае от ниво на прозрачност и контрол, съответстващо на тази връзка.

SyRI беше нидерландски законов инструмент за индикация на риск, а не казус за модерен невронен модел, и страницата на съда не ни дава брой параметри, които да обсъждаме. Точно затова принадлежи тук. Примерът ни предпазва от третирането на архитектурата на модела като единствено интересния обект. Механизъм с правила, карта за оценка, статистически модел или малък класификатор могат да станат част от институционално решение. Въпросът за правата идва чрез употребата.

Присъдата също така поставя прозрачността на правилното място. Тя не е просто искане за обяснение след като човек е бил ощетен. Тя е част от условията, при които системата може да бъде оценявана преди и докато работи. Ако хората не могат да видят достатъчно от целта, използването на данни, предпазните мерки и пътя за оспорване, за да разберат намесата, организацията може да не успее да докаже справедливия баланс, който твърди, че е постигнала.

Няма нужда да превръщаме SyRI в универсална аналогия. Нидерландската правна рамка, фактите по делото и Европейската конвенция са специфични. Полезният пренос е по-тесен: не питайте дали една система е технически впечатляваща, преди да попитате дали нейната институционална връзка е видима, контролируема и оспорима. По-малката машина не оправдава по-голямото мълчание.

Етикетът пътува към употребата надолу по веригата

Един модел може да бъде въведен като компонент и въпреки това да стане част от система, която носи друго задължение. Насоките на Комисията за GPAI обясняват защо доставчиците надолу по веригата се нуждаят от информация за възможностите и ограниченията на модела. Те се нуждаят от тази информация, за да интегрират модела отговорно и да изпълнят собствените си задължения по Закона за ИИ. Доставчикът на модела и доставчикът на системата не пишат един и същ документ, защото не отговарят на един и същ въпрос.

Това разграничение има значение, когато екипите третират картата на модела като паспорт. Една карта на модела може да опише архитектура, обучение, оценка, известни ограничения и предвидени употреби. Сама по себе си тя не може да опише всяка среда, в която екип надолу по веригата може да постави модела. Системата надолу по веригата добавя потребител, цел, потоци от данни, интерфейс, човешки роли, решение и група засегнати хора. Тези добавки могат да променят задължението, дори когато теглата на модела остават непроменени.

Отговорността може също да се промени, когато организация промени предвидената цел или направи съществена модификация. Разпоредбите на Закона за ИИ за веригата на стойността описват обстоятелства, при които даден участник може да поеме отговорностите на доставчик, включително промяна на предвидената цел на система с ИИ, така че тя да стане високорискова. Това е полезно предупреждение срещу договорната мъгла. Доставчик може да предостави компонент, но внедряващият не може да накара собствената си употреба да изчезне, като нарече компонента библиотека.

Практическото предаване следователно трябва да носи повече от линк за изтегляне. То трябва да посочва предвидените задачи, границите на вход и изход, изискванията за интеграция, информацията за обучение и валидиране, когато е приложимо, известните ограничения и условията, при които компонентът не трябва да се използва. То трябва да обясни какво моделът не е оценил. Екип надолу по веригата не трябва да се налага да извежда липсата на гаранция от наличието на уверена диаграма.

Има човешка причина за тази документация. Човекът, засегнат от крайната система, не среща доставчик на модел в абстракция. Той среща организация, която е избрала работен процес. Организацията трябва да може да каже какво е направил компонентът, какво е направила организацията с него и как човек може да оспори резултата. Ако отговорите живеят в три договора и няма оперативен запис, системата не е добре интегрирана. Тя е просто добре разпределена.

Човешкият път трябва да е реален

Човешкият надзор често се представя като човек, който седи до екран. Законът за ИИ е по-точен. За системите с висок риск надзорът трябва да бъде ефективен и съобразен с рисковете, степента на автономност и контекста на употреба. Човекът, на когото е възложен надзорът, трябва да може да разбира съответните възможности и ограничения, да следи за аномалии, да тълкува резултата, да реши да не го използва, да го пренебрегне или отмени, да го обърне и да се намеси или да спре системата безопасно.

Нито един от тези глаголи не е гарантиран от малък модел. Тесен резултат може да е по-лесен за тълкуване, но тълкуването не е същото като власт. Бутон за отмяна, който никой не може да използва, защото опашката е твърде дълга, не е ефективен надзор. Проверяващ, който вижда само цвят или етикет, не може смислено да провери източника. Човек, който е обвиняван за решение, но не може да спре работния процес, не е контролната точка. Той е декоративна човекоподобна празнина в диаграмата.

Съразмерният надзор може да бъде тих. Той може да бъде ясен път за работник да отбележи недостатъчни доказателства, втора проверка за чувствителна категория, запис защо дадена препоръка е отхвърлена, или автоматично暂停, когато липсват задължителни полета. Може да бъде човек, който носи отговорност за решението и има време да разследва случаите, които системата му насочва. Подробностите зависят от контекста. Изискването е пътят да работи, когато системата е несигурна, грешна, недостъпна или оспорена.

За малките модели структурираният отказ може да бъде предимство. Ако класификатор може да каже липсва източник, извън обхвата или изисква преглед, организацията има конкретно събитие, с което да се справи. Това е по-добре от плавен параграф, който тихо превръща несигурността в инструкция. Но отказът все пак се нуждае от отговорник. Ако всеки отказ се превърне в задънена улица, системата просто е прехвърлила тежестта на някого, без да му даде път през нея.

Човешкият път се разпростира и до засегнатото лице. Човек не трябва да се нуждае от терминологията на доставчика, за да оспори резултат. Организацията трябва да знае каква информация може да бъде обяснена, какво може да бъде коригирано, кой преглежда случая и какво се случва, докато прегледът е отворен. Малък модел може да направи вътрешната следа по-лесна за описание. Това не намалява значението на човека извън системата.

Съразмерните контроли все пак са контроли

Съразмерното управление започва с отхвърлянето на две лоши сделки. Първата казва, че всяка система заслужава същия тежък процес, което превръща управлението на риска в бюрокрация и в крайна сметка учи екипите да крият работа. Втората казва, че малките модели не заслужават сериозен процес, което обърква тесен компонент с безвредна институция. Съразмерният подход пита какво може да промени системата, кой може да бъде засегнат и какви доказателства биха позволили на организацията да поправи грешка.

Първият контрол е изявление за целта, което неспециалист може да разбере. То трябва да посочва задачата, предвидените потребители, засегнатите хора, разрешения вход, резултата и действията, които системата не може да предприема. Цел като подпомагане на приоритизирането е твърде неясна, ако може да означава подреждане на частен списък със задачи, решаване кой получава законова проверка или подбор на кандидати за дисциплинарен преглед. Изречението не е маркетингов текст. То е границата, спрямо която се проверяват по-късните промени.

Вторият контрол е граница за входа и доказателствата. Какви източници може да чете системата. Кои полета са авторитетни. Колко свежи трябва да бъдат те. Какво се случва, когато стойност липсва или противоречи на друг източник. Могат ли лични данни да влязат в пътя. Кой запис се съхранява. Компактен модел може да бъде строг по отношение на входа и пак да се провали, ако околният работен процес тихо разширява данните. Обхватът се нуждае от отговорник, не само от схема.

Третият контрол е изходен договор. Посочете разрешените етикети, състоянията на несигурност, условията за отказ и действията надолу по веригата за всеки резултат. Ако системата върне резултат, кажете какво означава той и какво не означава. Ако върне класация, кажете дали тя е предложение или врата. Ако върне категория, кажете кой може да я промени и кой запис отразява промяната. Малък речник е полезен само когато институцията се съгласи да не влага допълнителна власт в него.

Четвъртият контрол е път за промяна. Актуализации на модела, промени в праговете, нови източници на данни, различна потребителска група, нов доставчик или променено действие надолу по веригата могат да променят риска на системата. Езикът на жизнения цикъл в Закона за ИИ напомня, че управлението на риска е итеративно. Компонент, който през януари е бил тесен, може през август да се окаже част от различно решение. Задължението следва променената връзка, а не датата на първия проектен документ.

Петият контрол е изход. Може ли организацията да спре компонента, да премине към човешки маршрут, да експортира записите, да обясни историята на решенията и да смени доставчика, без да загуби доказателствата, необходими за поправка на случаи. Изходът не е лукс за големи системи. Малък модел може да се превърне в единствена точка на институционална памет, ако никой не запази източника, версията и пътя на решенията около него.

Съразмерен доказателствен файл

Съразмерният доказателствен файл не е склад за всяка мисъл, която някой е имал за модела. Той е четим отговор на въпросите, които рецензент, оператор, засегнато лице или регулатор може разумно да зададе. Каква е била предназначената цел. Коя версия е работила. Какви данни е получил. Какво е върнал. Кое правило или праг е превърнало този резултат в действие. Кой е имал право да промени резултата. Какво се е случило, когато доказателствата са липсвали. Как решението може да бъде повторено или оспорено.

За предложение с ниски последици файлът може да е малък. Може да съдържа целта, източника, версията, основната оценка, собственика, правилото за съхранение и връзка към пътя за корекция. За система, която влияе на достъпа, безопасността, заетостта или правата, файлът трябва да е по-подробен. Той трябва да свърже анализа на риска с данните и изходния договор, да покаже как човешкият надзор работи на практика, да документира известните ограничения и да запази достатъчно оперативна история, за да се разследва оспорен резултат. Съразмерността расте с последиците, а не с броя на параметрите.

Тестването трябва да следва същата логика. Една единствена цифра за точност не може да опише годността на системата за всеки контекст. Тествайте срезовете от данни и условията, които имат значение за целта. Включете липсващи и противоречиви входни данни. Включете случаи, в които отказът е правилен. Проверете дали резултатът на модела се използва по различен начин от различни екипи. Запишете какво е измерено, при какви условия и какво остава неизвестно. Модел, който се представя добре на чист тестов набор, може пак да е зле поставен в объркана институция.

Мониторингът не е украса за табло. Той е начинът, по който организацията научава, че реалният работен процес се е променил. Следете за промени във входните данни, нивата на несъгласие, нивата на отказ, промени в човешките корекции, нови употреби надолу по веригата и оплаквания или искания за корекция. Точните сигнали зависят от системата. Принципът е стабилен: доказателствата трябва да включват връзката, която създава задължението, а не само вътрешния резултат на модела.

Добрите доказателства имат и срок на годност, дори когато записите се съхраняват по-дълго. Правната интерпретация може да се промени. Услугата може да достигне до ново население. Доставчик може да актуализира модел. Маршрут, който е бил обратим, може да се вгради в друга система. Отбележете какво е оценено, кога, от кого и срещу коя цел. Тогава записът се превръща в история на решения, а не в статичен сертификат, който надживява условията, които са го направили смислен.

Начините на отказ на малките модели

Малките системи се провалят по разпознаваеми начини. Класификатор може да пропусне категория, защото дефиницията на етикета е двусмислена. Екстрактор може да върне правдоподобно поле от грешното изречение. Ранкинг модел може да предпочита познати случаи и да скрива необичайните. Праг може да превърне непрекъсната несигурност в фалшива бинарност. Локален модел може да работи надеждно, докато изходните данни са остарели. Нито една от тези повреди не е автоматично катастрофална. Всяка става важна, когато работният процес третира резултата като по-авторитетен, отколкото договорът на компонента позволява.

Първият модел на отказ е фалшивата скромност. Екипът казва, че моделът само маркира, сортира или подпомага, а после проектира работния процес така, че персоналът рядко да възразява. Етикетът се превръща в решение по навик. Това не е недостатък в броя на параметрите на модела. Това е недостатък в начина, по който институцията управлява авторитета. Лечението е да се направи предаването видимо, да се измерват отменянията и несъгласията и да се даде на хората практичен път да променят резултата.

Вторият е скритата композиция. Малък модел може да стои до система за извличане, правила, опашка, ранкинг и услуга за известия. Всеки компонент изглежда ограничен. Заедно те могат да създадат мощен път за вземане на решения. Прегледът на риска трябва да следва пътя от край до край. Кой източник влиза първи. Коя трансформация премахва контекст. Кой етикет задейства действие. Кой запис оцелява. Кой човек може да спре веригата. Осигуряването на качество на ниво компонент е необходимо, но не е системният поглед.

Третият е остарялото задължение. Моделът остава непроменен, докато целта или аудиторията му се променят. Екип добавя нов източник на данни, изпраща резултата на друг отдел или започва да използва частен инструмент за приоритизиране в публичен работен процес. Картата на модела остава същата, така че всички приемат, че рискът е същият. Не е. Предвидената цел се е преместила и файлът с доказателства трябва да се премести с нея.

Четвъртият е ореолът на малкия модел. Ниската сметка за ресурси или чистото локално разполагане карат системата да изглежда по-отговорна, отколкото е. Организацията все още може да не успее да обясни резултата, да запази входа, да осигури обезщетение или да назначи човек с правомощия. Техническата ефективност е добре дошла. Тя не е заместител на институционалния контрол. Една система може да е евтина за работа и скъпа за защита.

Петият е липсващият изход. Малките компоненти са лесни за добавяне и трудни за премахване, когато се вплетат в натоварен процес. Замяната променя категориите, праговете или записите, които низходящите екипи очакват. Ако никой не е репетирал смяната, системата става лепкава. Моделът може да е малък, но миграцията вече е публичен проблем. Преносимостта принадлежи на първия разговор за дизайн, не на последната среща за доставки.

Когато малкото е правилният инженерен избор

Нищо от това не трябва да се превръща в кампания срещу малките модели. Малкото може да е точно правилното. Тясна задача с ясен договор може да не се нуждае от модел с общо предназначение. Локален компонент може да държи чувствителните входни данни по-близо до хората, отговорни за тях. Фиксиран резултат може да улесни валидирането и мониторинга. Модел, който отказва извън обхвата си, може да е по-безопасен за композиране от такъв, който отговаря на всеки въпрос с изящна увереност.

Инженерният случай е най-силен, когато екипът може да назове какво компонентът няма да прави. Той ще класифицира само одобрените категории. Ще чете само обявените полета. Ще върне недостатъчно доказателства, когато задължително поле липсва. Няма да извиква инструмент. Няма да взема окончателното решение. Ще носи версия и запис за оценка. Ще бъде заменим, защото интерфейсът и договорът за доказателства са документирани. Тези ограничения не правят системата детинска. Те правят отговорностите ѝ четливи.

Малките компоненти също могат да подпомагат по-доброто разделение на труда. Един широк модел може да интерпретира неясен език или да изготви разбираемо за хора обяснение. Строг компонент може да извлече поле, да приложи политика за достъп, да класира обявен набор от източници или да провери дали даден резултат отговаря на известна форма. Механизъм с правила или решаващ модул може да поеме частта, която трябва да е точна. Човек може да поеме преценката, която не може да бъде безопасно сведена до алгоритъм. Важното не е чистотата. Важното е, че всяка част има ограничена задача и системата записва как задачите се свързват.

В тази уредба има европейска практичност. Институциите рядко могат да заменят всичко наведнъж. Те се нуждаят от системи, които могат да работят в условията на хардуера, правото, езика и обществените поръчки, които реално имат. По-малките компоненти понякога могат да бъдат разположени по-близо до работата, оценявани спрямо местни доказателства и заменяни, без да се иска от цяла организация да промени паметта си. Това е очакване, а не твърдение за всеки малък модел. Разполагането все пак изисква доказателство, че съответствието е реално.

Малкото е полезно и като дисциплина. Когато екип не може да реши даден проблем, като добави повече обща способност, той трябва да реши коя информация има значение, коя несигурност може да бъде изложена и кои случаи изискват човек. Тази проектна работа може да разкрие, че модел не е необходим. Понякога правилният компонент е ограничение в базата данни, индекс за търсене, подписан запис или добре написан формуляр. По-малък модел може да носи голямо задължение. И нещо, което не е модел, също може да го носи.

Когато малкото се използва като прикритие

Малкото се превръща в прикритие, когато се предлага като отговор, преди някой да е описал въпроса. Посланието може да казва, че компонентът е лек, локален, поверителен, ефективен или отворен. Всичко това може да са полезни факти. Те не казват на засегнато лице дали системата може да бъде оспорена, нито на оператор дали резултатът може да бъде обърнат, нито на регулатор дали организацията е разбрала предназначението си.

Прикритието често се появява в езика на обществените поръчки. На купувач се показват размер на модела, стойност на латентност и разход за извод. Договорът казва, че доставчикът предоставя инструмент за подкрепа на решения. Никой не записва кои решения, чии данни, кои групи от хора, кой човешки път или кои промени задействат преглед. По-късно вътрешен екип открива, че инструментът се е превърнал в порта, защото опашката, крайният срок или таблото са направили препоръката удобна за изпълнение. Моделът е бил малък. Управлението е било още по-малко.

Друго прикритие е изразът „човек в процеса“. Човек може технически да докосне всеки случай, без да има смислено време, информация или правомощия. Тогава процесът функционира като ритуал на одобрение. Малък модел може да направи това особено изкушаващо, защото резултатът изглежда прост. Появяват се три категории, човек кликва върху една и организацията нарича резултата прегледан. Прегледът изисква способност да се разбере, оспори и промени резултатът. Едно кликване само по себе си не е защитна мярка.

Трето прикритие е твърдението, че локално означава суверенно. Локалната обработка може да помогне с местоположението на данните, латентността и оперативния контрол, но суверенитетът се отнася и до това кой може да променя софтуера, да държи ключовете, да има достъп до записите и да поддържа услугата работеща, когато доставчик или мрежа е недостъпен. Малкият модел в устройство може да е локален, докато неговите актуализации, оценка и правомощия остават другаде. Местоположението е факт на картата. Контролът е факт във взаимоотношението.

Противоотровата не е по-голяма форма. Тя е по-остра. Попитайте за предназначението. Попитайте какво се променя поради резултата. Попитайте кой може да възрази. Попитайте какво може да направи засегнатото лице. Попитайте какви доказателства се запазват. Попитайте как системата се спира, заменя и оценява отново. Ако отговорите са ясни, размерът на модела може да се върне на подходящото си място като едно инженерно решение сред много други.

Въпроси на купувача

Преди малък модел да бъде включен в работен процес със значими последици, купувачът трябва да може да получи отговор на поредица от ясни въпроси. Каква е предназначената цел в едно изречение. Какво е извън обхвата. Кои хора могат да бъдат засегнати, пряко или чрез последващо действие. Кои данни са необходими и кои данни са забранени. Какво позволява на организацията да прави всеки резултат. Какво не ѝ позволява да прави.

След това попитайте за правомощията. Кой притежава решението. Кой може да отмени модела. Кой може да спре работния процес. Каква информация вижда това лице. Колко време разполага. Какво се случва, когато не е съгласно. Уведомен ли е засегнатият човек достатъчно, за да поиска преглед. Може ли организацията да коригира както входа, така и резултата. Тези въпроси не са обвинение към доставчика. Те са минималното описание на институцията, която купува инструмента.

Попитайте за доказателствата. Коя версия е била изпълнена. Коя конфигурация на модела и политиката е била активна. Кои източници са били налични. Кой праг или правило е превърнал резултата в следващото действие. Какво се записва, когато човек промени резултата. Може ли организацията да възпроизведе даден случай, без да се преструва, че новото изпълнение е старото. Може ли да експортира записите във формат, който друга система може да прочете. Отговорът не трябва да бъде голяма платформа. Той трябва да бъде истински запис.

Попитайте за промените. Какво се счита за актуализация на модела. Какво се счита за нов източник на данни. Какво се случва, когато целта се промени. Кои промени изискват нова оценка. Кой бива уведомен. Как се защитават засегнатите хора по време на връщане към предишна версия или миграция. Ако доставчикът не може да отговори, купувачът не придобива малък риск. Купувачът приема малко описание на голямо неизвестно.

Накрая попитайте за излизането. Може ли работният процес да работи безопасно без модела. Може ли организацията да извлече входовете, резултатите, решенията и историята на корекциите. Може ли друг компонент да отговаря на същия интерфейс без нова зависимост. Може ли системата да бъде изтеглена, без хората да останат в неведение. Един модел не е наистина малък, ако премахването му изисква институцията да забрави как е вземала решения.

Кратко пояснение от нас

В Dweve Loom е един пример за проектната позиция, която привеждаме към този въпрос. Неговото публично описание на продукта представя малките езикови компоненти като рендери около типизирана графика на разсъждението, с проследимост, възпроизвеждане и изрични граници на отказ. Това е изявление за нашата архитектура и за начина, по който искаме отговорността на даден компонент да бъде видима. То не е независимо доказателство, регулаторна класификация, внедряване при клиент или обещание, че малък компонент автоматично е подходящ за употреба със значими последици.

Полезната част от примера е границата. Един компонент може да е малък и въпреки това да заслужава точен договор. Може да бъде поставен в по-голяма графика, без да става собственик на всяко решение. Може да носи проследимост, без да твърди, че проследимостта доказва, че цялата институция е действала законосъобразно. Споменаваме Loom тук само за да покажем как нашата собствена работа се опитва да държи разделени възможностите на модела, целта на системата, доказателствата и човешките правомощия. Европейският въпрос остава същият за нас, както и за всеки друг: какво може да промени тази система и могат ли отговорните хора все още да я проверяват и коригират?

Задължението се носи от взаимоотношението

Малък модел може да бъде по-лесен за изпълнение, по-лесен за тестване и по-лесен за замяна. Това са добри причини да изберете такъв. Те не са причини да се свива околното задължение за грижа. Определенията и правилата за риск в Закона за ИИ, насоките на Комисията относно GPAI, подходът на ЕКПД към данните случай по случай и решението на нидерландския съд по делото SyRI сочат в една и съща практическа посока, без да се превръщат в един единствен правен тест: гледайте целта, контекста, правомощията, доказателствата, засегнатите хора и възможността за защита.

Следователно правилният въпрос не е дали моделът е малък. А какво му е позволено да променя. Ако той само помага на човек да търси в собствените си бележки, отговорът може да е скромен. Ако променя кой получава внимание, кой запис се счита за надежден или дали публична услуга отваря врата, отговорът е по-голям. Ако организацията не може да обясни предаването, да запази доказателствата или да даде на някого възможност да оспори резултата, задължението вече е надхвърлило компонента.

Доброто управление оставя място за пропорционалност. То не изисква всеки модел да се превърне в комитет. То иска от екипа да направи важните връзки видими, да държи твърденията прикрепени към доказателства и да дава на хората реална власт, когато системата е несигурна или греши. Малките модели могат да помогнат с тази работа, защото ограничен компонент може да бъде назован и тестван. Но ограничеността е дизайнерско постижение, а не присъщо свойство на малкия размер.

Размерът принадлежи на инженерния запис. Предназначението принадлежи на системния запис. Последицата принадлежи на човешкия запис. Когато на тези три записа е позволено да разговарят помежду си, малък модел може да се използва внимателно, без да се третира като безвреден. Когато са разделени, скромността на модела се превръща в театър, а хората, които носят резултата, плащат за липсващия контекст.

Източници