Достойнството на данните започва преди модела
Формулярът на грешното бюро
Спорът за достойнството на данните често започва твърде късно. Той започва, след като моделът е обучен, след като наборът от данни е изстърган, обединен, филтриран, дедупликиран, нормализиран, вграден, оценен, опакован, разгърнат и защитен от някого от правния отдел, който не е спал достатъчно. В този момент разговорът звучи морално, което е полезно, и също така леко театрално, което е по-малко полезно. Хората питат дали моделът е уважил хората зад данните. Честният отговор обикновено е, че на модела никога не е бил даден шанс. Решението е взето месеци по-рано, върху формуляр, който никой не е искал да притежава.
Веднъж станах свидетел как изследователски екип в здравеопазването откри това на среща, която трябваше да е за качеството на модела. Моделът не беше проблемът. Проблемът беше малка колона за въвеждане, обозначена като reuse allowed. Тя имаше три възможни стойности: да, не и празно. Празно означаваше, че никой не знае. В експортния тръбопровод празното беше третирано като да, защото в противен случай експериментът щеше да е неудобен. Това не беше злодеяние. Беше по-лошо за целите на управлението: беше по подразбиране. Най-тихото поле в електронната таблица имаше повече власт от етичната комисия.
Екипът можеше да преобучи, да се извини, да документира и да подобри. Но въпросът за достойнството не започна в невронната мрежа. Той започна, когато записът пристигна без ясна цел, без отговорник, без правило за съхранение, без начин за запазване на оттеглянето и без технически договор, който да отказва несигурността. Моделът просто направи по-ранното неуважение по-бързо. Машините често биват обвинявани, че са студени, но много от най-студените решения се вземат от топли хора, които кликват върху import.
Достойнството на данните започва преди модела, защото данните стават политически в момента, в който бъдат събрани. Един запис не е само ред. Той е фрагмент от човек, компания, общност, работно място, път на пациент, обществена услуга, сензорна среда или професионална преценка. Да се отнасяме с достойнство към този фрагмент не означава да го обвием в сантиментален език. Означава да запазим достатъчно истина около него, така че по-късните системи да не могат да се преструват, че той се е появил от нищото.
Съгласието не е парфюм
Много организации третират съгласието като приятен аромат, добавен към процеса, след като тежката работа е свършена. В политиката се поставя един абзац. Към портала се добавя квадратче за отметка. Ред в регистъра посочва „законен интерес“. Всички се отпусват, поне докато някой не попита какво всъщност е било позволено да научи моделът. Тогава в стаята откриват, че правният текст и оперативното разрешение са свързани по същия начин, по който менюто е свързано с вечерята. Едното е обещание. Другото трябва да бъде сготвено.
Оперативното съгласие има структура. То посочва коя цел е разрешена, кои субекти могат да обработват записа, кои трансформации са допустими, кои производни наследяват ограничението, колко дълго може да съществува записът, как се обработва оттеглянето и какви доказателства удостоверяват избора по-късно. Ако тези елементи не са достатъчно машинночетими, за да повлияят на тръбопровода, те не са съгласие в система с изкуствен интелект. Те са документация на тема съгласие. Документацията има своето място, но не бива да бъде молена да спре пакетна задача чрез морална сила.
Това става особено важно, когато данните преминават от първоначалната си цел към обучение, извличане, оценяване, наблюдение или продуктов анализ. Оплакване, подадено до общината, може да е полезно за подобряване на класификатор. Клинична бележка може да е полезна за извличане на симптоми. Препис от разговор с клиентски център може да е полезен за чатбот. Полезността не създава достойнство. Тя създава изкушение. Въпросът за достойнството е дали новата цел е била обявена, дали хората и институциите е можело разумно да я очакват и дали системата може да наложи отговора, когато данните станат удобни.
Съгласието също остарява. Запис, събран преди пет години, може да е бил въведен при допускания, които вече не отговарят на настоящата практика. Човек може да се е оттеглил. Договор може да е изтекъл. Споразумение за споделяне на данни може да е позволявало анализ, но не и обучение на модел. Поле може да е било анонимизирано достатъчно добре за доклад, но не и за индекс на вграждания, който може да бъде запитван по цял ден от находчиви служители. Старо разрешение не бива да се третира като буркан със сладко на задната лавица. Датата има значение.
Контекстът е техническо свойство
Съществува мързелив навик да се разделят данните от контекста, сякаш контекстът е мек, а данните твърди. В реалните системи често е точно обратното. Стойността на данните може да е число, код, име, времеви отпечатък или текстово поле. Нейното значение зависи от метода на събиране, мерната единица, обхвата, несигурността, авторитета на източника, правилата за изключване, езика, липсващите стойности и ситуацията, в която е записана. Премахнете ги и данните не стават неутрални. Те стават прекалено самоуверени.
Показание от сензор на мост не е просто вибрация. То е вибрация от конкретно устройство, калибрирано на конкретна дата, монтирано на конкретно място, измерено при конкретно време, семплирано на конкретна честота и интерпретирано спрямо историята на поддръжката. Запис за плащане не е просто сума. Той се намира в договор, процес на разплащане, модел за измами, валутна конвенция и човешки навик да се въвеждат запетаи там, където десетичните знаци са искали да живеят. Моделът може да вижда само токени или вектори, но институцията остава отговорна за липсващите съществителни.
Достойнството на данните следователно изисква запазването на контекста като инженерно изискване. Описанията на схемите трябва да бъдат версионирани. Системите източници трябва да бъдат назовавани. Трансформациите трябва да бъдат записвани. Липсващите стойности трябва да бъдат разграничавани от нули, откази, неизвестни и неприложими състояния. Етикетите трябва да носят информация кой ги е поставил, по какво указание и с какво несъгласие. Примерите за оценяване трябва да носят информация защо са избрани. Набор от данни без контекст не е суров материал. Той е слух в табличен вид.
Това не е призив за безкрайни метаданни. Безкрайните метаданни са начинът, по който добрите идеи отиват да прекарат пенсията си в каталог, който никой не отваря. Смисълът е в селективни, оперативни метаданни: контекстът, нужен, за да се реши дали записът може да се използва, дали все още означава това, което системата смята, че означава, и дали по-късно някой може да оспори резултата. Достойнството не изисква всеки факт за записа. То изисква фактите, които пречат на записа да стане чужд на самия себе си.
Дългът на достойнството
Техническият дълг е познат, защото инженерите го виждат в компилациите, инцидентите, бавните промени и малките проклятия, изписани в съобщенията към комитите. Дългът на достойнството на данните е по-тих. Той се натрупва, когато произходът е неясен, разрешението е двусмислено, контекстът е изгубен, срокът на съхранение е пренебрегнат, етикетите са недокументирани, достъпът е твърде широк или производните данни се третират като безвредни, защото вече не приличат на източника. Дългът може да не счупи тест. Той чака оплакване, одит, спор, вреден резултат или търпелив журналист.
Опасното при дълга на достойнството е, че той се натрупва чрез полезността. Набор от данни, който е удобен, се копира. Копираният набор става хранилище за характеристики. Хранилището захранва модел. Резултатът от модела става запис. Записът става обратна връзка за обучение. Всяка стъпка изглежда практична. Всяка стъпка също така затруднява отговора на първоначалния въпрос: какво ни беше позволено да правим с тези данни и какво дължахме на хората зад тях. Докато въпросът стигне до ръководството, отговорът е разпръснат из осем системи и един човек, който вече е преместен в друг отдел.
Сериозните екипи третират дълга на достойнството като всеки друг оперативен риск. Те го регистрират, оценяват, определят отговорници и решават кои употреби са блокирани, докато дългът не бъде изплатен. Ако набор от данни не може да докаже произхода си, той не трябва да влиза в обучение с високо въздействие. Ако оттеглянето не може да бъде разпространено, употребата трябва да бъде ограничена. Ако производните артефакти не могат да бъдат проследени, моделът не трябва да поддържа решения със значителни последици. Ако етикетите са създадени при лоши указания, оценката не трябва да се използва като сертификат за справедливост. Това е скучно по най-добрия начин. Скучното е как възрастните държат мостовете изправени.
Има изкушение да се реши дългът на достойнството с голяма платформа. Платформите могат да помогнат, но първата стъпка обикновено е по-малка и по-дисциплинирана: отказвайте неизвестни при постъпване, отделяйте целта от съхранението, записвайте произхода при границите на трансформацията, дръжте правата прикрепени към производните и направете изтриването тестваемо. Система, която не може да изтрива с увереност, не може честно да твърди, че е уважила оттеглянето. Тя може само да твърди, че се надява данните да са станали срамежливи.
Производните данни все още са данни
AI прави достойнството на данните по-трудно, защото създава производни продукти, които изглеждат безобидни. Един документ се превръща в парче. Едно парче се превръща в embedding. Един разговор с поддръжката се превръща в резюме. Една клинична бележка се превръща в етикет. Една търсачка се превръща в събитие за анализи. Един отговор на модел се превръща в нов запис. Една човешка корекция се превръща в данни за обучение. Всеки артефакт може да загуби формата на оригинала, като същевременно запази достатъчно значение, за да има значение. Маската се променя. Задължението може да не се промени.
Embeddings са полезен пример, защото лесно се разбират погрешно. Те не са четим текст, затова хората се отнасят към тях, сякаш достойнството се е изпарило. Но един embedding все още може да разкрие сходство, принадлежност, чувствително групиране или бизнес контекст. Той може да помогне за реконструиране или извеждане на факти. Може да носи последиците от пристрастни етикети. Може да остане, след като източникът е изтрит. Наричането му вектор не го прави социално безтегловен. Много неща в живота изглеждат безобидни, когато са записани като десетични числа. Например банкови салда.
Производните данни се нуждаят от правила за наследяване. Кои задължения преминават от източника към парчето, вектора, кеша, резюмето, характеристиката, журнала на подканите, извадката за оценка и изхода на модела. Кои производни продукти трябва да бъдат изтрити, когато източникът бъде изтрит. Кои могат да бъдат запазени, защото са достатъчно обобщени или правно независими. Кои изискват отделно съгласие. Кои са записи сами по себе си. Без наследяване всяка низходяща система може да импровизира достойнство. Импровизацията е очарователна в джаза. В управлението на данни тя често води до протоколи от срещи.
Тези правила за наследяване трябва да бъдат проектирани преди събирането, а не след първото стартиране на модел. Смисълът не е да се замрази иновацията. Смисълът е да се даде основа на иновацията. Инженерите могат да работят по-бързо, когато знаят кои производни продукти са разрешени, кои граници изискват преглед и кои метаданни трябва да пътуват. Изследователите могат да изследват, без да превръщат всеки експеримент в правен сеанс. Потребителите и субектите на данни получават по-важното предимство: институцията може да обясни какво се е случило с техните данни, без да се допитва до фолклора.
Моделът е късен свидетел
Когато AI система се държи лошо, разследването често първо гледа модела. Това е разбираемо. Моделът е видим, скъп и уверено грешен по начини, които правят добри екранни снимки. Но моделът често е късен свидетел на по-ранни решения. Той отразява избори за събиране, избори за етикетиране, избори за изключване, избори за почистване, избори за запазване и избори за оценка. Да искаш само от модела да стане достоен, е като да искаш от последния човек в щафетата да подобри щафетната палка.
Моделните карти, одитите, оценките, червеноотборните упражнения и инструментите за обяснимост са важни. Те са част от историята за достойнството, особено когато системите засягат хора. Но те не могат да възстановят разрешение, което никога не е било получено, контекст, който е бил изхвърлен, или произход, който не е бил записан. Те могат да разкрият пропастта. Не могат да направят пропастта морално подредена. Ето защо ранните контроли не са бюрокрация. Те са условията, които правят по-късната отчетност нещо повече от театър.
Същото важи и за справедливостта. Преглед на справедливостта след обучение може да открие неравни нива на грешки, липсващи групи, прокси променливи или вредни прагове. Той не винаги може да определи дали наборът от данни е изключил хора при събирането, дали етикетите са уловили институционални предразсъдъци, дали дадено поле е означавало едно и също нещо на различни места или дали правило за съгласие е филтрирало извадката по начин, който е променил популацията. Справедливост без достойнство на данните означава да работите с огледало, което може да е било изкривено още при производството.
Има и практическо предимство да започнете рано: колкото по-рано правилото за достойнство влезе в процеса, толкова по-евтино е то да се прилага. Отказът на запис при постъпването струва малко. Набор от данни, поставен под карантина преди обучение, струва повече. Модел, изтеглен от производство, струва много повече. Публичната загуба на доверие струва колкото и да запише финансовият отдел, след като всички спрат да се преструват, че става въпрос само за комуникации. Достойнството често се описва като етичен разход. В сериозните системи то е по-евтино от почистването.
Управлението е реална работа
Достойнството на данните изисква настойници, а не талисмани. Настойникът не е човекът, чието име се появява на слайд, за да може диаграмата на управлението да има човешко лице. Настойникът има правомощия да отговори дали даден набор от данни може да се използва, да блокира рискова цел, да изисква метаданни, да одобри съхранението, да се справи с изтеглянето и да обясни решение на одитори и засегнати хора. Без правомощия управлението става декоративно. Декоративното управление лесно се разпознава, защото съдържа много комитети и много малко глаголи.
Настойникът се нуждае и от технически лостове. Той се нуждае от табла, които показват произхода и употребата, а не само обема на съхранение. Нуждае се от сигнали, когато набор от данни се използва повторно извън предназначението му. Нуждае се от договорености с инженерните екипи за необходимите метаданни. Нуждае се от тестван път за изтриване. Нуждае се от начин да отбележи несигурността, без да гледа как процесът тихо я превръща в „да“. Нуждае се от достатъчно бюджет, за да поправи дълга към достойнството, преди той да стане заглавие. Това е работа, а не етикет за добродетел.
Доброто управление е съвместно. Правният отдел разбира правомощията. Сигурността разбира достъпа. Инженерите по данни разбират движението. Експертите по предметната област разбират значението. Продуктовите екипи разбират предвидената употреба. Изследователите разбират несигурността. Оперативният отдел разбира какво се случва в три часа сутринта. Достойнството на данните се проваля, когато една от тези гледни точки бъде обявена за собственик на целия проблем и всички останали се върнат към таблата си. Записът преминава през различни функции; така трябва да преминава и отговорността.
В това има човешка скромност. Достойнството на данните не изисква организацията да знае всичко. То изисква организацията да знае какво знае, какво не знае, кой може да решава и къде се прилагат ограниченията. Това е по-малко бляскаво от стратегическа презентация за отговорен ИИ. Но е и по-вероятно да оцелее при контакт с реална задача по импортиране.
Как изглежда достойнството в инфраструктурата
Инфраструктурата за достойнство на данните не е мистична. Тя изглежда като регистри на източници, етикети за цел, състояния на съгласие, договори за данни, събития за произход, обхвати на достъп, задачи за съхранение, доказателства за изтриване, насоки за етикетиране, версии на набори от данни, регистри за оценка и опашки за преглед. Ако този списък звучи обикновено, добре. Най-надеждните етични системи често приличат на водопровод. Те се забелязват главно когато някой е забравил да ги инсталира.
При постъпване записът трябва да пристигне с обявен източник, цел, правно основание или състояние на разрешение, клас на чувствителност и стюард. При трансформация системата трябва да издава събития за произход и да запазва съответните ограничения. При употреба средата за изпълнение трябва да проверява дали целта съвпада. При съхранение задържането и изтриването трябва да са изпълними, а не само пожелателни. При оценка примерите трябва да носят произход и логика на подбор. При преглед засегнатите хора и вътрешните оператори трябва да имат път да оспорят злоупотребата. Нищо от това не изисква да се преструваме, че всички данни са свещени. Изисква да признаем, че данните имат живот.
Най-важният дизайнерски ход е неизвестното да стане състояние от първа класа. Неизвестното не е „да“. Неизвестното не е безвредно. Неизвестното е сигнал да попитаме, да поставим под карантина, да ограничим или да откажем. Много провали на достойнството се случват, защото системите са алергични към несигурността. Те предпочитат чиста булева стойност, дори когато реалният свят не е предоставил такава. Ето как празните клетки стават разрешения. Достойната система позволява на несигурността да забави нещата. Машината ще се справи. Не е била поканена на обяд заради чувствата си.
Няма съвършена архитектура за достойнство. Има по-добри и по-лоши подразбирания. По-добрите подразбирания запазват контекста близо, разпространяват ограниченията, записват движението, изискват изрична вторична употреба и правят връщането назад възможно. По-лошите подразбирания изравняват целта, копират свободно, вярват на всички, изтриват само на политика и откриват задълженията, когато го направи одитният календар. Изборът не е между иновация и достойнство. Изборът е между системи, които помнят какво дължат, и системи, които се надяват никой да не попита.
Урокът
Достойнството на данните често се обсъжда като велик принцип, но то става реално в малки технически решения, взети преди моделът да се появи. Какво трябва да е известно при постъпване. Кои неизвестни спират потока. Кои права пътуват с производните. Кои контексти се запазват. Кои цели са разрешени. Кои стюарди могат да кажат „не“. Кои изтривания могат да бъдат доказани. Тези избори определят дали по-късен модел може да бъде отговорен или просто красноречив.
Уважителният път не е против данните и не е против ИИ. Той е в полза на паметта. Той настоява записите да носят достатъчно произход, разрешение, контекст и задължение, за да останат свързани с хората и институциите, които са ги създали. Модел, обучен върху такива данни, има по-голям шанс да бъде полезен, без случайно да стане експлоататорски. Модел, обучен без тези основи, може все още да впечатлява. Така е и със сграда без основи за кратък и вълнуващ период.
Започнете преди модела. Започнете с формуляра, договора, схемата, състоянието на съгласие, насоките за етикетиране, правилото за съхранение, политиката за производни продукти и отговорника с реални правомощия. Точно там достойнството влиза в системата. Всичко след това е или запазване, или контрол на щетите.