Data minimisation is an engineering discipline
Forma su trisdešimt aštuoniais laukais
Brangiausi duomenys pastate buvo ne sandėlyje, o registracijos formoje. Trisdešimt aštuoni laukai, išdėstyti per tris ekranus, su pasitikėjimu proceso, kuris išgyveno kelias reorganizacijas ir iš jų nieko neišmoko. Produkto komanda sakė, kad dauguma laukų yra neprivalomi. Analitikos komanda sakė, kad kai kurie iš jų gali būti naudingi vėliau. Palaikymo komanda sakė, kad papildomas kontekstas padeda sprendžiant kraštinius atvejus. Teisės skyrius sakė, kad privatumo politika paminėjo duomenų rinkimą. Inžinerijos komanda sakė, kad duomenų bazėje jau yra stulpeliai. Kiekvienas turėjo priežastį. Vartotojui skaudėjo nykštį.
Tada atėjo prašymas ištrinti duomenis iš žmogaus, kuris niekada nebaigė registracijos. Sistema buvo išsaugojusi dalinę formos būseną, apleistų sesijų metaduomenis, įrenginio informaciją, rinkodaros priskyrimą, tikrinimo klaidas, palaikymo pokalbių ištraukas ir sukčiavimo balą, kurio niekas neprisiminė pridėjęs. Dalies duomenų buvo pagrindinėje duomenų bazėje. Dalies analitikos sistemoje. Dalies žurnaluose. Dalies pranešimų eilėje, kuri paprastai ištuštėdavo, išskyrus tuos atvejus, kai neištuštėdavo. Prašymas nebuvo techniškai sudėtingas todėl, kad duomenys buvo vertingi. Jis buvo sudėtingas todėl, kad duomenys pateko be aiškios priežasties ir paskui pasklido po vietas, kuriose buvo geresnė kava nei disciplina.
Štai kodėl duomenų mažinimas yra inžinerijos disciplina. Tai ne gražus sakinys politikoje, ne principas, rodomas prisijungimo metu, ir ne skaičiuoklė, kartą per metus peržiūrima žmonių, turinčių didvyrišką dėmesio trukmę. Tai dizainas, nustatantis, kas gali patekti, kokią formą gali įgyti, kur gali keliauti, kiek ilgai gali gyvuoti, kas gali jį matyti, kuo gali tapti ir kada sistema turi jo atsisakyti. Mažinimas vyksta prieš rinkimą, apdorojimo metu, žurnaluose, modeliuose ir ištrynimo metu. Jei jis vyksta tik dokumente, jis neįvyko.
Mažiau yra techninis sprendimas
Žmonės dažnai laiko mažinimą santūrumu, o tai tiesa, bet nepilna. Santūrumas turi būti kažkur įgyvendintas. Forma turi turėti mažiau laukų. Įvykis turi turėti mažiau savybių. Schema turi turėti paskirtį kiekvienam laukui. Duomenų perdavimo grandinė turi turėti tikrinimą, kuris atmeta perteklinius atributus. Modelio mokymo užduotis turi turėti tinkamumo taisykles. Žurnalo eilutė turi turėti redagavimą. Skydelis turi turėti agregavimą. Atsarginė kopija turi turėti saugojimo klasę. Eksportas turi turėti apimtį. Kūrėjo įrankis turi turėti saugius numatytuosius nustatymus. Sistema, kuri tiesiog prašo žmonių įsiminti mažiau duomenų, ilgainiui surinks daugiau duomenų, paprastai penktadienį 17:42, kai laikinas sprendimas atrodo pagrįstas.
Techninis sprendimas prasideda nuo paskirties. Ne paskirties kaip įkvepiančio daiktavardžio, o paskirties kaip veiklos apribojimo. Laukas turi turėti deklaruotą naudojimą, savininką, teisinį ar politikos pagrindą, jautrumo klasę, saugojimo laikotarpį, vėlesnius naudotojus ir ištrynimo elgseną. Tai skamba biurokratiškai, kol komanda bando pašalinti lauką ir supranta, kad niekas nežino, kodėl jis egzistuoja. Sakinys „gal bus naudinga vėliau“ nėra paskirtis. Tai saugojimo planas, parašytas nerimo.
Inžinerijos komandos supranta apribojimus, kai jie yra konkretūs. Atminties biudžetai, delsos tikslai, API sutartys ir užklausų dažnio ribos formuoja dizainą, nes yra vykdomi. Duomenų biudžetai nusipelno tokio paties statuso. Paslauga turi žinoti, kokius laukus jai leidžiama priimti. Lentelė turi padaryti neprivalomą rinkimą matomą, o ne slėpti jį už nulinių reikšmių stulpelių. Duomenų perdavimo grandinė turi sugesti, kai atsiranda uždraustas atributas. Funkcijų saugykla turi žinoti, ar funkcija gali būti naudojama analitikai, modelio mokymui, automatizuotiems sprendimams ar tik tiesioginiam paslaugos teikimui. Mažinimas tampa realus, kai sistema turi ką pasakyti prie įėjimo.
Pasirenkamieji laukai vis tiek yra laukai
Pasirenkamieji laukai sukelia daugiau rūpesčių, nei rodo jų kukli etiketė. Komandos juos prideda, nes jie neblokuoja vartotojo. Tai skamba nekenksmingai. Tačiau pasirenkamuosius duomenis vis tiek reikia klasifikuoti, saugoti, testuoti, ištrinti, eksportuoti, paaiškinti ir ginti. Jie vis tiek atsiranda žurnaluose. Jie vis tiek vilioja analitiką. Jie vis tiek sukuria trūkstamų reikšmių modelius, kurie gali tapti signalais. Jie vis tiek apsunkina prieigos kontrolę. Jie vis tiek tampa sistemos mentalinio modelio dalimi. Pasirenkamasis rinkimas yra rinkimas švelnesniu balsu.
Laisvas tekstas yra talentingiausias nusižengėlis. Forma prašo papildomo konteksto. Palaikymo pastaboje klausiama, kas nutiko. Atvejo vadybininkas užfiksuoja naudingą detalę. Vartotojas įklijuoja dokumentą. Staiga lauke atsiranda medicininė informacija, narystė profesinėje sąjungoje, skolos, šeimos konfliktai, politinės pastabos, prisijungimo duomenys ir pokštas, kuris senstant prastai atrodys atskleidus duomenis. Laisvas tekstas gali būti būtinas, ypač sudėtingose paslaugose. Tačiau jis nėra pigus. Jam reikia redagavimo, paskirties ribų, prieigos taisyklių, saugojimo terminų ir paieškos disciplinos. Laisvo teksto laukas yra mažos durys, pro kurias gali įeiti visas pasaulis, dažnai su rašybos klaidomis.
Mažinimas nereiškia pasirenkamųjų laukų ar laisvo teksto uždraudimo. Tai reiškia, kad jų kaina tampa matoma. Ar procesas gali veikti su kategorija vietoj teksto. Ar laukas gali būti vietinis darbo eigai ir neįtrauktas į analitiką. Ar jautrūs modeliai gali būti aptikti ir redaguoti. Ar reikšmė gali greitai nustoti galioti. Ar vartotojas gali ją matyti ir taisyti. Ar darbuotojai gali būti apmokyti neįklijuoti visų istorijų į pastabą vien todėl, kad laukas mandagiai jas priėmė. Inžinerija turi paremti šiuos pasirinkimus. Kitaip pasirenkamasis tampa nuolatiniu atsitiktinai.
Išvestiniai duomenys paveldi problemą
Viena priežasčių, kodėl mažinimas politikoje atrodo paprastas, o praktikoje yra sudėtingas, yra ta, kad sistemos kuria naujus duomenis. Gimimo data tampa amžiaus grupe. Pašto kodas tampa skurdo balu. Paieškos istorija tampa pomėgių vektoriumi. Palaikymo pokalbio nuorašas tampa nuotaikos etikete. Sandorio modelis tampa sukčiavimo signalu. Dokumentas tampa įterpiniu. Paspaudimų srautas tampa tikimybe, kad vartotojas išeis. Pradinis laukas gali būti ištrintas, o išvestinė reikšmė ir toliau neša prasmę. Sistema nepašalino fakto. Ji pakeitė jo apdarą.
Išvestiniai duomenys gali būti mažiau jautrūs nei neapdoroti duomenys. Agregavimas, grupavimas į intervalus, maišos funkcijos, tokenizavimas ir vietinių požymių išgavimas gali sumažinti atskleidimo riziką. Tačiau išvestiniai duomenys taip pat gali būti jautresni, nes jie pateikia teiginį, kurio vartotojas niekada nepateikė. Rizikos balas, segmentas, numanomas požymis ar rekomendacija gali turėti įtakos sprendimams. Jei mažinimas ignoruoja išvestinius duomenis, jis tampa ceremonija prie įėjimo, o gamykla už jo ir toliau gamina faktus.
Inžinerinė disciplina reiškia, kad jautrumas ir tikslas keliauja kartu su transformacijomis. Funkcija turi žinoti savo šaltinio laukus, leistinus naudojimo būdus, saugojimo klasę, kokybės ribas ir ištrynimo priklausomybes. Modelio išvestis turi žinoti, ar ji yra laikinas pasiūlymas, saugomas įrašas, trigeris žmogaus peržiūrai ar automatizuoto sprendimo dalis. Įterpimų indeksas turi žinoti, kurie dokumentai yra tinkami, kada jie buvo indeksuoti ir kaip plinta pašalinimas. Duomenų kilmė nėra puošmena. Tai būdas, kaip duomenų mažinimas seka duomenis po to, kai jie nustoja atrodyti kaip įvesties forma.
DI leidžia pertekliui atrodyti pelningam
DI sistemos apsunkina duomenų mažinimą, nes pertekliniai duomenys atrodo kaip būsima galimybė. Pasilikite senus bilietus, galbūt jie pagerins palaikymo automatizavimą. Pasilikite pokalbių įrašus, galbūt jie padės išmokyti geresnį klasifikatorių. Pasilikite elgsenos įvykius, galbūt jie padės personalizavimui. Pasilikite atmestas paraiškas, galbūt jos padės atskleisti sukčiavimą. Pasilikite žurnalus, galbūt jie padės vertinimui. Kartais tai tiesa. Duomenys gali pagerinti modelius. Tačiau tiesa nėra tas pats, kas pagrįstumas. Sandėliuke gali būti naudingų daiktų ir vis tiek kilti gaisro pavojus, jei niekas nežino, kas jame yra.
Mokymo duomenys turi ilgą šešėlį. Kai įrašai naudojami modeliams mokyti, derinti, vertinti ar jiems teikti užuominas, jie gali paveikti elgseną būdais, kurie nėra tokie paprasti kaip duomenų bazės eilutė. Kai kurios sistemos gali pašalinti pavyzdžius ir perkvalifikuoti. Kai kurios gali maskuoti ar filtruoti. Kai kurios gali tik dokumentuoti apribojimus. Kuo anksčiau priimamas duomenų mažinimo sprendimas, tuo jis pigesnis ir švaresnis. Nuspręsti po mokymo, kad laukas niekada neturėjo būti įtrauktas, įmanoma ta pačia prasme, kaip atkepti pyragą yra projekto planas. Tam reikės susitikimų.
DI komandos todėl turėtų laikyti tinkamumą mokymui pirmos klasės valdikliu. Ne kiekvienas paslaugos įrašas yra mokymo medžiaga. Ne kiekviena sutikimo būsena leidžia pakartotinį naudojimą. Ne kiekvienas palaikymo bilietas priklauso vertinimui. Ne kiekvienas žurnalas turėtų tapti užuominų kontekstu. Ne kiekvienas dokumentas turėtų patekti į indeksą. Prieiga turėtų tai užtikrinti prieš modeliui pamatant duomenis. Jei modelio kokybė priklauso nuo visko įtraukimo, nes niekas tinkamai nesuprojektavo užduoties, problema nėra tai, kad privatumas yra sudėtingas. Problema yra architektūra, bandanti suvalgyti savo namų darbus.
Telemetrija yra vieta, kur dorybė nuteka
Daugelis sistemų sumažina produkto duomenų kiekį, o paskui viską suverčia į telemetriją. Klaidų pėdsakai, analitikos įvykiai, sesijų įrašai, derinimo duomenų rinkiniai, gedimų ataskaitos, modelio užklausos, užklausų eilutės, antraštės, funkcijų vėliavėlės ir laiko matavimo duomenys kaupiasi aplink paslaugą kaip dulkės po serverio stovu. Kiekvienas elementas atskirai atrodo pateisinamas. Kartu jie gali atkurti naudotojo vaizdą ryškiau nei duomenų bazė, kuri buvo kruopščiai sumažinta. Stebėjimas be disciplinos yra sekimas su peidžeriu.
Inžinerijos komandoms reikia stebėjimo. Aklos sistemos nėra nei saugios, nei privačios, nei patikimos, nei pigios. Klausimas ne tas, ar registruoti, o ką registruoti, kokiu detalumu, kokiai auditorijai, kiek laiko ir su kokiu duomenų slėpimu. Gamybinė klaida gali reikalauti užklausos identifikatoriaus, paslaugos versijos, gedimo klasės ir pasirinktų nuorodų. Tikriausiai nereikia viso pranešimo, pirminio dokumento, prieigos rakto ir visos naudotojo formos būsenos. Derinimo informaciją galima atrinkti, riboti, užmaskuoti arba laikinai išplėsti pagal kontroliuojamas procedūras. Nėra jokio gamtos dėsnio, pagal kurį kiekviena išimtis turėtų tapti dienoraščio įrašu.
Dirbtinio intelekto telemetrijai reikia ypatingo dėmesio. Užklausose gali būti įklijuotų privačių duomenų. Paieškos pėdsakai gali atskleisti jautrias temas. Sugeneruoti rezultatai gali apimti faktus, kurių nederėtų saugoti. Įrankių iškvietimai gali atskleisti ketinimus. Vertinimo nesėkmės gali tapti ilgai gyvuojančiais pavyzdžiais. Sąnaudų ir delsos žurnalai gali atskleisti elgesio modelius. Sumažinta sistema nėra ta, kuri atsisako stebėti save. Tai ta, kuri stebi mažesniais, aštresniais įrankiais.
Saugojimo trukmė yra funkcija, o ne cron užduotis
Saugojimo trukmė dažnai įdiegiama vėlai, kaip suplanuotas valymo darbas ir viltį teikiantis komentaras. Taip sistemos tampa muziejais. Tikra saugojimo trukmė prasideda projektuojant. Kiekviena duomenų klasė turi turėti numatomą gyvavimo trukmę. Vieni įrašai yra trumpalaikė operacinė būsena. Kiti yra teisiniai įrodymai. Dar kiti yra naudotojui matomi paskyros duomenys. Vieni yra suvestinės metrikos. Kiti yra modelio vertinimo medžiaga. Dar kiti yra atsarginių kopijų likučiai. Traktuoti juos visus kaip saugoti iki tol, kol bus nuspręsta kitaip, nėra pragmatiškumas. Tai kaupimas su diegimo vamzdynu.
Naudinga saugojimo trukmės struktūra anksti atsako į nuobodžius klausimus. Kada prasideda laikotarpis. Koks įvykis jį atnaujina. Kuri kopija yra autoritetinga. Kurie išvestiniai duomenys paveldi galiojimo pabaigą. Kurie įrodymai turi likti po turinio ištrynimo. Kaip tvarkomos atsarginės kopijos. Kaip įrodomas ištrynimas. Kas atsitinka, kai taikomi teismo, audito ar saugos sustabdymai. Kas gali pratęsti saugojimo trukmę. Kurie informacijos suvestinių rodiniai sugenda, kai seni duomenys dingsta. Jei niekas negali atsakyti į šiuos klausimus, valymo darbas taps simboline šluota sandėlyje be durų.
Saugojimo trukmė taip pat turi būti išbandyta. Ištrynimo kelias, kuris veikia tik įprastu atveju, nėra ištrynimo kelias. Jis turėtų apimti duomenų bazes, objektų saugyklas, paieškos indeksus, talpyklas, įvykių srautus, analitiką, eksportus, funkcijų saugyklas, vertinimo rinkinius ir, kur reikia, atsargines kopijas. Jis turėtų įrašyti gavimo patvirtinimus nesaugodamas ištrinto turinio. Jis turėtų padaryti nesėkmes matomas. Jis turėtų būti pakankamai nuobodus, kad niekam nereikėtų suburti darbo grupės kaskart, kai naudotojas pasinaudoja savo teise. Gera saugojimo trukmė nėra dramatiška. Tai ir yra jos žavesys.
Prieigos kontrolė neišgelbės blogo duomenų rinkimo
Yra viliojantis argumentas, kad komandos gali rinkti plačiai ir vėliau apsaugoti prieigos kontrole. Kartais platus rinkimas yra būtinas, bet prieigos kontrolė nėra moralinė skalbimo mašina. Jei duomenys renkami be poreikio, kiekvienas vėlesnis sluoksnis turi juos ginti: tapatybė, autorizacija, registravimas, šifravimas, stebėjimas, ištrynimas, mokymo filtrai, eksporto kontrolė ir incidentų valdymas. Pigiausi duomenys, kuriuos reikia apsaugoti, yra tie, kurie niekada nepatenka į sistemą. Tai ne filosofija. Tai veiklos biudžetas, paslėptas principu.
Prieigos kontrolė taip pat linkusi plėstis spaudžiant aplinkybėms. Palaikymo atvejui reikia laikino vaidmens. Analitikui reikia platesnio duomenų rinkinio dėl termino. Migracijai reikia administratoriaus prieigos. Modelio vertinimui reikia pavyzdžių. Tiekėjui reikia skubios pagalbos. Kiekvienas prašymas gali būti pagrįstas. Platus rinkimas paverčia pagrįstas išimtis didele atakos zona. Minimizavimas išlaiko prieigos kontrolę sąžiningą, sumažindamas tai, ką vaidmuo gali atskleisti pačioje pradžioje.
Geras prieigos dizainas dera su minimizavimu. Paslaugos gauna tik tuos laukus, kurių joms reikia. Vartotojo sąsajos pagal nutylėjimą rodo mažiau. Analitikai dirba su rodiniais, kurie turi paskirtį ir redagavimą. Inžinieriai derina naudodami nuorodas ir pavyzdžius, o ne gamybos iškraipymus. Agentai ir automatizuoti įrankiai gauna siauras apimtis. Avarinės prieigos atvejis palieka aiškius įrodymus. Sistema turėtų padaryti mažiausiai įsiterpiantį kelią lengvu keliu. Jei saugiam keliui reikia trijų patvirtinimų ir ranka rašyto YAML burtažodžio, žmonės jį apeis su kūrybiškumu, kurį paprastai skiria mokesčių formoms.
Minimizavimui reikia produkto sprendimo
Inžinieriai negali atlikti minimizavimo vieni. Jie gali sukurti kontrolės priemones, bet produkto ir srities komandos turi nuspręsti, kas būtina darbui. Laukas gali atrodyti perteklinis duomenų bazės dizaineriui ir būtinas bylų tvarkytojui. Matavimas gali atrodyti nekenksmingas produkto vadovui ir įkyrus asmeniui, kuris yra matuojamas. Modelio ypatybė gali pagerinti tikslumą, kartu keisdama priimtiną paslaugos pobūdį. Tai sprendimų reikalaujantys klausimai. Inžinerinė disciplina yra padaryti sprendimą aiškų, patikrinamą ir, kur įmanoma, grįžtamą.
Geriausios diskusijos yra konkrečios. Kokį sprendimą pagerins šis laukas. Kaip dažnai. Kam. Kas atsitiks, jei jo nėra. Ar jį galima surinkti vėliau, kai prireiks. Ar jis gali būti stambesnis. Ar jį galima apskaičiuoti vietoje. Ar jis gali būti matomas tik vertintojui. Ar jis gali nustoti galioti. Ar jį galima pakeisti mažiau asmeniniu įrodymu. Ar jis įveda šališkumą, stigmatizaciją ar naują įsipareigojimą. Komanda, negalinti atsakyti į šiuos klausimus, vis tiek gali nuspręsti rinkti. Ji bent jau turėtų žinoti, kad skolinasi bėdą, o ne atranda brandą.
Čia taip pat padeda sausa operacinė realybė. Kiekvienam laukui reikia testų. Kiekvienam laukui reikia migracijų. Kiekvienam laukui reikia prieigos taisyklių. Kiekvienas laukas atsiranda eksportuose, maketuose, fiksuotuose duomenyse, analitikoje, dokumentacijoje ir palaikymo įrankiuose. Kiekvienas laukas gali tapti klaidingas. Mažesnė schema yra ne tik privatesnė. Ji dažnai yra suprantamesnė, patikimesnė ir pigesnė keisti. Minimalizmas nėra estetika. Tai ateities priežiūra, atsisakanti būti užklupta.
Ciklas, kuris išlaiko duomenis mažus
Minimizavimas nėra vienkartinis sutvarkymas. Naujos funkcijos prideda laukų. Nauja analitika prideda įvykių. Nauji modeliai nori mokymo pavyzdžių. Nauji reglamentai sukuria įrodymų. Nauji incidentai sukuria žurnalų įrašus. Nauji vadovai prašo informacijos suvestinių. Seni duomenys įgyja sentimentalią vertę, nes kažkas prisimena diagramą iš 2021-ųjų. Be ciklo, duomenų fondas auga kaip sodas, laistomas susitikimų užrašais.
Praktinis ciklas prasideda prieš rinkimą. Paklauskite, ko reikalauja darbas. Klasifikuokite lauką ar įvykį. Suprojektuokite mažiausią naudingą formą. Įgyvendinkite sutartį priėmimo metu. Įvertinkite, ar duomenys naudojami. Panaikinkite juos, kai tikslas baigiasi. Peržiūrėkite išvestinius duomenis, žurnalus, eksportus ir modelius. Užfiksuokite sprendimą. Kartokite, kai keičiasi darbo eiga. Tai nėra įspūdinga, bet pigiau nei incidento metu sužinoti, kad organizacija laiko privačią muziejų trimis formatais ir pamiršta eilę.
Ciklas turėtų pateikti įrodymų apie save patį. Sistema turėtų galėti parodyti, kodėl laukas egzistuoja, kam jis priklauso, kurios paslaugos jį naudoja, kaip dažnai jis naudojamas, koks saugojimo terminas taikomas ir kaip plinta ištrynimas. Tai svarbu ne tik reguliavimo institucijoms. Tai padeda inžinieriams šalinti dalykus be baimės. Dauguma sistemų laiko per daug, nes niekas nežino, kurį šalinimą saugu atlikti. Minimizavimas tampa lengvesnis, kai organizacija gali atskirti esminius duomenis nuo dekoratyvios netvarkos.
Drausmė
Duomenų minimizavimas nėra prieš duomenis. Jis yra už tikslą. Jis verčia komandą pasakyti, ko jai reikia, kodėl to reikia, koks tikslumas būtinas, kam leista naudoti ir kada duomenys turėtų nustoti egzistuoti. Ši drausmė gerina privatumą, bet taip pat gerina sistemos dizainą. Mažesnius duomenų paketus lengviau suprasti. Siauresnes schemas lengviau perkelti. Trumpesnis saugojimo terminas sumažina atradimo skausmą. Švaresnė telemetrija padeda lengviau suprasti incidentus. Mažiau mokymo pavyzdžių su aiškesniais tinkamumo kriterijais gali pranokti didesnę krūvą abejotinos medžiagos. Šis principas yra etiškas, teisėtas ir labai praktiškas.
Sunkiausia dalis yra kultūrinė. Organizacijos mėgsta duomenis, nes duomenys atrodo kaip galimybės. Juos laikyti atrodo saugu. Juos ištrinti atrodo galutina. Tačiau galimybės be atsakomybės yra skola. Kiekvienas papildomas laukas yra pažadas apsaugoti, paaiškinti, taisyti, eksportuoti ir ištrinti. Kiekviena išvestinė funkcija yra naujas teiginys. Kiekvienas žurnalas yra galimas įrašas. Kiekviena atsarginė kopija yra atidėtas argumentas. Minimizavimas reikalauja, kad sistema užsitarnautų tai, ką laiko. Tai aukšta kartelė, todėl ji naudinga.
The form with thirty-eight fields did not need a privacy slogan. It needed a smaller schema, better defaults, stricter intake, classified telemetry, scoped analytics, training eligibility, retention receipts, and enough product courage to admit that later is not a purpose. That is the work. Not dramatic, not mystical, not hostile to innovation. Just engineering discipline applied to the oldest truth in data systems: what you never collect cannot leak, cannot drift, cannot be misused, and does not need a committee to forget it.