Andmevähendamine on inseneridistsipliin
Kolmeksakümmend kaheksa väljaga vorm
Kõige kallimad andmed majas ei olnud laos. Need olid registreerimisvormil. Kolmkümmend kaheksa välja, jaotatuna kolmele ekraanile, enesekindlusega, mis oli ellu jäänud mitmest ümberkorraldusest ega olnud neist midagi õppinud. Tootemeeskond ütles, et enamik välju on valikulised. Analüütikameeskond ütles, et mõni neist võib hiljem kasulikuks osutuda. Tugimeeskond ütles, et lisakontekst aitab äärejuhtumite korral. Õigusosakond ütles, et privaatsusteatis mainib kogumist. Tehnikameeskond ütles, et andmebaasis on juba veerud olemas. Kõigil oli põhjus. Kasutajal oli valus pöial.
Siis saabus kustutamistaotlus inimeselt, kes polnud registreerimist kunagi lõpetanud. Süsteem oli salvestanud osalise vormi oleku, mahajäetud seansi metaandmed, seadme teabe, turunduse atributsiooni, valideerimisvead, tugivestluse katked ja pettuseskoori, mida keegi ei mäletanud lisavat. Osa sellest oli põhiandmebaasis. Osa analüütikas. Osa logides. Osa sõnumijärjekorras, mis tavaliselt tühjenes, välja arvatud siis, kui ei tühjenenud. Taotlus polnud tehniliselt keeruline seepärast, et andmed olid väärtuslikud. See oli keeruline seepärast, et andmed olid sisenenud ilma selge põhjuseta ja rännanud seejärel kohtadesse, kus oli parem kohv kui distsipliin.
Sellepärast on andmete minimeerimine inseneridistsipliin. See ei ole poliitika maitsev lause, mitte põhimõte, mida sisseelamisel näidatakse, ega tabel, mida kangelasliku tähelepanuvõimega inimesed kord aastas üle vaatavad. See on kujundus selle kohta, mis tohib siseneda, missuguse kuju see tohib võtta, kuhu see tohib liikuda, kui kaua see tohib elada, kes seda tohib näha, milleks see tohib muutuda ja millal süsteem peab sellest keelduma. Minimeerimine toimub enne kogumist, töötlemise ajal, logides, mudelites ja kustutamisel. Kui see toimub ainult dokumendis, siis seda pole toimunud.
Vähem on tehniline valik
Inimesed käsitlevad minimeerimist sageli mõõdukusena, mis on tõsi, kuid mittetäielik. Mõõdukus tuleb kuhugi rakendada. Vorm vajab vähem välju. Sündmus vajab vähem atribuute. Skeem vajab igale väljale eesmärki. Torustik vajab valideerimist, mis lükkab tagasi üleliigsed atribuudid. Mudeli treenimistöö vajab sobivusreegleid. Logirida vajab redigeerimist. Töölaud vajab koondamist. Varukoopia vajab säilitusklassi. Eksport vajab ulatust. Arendaja tööriist vajab ohutuid vaikeväärtusi. Süsteem, mis lihtsalt palub inimestel vähem andmeid meeles pidada, kogub lõpuks rohkem andmeid, tavaliselt reedel kell 17:42, kui lahendus tundub mõistlik.
Tehniline valik algab eesmärgist. Mitte eesmärgist kui inspireerivast nimisõnast, vaid eesmärgist kui operatiivsest piirangust. Väljal peaks olema deklareeritud kasutus, omanik, õiguslik või poliitiline alus, tundlikkusklass, säilitusperiood, allavoolu tarbijad ja kustutamiskäitumine. See kõlab bürokraatlikuna, kuni meeskond üritab välja eemaldada ja avastab, et keegi ei tea, miks see olemas on. Lause "võib-olla kasulik hiljem" ei ole eesmärk. See on ärevuse kirjutatud salvestusplaan.
Insenerimeeskonnad mõistavad piiranguid, kui need on konkreetsed. Mälu eelarved, latentsuse eesmärgid, API lepingud ja piirkiirused kujundavad disaini, sest neid jõustatakse. Andme-eelarved väärivad sama staatust. Teenus peaks teadma, milliseid välju tal on lubatud vastu võtta. Tabel peaks muutma valikulise kogumise nähtavaks, mitte peitma seda nullitavate veergude taha. Torustik peaks ebaõnnestuma, kui ilmub keelatud atribuut. Funktsioonipood peaks teadma, kas funktsiooni saab kasutada analüütikaks, mudeli treenimiseks, automatiseeritud otsusteks või ainult otseseks teenuse osutamiseks. Minimeerimine muutub reaalseks, kui süsteemil on ukse juures midagi öelda.
Valikulised väljad on ikkagi väljad
Valikulised väljad tekitavad rohkem probleeme, kui nende tagasihoidlik nimetus lubab. Meeskonnad lisavad need, sest need ei blokeeri kasutajat. See kõlab kahjutult. Kuid valikulisi andmeid tuleb ikkagi klassifitseerida, kaitsta, testida, kustutada, eksportida, selgitada ja kaitsta. Need ilmuvad ikkagi logidesse. Need ahvatlevad ikkagi analüütikat. Need loovad ikkagi puudumismustreid, millest võivad saada signaalid. Need muudavad ikkagi juurdepääsukontrolli keerulisemaks. Need saavad ikkagi osaks süsteemi vaimsest mudelist. Valikuline kogumine on kogumine pehmema häälega.
Vaba tekst on kõige andekam õigusrikkuja. Vorm küsib täiendavat konteksti. Tugiteade küsib, mis juhtus. Juhtumitöötleja märgib üles kasuliku üksikasja. Kasutaja kleepib dokumendi. Järsku sisaldab väli meditsiinilist teavet, ametiühingusse kuulumist, võlgu, perekonflikte, poliitilisi märkusi, volitusi ja nalja, mis avastamisel halvasti vananeb. Vaba tekst võib olla vajalik, eriti keerukate teenuste puhul. Kuid see pole odav. See vajab redigeerimist, eesmärgi piire, juurdepääsureegleid, säilitusaega ja otsingudistsipliini. Vaba tekstiväli on väike uks, millest kogu maailm võib sisse pääseda, sageli valesti kirjutatuna.
Minimeerimine ei tähenda valikuliste väljade või vaba teksti keelamist. See tähendab nende kulude nähtavaks tegemist. Kas protsess saab töötada kategooriaga teksti asemel. Kas väli saab olla töövoo kohalik ja analüütikast välistatud. Kas tundlikke mustreid saab tuvastada ja redigeerida. Kas väärtus saab kiiresti aeguda. Kas kasutaja saab seda näha ja parandada. Kas töötajaid saab koolitada mitte kleepima terveid ajalugusid märkusse, sest väli võttis need viisakalt vastu. Tehnika peab neid valikuid toetama. Muidu muutub valikuline kogemata püsivaks.
Tuletatud andmed pärandavad probleemi
Üks põhjus, miks minimeerimine tundub poliitikas lihtne ja praktikas raske, on see, et süsteemid loovad uusi andmeid. Sünnikuupäevast saab vanuserühm. Sihtnumbrist saab puuduse skoor. Otsinguajaloost saab huvivektor. Tugiteabest saab meelsuse silt. Tehingumustrist saab pettuse signaal. Dokumendist saab manustus. Klõpsuvoolust saab loobumise tõenäosus. Algne väli võidakse kustutada, samal ajal kui tuletis kannab edasi tähendust. Süsteem pole fakti eemaldanud. See on vahetanud riideid.
Tuletatud andmed võivad olla vähem tundlikud kui töötlemata andmed. Agregeerimine, rühmitamine, räsifunktsioonid, tokeniseerimine ja kohalik tunnuste eraldamine võivad vähendada kokkupuudet. Kuid tuletatud andmed võivad olla ka tundlikumad, sest need esitavad väite, mida kasutaja pole kunagi esitanud. Riskiskoor, segment, tuletatud tunnus või soovitus võivad mõjutada kohtlemist. Kui minimeerimine ignoreerib tuletisi, muutub see tseremooniaks, mida tehakse vastuvõtulauas, samal ajal kui tehas selle taga jätkab faktide tootmist.
Inseneridistsipliin tähendab, et tundlikkus ja eesmärk liiguvad koos teisendustega. Funktsioon peaks teadma oma lähteallikaid, lubatud kasutusviise, säilitusklassi, kvaliteedipiiranguid ja kustutamise sõltuvusi. Mudeli väljund peaks teadma, kas tegemist on mööduva soovitusega, salvestatud kirjega, inimese ülevaatuse käivitajaga või automatiseeritud otsuse komponendiga. Manustamisindeks peaks teadma, millised dokumendid on sobilikud, millal need indekseeriti ja kuidas eemaldamine levib. Andmete päritolu pole kaunistus. See on see, kuidas andmete minimeerimine järgib andmeid pärast seda, kui need ei näe enam välja nagu sisendvorm.
AI muudab ülejäägi kasumliku näiliseks
AI-süsteemid muudavad minimeerimise raskemaks, sest üleliigsed andmed näevad välja nagu tulevane võimekus. Hoia vanad piletid alles, need võivad parandada tugiteenuse automatiseerimist. Hoia vestluste transkriptsioonid alles, need võivad aidata treenida paremat klassifikaatorit. Hoia käitumissündmused alles, need võivad aidata isikupärastamist. Hoia tagasilükatud taotlused alles, need võivad paljastada pettusi. Hoia logid alles, need võivad aidata hindamist. Mõnikord on see tõsi. Andmed võivad mudeleid parandada. Kuid tõene ei ole sama mis põhjendatud. Sahvris võib olla kasulikke asju ja see võib siiski olla tuleoht, kui keegi ei tea, mis seal sees on.
Treeningandmetel on pikk vari. Kui kirjeid on kasutatud mudelite treenimiseks, häälestamiseks, hindamiseks või viipadeks, võivad need mõjutada käitumist viisil, mis ei ole nii otsene kui andmebaasirida. Mõned süsteemid suudavad näiteid eemaldada ja ümber treenida. Mõned suudavad maskeerida või filtreerida. Mõned suudavad ainult piiranguid dokumenteerida. Mida varem minimeerimisotsus tehakse, seda odavam ja puhtam see on. Otsustada pärast treenimist, et välja poleks tohtinud kunagi kaasata, on võimalik samas mõttes, nagu koogi lahtiküpsetamine on projektplaan. Sellel on koosolekud.
AI-meeskonnad peaksid seetõttu käsitlema treeningu sobilikkust esmaklassilise kontrollina. Mitte iga teenusekirje pole treeningmaterjal. Mitte iga nõusoleku olek ei luba taaskasutust. Mitte iga tugipilet ei kuulu hindamisse. Mitte iga logi ei peaks saama viipade kontekstiks. Mitte iga dokument ei peaks sisenema indeksisse. Torustik peaks seda jõustama enne, kui mudel andmeid näeb. Kui mudeli kvaliteet sõltub kõige alla neelamisest, sest keegi ei kavandanud ülesannet korralikult, pole probleem see, et privaatsus on keeruline. Probleem on arhitektuur, mis üritab oma kodutööd ära süüa.
Telemeetria on koht, kus voorus lekib
Paljud süsteemid minimeerivad tooteandmeid ja kallavad seejärel kõik telemeetriasse. Veajäljed, analüütikasündmused, seansisalvestused, silumispaketid, krahhiaruanded, mudelipäringud, päringustringid, päised, funktsioonilipud ja ajastusandmed kogunevad teenuse ümber nagu tolm serveririiuli all. Iga üksus on eraldivõetuna põhjendatav. Koos suudavad need kasutaja rekonstrueerida elavamalt kui andmebaas, mida hoolikalt minimeeriti. Vaadeldavus ilma distsipliinita on järelevalve koos piipariga.
Tehnikameeskonnad vajavad vaadeldavust. Pimedad süsteemid pole ohutud, privaatsed, usaldusväärsed ega odavad. Küsimus pole selles, kas logida, vaid mida logida, millise detailsusastmega, millisele publikule, kui kaua ja millise redigeerimisega. Tootmisviga võib vajada päringuidentifikaatorit, teenuse versiooni, tõrke klassi ja valitud viiteid. Tõenäoliselt ei vaja see täielikku sõnumit, toorandmikku, juurdepääsutokenit ja kasutaja kogu vormi olekut. Silumisüksikasju saab valimipõhiselt koguda, piirata, maskeerida või kontrollitud protseduuride alusel ajutiselt laiendada. Pole mingit loodusseadust, mis nõuaks, et iga erand muutuks päevikukandeks.
AI-telemeetria väärib erilist tähelepanu. Päringud võivad sisaldada kleebitud privaatandmeid. Otsingujäljed võivad paljastada tundlikke teemasid. Loodud väljundid võivad sisaldada fakte, mida ei tohiks salvestada. Tööriistakutsed võivad paljastada kavatsusi. Hindamistõrked võivad muutuda pikaajalisteks näideteks. Kulu- ja latentsuslogid võivad paljastada käitumismustreid. Minimeeritud süsteem pole see, mis keeldub end vaatlemast. See on see, mis vaatleb väiksemate ja teravamate instrumentidega.
Säilitamine on funktsioon, mitte cron-töö
Säilitamine rakendatakse sageli hilja, ajastatud puhastustööna ja lootusrikka kommentaarina. Nii muutuvad süsteemid muuseumideks. Tõeline säilitamine algab kavandamisest. Igal andmeklassil peab olema eeldatav eluiga. Mõned kirjed on lühiajaline operatiivne olek. Mõned on õiguslikud tõendid. Mõned on kasutajale nähtavad kontoga seotud andmed. Mõned on koondmõõdikud. Mõned on mudeli hindamismaterjal. Mõned on varukoopiate jäänused. Kohelda neid kõiki kui hoia kuni edasise teatamiseni pole pragmaatilisus. See on kogumissündroom koos juurutustorustikuga.
Kasulik säilituskujundus vastab igavatele küsimustele varakult. Millal kell hakkab käima. Milline sündmus selle lähtestab. Milline koopia on autoriteetne. Milline tuletatud andmestik pärib aegumise. Millised tõendid peavad jääma pärast sisu kustutamist. Kuidas varukoopiaid käsitletakse. Kuidas kustutamist tõendatakse. Mis juhtub, kui kehtivad kohtuvaidluse, auditi või ohutuse peatamised. Kes võib säilitamist pikendada. Millised armatuurlauad lähevad katki, kui vanad andmed kaovad. Kui keegi ei oska neile küsimustele vastata, muutub puhastustöö sümboolseks harjaks laos, millel pole uksi.
Säilitamist tuleb ka testida. Kustutamistee, mis töötab ainult õnneliku stsenaariumi korral, pole kustutamistee. See peaks hõlmama andmebaase, blob-salvestusi, otsinguindekseid, vahemälusid, sündmustevooge, analüütikat, eksporte, funktsioonipoode, hindamiskogumeid ja varukoopiaid, kus vaja. See peaks salvestama kviitungeid ilma kustutatud sisu alles hoidmata. See peaks muutma tõrked nähtavaks. See peaks olema piisavalt igav, et keegi ei peaks iga kord, kui kasutaja oma õigust kasutab, töörühma kokku kutsuma. Hea säilitamine pole dramaatiline. See ongi selle võlu.
Juurdepääsukontroll ei päästa halba kogumist
On ahvatlev argument, et meeskonnad saavad koguda laialdaselt ja kaitsta hiljem juurdepääsukontrolliga. Mõnikord on laialdane kogumine vajalik, kuid juurdepääsukontroll pole moraalne pesumasin. Kui andmeid kogutakse ilma vajaduseta, peab iga järgnev kiht neid kaitsma: identiteet, autoriseerimine, logimine, krüpteerimine, monitooring, kustutamine, treeningufiltrid, ekspordikontrollid ja intsidentidele reageerimine. Kõige odavamad andmed turvata on need, mis kunagi kohale ei jõua. See pole filosoofiline. See on operatsioonieelarve, mis peidab end põhimõttes.
Juurdepääsukontroll kipub samuti surve all laienema. Tugijuhtum vajab ajutist rolli. Analüütik vajab tähtajaks laiemat andmekogumit. Migratsioon vajab administraatoriõigusi. Mudeli hindamine vajab näiteid. Müüja vajab erakorralist tuge. Iga taotlus võib olla mõistlik. Lai kogumine muudab mõistlikud erandid suureks ründepinnaks. Minimeerimine hoiab juurdepääsukontrolli ausana, vähendades seda, mida roll saab esmajoones paljastada.
Hea juurdepääsu disain käib käsikäes minimeerimisega. Teenused saavad ainult neid välju, mida nad vajavad. Kasutajaliidesed näitavad vaikimisi vähem. Analüütikud töötavad vaadetega, millel on eesmärk ja redigeerimine. Insenerid siluvad viidete ja näidistega, mitte tootmiskoopiate abil. Agendid ja automatiseeritud tööriistad saavad kitsad ulatused. Murdumispääs jätab tugeva tõendusmaterjali. Süsteem peaks muutma kõige vähem pealetükkiva tee lihtsaks teeks. Kui ohutu tee nõuab kolme kinnitust ja käsitsi kirjutatud YAML-i loitsu, siis inimesed leiavad selle ümber tee loovusega, mis tavaliselt reserveeritakse maksuvormidele.
Minimeerimine vajab tooteotsustusvõimet
Insenerid ei suuda minimeerimist üksi teha. Nad saavad ehitada kontrollid, kuid toote- ja valdkonnameeskonnad peavad otsustama, mis on töö jaoks vajalik. Väli võib andmebaasidisainerile tunduda liigne ja juhtumitöötlejale hädavajalik. Mõõtmine võib tootejuhile tunduda kahjutu ja mõõdetavale isikule pealetükkiv. Mudeli tunnus võib parandada täpsust, muutes samal ajal teenuse aktsepteeritavat iseloomu. Need on otsustusküsimused. Inseneridistsipliin on muuta otsus selgesõnaliseks, testitavaks ja võimaluse korral tagasipööratavaks.
Parimad arutelud on konkreetsed. Millist otsust see väli parandab. Kui tihti. Kelle jaoks. Mis juhtub, kui seda pole. Kas seda saab vajadusel hiljem koguda. Kas see saab olla jämedam. Kas seda saab arvutada kohapeal. Kas see saab olla nähtav ainult ülevaatajale. Kas see saab aeguda. Kas selle saab asendada vähem isikupärase tõendusmaterjaliga. Kas see toob kaasa eelarvamusi, häbimärgistamist või uue kohustuse. Meeskond, kes ei suuda neile küsimustele vastata, võib siiski otsustada koguda. See peaks vähemalt teadma, et laenab probleeme, mitte ei avasta küpsust.
Siin aitab ka kuiv operatiivne reaalsus. Iga väli vajab teste. Iga väli vajab migratsioone. Iga väli vajab juurdepääsureegleid. Iga väli ilmub eksportides, mehhanismides, fikseeritud andmetes, analüütikas, dokumentatsioonis ja tugitööriistades. Iga väli võib muutuda valeks. Väiksem skeem pole mitte ainult privaatsem. See on sageli arusaadavam, usaldusväärsem ja odavam muuta. Minimalism ei ole esteetika. See on tulevane hooldus, mis keeldub üllatusest.
Silm, mis hoiab andmed väikestena
Minimeerimine ei ole ühekordne koristustöö. Uued funktsioonid lisavad välju. Uus analüütika lisab sündmusi. Uued mudelid tahavad treeningnäiteid. Uued määrused loovad tõendusmaterjali. Uued intsidendid loovad logisid. Uued juhid küsivad töölaudu. Vanad andmed omandavad sentimentaalse väärtuse, sest keegi mäletab diagrammi aastast 2021. Ilma tsükliraamistikuta kasvab andmehoidla nagu aed, mida kastetakse koosolekumärkmetega.
Praktiline tsükkel algab enne kogumist. Küsi, mida töö nõuab. Klassifitseeri väli või sündmus. Kujunda väikseim kasulik vorm. Rakenda kokkulepe vastuvõtul. Mõõda, kas andmeid kasutatakse. Eemalda need, kui eesmärk lõpeb. Vaata üle tuletised, logid, ekspordid ja mudelid. Jäädvusta otsus. Korda, kui töövoog muutub. See pole glamuurne, kuid odavam kui avastada intsidendi ajal, et organisatsioon on hoidnud eramuuseumit kolmes formaadis ja unustatud järjekorras.
Tsükkel peaks tootma tõendusmaterjali enda kohta. Süsteem peaks suutma näidata, miks väli eksisteerib, kes seda omab, millised teenused seda tarbivad, kui sageli seda kasutatakse, milline säilitusaeg kehtib ja kuidas kustutamine levib. See pole vajalik ainult regulaatoritele. See aitab inseneridel asju kartuseta eemaldada. Enamik süsteeme hoiab liiga palju, sest keegi ei tea, milline eemaldamine on ohutu. Minimeerimine muutub lihtsamaks, kui organisatsioon suudab eristada kandvat andmekoormust dekoratiivsest segadusest.
Distsipliin
Andmete minimeerimine ei ole andmevastane. See on eesmärgipoolne. See sunnib meeskonda ütlema, mida ta vajab, miks ta seda vajab, kui täpne see peab olema, kes seda kasutada tohib ja millal see peaks lakkama olemast. See distsipliin parandab privaatsust, kuid parandab ka süsteemi disaini. Väiksemate üle kantavate andmehulkade üle on lihtsam arutleda. Kitsamaid skeeme on lihtsam migreerida. Lühem säilitusaeg vähendab avastamisvalu. Puhtam telemeetria muudab intsidendid arusaadavamaks. Vähem treeningnäiteid, millel on selgem sobivus, võivad võita suurema hunniku kahtlast materjali. Põhimõte on eetiline, juriidiline ja sügavalt praktiline.
Raske osa on kultuuriline. Organisatsioonidele meeldivad andmed, sest andmed tunduvad valikuvõimalusena. Nende hoidmine tundub turvaline. Nende kustutamine tundub lõplik. Kuid valikuvõimalus ilma omandita on võlg. Iga lisaväli on lubadus kaitsta, selgitada, parandada, eksportida ja kustutada. Iga tuletatud tunnus on uus väide. Iga logi on potentsiaalne kanne. Iga varukoopia on edasilükatud vaidlus. Minimeerimine nõuab, et süsteem teeniks selle, mida ta hoiab. See on kõrge latt, mistõttu on see kasulik.
Kolmeksakümne kaheksa väljaga vorm ei vajanud privaatsussloganit. See vajas väiksemat skeemi, paremaid vaikeväärtusi, rangemat sisestuskontrolli, klassifitseeritud telemeetriat, piiritletud analüütikat, koolituskõlblikkust, säilitustõendeid ja piisavalt tootejulgust, et tunnistada, et hiljem ei ole eesmärk. See ongi töö. Mitte dramaatiline, mitte müstiline, mitte innovatsioonivaenulik. Lihtsalt inseneridistsipliin, mida rakendatakse andmesüsteemide vanimale tõele: seda, mida sa kunagi ei kogu, ei saa lekkida, ei saa triivida, ei saa kuritarvitada ja mille unustamiseks ei ole vaja komiteed.