Neutraalin automaation myytti
Jonosta, joka vaikutti puolueettomalta
Valitusten käsittelypisteellä oli uusi jono. Tapaukset tulivat lomakkeen kautta, niitä rikastettiin kolmen sisäisen järjestelmän tiedoilla, ne pisteytettiin kiireellisyyden mukaan ja ohjattiin yhdelle neljästä tiimistä. Vanha prosessi oli ollut sekava. Ihmiset käyttivät harkintaa, harkinta käytti mielialaa, mieliala käytti säätä, ja koko homma saattoi ajoittain riippua siitä, oliko vanhempi käsittelijä ehtinyt juoda kahvia. Uutta jonoa kuvailtiin puolueettomaksi, koska se kohteli jokaista tapausta samalla tavalla. Tämä on lohdullinen lause, varsinkin kun kukaan ei ole vielä kysynyt, mitä samalla tavalla tarkoittaa.
Ensimmäisen kuukauden ajan kojelauta näytti loistavalta. Keskimääräinen käsittelyaika lyheni. Käsittelemättömien tapausten määrä väheni. Esimiehillä oli kaavio, jonka he saattoivat laittaa kalvolle ilman, että heidän tarvitsi pyydellä anteeksi fonttikokoa. Sitten alkoi näkyä kaava. Tapaukset, joissa henkilöllä ei ollut vakaata osoitetta, ohjautuivat useammin hitaammalle polulle. Ei siksi, että joku olisi kirjoittanut säännön, jonka mukaan epävakaa osoite tarkoittaa matalampaa prioriteettia. Järjestelmä oli oppinut, että puutteelliset osoitekentät korreloivat puuttuvien seurantatietojen kanssa, ja puuttuvat tiedot vähensivät luottamusta kiireellisyyspisteisiin. Jono oli puolueeton samalla tavalla kuin kanava on luonnollinen sen jälkeen, kun ihmiset ovat kolmen vuosisadan ajan siirrelleet vettä paikasta toiseen.
Kaikki huoneessa halusivat oikeaa asiaa. Data-tiimi halusi johdonmukaisuutta. Operaatiot halusivat ennakoitavaa työmäärää. Lakiosasto halusi yhdenvertaista kohtelua. Johto halusi järjestelmän, joka voitaisiin selittää ilman, että paikalle pitää kutsua pieni asiantuntijakuoro. Mutta väite puolueettomuudesta oli tehnyt ensimmäisestä suunnittelukeskustelusta liian helpon. Se antoi organisaatiolle mahdollisuuden kohdella automaatiota puhtaampana versiona harkinnasta, eikä harkintana, joka on siirretty koneisiin.
Tämä on myytti puolueettomasta automaatiosta. Kone ei astu instituutioon filosofisena tyhjiönä. Se perii kategoriat, tietueet, kynnykset, kannustimet, puuttuvat arvot, historialliset tavat, budjettirajat, käyttöliittymät, eskalaatiopolut ja vanhat kipupisteet, jotka kaikki toivoivat uuden järjestelmän siistivän huomaamattomasti. Automaatio voi tehdä näistä valinnoista johdonmukaisempia. Se voi tehdä niistä nopeampia. Se voi tehdä niistä helpommin seurattavia. Se ei tee niistä puolueettomia.
Puolueeton ei ole sama asia kuin johdonmukainen
Johdonmukaisuus on arvokasta. Järjestelmä, joka soveltaa samaa sääntöä samassa tilanteessa, on helpompi testata, valvoa ja haastaa. Se voi vähentää yksittäisten työntekijöiden mielivaltaista kohtelua. Se voi tehdä työmäärästä vähemmän riippuvaista henkilökohtaisesta tyylistä. Jokainen, joka on nähnyt jaetun sähköpostilaatikon muuttuvan pieneksi kuningaskunnaksi, ymmärtää, miksi johdonmukaisuus on houkuttelevaa. Mutta johdonmukaisuus ei ole puolueettomuutta. Johdonmukainen sääntö voi olla johdonmukaisesti väärä, johdonmukaisesti sokea tai johdonmukaisesti antelias niille, joiden elämä sopii tietokannan rakenteeseen.
Ero on merkityksellinen, koska automaatio lainaa usein moraalista auktoriteettia matematiikasta. Pistemäärä näyttää siistimmältä kuin keskustelu. Raja-arvo näyttää siistimmältä kuin esihenkilön tekemä valinta. Hallintapaneeli näyttää siistimmältä kuin pino muistiinpanoja. Siisteys on osittain todellista: vähemmän improvisointia, vähemmän yksityisiä oikoteitä, enemmän toistettavuutta. Mutta sama siisteys voi piilottaa arvovalinnat, jotka muovasivat pistemäärän. Mitkä tulokset optimoitiin. Mitä haittoja mitattiin. Millä ryhmillä oli riittävästi tietoja, jotta ne tuli edustetuiksi hyvin. Mikä haitta katsottiin hyväksyttäväksi, koska se tapahtui hallintapaneelin ulkopuolella.
Tarkastellaan petosmallia. Se voi käsitellä jokaista tapahtumaa samalla pisteytysfunktiolla. Se ei kuitenkaan vastaa siihen, painottaako koulutusaineisto tiettyjä käyttäytymismalleja liikaa, kantavatko väärät positiiviset tulokset ihmiset, joilla on vähemmän taloudellista liikkumavaraa, onko estetyllä tapahtumalla valituspolkua tai saako malli oppia tutkimuksista, jotka olivat itse puolueellisia. Järjestelmä voi olla johdonmukainen ja silti poliittisesti latautunut. Se voi myös olla hyödyllinen, kunhan organisaatio lakkaa teeskentelemästä, että hyödyllinen tarkoittaa neutraalia.
Parempi sana on tilanteinen. Automaatio on tilanteista: se on kiinni instituutiossa, historiassa, oikeudellisessa kehyksessä, toimintamallissa ja joukossa inhimillisiä seurauksia. Tilanteista järjestelmää voidaan hallinnoida, koska sen valinnat ovat näkyviä. Neutraali järjestelmä, tai sellainen, jota markkinoidaan neutraalina organisaation sisällä, välttyy usein hallinnoinnilta, koska kaikki olettavat, että vaikeat kysymykset on ratkaistu koodilla. Näin kaavasta tulee alibi.
Tieto on jo päätös
Tieto tuntuu faktuaaliselta, koska se saapuu taulukoina. Taulukot ovat erittäin hyviä näyttämään viattomilta. Niissä on rivejä, sarakkeita, tyyppejä ja toimistokalusteiden tyyni ryhti. Silti jokainen tietoaineisto on täynnä päätöksiä. Mitä kerättiin. Keneltä kysyttiin. Mitkä lomakkeet olivat pakollisia. Mitkä virheet korjattiin. Mitkä luokat sallittiin. Mitkä tapahtumat kirjattiin. Mitkä ihmiset oppivat välttämään järjestelmää, koska se auttoi heitä harvoin. Puuttuva tieto ei ole hiljaisuutta. Se on usein tarina, jonka mikrofoni on kiinni.
Institutionaaliseen tietoon rakennettu automaatio perii instituution muistin. Jos organisaatio on historiallisesti tutkinut joitakin tapauksia enemmän kuin toisia, tieto näyttää enemmän ongelmia niissä paikoissa. Jos joillakin ihmisillä oli parempi pääsy dokumentaatioon, järjestelmä näkee heidät täydellisempinä. Jos henkilökunta käytti vapaamuotoisia muistiinpanoja eri tavoin tiimeittäin, kielimalli tai luokittelija voi sekoittaa kirjoitustyylin riskiksi. Jos kenttä oli valinnainen, koska vanha prosessi koki sen hankalaksi, uusi prosessi voi kohdella puuttumista todisteena. Tämä ei ole koneen pahuutta. Se on kirjanpitoa aaveiden kanssa.
Tietohallinnon on siis kuuluttava tekoälyn hallinnoinnin alkuun, ei kellariin jälkikäteen. Kysymys ei ole vain siitä, onko tieto tarkkaa. Kysymys on siitä, edustaako tieto päätösaluetta riittävän oikeudenmukaisesti aiottuun käyttöön. Kysymys on siitä, ymmärretäänkö puuttuvuus. Kysymys on siitä, nimetäänkö korvikemuuttujat. Kysymys on siitä, tulivatko luokitukset luotettavista tuloksista vai menneistä institutionaalisista valinnoista. Vanhoilla päätöksillä koulutettu malli voi toisintaa vanhat prioriteetit mukavammalla käyttöliittymällä. Joskus se on juuri se ongelma, jota ihmiset yrittivät ratkaista.
Käytännön tehtävä on tehdä tietovalinnoista tarkasteltavia. Dokumentoi, mitä kenttä tarkoittaa, mistä se on peräisin, kuinka usein se puuttuu, ketkä siitä puuttuvat ja mitä järjestelmä saa päätellä siitä. Nimeä arkaluonteiset korvikemuuttujat. Kohtele johdettuja ominaisuuksia päätöksinä, ei harmittomina teknisinä parannuksina. Kun joku sanoo, että malli käyttää vain objektiivista tietoa, kysy, tarkoittaako objektiivinen laitteella mitattua, virkailijan kirjaamaa, mallin päättelemää vai vain sellaista, jota on helppo puolustaa kokouksessa.
Raja-arvot ovat politiikkaa numeroiden asussa
Jokainen automatisoitu työnkulku saavuttaa lopulta katkaisupisteen. Lähetä tai pidä. Esikalastele tai odota. Hyväksy tai hylkää. Ihmisen tarkistus tai suora käsittely. Katkaisupiste voi olla mallin luottamusraja, riskipiste, sääntömoottorin haara, jonokapasiteetin raja tai kustannuskatto, joka on piilotettu aikataulutuslogiikkaan. Olipa muoto mikä tahansa, se on politiikkaa. Se kertoo, mitä virheitä laitos suosii, mitä viiveitä se hyväksyy ja kenen taakasta tulee toiminnallisesti näkymätöntä.
Raja-arvot näyttävät usein teknisiltä, koska niitä viritetään kaavioiden avulla. Tiimi piirtää tarkkuutta ja saantia, vääriä positiivisia ja vääriä negatiivisia, kustannuskäyriä ja kattavuutta. Tämä on hyvää työtä. Se ei ole koko työ. Raja-arvon valitseminen ei ole vain optimointitehtävä. Se on hallintopäätös haitasta, vaivasta ja vastuullisuudesta. Petostentorjuntatiimi voi sietää enemmän vääriä positiivisia estääkseen tappioita. Terveydenhuollon seulontapalvelu voi sietää enemmän vääriä positiivisia välttääkseen vaaran huomaamatta jäämisen. Etuusvirasto voi valita ihmisen tarkistuksen matalammalla luottamusrajalla, koska virheellisen hylkäyksen kustannuksen kantavat ihmiset, joilla ei ole varaa odottaa. Oikea raja-arvo riippuu tehtävästä, ei vain mittarista.
Hankala osuus on se, että raja-arvot voivat muuttua hiljaa. Jono kasvaa, joten ihmisen tarkistuksen raja-arvo nousee. Budjetti kiristyy, joten vähemmän tapauksia esikalastellaan. Malli paranee keskimäärin, joten joku olettaa, että valvontaa voidaan vähentää. Jokainen muutos voi olla järkevä. Yhdessä ne voivat muuttaa laitoksen toimintaa ilman julkista päätöstä. Raporttinäkymä kertoo edelleen automaation suorituskyvystä. Yleisö kokee politiikan muutoksen. Hollannin byrokratiassa on tälle jokin termi, luultavasti lomakkeessa, jonka pyytämiseen vaaditaan väärä lomake.
Hyvä tekoälyn hallinta kohtelee raja-arvoja hallittuina objekteina. Niillä on omistajat, perustelut, voimaantulopäivät, testit ja tarkistusjaksot. Muutokset kirjataan. Niiden vaikutuksia otannoidaan ryhmien ja tapaustyyppien mukaan. Operaattorit näkevät, mitä raja-arvoa tapaukseen sovellettiin. Päätösten vaikutuspiirissä olevat ihmiset voivat saada selityksen, joka sisältää asiaankuuluvan säännön. Lukua, joka siirtää seurauksia, ei saa koskaan antaa käyttäytyä kuin yksityistä mieltymystä.
Käyttöliittymä on hallintaa
Ihmiset pitävät usein käyttöliittymää automaation kohteliaana pintana, jotain, mitä hiotaan sen jälkeen, kun malli ja säännöt on sovittu. Se on väärin päin. Käyttöliittymä päättää, mitä operaattorit näkevät, mitä he voivat kyseenalaistaa, mitä oletuksia he hyväksyvät ja kuinka paljon kitkaa on koneen suosituksen ja inhimillisen vaihtoehdon välillä. Painike voi olla politiikan väline. Tämä on masentavaa vain, jos toivoit hallinnan pysyvän asiakirjoissa, joista painikkeet eivät löydä sitä.
Jos suositeltu toimenpide on suuri ja vihreä, kun taas tarkistusvaihtoehto on harmaa ja piilotettu Lisää-valikon taakse, järjestelmä on tehnyt hallinnollisen valinnan. Jos luottamus esitetään yhtenä prosenttilukuna selittämättä lähteen laatua tai soveltamisalaa, käyttöliittymä kutsuu esiin valheellista tarkkuutta. Jos työntekijöitä mitataan läpimenon perusteella, mutta ohituslomake vaatii viisi kenttää ja esimiehen hyväksynnän, organisaatio on ilmoittanut suosivansa samanmielisyyttä. Se voi edelleen väittää, että ihminen on mukana prosessissa. Silmukkaan on kuitenkin asennettu pääsyportti.
Käyttöliittymän suunnittelu muokkaa myös muutoksenhakua. Automaation vaikutuspiirissä olevan ihmisen on tiedettävä, että päätös on tehty, millaisella näytöllä oli merkitystä ja miten siitä voi valittaa. Jos järjestelmä antaa vain yleisen viestin, oikeus valittaa muuttuu koristeelliseksi. Jos henkilökunta ei näe olennaista näyttöketjua, he eivät voi auttaa. Jos korjaukset eivät palaa automaattiseen prosessiin, sama virhe voi toistua koneen kärsivällisyydellä, joka ei ole koskaan tuntenut häpeää.
Hyvä hallinto tarkastelee näyttöjä, ei vain malleja. Se kysyy, mitä työntekijä näkee oletuksena. Se kysyy, onko epävarmuus näkyvissä. Se kysyy, erottaako käyttöliittymä mallin suosituksen, politiikan vaatimuksen ja inhimillisen harkinnan. Se kysyy, löytääkö käyttäjä valituspolun ilman aarrekarttaa. Se kysyy, ovatko selitykset hyödyllisiä toiminnan hetkellä, eivät vain vaatimustenmukaisuuden liitteessä. Käyttöliittymä on paikka, jossa institutionaaliset arvot muuttuvat lihasmuistiksi.
Palaute voi parantaa tai myrkyttää järjestelmän
Automaatio oppii palautteesta joko muodollisesti mallin uudelleenkoulutuksen kautta tai epämuodollisesti sen kautta, miten ihmiset sopeutuvat siihen. Palaute ei ole automaattisesti tervettä. Järjestelmä voi oppia omista aiemmista virheistään. Se voi oppia ihmisten päätöksistä, joita paine on muokannut. Se voi oppia tuloksista, joita ei koskaan mitattu ihmisille, jotka ohjattiin muualle. Se voi oppia, että tapaukset ovat matalan riskin, koska kenelläkään ei ollut aikaa tutkia niitä. Se ei ole älykkyyttä. Se on peili huonosti valaistussa huoneessa.
Palautesilmukat tarvitsevat hallintaa, koska automatisoidut järjestelmät muuttavat ympäristöä, jota ne tarkkailevat. Riskimalli voi lisätä tarkastuksia yhdellä alueella, mikä tuottaa siellä enemmän havaintoja, mikä puolestaan oikeuttaa lisää tarkastuksia. Suositusjärjestelmä voi ohjata monimutkaiset tapaukset erikoistuneille asiantuntijoille, jolloin yleiset tiimit näyttävät menestyvämmiltä ja erikoistuneet asiantuntijat hitaammilta. Aikataulutusjärjestelmä voi asettaa matalampaan prioriteettiin ihmisiä, jotka jättävät usein vastaanottoajan käyttämättä, vaikka vastaanoton sijainti tai ajankohta on syy siihen, miksi he jättävät sen käyttämättä. Malli tallentaa käyttäytymistä. Laitos luo osan siitä käyttäytymisestä. Erottelu on hankala ja välttämätön.
Terveet palautesilmukat erottavat havainnoinnin vahvistamisesta. Ne ottavat otoksiin tapauksia, jotka malli jättäisi huomiotta. Ne seuraavat valituksia ja korjauksia. Ne mittaavat vääriä negatiivisia tuloksia silloin, kun se on mahdollista, eivät vain vahvistettuja positiivisia tuloksia. Ne kirjaavat, milloin henkilökunta on eri mieltä suosituksen kanssa ja miksi. Ne tutkivat, muuttaako työkuorman paine päätöksiä. Ne kysyvät, parantaako järjestelmä toiminnan ydintehtävää vai ainoastaan omaa mittariaan. Mittarit ovat loistavia palvelijoita ja äärimmäisen omahyväisiä isäntiä.
Tässä myös ihmisen asiantuntijuuden on pysyttävä mukana. Asiantuntijoita ei pidä alentaa mallin tarratehtaiksi. Heidän tulee auttaa tulkitsemaan vikatiloja, määrittelemään hyväksymättömät haitat ja tunnistamaan tapaukset, joissa järjestelmä kysyy väärän kysymyksen. Hyvä palautesilmukka ei ole putki tuloksesta uudelleenkoulutukseen. Se on valvottu keskustelu todisteiden, politiikan, operatiivisen toiminnan ja asianomaisten ihmisten välillä. Hidas, kyllä. Myös vähemmän todennäköisesti automatisoimassa väärinkäsitystä kolmeksi vuodeksi.
Neutraali kieli piilottaa vastuulliset valinnat
Organisaatiot käyttävät neutraalia kieltä, koska se laskee tunnelmaa. Sanomme datavetoinen, objektiivinen, automatisoitu, standardoitu, skaalautuva, optimoitu. Nämä sanat eivät ole vääriä, mutta ne ovat puutteellisia. Ne kuvaavat menetelmän mutta jättävät vastuun epäselväksi. Datavetoinen kenen toimesta. Objektiivinen minkä mittauksen mukaan. Standardoitu kenen normaalin ympärille. Skaalautuva minkä haittojen yli. Optimoitu mihin. Lause voi kuulostaa nykyaikaiselta ja samalla vältellä huolellisesti subjektia.
Vastalääke on selkeä kieli. Järjestelmä priorisoi tapaukset, joissa on täydelliset tiedot, koska täydelliset tiedot on helpompi varmentaa. Järjestelmä ohjaa matalan luottamuksen tapaukset ihmisen tarkasteluun, koska kieltäytyminen ilman tarkastelua aiheuttaisi hyväksymätöntä haittaa. Järjestelmä ei käytä tätä korvaavaa muuttujaa, koska se seuraa liian tarkasti suojattua ominaisuutta. Järjestelmä ottaa otoksiin hyväksyttyjä ja hylättyjä tapauksia, koska molemmat lajit voivat olla vääriä. Tällaiset lauseet ovat vähemmän kiiltäviä. Ne sisältävät myös enemmän hallintaa.
Selkokielellä on toinenkin etu: se antaa myös ei-teknisille ihmisille mahdollisuuden olla eri mieltä oikeasta asiasta. Monet poliittiset erimielisyydet ovat piilossa teknisten kuvausten sisällä, koska politiikan vaikutuspiirissä olevat ihmiset eivät näe tehtyä valintaa. Jos kynnysarvo kuvataan mallin kalibrointina, vain asiantuntijat osallistuvat keskusteluun. Jos se kuvataan kohtana, jossa instituutio lopettaa manuaalisen tarkistuksen, useampi ymmärtää, miksi asialla on merkitystä. Tekninen tarkkuus ja julkinen selkeys eivät saisi olla toistensa vihollisia. Kun niistä tulee vihollisia, selkeyden pitäisi kysyä, mitä tarkkuus yrittää piilottaa.
Tämä ei tarkoita, että kaikki sisäiset yksityiskohdat kuuluisivat julkiseen tekstiin. Turvallisuus, yksityisyys ja toiminnallinen väärinkäyttö ovat tärkeitä. Mutta keskeisten valintojen pitäisi olla selitettävissä. Jos organisaatio ei pysty kuvaamaan selkokielellä arvopäätöstä automatisoidun päätöksen takana, se ei todennäköisesti ole hallinnut päätöstä. Se on vain toteuttanut sen ja toivonut, että sanasto hoitaisi etiikan.
Mitä vastuullinen automaatio myöntää
Vastuullinen automaatio alkaa siitä, että se myöntää automaation olevan institutionaalinen teko. Se ei ole vain malli, työnkulku, toimittajan ominaisuus, kojelauta tai tehokkuusohjelma. Se on instituution päätös siitä, että tietyt signaalit tuottavat tiettyjä seurauksia laajassa mittakaavassa. Se päätös voi olla hyvä. Se voi nopeuttaa palvelua, vähentää mielivaltaista vaihtelua, tuoda esiin piilotettua työkuormaa ja vapauttaa ammattitaitoisia ihmisiä toistuvasta työstä. Tarkoitus ei ole olla automaatiota vastaan. Tarkoitus on lopettaa teeskentely siitä, että automaatio tulisi ilman arvoja.
Vastuullinen suunnittelu nimeää automatisoitavan päätöksen. Se nimeää vaikutuspiirissä olevat ryhmät. Se nimeää tietolähteet ja tunnetut puutteet. Se tunnistaa korvikemuuttujat ja arkaluonteiset päätelmät. Se hallitsee kynnysarvoja. Se suunnittelee käyttöliittymän osaksi hallintoa. Se luo valitus- ja korjauspolkuja. Se otantaa tuloksia. Se kirjaa muutokset. Se antaa omistajille riittävän toimivallan pysäyttää järjestelmä, kun todisteet muuttuvat huonoiksi. Nämä eivät ole seremoniallisia tehtäviä. Ne ovat toimintaedellytyksiä, joiden vallitessa automaatio ansaitsee luottamuksen.
Se myös kohtelee erimielisyyttä hyödyllisenä. Jos käyttäjät ohittavat järjestelmän usein, se on todiste. Jos vaikutuspiirissä olevat ihmiset menestyvät valituksissaan, se on todiste. Jos jokin ryhmä kokee enemmän viivytyksiä, se on todiste. Jos malli toimii hyvin keskimäärin mutta huonosti rajapinnassa, jossa päätökset ovat merkityksellisimpiä, se on todiste. Hallinnon ei pitäisi hioa näitä signaaleja pois, kunnes kojelauta näyttää rauhalliselta. Rauhalliset kojelaudat ovat piilottaneet monia kiivaita ongelmia.
Kypsä väite ei ole se, että tämä automaatio on neutraali. Kypsä väite on kapeampi ja vahvempi: tämä automaatio on julistanut valintansa, mitannut rajansa, hallinnut kynnysarvonsa, tarjonnut näkyvän valitusmenettelyn ja tuottanut kirjaukset, joiden avulla voimme oppia, kun se epäonnistuu. Se lause ei sovi yhtä siististi dialle. Hyvä. Tärkeiden asioiden pitäisi silloin tällöin haitata dian suunnittelua.
Oppitunti
Myytti neutraalista automatisaatiosta säilyy, koska se on kätevää. Se antaa johtajille mahdollisuuden ostaa nopeutta nimeämättä kompromisseja. Se antaa insinööreille mahdollisuuden ratkaista ongelmia mittareiden avulla kantamatta koko instituution moraalista sanastoa. Se antaa operaattoreille mahdollisuuden syyttää järjestelmää ja järjestelmän syyttää dataa. Se antaa kaikille mahdollisuuden nauttia johdonmukaisuuden puhtaasta tunteesta, kun vaikeat valinnat jatkuvat hiljaisemmissa huoneissa.
Mutta automatisaatio ei ole neutraalia. Se on järjestettyä. Se järjestää huomion, taakan, todisteet, ajan ja auktoriteetin. Oikea vastaus ei ole paniikki eikä kaipuu käsityöhön. Manuaalisissa järjestelmissä on oma epäoikeudenmukaisuutensa, omat epäviralliset sääntönsä, omat salaperäiset laatikkonsa. Oikea vastaus on eksplisiittinen hallinta: nimeä valinnat, mittaa seuraukset, säilytä haastamisen mahdollisuus ja kohtele teknisiä asetuksia institutionaalisina sitoumuksina.
Kun ehdotetaan automatisoitua jonotusjärjestelmää, luokittelijaa, suosittelijaa tai agenttia, hyödyllinen kysymys ei ole, poistaako se inhimillisen harkinnan. Se ei poista. Hyödyllinen kysymys on, mihin harkinta on siirtynyt, kuka voi tarkastaa sen, kuka voi muuttaa sitä ja kuka voi valittaa, kun se puree. Jos vastaus on epäselvä, järjestelmä ei ole neutraali. Se on vain hiljainen.
Hiljaiset järjestelmät voivat aiheuttaa paljon vahinkoa ennen kuin kukaan kuulee niistä. Ne voivat myös tehdä paljon hyvää, kun niiden valinnat ovat riittävän näkyviä valvottaviksi. Ero on hallinnassa. Ei hallintana komiteoiden teatterina, vaan hallintana käytännön kurina, joka tekee institutionaalisesta harkinnasta luettavaa ennen kuin se alkaa liikkua koneen nopeudella.