Stroj stanja koji stoji iza odgovorne umjetne inteligencije
Obrazac koji nije zaživio
Prva radionica o odgovornoj umjetnoj inteligenciji često završava obrascem. Obrazac je obično lijep onako kako unutarnji obrasci znaju biti lijepi kad je odbor otkrio razmake. Pita o svrsi, utjecaju, podacima, riziku, pristranosti, ljudskom nadzoru, ovisnosti o dobavljačima, zadržavanju podataka i eskalaciji. Ljudi ga ispunjavaju pažljivo. Kućica se označi. Odbor za reviziju kimne. Projekt ide dalje. Negdje mapa prima još jedan dokument i postaje malo uvjerenija u sebe.
Tri mjeseca kasnije sustav je u produkciji, a obrazac više nije tamo gdje se stvari događaju. Stigne zahtjev za podršku s nedostajućim poljima. Model vraća samouvjeren odgovor sa slabim dokazima. Poziv alata trebao bi ažurirati zapis o kupcu. Politika se promijeni između nacrta i konačne radnje. Ljudski recenzent je bolestan. Indeks za pretraživanje je zastario. Predlaže se novi izvor podataka jer bi bio prikladan, a tako se mnoge loše ideje pristojno predstave.
U tom trenutku odgovorna umjetna inteligencija nije načelo. Ona je prijelaz stanja. Sustav je u jednom stanju i želi prijeći u drugo. Nacrt u odluku. Prijedlog u radnju. Nizak utjecaj u visok. Unutarnja komunikacija u vanjsku. Pregledano u izvršeno. Dopušteno u blokirano. Privremena iznimka u stalni put, ako nitko ne gleda. Pitanje je ima li prijelaz zaštitu, zapis, vlasnika i izlazni put.
To je stroj stanja iza odgovorne umjetne inteligencije. Ne zato što se etika može svesti na okvire i strelice. To bi bilo čudno za vjerovati, a još čudnije za nabaviti. Poanta je jednostavnija. Ozbiljni sustavi već prolaze kroz stanja. Ako ta stanja nisu imenovana, model će se svejedno kretati, tijek rada će svejedno napredovati, a organizacija će otkriti svoje upravljanje slučajno. Imenovati stanja nije birokratska gnjavaža. To je način na koji odgovornost dobiva oblik u stvarnom vremenu.
Zašto načela trebaju granice
Načela su korisna na početku jer daju smjer. Pravednost, transparentnost, odgovornost, privatnost, sigurnost, ljudsko djelovanje, robusnost, mogućnost osporavanja. Te riječi nisu prazne. Ali nisu ni same po sebi izvršive. Sustav ne može pozvati načelo u stvarnom vremenu i pitati je li sljedeća radnja dopuštena. Programer može napisati uputu koja kaže budi pravedan, ali tijek rada svejedno mora znati kada stati, kada pitati, kada zabilježiti i kada odbiti.
Rubovi su mjesta gdje načela postaju korisna. Načelo pravednosti postaje zahtjev da određena kategorija odluka mora proći grupnu evaluaciju prije objave i mora generirati kodove razloga na razini slučaja nakon objave. Načelo transparentnosti postaje potvrda koja imenuje izvore, verziju modela, verziju politike i ljudsku ulogu. Načelo privatnosti postaje zaštita koja odbija dohvat izvan svrhe, zadržavanja, pristanka ili pravne osnove. Odgovornost postaje stanje koje ne može napredovati bez vlasnika. Pobojnost postaje put žalbe koji postoji prije prve pritužbe, a ne nakon prvog novinskog poziva.
Bez rubova, odgovorna umjetna inteligencija postaje skup pridjeva oko sustava koji se i dalje ponaša kako radni tijek dopušta. Tim može iskreno vjerovati da ima ljudski nadzor jer osoba može pogledati rezultate. Ali ako sustav može djelovati prije nego što ta osoba vidi dokaze, nadzor je ukrasan. Tim može vjerovati da ima transparentnost jer se model objašnjava. Ali ako se objašnjenje ne može povezati s izvorima i stanjem, transparentnost je zalutala u teatar. Tim može vjerovati da je siguran jer model odbija opasne upite. Ali ako pristupnik alata daje široke ovlasti, odbijanje je samo jedna vrata u kući s vrlo entuzijastičnim prozorima.
Stroj stanja nije zamjena za prosudbu. To je način da se prosudba negdje usidri. Prisiljava tim da odgovori na praktična pitanja. U kojem je stanju ovaj slučaj. Koji su prijelazi mogući odavde. Koji su dokazi potrebni. Koja uloga može odobriti. Koji je prijelaz nepovratan. Koji prijelaz stvara zapis. Koji prijelaz stvara obvezu obavještavanja, zadržavanja, brisanja ili eskalacije. Ta su pitanja manje poetska od izjava o vrijednostima. Također ih je teže izbjeći.
Skriveni stroj uvijek postoji
Svaki radni tijek umjetne inteligencije već ima stroj stanja, čak i kad ga nitko nije nacrtao. Skrivena verzija živi u statusima tiketa, stupcima proračunskih tablica, redovima čekanja za ponavljanje, granama upita, navikama recenzenata, Slack porukama, zastavicama baze podataka, tablicama iznimaka i sjećanju one osobe koju svi pitaju jer je bila ondje kad se dogodio pilot. To nije šarmantna distribuirana arhitektura. To je institucionalni folklor s latencijom.
Skriveni stroj opasan je jer stvara privid kontrole dok premješta odgovornost na mjesta koja se ne mogu revidirati. Upit može reći da osjetljive slučajeve treba eskalirati, ali red čekanja možda ne čuva razlog. Sustav slučajeva može pokazivati odobreno, ali ne i je li se odobrenje odnosilo na odgovor modela, poziv alata ili vanjsku komunikaciju. Recenzent može odbiti rezultat, ali odbijanje možda nikada neće ući u skup za evaluaciju. Slučaj može biti zatvoren, ali izvedeni podaci i dalje mogu živjeti u spremištu značajki. Model može biti zamijenjen, ali slučajevi na čekanju i dalje mogu nositi rezultate starije verzije. Sustav se kreće; zapis zaostaje za njim odjeven u odijelo.
Činjenje stroja stanja eksplicitnim ne zahtijeva pretvaranje organizacije u laboratorij formalnih metoda. Zahtijeva dovoljno discipline da se razdvoje stanja koja imaju različite obveze. Nacrt nije recenziran. Recenzirano nije izvršeno. Izvršeno nije zatvoreno. Zatvoreno nije izbrisano. Izbrisano nije arhivirano. Blokirano politikom nije neuspjelo zbog infrastrukture. Zahtijeva ljudsku prosudbu nije niska pouzdanost. Incident pod sumnjom nije potvrđeni incident. Te razlike zvuče obično sve dok revizija ne pita koja se od njih dogodila, kada i zašto.
Imenovana stanja također zaustavljaju čestu grešku automatizacije: blagi prijelaz od pomoći do odlučivanja. Sustav počinje kao alat za izradu nacrta. Ljudi mu vjeruju. Nacrt postaje zadana opcija. Zadana opcija postaje preporuka. Preporuka postaje radnja. Nitko nije glasao za potpunu automatizaciju. Nitko nije osmislio novu površinu odgovornosti. Do prijelaza je došlo kroz pogodnost, koja je najuspješniji lobist u softveru. Stroj stanja može učiniti taj pomak vidljivim.
Zaštite nisu puke vibracije
Za prijelaz je potrebna zaštita. Zaštita je uvjet koji mora biti ispunjen prije nego se sustav može pomaknuti. U običnom softveru to može biti provjera booleovske vrijednosti, procjena politike, granica dopuštenja, rezultat validacije ili ljudsko odobrenje. U odgovornoj umjetnoj inteligenciji to je također mjesto gdje institucionalna obećanja postaju operativna. Zaštita pita je li svrha dopuštena, jesu li podaci u opsegu, ima li rezultat dovoljno dokaza, je li model odobren za tu upotrebu, je li radnja reverzibilna, ima li osoba ovlasti, je li trošak ograničen i ima li pogođeni korisnik put natrag.
Praktični trik je držati zaštite blizu prijelaza koji štite. Ako zaštita živi samo u dokumentu politike, izvođenje će je zaboraviti impresivnom brzinom. Ako živi samo u uputi, bit će je teško testirati i lako zaobići. Ako živi samo u ljudskoj navici, zakazat će u dane bolovanja, praznike, reorganizacije i u tjednu kada svi pokušavaju objaviti proizvod. Dobra zaštita dovoljno je eksplicitna da se može testirati i dovoljno lokalna da ima učinka.
To ne znači da svaka zaštita mora biti automatizirana. Neke su zaštite ljudske jer je pitanje istinski kontekstualno. Ali čak i ljudske zaštite trebaju stanje. Pregledatelj bi trebao vidjeti dokaze, primjenjivu politiku, klasifikaciju rizika, predloženu radnju i posljedice odobrenja. Sustav bi trebao zabilježiti odluku kao prijelaz, a ne kao komentar koji će buduća arheologija možda, a možda i ne, otkriti. Ljudski nadzor bez promjene stanja često je samo sastanak s korisničkim sučeljem.
Postoji i dosadna, ali važna točka o negativnim zaštitama. Odgovorna umjetna inteligencija nije samo odgovorno govorenje da. Riječ je i o jasnom govorenju ne. Ne jer svrha nedostaje. Ne jer je izvor zastario. Ne jer je model izvan odobrenog područja. Ne jer korisnik nema ovlasti. Ne jer je potreban ljudski pregled. Ne jer je radnja previše posljedična za dostupne dokaze. Odbijanje s razlogom bolje je stanje sustava od nejasnog kvara koji poziva na ponovne pokušaje sve dok se nešto ne pomakne.
Stanja čine odgovornost dodjeljivom
Jedan od razloga zašto odgovornost umjetne inteligencije postaje nejasna jest taj što se o odgovornosti raspravlja na razini cijelog sustava. Organizacija je odgovorna. Dobavljač je odgovoran. Vlasnik proizvoda je odgovoran. Službenik za zaštitu podataka je odgovoran. Model je odgovoran, što je izraz od kojeg bi se pravniku zavrtjelo u glavi. U stvarnom radu odgovornosti treba manja ručka.
Stanja stvaraju tu ručku. Tijekom unosa, vlasnik usluge može biti odgovoran za svrhu i opseg. Tijekom dohvaćanja, vlasnik podataka može biti odgovoran za kvalitetu izvora i dopuštenja. Tijekom generiranja modela, tehnički vlasnik može biti odgovoran za odobrene verzije i postavke. Tijekom pregleda, ljudska uloga može biti odgovorna za prosudbu. Tijekom djelovanja, vlasnik tijeka rada može biti odgovoran za vanjske učinke. Tijekom zatvaranja, upravljanje zapisima može biti odgovorno za čuvanje i brisanje. Točna će se mapa razlikovati, ali načelo vrijedi: odgovornost se bolje veže uz prijelaze nego uz maglu.
To je važno kada nešto pođe po zlu. Ako je izlaz bio loš jer je izvor bio zastario, stroj stanja trebao bi pokazati gdje je ažurnost provjerena ili propuštena. Ako je čovjek odobrio rizičnu radnju, zapis bi trebao pokazati koje je dokaze vidio. Ako se pravila promijene, neriješeni slučajevi trebali bi otkriti koja ih je verzija uređivala. Ako je model nadograđen, prijelaze preko granice izdanja trebalo bi biti moguće pregledati. Poanta nije brže pronaći krivca. Poanta je omogućiti popravak bez pretvaranja da je cijeli sustav zakazao u jednom jedinstvenom slijeganju ramenima.
Dodijeljena odgovornost također poboljšava svakodnevni rad. Timovi znaju koje stanje posjeduju. Metrike postaju manje teatralne. Umjesto objave da je program odgovorne umjetne inteligencije zreo, organizacija može mjeriti blokade zbog zastarjelih izvora, odbijanja zbog nedostatka svrhe, preglasavanja u pregledu, ishode žalbi, prijelaze u incidentima i kašnjenja u zatvaranju. To je manje prikladno za sjajne slajdove. Puno je prikladnije za vođenje sustava.
Loša stanja zaslužuju prava imena
Većina kvarova odgovorne umjetne inteligencije nisu zlonamjerni. To su obična stanja s lošim imenima ili bez imena. Nacrt odgovora tretira se kao konačni odgovor. Privremena iznimka postaje stalna ruta. Izlaz niske pouzdanosti postaje radnja visokog učinka jer tijek rada nije imao međustanje. Model vidi podatke koje nije smio vidjeti jer stanje dohvaćanja nije nosilo svrhu. Ljudski preglednik postaje puki pečat jer stanje nazvano pregled nije zahtijevalo dokaze ni bilježenje neslaganja.
Davanje pravih imena lošim stanjima neugodno je i korisno. Tihi nacrt. Proširenje opsega. Zastarjeli izvor. Nedostaje vlasnik. Nepregledana radnja. Bez izlaza. To samo po sebi nisu temeljni uzroci, ali su mjesta na koja se mogu postaviti kontrole. Sustav može otkriti tihi nacrt kada se generirani tekst kopira u vanjsku komunikaciju bez odobrenja. Može otkriti proširenje opsega kada tijek rada zatraži izvor izvan deklarirane svrhe. Može otkriti zastarjeli izvor kada je citat stariji nego što pravila dopuštaju. Može otkriti stanje bez izlaza kada blokirani slučajevi zauvijek stoje jer nitko nije osmislio humano odbijanje.
Ta navika također sprječava moralno pretjerivanje. Nije svaki kvar etička kriza. Ponekad je to stanje u redu čekanja bez vlasnika. Ponekad je to stanje čuvanja koje nitko nije povezao s brisanjem. Ponekad je to prag pouzdanosti koji se pretvara da je prosudba. Imenovanje stanja omogućuje timu da popravi mehanizam. Bez imena svaki incident postaje rasprava o kulturi. Kultura je važna, ali je loša zamjena za znanje o tome koji je prijelaz procurio.
Postoji suhoparna komedija u promatranju organizacija koje se boje riječi stroj stanja jer zvuči previše tehnički, dok pritom sretno upravljaju labirintom e-pošte za odobrenja, statusima u proračunskim tablicama i iznimkama poznatima samo troje ljudi i jednom pozivu u kalendaru. Formalna je verzija često jednostavnija. Samo ima nepristojnost biti vidljiva.
Dokazi pripadaju prijelazu
Ako stroj stanja treba biti važan, trebaju mu dokazi. Zapis ne bi trebao samo reći da je slučaj odobren. Trebao bi reći što je pokrenulo prijelaz, koji je mehanizam zaštite procijenjen, koji su podaci korišteni, koje su verzije modela i pravila primijenjene, tko ili što je odobrilo, koji je učinak uslijedio i kako se slučaj može ponovno izvesti ili osporiti. Dokazi nisu ukras nakon radnje. Oni su dio toga da radnja postane odgovorna.
To je posebno važno za AI jer izlazi mogu biti uvjerljivi dok je njihov put krhak. Sažetak može biti točan, ali se temeljiti na izvoru kojem korisnik nije smio pristupiti. Preporuka može biti razumna, ali izvan odobrene upotrebe modela. Klasifikacija može biti točna, ali proizvedena nakon roka pravila. Odbijanje može biti sigurno, ali pravno beskorisno ako ne daje put do popravka. Sam odgovor ne može vam reći te stvari. Zapis prijelaza može.
Dobri dokazi također daju timovima hrabrost za automatizaciju tamo gdje je automatizacija primjerena. Odgovorni AI nije trajna isprika za korištenje strojeva. Ako je zadatak niskog utjecaja, dobro ograničen, reverzibilan, adekvatno testiran i pravilno zabilježen, automatizacija može biti odgovoran put. Ako je zadatak visokog utjecaja, sporan, nov ili nepovratan, stroj stanja trebao bi ga usporiti. Poanta nije obožavati ljudski pregled. Poanta je usmjeravati rad prema riziku, dokazima i pravnom lijeku.
Dokazi čine to usmjeravanje manje političkim. Tim može pokazati da je stanje sigurno za automatizaciju jer su prethodni prijelazi bili točni, žalbe rijetke, ispravci uključeni i kontrole uhvatile prave slučajeve. Ili može pokazati da stanje zahtijeva više ljudske prosudbe jer obrasci pogrešaka ostaju teški, pogođeni ljudi osporavaju ishode ili je kvaliteta podataka slaba. To je bolji argument od uobičajenog teatralnog nastupa u kojem jedna strana govori o inovaciji, a druga o riziku dok svi ne zatrebaju kavu.
Ljudski pregled je stanje, a ne gesta
Na ljudski se pregled često poziva kao da samo njegovo postojanje rješava pitanje odgovornosti. Čovjek je u petlji. U redu. U kojoj petlji. U kojem stanju. S kojim dokazima. S kojim ovlastima. Može li se čovjek usprotiviti. Mijenja li neslaganje sustav. Je li pregled uzorkovan, obvezan, pokrenut rizikom ili tek kozmetički. Vidi li pregledavatelj izvorni materijal ili samo urednu prozu modela. Ima li vremena za razmišljanje. Postoji li obuka. Postoji li zapis. Frazu čovjek u petlji treba shvatiti kao početno pitanje, a ne kao zaključni argument.
Stroj stanja čini ljudski pregled opipljivim. Može razlikovati pregled koji je obvezan od pregleda koji je neobavezan, pregled na čekanju od pregleda koji je dovršen, ljudsku izmjenu rezultata od ljudske potvrde rezultata te eskalaciju koja je potrebna od eskalacije koja je obavljena. Može razlikovati i vrstu prosudbe o kojoj je riječ. Neki pregledi provjeravaju upotrebu činjeničnih izvora. Neki provjeravaju usklađenost s politikom. Neki provjeravaju empatiju i ton. Neki provjeravaju pravni temelj. Neki provjeravaju je li iznimka opravdana. Jedan okvir koji se zove odobreno rijetko je dovoljno bogat za ozbiljan rad.
Oblikovanje pregleda kao stanja također štiti ljude od toga da budu iskorišteni kao moralna ispuna. Ako sustav svaki nezgodan slučaj šalje osobi bez dokaza, prioritizacije ili povratne informacije, osoba postaje odlagalište za neizvjesnost. To nije nadzor. To je model zapošljavanja s pripadajućom krivnjom. Odgovorno stanje pregleda pakira slučaj, imenuje potrebnu odluku, čuva neslaganje i vraća ishode u evaluaciju. Čovjeku daje posao dostojan čovjeka.
Vrijedi i obrnuto. Neki sustavi koriste ljudski pregled tamo gdje bi bolja zaštita bila ljubaznija. Ako slučaj nema pravni temelj, ne šaljite ga pregledavatelju da to otkrije ručno. Blokirajte ga. Ako je izvor zastario, osvježite ga ili odbijte. Ako korisnik nema ovlasti, recite to. Ljudi bi trebali obavljati prosudbu, a ne nadoknađivati nedostajuću infrastrukturu. Desetljećima smo izmišljali strojeve. Bilo bi loše ponašanje natjerati ljude da se ponašaju kao skripte za provjeru.
Nepovratnost mijenja stroj
Nisu svi prijelazi jednaki. Neki su povratni. Nacrt se može urediti. Ruta se može promijeniti. Preporuka se može povući. Drugi se prijelazi teže poništavaju: poruka je poslana, naknada je odbijena, oznaka rizika mijenja red čekanja, zapis je ažuriran, osoba je prijavljena, plaćanje je izvršeno, korisnik je zaključan. Odgovorna umjetna inteligencija mora znati koji prijelazi prelaze u stvarni svijet.
Nepovratnost bi trebala promijeniti čuvara. Sustav bi trebao zahtijevati više dokaza, jači autoritet, jasniju ljudsku prosudbu, bolju obavijest i vidljiviji put žalbe prije nego što se provedu nepovratni učinci. Također bi trebao preferirati postupne prijelaze gdje je to moguće. Nacrt prije slanja. Preporuka prije odluke. Zadržavanje prije odbijanja. Obavijest prije provedbe. Pregled prije izvješća. To nije sporost radi sporosti. To je razlika između sustava koji se može ispraviti i sustava koji stvara dodatni posao čišćenja s uvjerenim licem.
Stroj stanja također pomaže kod djelomične nepovratnosti. Neka se šteta može tehnički popraviti, ali ne i društveno. Pogrešan interni sažetak može se ispraviti. Pogrešna vanjska optužba može ostati i nakon ispravka. Odgođena korist može se isplatiti kasnije, ali stanarina je dospjela ranije. Izbrisan zapis ponekad se može vratiti, ali povjerenje možda neće. Stroj bi trebao tretirati te prijelaze s ozbiljnošću njihova ljudskog učinka, a ne samo njihova vraćanja u bazi podataka.
Tu odgovorna umjetna inteligencija izmiče fantaziji da je etika odvojena od operacija. Operativni detalj je etička površina. Dizajn reda čekanja utječe na pravednost. Politika ponovnih pokušaja utječe na dupliciranje. Ponašanje pri isteku vremena utječe na pristup. Zadržavanje utječe na privatnost. Opterećenje pregledom utječe na dostojanstvo. Prijelazi stanja nisu neutralna infrastruktura. Oni su način na koji se sustav susreće s ljudima.
Evaluacija kao dokaz prijelaza
Evaluacija često stoji izvan tijeka rada, kao da je školski ispit prije nego sustav diplomira. U odgovornom stroju stanja evaluacija postaje stalni dokaz prijelaza. Svaki prijelaz može proizvesti signale: koliko je često čuvar blokirao, koliko su često ljudi nadjačali, koliko su često žalbe uspjele, koliko su često izvori bili zastarjeli, koliko se često povjerenje modela razlikovalo od ljudske prosudbe, koliko je često navodno niskorizičan put stvorio pritužbe.
Ti signali trebali bi hraniti stroj. Prijelaz koji proizvodi ponovljene žalbe može trebati jačeg čuvara ili jasniju obavijest. Stanje ljudskog pregleda s visokim slaganjem i niskim učinkom može biti podobno za više automatizacije, pod uvjetom da lijek ostane stvaran. Stanje odbijanja koje zarobljava korisnike može trebati put popravka. Politički čuvar koji blokira previše legitimnih slučajeva može otkriti lošu politiku, a ne loš model. Stroj nije odgovoran zato što je statičan. Odgovoran je zato što može učiti bez skrivanja prošlosti.
To učenje zahtijeva verzioniranje. Stanja, čuvari, pragovi, upiti, modeli, politike, izvori podataka i upute za pregled mijenjaju se. Zapis mora reći koja je verzija primijenjena na koji prijelaz. Inače organizacija može evaluirati samo juhu prošlih odluka. Juha ima kulinarske namjene. To nije metoda upravljanja, bez obzira na to koliko nadzornih ploča pluta na vrhu.
Verzionirani dokaz prijelaza također održava poboljšanje poštenim. Tim može reći da je novi čuvar smanjio nepregledane radnje, ali povećao kašnjenje. Može reći da je novi izvor poboljšao točnost, ali povećao trenje oko privatnosti. Može reći da je nadogradnja modela poboljšala sažetke, ali oslabila disciplinu odbijanja. Kompromisi nisu neuspjesi. Skriveni kompromisi su neuspjesi koji čekaju pozivnicu za kalendar.
Pouka
Stroj stanja iza odgovorne umjetne inteligencije nije poziv na hladnije sustave. To je poziv na sustave koji znaju što rade dok to rade. Imenovano stanje nije moralno postignuće. Čuvar nije pravda. Potvrda nije povjerenje. Ali bez tih stvari, odgovorna umjetna inteligencija ostaje na razini namjere, a namjera ima loš rekord dostupnosti.
Odgovorna umjetna inteligencija zahtijeva svrhu, ovlasti, dokaze, ograničenja, ljudsku prosudbu, žalbu, popravak, zadržavanje i učenje. Te riječi postaju operativne kroz stanja i prijelaze. Oni određuju kada se predmet pomiče, kada se zaustavlja, tko ga vodi, koji se zapis stvara, koji pravni lijek postoji i što bi sustav trebao zapamtiti sljedeći put. To nije cijela etika. To je dio koji može zaustaviti loš postupak prije nego što postane vrlo dobro dokumentirano žaljenje.
Obrazac na početku još uvijek ima vrijednost. Postavlja prava početna pitanja. No obrazac mora voditi do stroja koji radi: imenovana stanja, izričite zaštite, trajni dokazi, stvarna revizija i izlazi za osobe na koje sustav utječe. Odgovorna umjetna inteligencija ne dokazuje se postojanjem politike. Dokazuje se, ili opovrgava, na prijelazu na kojem sustav odlučuje što se događa sljedeće.