Politika usmjeravanja modela
Mali prekidač koji nitko nije stavio na dnevni red
Sastanak o nabavi odnosio se na AI asistenta za veliku uslužnu organizaciju. Dnevni red imao je uobičajene ozbiljne imenice: kvalitetu, privatnost, trošak, usvajanje, usklađenost, plan razvoja. Demonstracija je protekla glatko. Korisnik je postavio pitanje, odgovor se pojavio, izvori su navedeni, a sučelje je izgledalo dovoljno smireno da prođe kroz nekoliko odbora. Zatim je inženjer spomenuo da će se zahtjevi slati kroz model router. Dovoljno jednostavno, rekao je. Router će odabrati najbolji dostupni model za svaki zadatak.
Dovoljno jednostavno često je mjesto gdje politika ulazi odjevena u flis prsluk. Prostorija je čula problem optimizacije. Router bi uravnotežio trošak, brzinu, mogućnosti, dostupnost i možda osjetljivost podataka. To je zvučalo tehnički. Zvučalo je i prikladno, a to je zvuk koji mnoge rupe u upravljanju proizvode prije nego što dobiju proračun. Tek kasnije je netko pitao što znači najbolji. Najjeftiniji. Najbrži. Najtočniji na engleskom benchmarku. Najdostupniji tijekom radnog vremena u Europi. Najkontroliraniji. Najpregledniji. Najmanje ovisan o jednom dobavljaču. Najmanje vjerojatno da će poslati povjerljivi materijal preko granice koju nitko nije mogao objasniti.
Router nije bio manji sastavni dio. Bio je točka na kojoj je institucionalna politika postajala ponašanje u stvarnom vremenu. Svaki bi zahtjev prolazio kroz njega. On bi odlučivao hoće li lokalni model obraditi klasifikaciju, hoće li udaljeni model sastaviti odgovor, hoće li specijalizirani model vidjeti pravni tekst, hoće li opći model primiti kontekst korisnika, hoće li rezervna ruta prijeći regije, je li jeftinija krajnja točka dopuštena za niskorizičan rad i hoće li se slučaj visokog utjecaja usporiti radi dokaza. Router je bio površina upravljanja s API-jem.
To je politika model routinga. Ne stranačka politika, ne govori, ne dramatične zastave u strateškom dokumentu. Tiša politika o tome koji su kompromisi kodirani kao zadane vrijednosti. Pravilo routinga može trošiti javni novac u inozemstvu ili zadržati mogućnosti lokalno. Može očuvati lokalnost podataka ili je nagrizati slučaj po slučaj. Može učiniti dobavljača nezamjenjivim ili zadržati mogućnost izlaska. Može vrednovati objašnjivost nad latencijom ili latenciju nad pravom na žalbu. Može pretvoriti suverenitet u operativno ograničenje ili u odlomak u tekstu nabave.
Routing nije neutralna infrastruktura
Postoji razumljiva sklonost da se rutiranje tretira kao instalacija cijevi. Stigne zahtjev. Sustav klasificira zadatak. Odabere model. Odgovor se vrati. Ako je odgovor dobar, a račun niži, svi čestitaju instalaterima. No instalacija nosi moć. Cijev za vodu odlučuje koji kvart dobiva pritisak. Usmjerivač modela odlučuje koja sposobnost dobiva posao. Činjenica da je odluka automatizirana ne čini je neutralnom. Samo politiku čini manje razgovornom.
Usmjerivač sadrži teoriju vrijednosti. Ako modele rangira uglavnom prema cijeni, organizacija je odabrala trošak kao dominantnu vrijednost. Ako rangira prema rezultatu na mjerilima, odabrala je usku definiciju stručnosti. Ako rangira prema latenciji, odabrala je brzinu. Ako prije bodovanja sposobnosti filtrira prema nadležnosti, mogućnosti revizije, ugovornim pravima, transparentnosti izvora ili minimizaciji podataka, odabrala je kontrolu. Nijedan od tih odabira nije automatski pogrešan. Problem je pretvaranje da to nisu odabiri.
Rutiranje također raspoređuje učenje. Model koji dobiva promet dobiva operativne primjere, izvještaje o pogreškama, pozornost pri evaluaciji, integracijski trud i opravdanje proračuna. Model koji rijetko dobiva promet s vremenom izgleda lošije jer je manje prilagođen radu organizacije. Tako usmjerivač može stvoriti budućnost koju tvrdi da samo mjeri. Ako se lokalni ili otvoreni model uvijek koristi samo za trivijalne zadatke, nikada neće izgraditi bazu dokaza potrebnu za ozbiljne zadatke. Ako udaljeni opći model dobije svaki težak slučaj, ovisnost postaje samoispunjavajuća metrika.
Isti učinak pojavljuje se u timovima. Ako je politika rutiranja skrivena unutar portala dobavljača ili male platformne grupe, vlasnici domena gube uvid u to zašto njihov posao odlazi tamo gdje odlazi. Pravni odjel vidi pregled privatnosti. Financije vide troškovnu stavku. Operacije vide kvalitetu odgovora. Sigurnost vidi zapise o pristupu. Nabava vidi ugovorne klauzule. Usmjerivač vidi cijelu odluku. Tko god upravlja usmjerivačem, upravlja kompromisom među tim perspektivama. To nije instalacija cijevi. To je institucionalna arbitraža s nižom latencijom.
Riječ najbolji treba svjedoke
Najbolji je premala riječ za rutiranje modela. Model može biti najbolji za prevođenje, najgori za povjerljivo postupanje s izvorima, prihvatljiv za sažimanje, slab za strukturirano izdvajanje, izvrstan za brzinu, skup za velike količine, slab za sljedivost i politički nezgodan za javno tijelo koje mora objasniti kamo su otišli podaci građana. Jedinstveni rang skriva činjenicu da je sposobnost višedimenzionalna. Također skriva činjenicu da svaka dimenzija ima različitu važnost ovisno o zadatku.
Asistent za pregled ugovora trebao bi rutirati drugačije od pozdrava na servisnoj liniji. Alat za podršku medicinskoj trijaži trebao bi rutirati drugačije od sažetka sastanka. Komunalni chatbot koji odgovara na radno vrijeme trebao bi rutirati drugačije od sustava koji sastavlja službene opomene. Zadatak, podaci, pravna osnova, reverzibilnost, ljudski pregled i pogođena osoba svi mijenjaju rutu. Tretirati istu politiku usmjerivača kao prikladnu za sav posao nije učinkovitost. To je pogodnost odjevena u dijagram sustava.
Riječ najbolji stoga treba svjedoke. Odluka o rutiranju trebala bi moći pokazati koja su ograničenja primijenjena prije odabira modela. Trebala bi pokazati zašto su određeni modeli bili prihvatljivi, zašto su drugi bili blokirani, koji su dokazi poduprli odabir i koji bi se rezervni plan koristio da odabrana ruta ne uspije. Ako je trošak nadjačao lokalnost, recite to. Ako je lokalnost nadjačala sposobnost, recite to. Ako je slučaj visokog utjecaja zahtijevao model koji se može pregledati umjesto najbržeg modela, recite to. Skriveni kompromisi ne postaju manje politički time što su skriveni. Postaju manje odgovorni.
Postoji mala okrutnost u nadzornim pločama koje uspješnost usmjeravanja prikazuju kao jednu jedinu zbirnu ocjenu. Prosječna kvaliteta odgovora raste. Prosječni trošak pada. Prosječna latencija je zadovoljavajuća. U međuvremenu osjetljivi slučajevi mogu prelaziti granicu, stručni rad može biti usmjeren modelu koji ne može pružiti pouzdane dokaze, a rezervni put može u tišini slati zahtjeve u regiju koju nitko nije odobrio. Prosjeci su prijateljski raspoloženi na isti način na koji je stroj za maglu atmosferski. Oni nisu mjesto gdje bi ozbiljno upravljanje trebalo živjeti.
Usmjeravanje prema trošku ima dugačak rep
Usmjeravanje prema trošku privlačno je jer brzo donosi vidljive uštede. Šaljite jednostavne zadatke jeftinijim modelima. Koristite skupe modele samo kada je potrebno. Predmemorirajte ponovljene odgovore. Prijeđite na rezervni put kada dobavljač uspori. Ništa od ovoga nije nerazumno. Zapravo, odbijanje troškovne discipline svojevrsna je neodgovornost. Pogreška je dopustiti da kratkoročni jedinični trošak postane jedini ozbiljni broj u politici usmjeravanja.
Dugački rep počinje s evaluacijom. Jeftini put koji povećava opterećenje pregleda možda samo izgleda jeftino jer opterećenje pregleda sjedi u drugom odjelu. Brzi model koji proizvodi nešto uvjerljivije pogreške može povećati trošak ispravljanja, rješavanje pritužbi, napor revizije ili profesionalni umor. Rezervni put koji izbjegava prekid rada prelaskom u drugu regiju može kasnije stvoriti pravni posao. Model koji je danas jeftin može postati skup jednom kada organizacija oko njega izgradi upite, evaluacije, fino podešavanje, praćenje i navike operatera. Ovisnost ima običaj predstaviti se nakon uvodnog popusta.
Usmjeravanje prema trošku također oblikuje tržište. Velike organizacije nisu pasivni kupci. Njihov promet obučava prioritete dobavljača i financira određene ekosustave. Ako se ozbiljan institucionalni rad uvijek usmjerava na mali broj vanjskih krajnjih točaka, lokalna sposobnost slabi. Ako su zadaci niskog rizika, ali velikog opsega, rezervirani za lokalne modele, ti modeli dobivaju operativne dokaze i ekonomski kisik. To ne znači da svaka organizacija mora subvencionirati tehnologiju koja joj nije potrebna. To znači da je politika usmjeravanja jedno od mjesta gdje odluke o nabavi postaju industrijske odluke.
Postoji i operativna inačica ovoga. Ako tim nikada ne vidi što je usmjerivač učinio, ne može naučiti gdje su manji modeli dovoljni. Ne može prepoznati zadatke koji bi trebali postati deterministički tijekovi rada. Ne može pronaći točku u kojoj bi bolji podaci omogućili jeftinije usmjeravanje. Usmjerivač postaje crna kutija koja centralno štedi novac, a kompetenciju čini lokalnom samo slučajno. To je loša pogodba. Dobar usmjerivač trebao bi učiniti troškove dovoljno vidljivima da timovi mogu poboljšati rad, a ne samo račun.
Lokalnost je praktično ograničenje, a ne raspoloženje
O lokalnosti podataka često se raspravlja napuhanim jezikom, kao da je svaka odluka o usmjeravanju referendum o civilizaciji. To je beskorisno i, što je još važnije, dosadno. Lokalnost je praktično ograničenje. Gdje se podaci kreću. Gdje se obrađuju. Gdje se pohranjuju zapisnici. Koji se zakoni primjenjuju. Koje osoblje može pregledati trag. Koji dobavljač može vidjeti izvedeni materijal. Koji se zahtjev za brisanje ili ispravak može ispuniti. Koji sustav nastavlja raditi ako je ruta blokirana. Ova pitanja određuju kontrolira li organizacija svoj rad pod pritiskom.
Dio posla može sigurno napustiti organizaciju. Dio posla ne bi trebao. Dio posla može napustiti organizaciju nakon redakcije. Dio posla može napustiti organizaciju samo nakon prolaska kroz politička vrata. Dio posla trebao bi se obavljati lokalno jer su podaci osjetljivi, latencija je važna, model je dovoljno dobar ili dokazi moraju ostati pod izravnom kontrolom. Dio posla trebao bi se obavljati na daljinu jer zadatak istinski zahtijeva sposobnost koja nije lokalna. Poanta nije čistoća. Poanta je promišljeno postavljanje s potvrdom.
Lokalnost uključuje i dokaze. Nije dovoljno znati da je odgovor stigao. Organizacija mora znati koja je ruta odabrana, koja su ograničenja provjerena, koji su dijelovi izvora poslani, koja je verzija modela odgovorila, koja je rezervna opcija bila dostupna i je li zadržan ikakav izvedeni podatak. Ako je trag vidljiv samo kroz nadzornu ploču dobavljača, organizacija bi tijekom incidenta mogla otkriti da njezina odgovornost ovisi o redu čekanja za podršku. Red čekanja za podršku nije strategija suvereniteta, čak i ako je broj zahtjeva vrlo umirujući.
Dobra politika lokalnosti čini sigurnu rutu jeftinijom za korištenje. Ako su redakcija, lokalna ekstrakcija, provjere politika i prikupljanje dokaza naporni, timovi će pronaći prečace. Ako usmjerivač može automatski primijeniti te kontrole, timovi ne moraju postati amaterski stručnjaci za nadležnost prije ručka. Praktična dobit nije ideološka čistoća. To je smanjenje trenja pri obavljanju kontrolirane stvari.
Referentne vrijednosti nisu zapovijedi
Usmjeravanje modela često posuđuje samopouzdanje od referentnih vrijednosti. Ovaj model postiže bolje rezultate u rasuđivanju. Onaj je bolji u kodiranju. Drugi je jeftiniji za dugi kontekst. Referentne vrijednosti su korisne, ali nisu zapovijedi. Rijetko predstavljaju stvarne dokumente organizacije, mješavinu jezika, ograničenja politika, toleranciju na pogreške, obrazac ljudskog pregleda ili pravnu granicu. Referentna vrijednost može vam reći da je model općenito snažan. Ne može vam reći da bi trebao vidjeti određeni spis građanina u 14:07 u četvrtak pod privremenom iznimkom od politike.
Evaluacija zadataka stoga mora biti unutar petlje usmjeravanja. Koji je model proizveo točne strukturirane izlaze na vašim obrascima. Koji je model manje halucinirao na vašoj arhivi politika. Koji je model sačuvao nizozemske nijanse u tekstu pritužbi. Koji je model obrađivao stare skenirane dokumente. Koji se model sigurno pokazao neuspješnim kada su izvori bili u sukobu. Koji je model davao bolje odgovore nakon pretraživanja. Koji je model povećao ljudsko nadjačavanje. Koji je model smanjio ponovni rad. Točan odgovor može se mijenjati po tromjesečju, kvaliteti izvora, politici i osoblju.
Usmjerivač bi trebao prepoznavati i rješenja koja ne koriste modele. Neki zadaci pripadaju pravilima, upitima u bazama podataka, pretraživanju, rješavačima ograničenja, predlošcima ili ljudskim radnim stolovima. Slanje determinističkog posla generativnom modelu samo zato što usmjerivač već postoji, isto je kao pozvati taksi da prijeđe ured. Možda stigne, ali niste razumjeli zgradu. Usmjerivaču treba dopustiti da kaže da model nije potreban. To nije neuspjeh usvajanja umjetne inteligencije. To je početak zdrave arhitekture.
Skriveni ustav usmjerivača
Svaki usmjerivač treba ustav, čak i ako se dokument tako ne zove jer organizacije postanu nervozne kad softver zvuči kao država. Ustav kaže koja su pravila tvrda ograničenja, a koja sklonosti. Osjetljivi osobni podaci nikada ne smiju napustiti određenu granicu. Odluke s velikim utjecajem mogu zahtijevati provjerljive putove. Sažeci niskog rizika mogu optimizirati trošak. Rezervni putovi mogu smanjiti sposobnost, ali ne i privatnost. Hitna pravila mogu isteći. Ljudi smiju nadjačati usmjeravanje samo uz zabilježeni razlog.
Ovaj ustav trebaju moći čitati politika, inženjering, operacije, nabava, pravni odjel, sigurnost i revizija. To ne znači da svaka osoba čita kod. To znači da pravila usmjeravanja imaju razumljiv sloj politike i testabilan tehnički sloj. Pravilo koje pravni odjel razumije, a inženjering ne može testirati, kazalište je. Pravilo koje inženjering može testirati, a politika ne može razumjeti, privatna je vlada. Ni jedno ni drugo ne izgleda dobro, iako drugo često ima ljepši YAML.
Ustav bi trebao definirati i promjene. Tko može dodati model. Tko ga može ukloniti. Tko može mijenjati težine. Tko odobrava novi rezervni put. Koji su dokazi potrebni prije nego jeftiniji model dobije više prometa. Što se događa kad dobavljač promijeni uvjete, verziju modela, praksu čuvanja podataka ili regiju. Koje metrike pokreću pregled. Koji incidenti zaustavljaju put. Bez pravila o promjenama, politika usmjeravanja polako skreće kroz niz malih praktičnih odluka dok nitko više ne sjeća kada se ustav pomaknuo.
Ovdje postoji i ljudska politika. Timovi će lobirati za putove koji olakšavaju njihov posao. Financije će voljeti jeftine putove. Sigurnost će voljeti ograničene putove. Korisnici će voljeti brze putove. Stručnjaci za domene voljet će sposobne putove. Nabava će voljeti putove koji odgovaraju ugovorima. Izvršni direktori voljet će putove koji ostavljaju opcije otvorenima bez vidljivo većih troškova. Ti su interesi legitimni. Usmjerivač je mjesto gdje se oni moraju izričito pomiriti, umjesto da se prokrijumčare u zadani naziv poput uravnoteženo.
Rezervni put je mjesto gdje se načela testiraju
Lako je upravljati usmjeravanjem dok sve radi. Teži trenutak je prekid rada, preopterećenje, pritisak na proračun ili pozornost javnosti. Udaljeni pružatelj uspori. Lokalni model padne na ispitivanju izdanja. Krajnja točka visoke sposobnosti postane nedostupna. Nova politika ograniči regiju. Dobavljač promijeni uvjete čuvanja podataka. Organizacija i dalje ima posla. Pravila za prelazak na rezervni način rada odlučuju hoće li načela preživjeti neugodnosti.
Ozbiljna politika prelaska na rezervni način rada kaže što smije degradirati, a što ne smije. Latencija smije degradirati. Sposobnost smije degradirati za zadatke niskog rizika. Dio nehitnog posla smije čekati u redu. Neki se zadaci smiju vratiti na predloške ili pravila. Neke rute visokog učinka smiju se zaustaviti umjesto da prijeđu granicu. Neke iznimke u hitnim slučajevima mogu zahtijevati odobrenje čovjeka i isteći nakon definiranog vremena. Usmjerivač ne bi trebao otkrivati te odluke tijekom prekida rada. Tako institucije počinju pisati upravljanje u chatu o incidentu, književnoj vrsti ograničenog dostojanstva.
Prelazak na rezervni način rada također treba dokaze. Ako je zahtjev krenuo hitnom rutom, zapis bi to trebao reći. Ako su podaci drugačije redigirani, recite to. Ako je korišten model niže sposobnosti, recite to. Ako je čovjek morao pregledati jer uobičajena ruta nije bila dostupna, recite to. Kasnija evaluacija mora odvojiti uobičajenu izvedbu od izvedbe u rezervnom načinu rada. Inače privremeni kompromis postane nevidljiv, zatim uobičajen, a potom ga netko tko nije bio na pozivu o incidentu brani kao tradiciju.
To je jedan od razloga zašto usmjeravanje pripada upravljanju, a ne samo inženjeringu platforme. Inženjeri mogu izgraditi mehanizam. Institucija mora odlučiti što je dopušteno pod pritiskom. Usmjerivač koji uvijek održava uslugu u pokretu može izgledati otporno. Ako se održava u pokretu zanemarujući granice, nije otporan. Samo je voljan.
Petlja odlučivanja, ne čarobna sklopka
Najzdraviji sustavi usmjeravanja ponašaju se poput petlji odlučivanja. Promatraju vrstu zahtjeva, osjetljivost podataka, kvalitetu izvora, izvedbu modela, povratne informacije korisnika, trošak, latenciju, nadjačavanja i incidente. Tumače odgovara li trenutačna ruta još uvijek zadatku. Odlučuju hoće li promijeniti težine, ograničenja, modele, upite, pripremu podataka ili ljudski pregled. Bilježe zašto se promjena dogodila. Ispituju jesu li se ishodi poboljšali. Poučavaju organizaciju onome što je naučeno.
Ta je petlja važna jer se svijet ne zaustavlja zbog usmjerivača. Modeli se mijenjaju. Cijene se mijenjaju. Propisi se mijenjaju. Ugovori se mijenjaju. Podaci se mijenjaju. Korisnici promijene ponašanje čim asistent postane uobičajen. Zadatci koji su bili eksperimentalni postanu temeljni. Zadatci koji su izgledali jednostavno otkriju iznimke. Usmjerivač zamrznut pri pokretanju nije upravljanje. To je fosil s pristupom mreži.
U petlju bi trebali biti uključeni ljudi bliski poslu. Oni znaju kada je odgovor modela tehnički točan, ali operativno beskoristan. Oni znaju kada brži odgovor povećava naknadne pozive. Oni znaju kada je lokalni model dovoljno dobar ako se ulaz prvo očisti. Oni znaju kada je udaljeni specijalist opravdan. Usmjeravanje koje zanemaruje povratne informacije iz domene optimizirat će vidljive brojke, a zatim se iznenaditi kada se stvarni posao ne slaže.
Neugodna pitanja kupca
Svaka organizacija koja kupuje ili gradi sloj usmjeravanja trebala bi rano postaviti neugodna pitanja. Možemo li vidjeti politiku usmjeravanja u obliku koji naši timovi za upravljanje razumiju. Možemo li je testirati. Možemo li dokazati koja je ruta korištena za pojedini slučaj. Možemo li isključiti modele prema klasi podataka, jurisdikciji, zadatku, utjecaju ili zahtjevu za dokazima. Možemo li prisiliti rutu za evaluaciju. Možemo li usporediti skrivene troškove, ne samo troškove tokena. Možemo li čuvati zapise kada se dobavljač promijeni. Možemo li otići bez gubitka povijesti usmjeravanja.
Ta pitanja nisu protiv inovacija. To je način na koji ozbiljne institucije izbjegavaju pretvaranje odabira modela u ploču raspoloženja. Fleksibilan usmjerivač bez upravljanja može brzo dospjeti na mjesta koja nitko nije odobrio. Krut usmjerivač bez učenja može zamrznuti loše odluke. Cilj nije ni kaos ni cement. Cilj je sloj ruta koji se može prilagoditi unutar pravila, i pravila koja se mogu dovesti u pitanje dokazima.
Također vrijedi pitati tko ima koristi od neprozirnosti. Ako je usmjerivač nemoguće pregledati, organizaciji se može reći da je odabran najbolji model, a da se ne može vidjeti koje su vrijednosti korištene. To može biti prihvatljivo za igračku aplikaciju. Nije prihvatljivo za rad koji uključuje osjetljive podatke, javne zadatke, regulirane odluke, profesionalnu prosudbu ili stratešku ovisnost. Vjerujte mi, usmjerivač zna nije model upravljanja. To je rečenica zbog koje bi tim za nabavu trebao posegnuti za još jednim keksom.
Pouka
Usmjeravanje modela političko je jer pretvara institucionalne prioritete u odluke u stvarnom vremenu. Odlučuje kamo podaci idu, koji modeli dobivaju posao, koji dobavljači stječu ovisnost, koje sposobnosti sazrijevaju, koji se rizici toleriraju, koji se dokazi čuvaju i koji su rezervni planovi dopušteni pod pritiskom. Tehnički mehanizam može biti klasifikator, mehanizam politika, funkcija bodovanja ili tijek rada. Posljedice su organizacijske.
Dobro usmjeravanje počinje priznanjem da je najbolje množina. Najbolje za trošak nije uvijek najbolje za kontrolu. Najbolje za sposobnost nije uvijek najbolje za lokalnost. Najbolje za latenciju nije uvijek najbolje za reviziju. Najbolje za danas nije uvijek najbolje za izlaznu vrijednost. Zrelo usmjeravanje prvo primjenjuje stroga ograničenja, procjenjuje prikladnost lokalno, bilježi rutu, pregledava ishode i mijenja politiku na temelju dokaza. Uključuje pravila, modele, ljude, a ponekad i mudru odluku da se model uopće ne koristi.
Politika ne nestaje ako je usmjerivač skriven. Ona se jednostavno seli u zadane postavke, postavke dobavljača i nedokumentirane kompromise. Bolje je iznijeti je na vidjelo. Model usmjerivača trebao bi biti karta dopuštenog institucionalnog kretanja, a ne čarobna sklopka između krajnjih točaka. Kad organizacija to shvati, usmjeravanje prestaje biti tehnička fusnota i postaje ono što je oduvijek bilo: upravljačka ravnina suvereniteta.