Politika smerovania modelov
Malý prepínač, ktorý nikto nedal na program
Rokovanie o nákupe sa týkalo AI asistenta pre veľkú servisnú organizáciu. Program mal zvyčajné vážne podstatné mená: kvalita, súkromie, náklady, adopcia, súlad s predpismi, plán. Ukážka prebehla hladko. Používateľ položil otázku, odpoveď sa objavila, zdroje boli citované a rozhranie vyzeralo dostatočne pokojne na to, aby prešlo cez niekoľko výborov. Potom inžinier spomenul, že požiadavky budú smerované cez modelový router. Jednoduché, povedal. Router vyberie najlepší dostupný model pre každú úlohu.
Jednoduché je často miesto, kde vstupuje politika oblečená vo fleece veste. Miestnosť počula problém optimalizácie. Router by vyvažoval náklady, rýchlosť, schopnosti, dostupnosť a možno aj citlivosť údajov. To znelo technicky. Znelo to tiež pohodlne, čo je zvuk, ktorý vydáva mnoho medzier v riadení, kým získajú rozpočet. Až neskôr sa niekto spýtal, čo znamená najlepší. Najlacnejší. Najrýchlejší. Najpresnejší na anglickom benchmarku. Najdostupnejší počas pracovnej doby v Európe. Najovládateľnejší. Najinšpektovateľnejší. Najmenej závislý od jediného dodávateľa. Najmenej pravdepodobný, že odošle dôverný materiál cez hranicu, ktorú nikto nevedel vysvetliť.
Router nebol vedľajší komponent. Bol to bod, kde sa inštitucionálna politika stávala správaním za behu. Prechádzala ním každá požiadavka. Rozhodoval by, či lokálny model spracuje klasifikáciu, či vzdialený model navrhne odpoveď, či špecializovaný model uvidí právny text, či všeobecný model dostane kontext zákazníka, či záložné riešenie prekročí regióny, či je lacnejší koncový bod povolený pre prácu s nízkym rizikom a či sa prípad s vysokým dopadom spomalí kvôli dôkazom. Router bol plocha riadenia s API.
Toto je politika modelového smerovania. Nie stranícka politika, nie prejavy, nie dramatické vlajky v strategickom dokumente. Tichšia politika toho, ktoré kompromisy sú zakódované ako predvolené hodnoty. Pravidlo smerovania môže míňať verejné peniaze v zahraničí alebo udržať schopnosti lokálne. Môže zachovať lokalitu údajov alebo ju erodovať prípad od prípadu. Môže urobiť dodávateľa nepostrádateľným alebo udržať možnosti odchodu. Môže uprednostniť vysvetliteľnosť pred latenciou alebo latenciu pred možnosťou nápravy. Môže zmeniť suverenitu na prevádzkové obmedzenie alebo na odsek v nákupnom texte.
Smerovanie nie je neutrálne potrubie
Je pochopiteľné pokušenie vnímať smerovanie ako obyčajné potrubie. Príde požiadavka. Systém klasifikuje úlohu. Vyberie model. Vráti sa odpoveď. Ak je odpoveď dobrá a účet nižší, všetci potrubie pochvália. Ale potrubie nesie moc. Vodovodné potrubie rozhoduje, ktorá štvrť dostane tlak. Smerovač modelov rozhoduje, ktorá schopnosť dostane prácu. To, že je rozhodnutie automatizované, z neho nerobí neutrálne rozhodnutie. Robí z politiky len menej konverzačnú záležitosť.
Smerovač obsahuje teóriu hodnoty. Ak zoraďuje modely hlavne podľa ceny, organizácia si zvolila náklady ako dominantnú hodnotu. Ak zoraďuje podľa výsledkov benchmarkov, zvolila si úzku definíciu kompetencie. Ak zoraďuje podľa latencie, zvolila si rýchlosť. Ak pred hodnotením schopností filtruje podľa jurisdikcie, auditovateľnosti, zmluvných práv, transparentnosti zdroja alebo minimalizácie údajov, zvolila si kontrolu. Žiadna z týchto volieb nie je automaticky nesprávna. Problém je predstierať, že to nie sú voľby.
Smerovanie tiež distribuuje učenie. Model, ktorý dostáva prevádzku, dostáva aj prevádzkové príklady, hlásenia o chybách, pozornosť pri vyhodnocovaní, integračné úsilie a zdôvodnenie rozpočtu. Model, ktorý prevádzku dostáva len zriedka, časom vyzerá horšie, pretože je menej prispôsobený práci organizácie. Takto môže smerovač vytvoriť budúcnosť, ktorú tvrdí, že len meria. Ak sa lokálny alebo otvorený model vždy používa len na triviálne úlohy, nikdy si nevybuduje základňu dôkazov potrebnú na vážne úlohy. Ak vzdialený všeobecný model dostane každý ťažký prípad, závislosť sa stane sebanaplňujúcim sa ukazovateľom.
Rovnaký efekt sa prejavuje v tímoch. Ak je politika smerovania skrytá na portáli dodávateľa alebo v malej platformovej skupine, vlastníci domén strácajú prehľad o tom, prečo ich práca putuje tam, kam putuje. Právne oddelenie vidí posúdenie ochrany súkromia. Financie vidia nákladovú položku. Prevádzka vidí kvalitu odozvy. Bezpečnosť vidí prístupové protokoly. Nákup vidí zmluvné klauzuly. Smerovač vidí celé rozhodnutie. Kto riadi smerovač, riadi kompromis medzi týmito perspektívami. To nie je potrubie. To je inštitucionálna arbitráž s nižšou latenciou.
Slovo najlepší potrebuje svedkov
Najlepší je príliš malé slovo na smerovanie modelov. Model môže byť najlepší na preklad, najhorší na dôverné zaobchádzanie so zdrojmi, primeraný na sumarizáciu, slabý na štruktúrovanú extrakciu, vynikajúci na rýchlosť, drahý na objem, slabý na sledovateľnosť a politicky nevhodný pre verejný orgán, ktorý musí vysvetliť, kam sa dostali údaje občanov. Jedno poradie skrýva skutočnosť, že schopnosť je multidimenzionálna. Skrýva tiež skutočnosť, že každá dimenzia záleží pri rôznych úlohách inak.
Asistent na kontrolu zmlúv by mal smerovať inak ako pozdrav na helpdesku. Nástroj na podporu lekárskeho triedenia by mal smerovať inak ako sumár zo stretnutia. Mestský chatbot odpovedajúci na otváracie hodiny by mal smerovať inak ako systém navrhujúci donucovacie listy. Úloha, údaje, právny základ, reverzibilita, ľudská kontrola a dotknutá osoba menia trasu. Považovať rovnakú politiku smerovača za vhodnú pre všetku prácu nie je efektívnosť. Je to pohodlie oblečené do diagramu systému.
Slovo najlepší preto potrebuje svedkov. Rozhodnutie o smerovaní by malo vedieť ukázať, ktoré obmedzenia sa uplatnili pred výberom modelu. Malo by ukázať, prečo boli určité modely oprávnené, prečo boli iné zablokované, aké dôkazy podporili voľbu a ktorý záložný postup by sa použil, keby zvolená trasa zlyhala. Ak náklady prekonali lokalitu, povedzte to. Ak lokalita prekonala schopnosť, povedzte to. Ak vysokorizikový prípad vyžadoval kontrolovateľný model namiesto najrýchlejšieho modelu, povedzte to. Skryté kompromisy sa skrývaním nestávajú menej politickými. Stávajú sa menej zodpovednými.
V dashboardoch, ktoré zobrazujú úspešnosť smerovania ako jeden zmiešaný skóre, je ukrytá malá krutosť. Priemerná kvalita odpovedí rastie. Priemerné náklady klesajú. Priemerná latencia je v poriadku. Medzitým môžu citlivé prípady prekračovať hranicu, odborná práca môže byť smerovaná na model, ktorý nevie poskytnúť spoľahlivé dôkazy, a záložné riešenie môže ticho posielať požiadavky do regiónu, ktorý nikto neschválil. Priemery sú prívetivé rovnako ako hmlový stroj je atmosférický. Nie sú miestom, kde by mala žiť vážna správa vecí verejných.
Nákladové smerovanie má dlhý chvost
Nákladové smerovanie je príťažlivé, pretože rýchlo prináša viditeľné úspory. Posielajte jednoduché úlohy na lacnejšie modely. Drahé modely používajte len vtedy, keď je to potrebné. Ukladajte opakované odpovede do vyrovnávacej pamäte. Prepnite na záložné riešenie, keď poskytovateľ spomalí. Nič z toho nie je nerozumné. Naopak, odmietať nákladovú disciplínu je svojím spôsobom nezodpovednosť. Chybou je nechať krátkodobé jednotkové náklady, aby sa stali jediným vážnym číslom v politike smerovania.
Dlhý chvost sa začína hodnotením. Lacná trasa, ktorá zvyšuje záťaž pri kontrole, môže vyzerať lacno len preto, že záťaž pri kontrole leží v inom oddelení. Rýchly model, ktorý produkuje o niečo vierohodnejšie chyby, môže zvýšiť náklady na opravy, vybavovanie sťažností, audítorskú prácu alebo profesionálnu únavu. Záložné riešenie, ktoré sa vyhýba výpadkom prechodom cez región, môže neskôr vytvoriť právnu prácu. Model, ktorý je dnes lacný, sa môže stať drahým, keď si okolo neho organizácia vybuduje prompty, hodnotenia, dolaďovanie, monitorovanie a návyky operátorov. Závislosť má vo zvyku predstaviť sa až po úvodnej zľave.
Nákladové smerovanie tiež formuje trh. Veľké organizácie nie sú pasívni kupujúci. Ich prevádzka formuje priority dodávateľov a financuje určité ekosystémy. Ak sa vážna inštitucionálna práca vždy smeruje na malý počet externých koncových bodov, lokálna kapacita slabne. Ak sú úlohy s nízkym rizikom, ale vysokým objemom vyhradené pre lokálne modely, tieto modely získavajú prevádzkové dôkazy a ekonomický kyslík. To neznamená, že každá organizácia musí dotovať technológie, ktoré nepotrebuje. Znamená to, že politika smerovania je jedným z miest, kde sa nákupné rozhodnutia stávajú priemyselnými rozhodnutiami.
Existuje aj prevádzková verzia tohto. Ak tím nikdy nevidí, čo router urobil, nemôže sa naučiť, kde postačujú menšie modely. Nedokáže identifikovať úlohy, ktoré by sa mali stať deterministickými pracovnými postupmi. Nedokáže nájsť bod, kde by lepšie dáta umožnili lacnejšie smerovanie. Router sa stáva čiernou skrinkou, ktorá šetrí peniaze centrálne, zatiaľ čo kompetenciu robí lokálnou len náhodou. To je zlá výmena. Dobrý router by mal robiť náklady dostatočne viditeľnými, aby tímy mohli zlepšiť prácu, nielen faktúru.
Lokalita je praktické obmedzenie, nie nálada
O lokalite dát sa často hovorí nafúknutým jazykom, akoby každé rozhodnutie o smerovaní bolo referendom o civilizácii. To je nepomáhajúce a, čo je dôležitejšie, nudné. Lokalita je praktické obmedzenie. Kde sa dáta pohybujú. Kde sa spracúvajú. Kde sa ukladajú protokoly. Ktoré zákony platia. Ktorí zamestnanci môžu skontrolovať stopu. Ktorý dodávateľ môže vidieť odvodený materiál. Ktorú žiadosť o výmaz alebo opravu možno splniť. Ktorý systém beží ďalej, ak je trasa zablokovaná. Tieto otázky rozhodujú o tom, či organizácia kontroluje svoju prácu v záťaži.
Niektorá práca môže organizáciu bezpečne opustiť. Niektorá práca by nemala. Niektorá práca môže odísť po redakcii. Niektorá práca môže odísť len po schválení politikou. Niektorá práca by sa mala vykonávať lokálne, pretože dáta sú citlivé, latencia je dôležitá, model je dostatočne dobrý alebo dôkazy musia zostať pod priamou kontrolou. Niektorá práca by mala byť vzdialená, pretože úloha skutočne potrebuje schopnosť, ktorá nie je lokálna. Nejde o čistotu. Ide o zámerné umiestnenie s potvrdením.
Lokalita zahŕňa aj dôkazy. Nestačí vedieť, že odpoveď prišla. Organizácia potrebuje vedieť, ktorá trasa bola zvolená, ktoré obmedzenia boli skontrolované, ktoré časti zdroja boli odoslané, ktorá verzia modelu odpovedala, ktorá záložná možnosť bola k dispozícii a či boli zachované nejaké odvodené dáta. Ak je stopa viditeľná len cez dashboard dodávateľa, organizácia môže počas incidentu zistiť, že jej zodpovednosť závisí od podpory. Podpora nie je stratégiou suverenity, aj keď je číslo tiketu veľmi upokojujúce.
Dobrá politika lokality robí bezpečnú trasu lacnejšou na používanie. Ak sú redakcia, lokálna extrakcia, kontroly politiky a zachytávanie dôkazov bolestivé, tímy nájdu skratky. Ak router dokáže tieto kontroly aplikovať automaticky, tímy sa nemusia stať amatérskymi odborníkmi na jurisdikciu pred obedom. Praktické víťazstvo nie je ideologická čistota. Je to zníženie trenia pri robení kontrolovanej veci.
Benchmarky nie sú príkazy
Smerovanie modelov často čerpá sebavedomie z benchmarkov. Tento model dosahuje vyššie skóre v uvažovaní. Tamten je lepší v kódovaní. Ďalší je lacnejší pre dlhý kontext. Benchmarky sú užitočné, ale nie sú príkazy. Málokedy reprezentujú skutočné dokumenty organizácie, jazykovú zmes, obmedzenia politiky, toleranciu chýb, vzor ľudskej kontroly alebo právnu hranicu. Benchmark vám môže povedať, že model je všeobecne silný. Nemôže vám povedať, že by mal vidieť konkrétny súbor občana o 14:07 vo štvrtok za dočasnej výnimky z politiky.
Hodnotenie úloh preto musí byť súčasťou slučky smerovania. Ktorý model produkoval správne štruktúrované výstupy na vašich formulároch. Ktorý model halucinoval menej na vašom archíve politík. Ktorý model zachoval holandské nuansy v textoch sťažností. Ktorý model spracoval staré naskenované dokumenty. Ktorý model zlyhal bezpečne, keď si zdroje protirečili. Ktorý model dal lepšie odpovede po vyhľadávaní. Ktorý model zvýšil ľudské zásahy. Ktorý model znížil prepracovanie. Správna odpoveď sa môže meniť podľa štvrťroka, kvality zdrojov, politiky a personálneho obsadenia.
Smerovanie by malo rozpoznávať aj riešiče, ktoré nie sú modelmi. Niektoré úlohy patria pravidlám, databázovým dotazom, vyhľadávaniu, riešičom obmedzení, šablónam alebo ľudským pracoviskám. Posielať deterministickú prácu generatívnemu modelu len preto, že smerovač už existuje, je ako volať taxík, aby prešiel cez kanceláriu. Možno príde, ale nepochopili ste budovu. Smerovač by mal mať možnosť povedať, že model nie je potrebný. To nie je zlyhanie zavádzania umelej inteligencie. Je to začiatok rozumnej architektúry.
Skrytá ústava smerovača
Každý smerovač potrebuje ústavu, aj keď sa dokument tak nevolá, pretože organizácie sú nervózne, keď softvér znie ako krajina. Ústava hovorí, ktoré pravidlá sú pevné obmedzenia a ktoré sú preferencie. Citlivé osobné údaje nesmú nikdy opustiť určenú hranicu. Vysoko vplyvné rozhodnutia môžu vyžadovať kontrolovateľné trasy. Nízkorizikové súhrny môžu optimalizovať náklady. Náhradné riešenia môžu znížiť schopnosti, ale nie súkromie. Núdzové pravidlá môžu vypršať. Ľudia môžu prepísať smerovanie len so zaznamenaným dôvodom.
Túto ústavu by mali vedieť čítať politika, inžinierstvo, prevádzka, obstarávanie, právne oddelenie, bezpečnosť aj audit. To neznamená, že každý číta kód. Znamená to, že pravidlá smerovania majú zrozumiteľnú politickú vrstvu a testovateľnú technickú vrstvu. Pravidlo, ktorému právnici rozumejú, ale inžinieri ho nevedia otestovať, je divadlo. Pravidlo, ktoré inžinieri vedia otestovať, ale politika mu nerozumie, je súkromná vláda. Ani jedno nevyzerá dobre, hoci to druhé má často krajší YAML.
Ústava by mala definovať aj zmeny. Kto môže pridať model. Kto ho môže odstrániť. Kto môže meniť váhy. Kto schvaľuje nové náhradné riešenie. Aké dôkazy sú potrebné, kým lacnejší model dostane viac prevádzky. Čo sa stane, keď dodávateľ zmení podmienky, verziu modelu, spôsob uchovávania alebo región. Ktoré metriky spúšťajú preskúmanie. Ktoré incidenty pozastavia trasu. Bez pravidiel zmien sa politika smerovania rozplýva cez sériu malých praktických rozhodnutí, až kým si nikto nepamätá, kedy sa ústava posunula.
Je tu aj ľudská politika. Tímy budú lobovať za trasy, ktoré uľahčia ich prácu. Financie budú mať radi lacné trasy. Bezpečnosť bude mať rada ohraničené trasy. Používatelia budú mať radi rýchle trasy. Doménoví experti budú mať radi schopné trasy. Obstarávanie bude mať rado trasy, ktoré sedia do zmlúv. Manažéri budú mať radi trasy, ktoré zachovávajú možnosti bez viditeľného zvýšenia nákladov. Tieto záujmy sú legitímne. Smerovač je miesto, kde sa musia zosúladiť explicitne, nie prepašovať do predvoleného nastavenia nazvaného vyvážené.
Náhradné riešenie je miesto, kde sa princípy skúšajú
Riadenie smerovania je jednoduché, keď všetko funguje. Ťažšie chvíle prichádzajú pri výpadkoch, preťažení, tlakoch na rozpočet alebo v centre pozornosti verejnosti. Vzdialený poskytovateľ sa spomalí. Lokálny model neprejde release testom. Vysokokapacitný endpoint sa stane nedostupným. Nová politika obmedzí región. Dodávateľ zmení podmienky uchovávania údajov. Organizácia má stále prácu, ktorú musí vykonať. Pravidlá pre záložné riešenia rozhodujú o tom, či zásady prežijú nepríjemnosti.
Seriózna politika záložných riešení určuje, čo sa môže zhoršiť a čo nie. Latencia sa zhoršiť môže. Kapacita sa môže zhoršiť pri úlohách s nízkym rizikom. Niektoré neurgentné práce môžu čakať vo fronte. Niektoré úlohy sa môžu vrátiť k šablónam alebo pravidlám. Niektoré vysoko rizikové trasy sa môžu zastaviť radšej, ako by mali prekročiť hranicu. Niektoré núdzové výnimky môžu vyžadovať schválenie človekom a po určenom čase vypršia. Smerovač by tieto rozhodnutia nemal objavovať počas výpadku. Takto inštitúcie začínajú písať governance do chatu počas incidentu, čo je literárny žáner s obmedzenou dôstojnosťou.
Záložné riešenia potrebujú aj dôkazy. Ak požiadavka použila núdzovú trasu, záznam by to mal uviesť. Ak boli údaje redigované inak, treba to uviesť. Ak bol použitý model s nižšou kapacitou, treba to uviesť. Ak musel človek vykonať kontrolu, pretože bežná trasa nebola dostupná, treba to uviesť. Neskoršie vyhodnotenie musí oddeliť bežný výkon od výkonu záložných riešení. Inak sa dočasný kompromis stane neviditeľným, potom bežným a nakoniec ho niekto, kto nebol na incident callu, obhajuje ako tradíciu.
To je jeden z dôvodov, prečo smerovanie patrí do governance, nielen do platformového inžinierstva. Inžinieri vedia postaviť mechanizmus. Inštitúcia musí rozhodnúť, čo je povolené pod tlakom. Smerovač, ktorý vždy udržiava službu v pohybe, môže vyzerať odolne. Ak sa pohybuje tak, že ignoruje hranice, nie je odolný. Je len ochotný.
Rozhodovacia slučka, nie magický prepínač
Najzdravšie smerovacie systémy fungujú ako rozhodovacie slučky. Pozorujú typ požiadavky, citlivosť údajov, kvalitu zdroja, výkon modelu, spätnú väzbu používateľov, náklady, latenciu, prepísania a incidenty. Interpretujú, či aktuálna trasa stále zodpovedá úlohe. Rozhodujú, či zmeniť váhy, obmedzenia, modely, prompty, prípravu údajov alebo ľudskú kontrolu. Zaznamenávajú, prečo k zmene došlo. Testujú, či sa výsledky zlepšili. Učia organizáciu, čo sa zistilo.
Táto slučka je dôležitá, pretože svet sa pre smerovač nezastaví. Modely sa menia. Ceny sa menia. Predpisy sa menia. Zmluvy sa menia. Údaje sa menia. Používatelia menia svoje správanie, keď sa asistent stane bežnou súčasťou. Úlohy, ktoré boli experimentálne, sa stávajú kľúčovými. Úlohy, ktoré vyzerali jednoducho, odhalia výnimky. Smerovač zamrznutý pri spustení nie je governance. Je to skamenelina s prístupom na sieť.
Slučka by mala zahŕňať ľudí, ktorí pracujú v blízkosti diania. Vedia, kedy je odpoveď modelu technicky správna, ale prevádzkovo nepoužiteľná. Vedia, kedy rýchlejšia odpoveď zvyšuje počet následných volaní. Vedia, kedy je lokálny model dostatočne dobrý, ak sa vstup najprv vyčistí. Vedia, kedy je vzdialený špecialista opodstatnený. Smerovanie, ktoré ignoruje spätnú väzbu z domény, optimalizuje viditeľné čísla a potom sa tvári prekvapene, keď skutočná práca nesúhlasí.
Nepríjemné otázky kupujúceho
Každá organizácia, ktorá kupuje alebo buduje vrstvu smerovania, by si mala položiť nepríjemné otázky včas. Vidíme politiku smerovania v podobe, ktorej naše tímy správy rozumejú. Môžeme ju otestovať. Môžeme dokázať, ktorá trasa sa použila pre daný prípad. Môžeme vylúčiť modely podľa triedy údajov, jurisdikcie, úlohy, vplyvu alebo požiadavky na dôkazy. Môžeme vynútiť trasu na vyhodnotenie. Môžeme porovnať skryté náklady, nielen náklady na tokeny. Môžeme uchovávať záznamy, keď sa zmení dodávateľ. Môžeme odísť bez straty histórie smerovania.
Tieto otázky nie sú proti inováciám. Sú spôsobom, akým si seriózne inštitúcie zabezpečujú, aby sa výber modelu nezmenil na náladovú tabuľu. Flexibilný smerovač bez správy sa môže rýchlo dostať na miesta, ktoré nikto neschválil. Rigidný smerovač bez učenia môže zmraziť zlé rozhodnutia. Cieľom nie je chaos ani cement. Cieľom je vrstva trás, ktorá sa dokáže prispôsobiť v rámci pravidiel, a pravidlá, ktoré možno spochybniť dôkazmi.
Stojí tiež za otázku, kto profituje z nepriehľadnosti. Ak smerovač nie je možné skontrolovať, organizácii môžu tvrdiť, že sa vybral najlepší model, bez toho, aby videla, ktoré hodnoty sa použili. To môže byť prijateľné pre hračkársku aplikáciu. Nie je to prijateľné pre prácu s citlivými údajmi, verejné úlohy, regulované rozhodnutia, odborný úsudok alebo strategickú závislosť. Dôveruj mi, smerovač vie, nie je model správy. Je to veta, pri ktorej by mal obstarávací tím siahnuť po ďalšom keksíku.
Ponaučenie
Smerovanie modelov je politické, pretože mení inštitucionálne priority na rozhodnutia za chodu. Určuje, kam idú údaje, ktoré modely dostávajú prácu, ktorí dodávatelia získavajú závislosť, ktoré schopnosti dozrievajú, ktoré riziká sa tolerujú, ktoré dôkazy sa uchovávajú a ktoré záložné riešenia sú povolené pod tlakom. Technický mechanizmus môže byť klasifikátor, politický engine, skórovacia funkcia alebo pracovný postup. Dôsledky sú organizačné.
Dobré smerovanie začína priznaním, že najlepší je množné číslo. Najlepší pre náklady nie je vždy najlepší pre kontrolu. Najlepší pre schopnosti nie je vždy najlepší pre lokalitu. Najlepší pre latenciu nie je vždy najlepší pre auditovateľnosť. Najlepší pre dnešok nie je vždy najlepší pre výstupnú hodnotu. Vyspelé smerovanie najprv uplatňuje tvrdé obmedzenia, vyhodnocuje vhodnosť lokálne, zaznamenáva trasu, preskúmava výsledky a mení politiku na základe dôkazov. Zahŕňa pravidlá, modely, ľudí a niekedy aj múdre rozhodnutie nepoužiť model vôbec.
Politika nezmizne, ak je router skrytý. Jednoducho sa presunie do predvolených nastavení, nastavení dodávateľa a nedokumentovaných kompromisov. Lepšie je vyniesť ju na svetlo. Modelový router by mal byť mapou povoleného inštitucionálneho pohybu, nie magickým prepínačom medzi koncovými bodmi. Keď organizácia toto pochopí, smerovanie prestane byť technickou poznámkou pod čiarou a stane sa tým, čím vždy bolo: riadiacou rovinou suverenity.