Politika směrování modelů
Malý přepínač, který nikdo nedal na program
Nákupní jednání se týkalo AI asistenta pro velkou servisní organizaci. Na programu byly obvyklé vážné podstatné jména: kvalita, soukromí, náklady, adopce, compliance, roadmap. Demonstrace proběhla hladce. Uživatel položil otázku, objevila se odpověď, byly citovány zdroje a rozhraní vypadalo dost klidně na to, aby prošlo několika výbory. Pak inženýr zmínil, že požadavky budou odesílány přes model router. Jednoduché, řekl. Router vybere nejlepší dostupný model pro každý úkol.
„Jednoduché" je často místo, kde do hry vstupuje politika ve fleecové vestě. Místnost slyšela optimalizační problém. Router by vyvažoval náklady, rychlost, schopnosti, dostupnost a možná i citlivost dat. To znělo technicky. Také to znělo pohodlně, což je zvuk, který mnoho mezer v řízení vydává, než získají rozpočet. Teprve později se někdo zeptal, co znamená „nejlepší". Nejlevnější. Nejrychlejší. Nejpřesnější podle anglického benchmarku. Nejvíce dostupný během pracovní doby v Evropě. Nejobtížněji ovladatelný. Nejinspkovatelnější. Nejméně závislý na jediném dodavateli. Nejméně pravděpodobné, že odešle důvěrný materiál přes hranici, kterou nikdo nedokázal vysvětlit.
Router nebyl vedlejší komponenta. Byl to bod, kde se institucionální politika stávala chováním za běhu. Procházel jím každý požadavek. Rozhodoval, zda lokální model zpracuje klasifikaci, zda vzdálený model navrhne odpověď, zda specializovaný model uvidí právní text, zda obecný model dostane kontext zákazníka, zda záložní řešení překročí regiony, zda je pro práci s nízkým rizikem povolen levnější endpoint a zda se vysoce dopadový případ zpomalí kvůli důkazům. Router byl plocha řízení s API.
To je politika model routingu. Ne stranická politika, ne projevy, ne dramatické vlajky ve strategickém dokumentu. Tišší politika toho, které kompromisy jsou zakódovány jako výchozí nastavení. Pravidlo routingu může utrácet veřejné peníze v zahraničí nebo udržet schopnosti lokálně. Může zachovat lokalitu dat nebo ji případ od případu narušovat. Může učinit dodavatele nepostradatelným nebo ponechat možnosti odchodu. Může upřednostnit vysvětlitelnost před latencí, nebo latenci před možností nápravy. Může proměnit suverenitu v provozní omezení nebo v odstavec v nákupní próze.
Routing není neutrální infrastruktura
Je pochopitelné pokušení považovat směrování za pouhé potrubí. Přijde požadavek. Systém zařadí úlohu. Vybere model. Odpověď se vrátí. Pokud je odpověď dobrá a účet nižší, všichni potrubí pochválí. Ale potrubí nese moc. Vodovodní potrubí rozhoduje, která čtvrť dostane tlak. Směrovač modelů rozhoduje, která schopnost dostane práci. To, že je rozhodnutí automatizované, z něj nedělá neutrální záležitost. Jen to činí politiku méně konverzační.
Směrovač obsahuje teorii hodnoty. Pokud řadí modely hlavně podle ceny, organizace zvolila náklady jako dominantní hodnotu. Pokud řadí podle výsledků benchmarků, zvolila úzkou definici kompetence. Pokud řadí podle latence, zvolila rychlost. Pokud před vyhodnocením schopností filtruje podle jurisdikce, auditovatelnosti, smluvních práv, transparentnosti zdrojů nebo minimalizace dat, zvolila kontrolu. Žádná z těchto voleb není automaticky špatná. Problém je předstírat, že to nejsou volby.
Směrování také rozděluje učení. Model, který dostává provoz, získává provozní příklady, hlášení chyb, pozornost při vyhodnocování, integrační úsilí a zdůvodnění rozpočtu. Model, který provoz dostává jen zřídka, časem vypadá hůře, protože je méně vyladěn na práci organizace. Tak může směrovač vytvořit budoucnost, kterou tvrdí, že pouze měří. Pokud se lokální nebo otevřený model vždy používá jen na triviální úkoly, nikdy nevybuduje základnu důkazů potřebnou pro vážné úkoly. Pokud vzdálený obecný model dostane každý obtížný případ, závislost se stane sebenaplňující metrikou.
Stejný efekt se objevuje v týmech. Pokud je politika směrování skryta na portálu dodavatele nebo v malé platformní skupině, vlastníci domén ztrácejí přehled o tom, proč jejich práce putuje tam, kam putuje. Právní oddělení vidí kontrolu ochrany soukromí. Finance vidí nákladovou položku. Provoz vidí kvalitu odpovědí. Bezpečnost vidí přístupové protokoly. Nákup vidí smluvní klauzule. Směrovač vidí celé rozhodnutí. Kdo řídí směrovač, řídí kompromis mezi těmito pohledy. To není potrubí. To je institucionální arbitráž s nižší latencí.
Slovo nejlepší potřebuje svědky
Nejlepší je pro směrování modelů příliš malé slovo. Model může být nejlepší pro překlad, nejhorší pro nakládání s důvěrnými zdroji, dostatečný pro sumarizaci, slabý pro strukturovanou extrakci, vynikající pro rychlost, drahý pro velké objemy, slabý pro sledovatelnost a politicky nepohodlný pro veřejný orgán, který musí vysvětlit, kam putovala data občanů. Jediné pořadí skrývá skutečnost, že schopnost je vícerozměrná. Skrývá také skutečnost, že každá dimenze záleží u každé úlohy jinak.
Asistent pro kontrolu smluv by měl směrovat jinak než pozdrav na helpdesku. Nástroj pro podporu třídění v medicíně by měl směrovat jinak než zápis ze schůze. Městský chatbot odpovídající na otázky o otevírací době by měl směrovat jinak než systém navrhující úřední výzvy. Úloha, data, právní základ, vratnost, lidská kontrola a dotčená osoba, to vše mění trasu. Považovat stejnou politiku směrování za vhodnou pro veškerou práci není efektivita. Je to pohodlí oblečené do diagramu systémů.
Slovo nejlepší proto potřebuje svědky. Rozhodnutí o směrování by mělo umět ukázat, která omezení byla použita před výběrem modelu. Mělo by ukázat, proč byly určité modely způsobilé, proč byly jiné zablokovány, jaké důkazy volbu podpořily a který záložní postup by se použil, kdyby zvolená trasa selhala. Pokud náklady převážily nad lokalitou, řekněte to. Pokud lokalita převážila nad schopností, řekněte to. Pokud vysoce rizikový případ vyžadoval kontrolovatelný model spíše než nejrychlejší model, řekněte to. Skryté kompromisy se skrýváním nestávají méně politickými. Stávají se méně odpovědnými.
Na dashboardech, které ukazují úspěšnost routování jako jediné průměrné skóre, je něco krutého. Průměrná kvalita odpovědí roste. Průměrné náklady klesají. Průměrná latence je v pořádku. Mezitím mohou citlivé případy překračovat hranice, odborná práce může být směrována na model, který nedokáže poskytnout spolehlivé důkazy, a fallback může tiše posílat požadavky do regionu, který nikdo neschválil. Průměry jsou přívětivé stejně jako stroj na mlhu je atmosférický. Nejsou místem, kde by měla žít seriózní správa.
Cost routing má dlouhý ocas
Cost routing je přitažlivý, protože rychle přináší viditelné úspory. Posílejte jednoduché úkoly levnějším modelům. Drahé modely používejte jen tehdy, když je to nutné. Kešujte opakované odpovědi. Použijte fallback, když se poskytovatel zpomalí. Nic z toho není pošetilé. Naopak odmítat nákladovou disciplínu je svým způsobem nezodpovědnost. Chybou je nechat krátkodobé jednotkové náklady, aby se staly jediným seriózním číslem v politice routování.
Dlouhý ocas začíná vyhodnocováním. Levná trasa, která zvyšuje zátěž při revizi, může vypadat levně jen proto, že zátěž při revizi leží v jiném oddělení. Rychlý model, který produkuje o něco pravděpodobnější chyby, může zvýšit náklady na opravy, vyřizování stížností, úsilí při auditu nebo profesní vyčerpání. Fallback, který se vyhne výpadku překročením regionu, může později vytvořit právní práci. Model, který je dnes levný, se může stát drahým, jakmile kolem něj organizace vybuduje prompty, vyhodnocování, fine-tuning, monitorování a návyky operátorů. Závislost má ve zvyku představit se až po úvodní slevě.
Cost routing také utváří trh. Velké organizace nejsou pasivními kupci. Jejich provoz trénuje priority dodavatelů a financuje určité ekosystémy. Pokud seriózní institucionální práce vždy směřuje k malému počtu externích koncových bodů, místní schopnosti slábnou. Pokud jsou nízko rizikové, ale objemově velké úkoly vyhrazeny místním modelům, tyto modely získávají provozní důkazy a ekonomický kyslík. To neznamená, že každá organizace musí dotovat technologii, kterou nepotřebuje. Znamená to, že politika routování je jedním z míst, kde se nákupní rozhodnutí stávají průmyslovými rozhodnutími.
Existuje také provozní verze tohoto systému. Pokud tým nikdy nevidí, co router udělal, nemůže se naučit, kde stačí menší modely. Nemůže identifikovat úkoly, které by se měly stát deterministickými pracovními postupy. Nemůže najít bod, kde by lepší data umožnila levnější směrování. Router se stává černou skříňkou, která centrálně šetří peníze, zatímco kompetence je lokální pouze náhodou. To je špatná výměna. Dobrý router by měl náklady zviditelnit natolik, aby týmy mohly zlepšovat práci, ne jen fakturu.
Lokalita je praktické omezení, ne nálada
O datové lokalitě se často hovoří nafouknutým jazykem, jako by každé rozhodnutí o směrování bylo referendem o civilizaci. To není užitečné a, což je důležitější, je to nudné. Lokalita je praktické omezení. Kam se data pohybují. Kde se zpracovávají. Kde se ukládají protokoly. Které zákony se uplatňují. Kteří pracovníci mohou prohlížet trasu. Který dodavatel může vidět odvozený materiál. Kterou žádost o výmaz nebo opravu lze splnit. Který systém běží dál, pokud je trasa zablokovaná. Tyto otázky rozhodují o tom, zda organizace kontroluje svou práci pod tlakem.
Některá práce může organizaci bezpečně opustit. Některá práce by neměla. Některá práce může odejít po redakci. Některá práce může odejít pouze po schválení politikou. Některá práce by měla být prováděna lokálně, protože data jsou citlivá, latence je důležitá, model je dostatečně dobrý nebo důkazy musí zůstat pod přímou kontrolou. Některá práce by měla být vzdálená, protože úkol skutečně vyžaduje schopnosti, které lokálně nejsou. Nejde o čistotu. Jde o záměrné umístění s účtenkou.
Lokalita zahrnuje také důkazy. Nestačí vědět, že odpověď přišla. Organizace potřebuje vědět, která trasa byla zvolena, která omezení byla zkontrolována, které úryvky zdrojů byly odeslány, která verze modelu odpověděla, který záložní postup byl k dispozici a zda byla zachována nějaká odvozená data. Pokud je trasa viditelná pouze přes dashboard dodavatele, může organizace během incidentu zjistit, že její odpovědnost závisí na podpoře přes lístky. Podpora přes lístky není strategií suverenity, i když je číslo lístku velmi uklidňující.
Dobrá politika lokality činí bezpečnou trasu levnější na použití. Pokud jsou redakce, lokální extrakce, kontroly politik a zachycování důkazů bolestivé, týmy najdou zkratky. Pokud router dokáže tyto kontroly aplikovat automaticky, týmy se nemusí před obědem stát amatérskými specialisty na jurisdikci. Praktický přínos není ideologická čistota. Je to snížení tření při dělání řízené věci.
Benchmarky nejsou příkazy
Směrování modelů často čerpá sebevědomí z benchmarků. Tento model dosahuje vyššího skóre v uvažování. Ten je lepší v kódování. Jiný je levnější pro dlouhý kontext. Benchmarky jsou užitečné, ale nejsou příkazy. Zřídka reprezentují skutečné dokumenty organizace, jazykovou směs, politická omezení, toleranci chyb, vzorec lidské kontroly nebo právní hranici. Benchmark vám může říct, že je model obecně silný. Nemůže vám říct, že by měl vidět konkrétní soubor občana ve čtvrtek ve 14:07 za dočasné výjimky z politiky.
Hodnocení úkolů proto musí být uvnitř směrovací smyčky. Který model produkoval správné strukturované výstupy na vašich formulářích. Který model méně halucinoval na vašem archivu politik. Který model zachoval nizozemské nuance v textu stížností. Který model zpracoval staré naskenované dokumenty. Který model bezpečně selhal, když si zdroje odporovaly. Který model dával lepší odpovědi po vyhledávání. Který model zvýšil lidské přepsání. Který model snížil přepracování. Správná odpověď se může měnit podle čtvrtletí, kvality zdrojů, politik a personálního obsazení.
Směrování by mělo rozpoznávat i nemodelové řešiče. Některé úkoly patří pravidlům, databázovým dotazům, vyhledávání, řešičům omezení, šablonám nebo lidským pracovištím. Posílat deterministickou práci generativnímu modelu jen proto, že směrovač už tam je, je jako volat taxi, abyste přešli kancelář. Možná dorazí, ale nepochopili jste budovu. Směrovač by měl mít možnost říct, že žádný model není potřeba. To není selhání zavádění umělé inteligence. To je začátek rozumné architektury.
Skrytá ústava směrovače
Každý směrovač potřebuje ústavu, i když se dokument tak nenazývá, protože organizace znejistí, když software zní jako země. Ústava říká, která pravidla jsou tvrdá omezení a která jsou preference. Citlivé osobní údaje nesmí nikdy opustit stanovenou hranici. Vysoce dopadová rozhodnutí mohou vyžadovat kontrolovatelné trasy. Nízko riziková shrnutí se mohou optimalizovat na náklady. Záložní řešení mohou snižovat schopnosti, ale ne soukromí. Nouzová pravidla mohou vyprchat. Lidé mohou přepsat směrování pouze se zaznamenaným důvodem.
Tato ústava by měla být čitelná pro politiku, inženýrství, provoz, nákup, právo, bezpečnost i audit. To neznamená, že každý čte kód. Znamená to, že pravidla směrování mají srozumitelnou politickou vrstvu a testovatelnou technickou vrstvu. Pravidlo, kterému právo rozumí, ale inženýrství ho nedokáže otestovat, je divadlo. Pravidlo, které inženýrství otestuje, ale politika mu nerozumí, je soukromá vláda. Ani jedno nevypadá dobře, i když to druhé má často hezčí YAML.
Ústava by měla také definovat změny. Kdo může přidat model. Kdo ho může odebrat. Kdo může měnit váhy. Kdo schvaluje nové záložní řešení. Jaké důkazy jsou nutné, než levnější model dostane více provozu. Co se stane, když dodavatel změní podmínky, verzi modelu, zásady uchovávání nebo region. Které metriky spouštějí přezkum. Které incidenty pozastavují trasu. Bez pravidel změn se politika směrování unáší sérií malých praktických rozhodnutí, dokud si nikdo nepamatuje, kdy se ústava posunula.
Je tu i lidská politika. Týmy budou lobbovat za trasy, které usnadňují jejich práci. Finance budou mít rády levné trasy. Bezpečnost bude mít ráda ohraničené trasy. Uživatelé budou mít rádi rychlé trasy. Doménoví experti budou mít rádi schopné trasy. Nákup bude mít rád trasy, které odpovídají smlouvám. Vedení bude mít rádo trasy, které udržují možnosti otevřené bez viditelně vyšších nákladů. Tyto zájmy jsou legitimní. Směrovač je místo, kde musí být explicitně usmířeny, ne propašovány do výchozího stavu zvaného vyvážený.
Záložní řešení je místo, kde se principy testují
Snadno se řídí směrování, když vše funguje. Těžší chvíle nastávají při výpadku, přetížení, tlaku na rozpočet nebo pozornosti veřejnosti. Vzdálený poskytovatel se zpomalí. Lokální model neprojde testem pro vydání. Vysoce výkonný koncový bod se stane nedostupným. Nová politika omezí region. Dodavatel změní podmínky uchovávání. Organizace má stále práci, kterou musí udělat. Pravidla pro záložní řešení rozhodují o tom, zda zásady přežijí nepříjemnosti.
Seriousní politika záložního řešení říká, co se může degradovat a co ne. Latence se degradovat může. Schopnosti se mohou degradovat u úkolů s nízkým rizikem. Některá neurgentní práce se může zařadit do fronty. Některé úkoly se mohou vrátit k šablonám nebo pravidlům. Některé vysoce dopadové trasy se mohou zastavit, spíše než překročit hranici. Některé nouzové výjimky mohou vyžadovat schválení člověkem a po stanovené době vyprší. Směrovač by tyto volby neměl objevovat během výpadku. Takto instituce začínají psát řízení do chatu o incidentu, což je literární žánr s omezenou důstojností.
Záložní řešení také potřebuje důkazy. Pokud požadavek použil nouzovou trasu, záznam by to měl říci. Pokud byla data redigována jinak, řekněte to. Pokud byl použit model s nižšími schopnostmi, řekněte to. Pokud musel člověk provést kontrolu, protože běžná trasa nebyla dostupná, řekněte to. Pozdější hodnocení musí oddělit běžný výkon od výkonu záložního řešení. Jinak se dočasný kompromis stane neviditelným, pak normálním a pak ho někdo, kdo nebyl na hovoru o incidentu, obhajuje jako tradici.
To je jeden z důvodů, proč směrování patří do řízení, nejen do platformového inženýrství. Inženýři mohou postavit mechanismus. Instituce musí rozhodnout, co je povoleno pod tlakem. Směrovač, který vždy udržuje službu v chodu, může vypadat odolně. Pokud se pohybuje vpřed ignorováním hranic, není odolný. Je jen ochotný.
Rozhodovací smyčka, ne kouzelný přepínač
Nejzdravější směrovací systémy fungují jako rozhodovací smyčky. Pozorují typ požadavku, citlivost dat, kvalitu zdroje, výkon modelu, zpětnou vazbu uživatelů, náklady, latenci, přepsání a incidenty. Interpretují, zda aktuální trasa stále odpovídá úkolu. Rozhodují, zda změnit váhy, omezení, modely, výzvy, přípravu dat nebo lidskou kontrolu. Zaznamenávají, proč ke změně došlo. Testují, zda se výsledky zlepšily. Učí organizaci, co se dozvěděla.
Tato smyčka je důležitá, protože svět se pro směrovač nezastaví. Modely se mění. Ceny se mění. Předpisy se mění. Smlouvy se mění. Data se mění. Uživatelé mění své chování, jakmile se asistent stane běžnou záležitostí. Úkoly, které byly experimentální, se stávají klíčovými. Úkoly, které vypadaly jednoduše, odhalí výjimky. Směrovač zmrazený při spuštění není řízení. Je to fosilie s přístupem k síti.
Smyčka by měla zahrnovat lidi, kteří jsou práci blízko. Vědí, kdy je odpověď modelu technicky správná, ale provozně nepoužitelná. Vědí, kdy rychlejší odpověď zvyšuje počet následných hovorů. Vědí, kdy je lokální model dost dobrý, pokud jsou vstupy nejprve vyčištěny. Vědí, kdy je vzdálený specialista oprávněný. Směrování, které ignoruje zpětnou vazbu z domény, optimalizuje viditelná čísla a pak se tváří překvapeně, když skutečná práce nesouhlasí.
Nepříjemné otázky kupujícího
Každá organizace, která kupuje nebo buduje vrstvu směrování, by si měla brzy položit nepříjemné otázky. Vidíme politiku směrování ve formě, které naše týmy správy rozumějí. Můžeme ji testovat. Můžeme dokázat, která trasa byla pro případ použita. Můžeme vyloučit modely podle třídy dat, jurisdikce, úkolu, dopadu nebo požadavku na důkazy. Můžeme vynutit trasu pro hodnocení. Můžeme porovnat skryté náklady, nejen náklady na tokeny. Můžeme uchovávat záznamy, když se dodavatel změní. Můžeme odejít, aniž bychom ztratili historii směrování.
Tyto otázky nejsou proti inovacím. Jsou tím, jak seriózní instituce zabrání tomu, aby se výběr modelu stal nástěnkou nálad. Flexibilní směrovač bez správy se může rychle dostat na místa, která nikdo neschválil. Rigidní směrovač bez učení může zmrazit špatná rozhodnutí. Cílem není chaos ani beton. Cílem je vrstva tras, která se umí přizpůsobovat podle pravidel, a pravidla, která lze zpochybnit důkazy.
Stojí také za to se ptát, kdo těží z neprůhlednosti. Pokud směrovač nelze zkontrolovat, může organizace slyšet, že byl vybrán nejlepší model, aniž by viděla, které hodnoty byly použity. To může být přijatelné pro hračkářskou aplikaci. Není to přijatelné pro práci s citlivými daty, veřejnými úkoly, regulovanými rozhodnutími, odborným úsudkem nebo strategickou závislostí. Věřte mi, směrovač ví, není model správy. Je to věta, která by měla přimět nákupní tým sáhnout po další sušence.
Poučení
Směrování modelů je politické, protože mění institucionální priority na rozhodnutí za běhu. Rozhoduje o tom, kam data putují, které modely dostávají práci, na kterých dodavatelích vzniká závislost, které schopnosti dospívají, která rizika jsou tolerována, které důkazy se uchovávají a které záložní postupy jsou povoleny pod tlakem. Technickým mechanismem může být klasifikátor, pravidlový stroj, skórovací funkce nebo pracovní postup. Důsledky jsou organizační.
Dobré směrování začíná přiznáním, že nejlepší je množné číslo. Nejlepší pro náklady není vždy nejlepší pro kontrolu. Nejlepší pro schopnosti není vždy nejlepší pro lokalitu. Nejlepší pro latenci není vždy nejlepší pro auditovatelnost. Nejlepší pro dnešek není vždy nejlepší pro hodnotu při odchodu. Vyspělé směrování nejprve uplatňuje tvrdá omezení, vyhodnocuje vhodnost lokálně, zaznamenává trasu, přezkoumává výsledky a mění politiku na základě důkazů. Zahrnuje pravidla, modely, lidi a někdy i moudré rozhodnutí nepoužít žádný model.
Politika nezmizí, ani když je router skrytý. Jen se přesune do výchozích nastavení, nastavení dodavatele a nedokumentovaných kompromisů. Lepší je vynést ji na světlo. Modelový router by měl být mapou povoleného institucionálního pohybu, ne kouzelným přepínačem mezi koncovými body. Jakmile to organizace pochopí, přestane být routování technickou poznámkou pod čarou a stane se tím, čím vždy bylo: řídicí rovinou suverenity.