Skrytá energetická náročnosť dizajnu modelov
Merač v rohu
Prvá užitočná konverzácia o energii AI sa málokedy začína modelovým listom. Začína sa meračom. Niekde v budove, často v miestnosti, ktorú nikdy neobvinili z interiérového dizajnu, sa elektrina mení na teplo, latenciu, faktúry a občas aj na užitočnú prácu. Dashboard na poschodí to môže nazývať inteligenciou. Tím údržby to nazýva záťažou. Obaja majú pravdu, ale len jeden z nich dostane účet s číslami, ktoré treba zaplatiť.
Energia AI sa často diskutuje ako problém dátových centier. Lepšie chladenie, lepšie čipy, čistejšia energia, inteligentnejšie plánovanie, efektívnejšie racky. To všetko záleží. Ľudia z infraštruktúry už dlho žmýkajú užitočnú prácu z wattov, zvyčajne bez potlesku, ktorý sa dostáva modelu, čo práve nosí korunu. Ale prekvapivá časť energetického účtu je napísaná skôr, než pracovná záťaž dorazí do dátového centra. Je napísaná v dizajne modelu.
Architektúra modelu zaväzuje budúcu energiu. Takisto dĺžka kontextu. Takisto voľba odpovedať na každú otázku veľkým všeobecným modelom, keď by stačila menšia špecializovaná cesta. Takisto dizajn vyhľadávania, ktorý presúva príliš veľa textu, štýl promptov, ktorý napcháva dokumenty do okna, pretože nikto nechcel poriadne vybudovať indexovanie, stratégia dekódovania, ktorá generuje zbytočné tokeny, servírovacia cesta, ktorá nedokáže dávkovať, voľba presnosti urobená pre pohodlie, a kultúra hodnotenia, ktorá odmeňuje lesk benchmarkov a ignoruje prevádzkové náklady.
Energetický účet sa tam skrýva, pretože dizajnové voľby vyzerajú abstraktne. Väčšie kontextové okno znie ako schopnosť. Väčší model znie ako rezerva. Viac nástrojov znie ako flexibilita. Viac vzorkovania znie ako kreativita. Viac vyhľadávania znie ako ukotvenie. Každé môže byť užitočné. Každé tiež žiada infraštruktúru, aby pracovala. Niekedy tá práca stojí za to. Niekedy stroj páli energiu, aby kompenzoval dizajn, ktorý sa nechcel rozhodnúť, kde by mali žiť znalosti, pamäť, smerovanie a zodpovednosť.
Inferencia je miesto, kde sa dizajn stáva účtom za energie
Tréning dostáva veľa pozornosti, pretože čísla sú veľké a klastre znejú filmovo. Inferencia je menej dramatická a často trvalejšia. Je to každodenná práca servírovania otázok, súhrnov, klasifikácií, odporúčaní, vyhľadávaní, agentov a interných nástrojov. Každá požiadavka môže byť malá. Spolu sa stanú účtom za energie, ktorý nasleduje produkt ako veľmi presný účtovník.
Náklady na inferenciu ovplyvňuje množstvo výpočtov, presunov pamäte, sieťovej prevádzky, nevyužitej kapacity a opakovaných pokusov potrebných na jednu užitočnú odpoveď. Slovné spojenie „užitočná odpoveď“ je dôležité. Ak systém vygeneruje tri odseky tam, kde by stačilo jedno pole, nie je to len problém s používateľským zážitkom. Je to energia vynaložená na ukecanosť. Ak pracovný postup zavolá veľký model päťkrát, pretože proces nebol rozložený na časti, účet je spätnou väzbou na dizajn. Ak sa agent krúti v kruhu pri skúšaní nástrojov, pretože stav je nejasný, teplo unikajúce z racku je čiastočne problémom riadenia, ktorý nosí odznak systému.
Veľké kontextové okná sú dobrým príkladom. Sú cenné, keď úloha skutočne vyžaduje dlhé dôkazy. Sú plytvaním, keď sa používajú ako náhrada za výber zdrojov. Hodiť celú príručku politík do kontextu, pretože vyhľadávanie je slabé, je AI ekvivalentom priniesť na stretnutie celú kartotéku pre prípad, že by sa jeden odsek stal relevantným. Funguje to, kým niekto nemusí kartotéku niesť. Vo výpočtovej technike vyzerá nosenie kartotéky ako šírka pamäťového pásma, náklady na pozornosť, latencia a výkon.
Lepší dizajn modelu sa pýta, aké informácie by mali byť vo váhach, čo by malo byť vo vyhľadávaní, čo v nástrojoch, čo by sa malo ukladať do vyrovnávacej pamäte, čo by sa malo počítať lokálne a čo by sa malo odmietnuť. Toto sú otázky energie rovnako ako otázky architektúry. Odmietnutie môže ušetriť energiu, keď je úloha mimo rozsahu. Malý klasifikátor môže nasmerovať prácu skôr, ako sa veľký model prebudí. Dobrý index môže zmenšiť kontext. Typovaný nástroj môže vrátiť hodnotu bez toho, aby žiadal jazykový model, aby rozprával cestu aritmetikou, čo je milosrdné pre watty aj pre čitateľov.
Veľkosť nie je to isté ako sila
Verejná predstavivosť stále považuje veľkosť modelu za jednoduchý ukazovateľ výkonu. Väčší musí byť lepší, alebo aspoň serióznejší. Inžinieri vedia, že príbeh je menej uprataný. Veľký hustý model môže byť vynikajúci, ale nie je automaticky správnou prevádzkovou jednotkou pre každú úlohu. Mnohé produkčné úlohy majú úzku štruktúru: klasifikuj tento typ dokumentu, extrahuj tieto polia, odpovedz z tohto zdroja, prelož tento formulár, smeruj tento tiket, skontroluj túto podmienku politiky. Používať maximálnu všeobecnosť na minimálnu nejednoznačnosť je niekedy ako ohrievať polievku prúdovým motorom. Technicky možné. Reakcie susedstva sa líšia.
Menšie modely, špecializované hlavy, návrhy s rozšíreným vyhľadávaním, obmedzené dekodéry, symbolické kontroly a klasické algoritmy môžu všetky znížiť energiu, keď sa použijú na správnom mieste. Nejde o malosť kvôli malosti. Ide o vhodnosť pre úlohu. Kompaktný model, ktorý spoľahlivo odpovedá na jednu vysokoobjemovú úlohu, môže byť oveľa efektívnejší ako univerzálny model, ktorý má predstierať, že každá úloha je novinka. Pravidlový engine môže byť lepší pre deterministickú oprávnenosť. Databázový dopyt môže byť lepší pre známe fakty. Vyhľadávací index môže byť lepší pre výber kandidátov. Jazykový model potom môže robiť to, v čom sú jazykové modely dobré: syntézu, spracovanie nejednoznačnosti, vysvetľovanie a návrh v rámci hraníc.
Zmiešané a riedke architektúry komplikujú obraz. Aktivácia iba časti modelu môže znížiť výpočty, ale smerovanie, rozloženie pamäte, dávkovanie a hardvérová podpora rozhodujú o tom, či sa teoretická úspora stane skutočnou. Elegantná architektúra na papieri sa môže stať dopravnou zápchou vo výrobe, ak sa požiadavky rozptýlia medzi expertov a pamäť nestíha. Efektívnosť nie je slogan, ktorý pripojíte k článku. Je to vlastnosť celej servírovacej cesty.
Preto energeticky uvedomelý dizajn potrebuje meranie v prostredí, kde bude systém bežať. Samotná presnosť benchmarku nestačí. Tokény na joule, tlak na pamäť, rozdelenie latencie, dávkovateľnosť, miera zásahov do vyrovnávacej pamäte, sieťová prevádzka, studené štarty a opakované pokusy pri zlyhaniach záležia. Najlepšia architektúra nie je tá, ktorá vyhrá jeden graf. Je to tá, ktorá poskytuje požadovanú kvalitu s čo najmenšou vyhnuteľnou prácou pri reálnom dopyte.
Presun pamäte je tichá práca
Ľudia radi počítajú operácie. Hardvér sa často sťažuje na presun. Presúvanie váh, aktivácií, kľúčov, hodnôt, zdrojových častí, vložení a protokolov cez pamäť a siete spotrebúva čas a energiu. Model môže mať pôsobivé aritmetické schopnosti a napriek tomu byť obmedzený tým, koľko údajov sa musí presunúť, aby bol zásobovaný. Používateľ vidí spinner. Infraštruktúra vidí doručovaciu službu pre čísla.
Dizajn modelu ovplyvňuje tento presun. Voľba presnosti určuje, koľko bajtov cestuje pre každú hodnotu. Kvantizácia môže znížiť potreby pamäťovej priepustnosti a kapacity, ale musí byť testovaná proti úlohe, pretože lacná nesprávna odpoveď nie je efektívnosť. Dĺžka kontextu určuje, koľko stavu sa prenáša cez pozornosť. Dizajn vyhľadávania určuje, koľko častí sa presunie do výzvy. Ukladanie do vyrovnávacej pamäte určuje, či sa opakovaná práca vynechá. Lokalita určuje, či údaje cestujú cez regióny, služby alebo zariadenia, kým sa objaví token.
Niektoré z najlepších úspor energie sú neromantické. Pripnite správnu verziu modelu. Vyhnite sa zbytočnému balastu vo výzvach. Odstráňte opakované inštrukcie, ktoré nič nerobia. Používajte štruktúrované výstupy namiesto rozvláčneho textu tam, kde pracovný postup potrebuje polia. Ukladajte do vyrovnávacej pamäte stabilné výsledky nástrojov. Deduplikujte dokumenty pred indexovaním. Zneplatnite zastarané vloženia. Držte horúce indexy blízko servírovacej cesty. Dávkujte kompatibilné požiadavky. Kompilujte bežné cesty. Merajte výstup tokenov, nielen vstup. Toto nie sú veľkolepé gestá. Je to upratovanie s wattmetrom.
Zložité je, že mnohé tímy nevidia presun pamäte ako problém produktu. Vidia ho ako infraštruktúrne potrubie. Ale používatelia zaň platia latenciou, organizácie energiou a účtami za cloud a spoločnosť dopytom po sieti. Ak dizajn produktu podporuje dlhé výzvy, opakované volania, zbytočné pokusy a stále zapnuté všeobecné modely, potom je produkt súčasťou energetického systému. Elektromer sa nestará o to, ktoré oddelenie rozhodlo. Má obdivuhodne malý rešpekt k organizačným štruktúram.
Energia uniká cez celý zásobník
Účet za energiu sa nenachádza v jednej vrstve. Uniká cez celý zásobník. Voľby tréningových dát ovplyvňujú veľkosť a špecializáciu modelu. Architektonické voľby ovplyvňujú aktiváciu a pamäť. Voľby tokenizéra a kontextu ovplyvňujú dĺžku sekvencie. Voľby vyhľadávania ovplyvňujú presun a ukotvenie. Voľby výziev ovplyvňujú tokeny. Voľby dekódovania ovplyvňujú dĺžku výstupu. Voľby servírovania ovplyvňujú dávkovanie a nečinnú kapacitu. Voľby hardvéru ovplyvňujú efektívnosť. Voľby monitorovania ovplyvňujú, ako rýchlo sa objaví plytvanie. Ak nikto nevlastní celú cestu, plytvanie sa stane menším problémom niekoho iného a elektromer pokračuje vo svojej tichej práci.
Pohľad na celý zásobník pomáha, pretože ukazuje, kam patria zásahy. Ak je problémom príliš veľký kontext, kúpa lepšieho hardvéru môže len odložiť účet. Ak je problémom zlé smerovanie, kvantizácia môže pomôcť menej ako lacný klasifikátor vpredu. Ak je problémom nízke využitie, architektúra môže znamenať menej ako dávkovanie a plánovanie. Ak je problémom zastarané vyhľadávanie, energia sa míňa na generovanie vyleštených odpovedí z nesprávneho materiálu, čo je tragické plytvanie elektrónmi.
Samozrejme, existujú kompromisy. Znižovanie spotreby energie nesmie ohroziť bezpečnosť, prístupnosť ani spravodlivosť. Menší model, ktorý zlyháva v okrajových prípadoch, môže jednoducho presunúť náklady na ľudí. Agresívne ukladanie do vyrovnávacej pamäte môže poskytovať zastarané odpovede. Kvantizácia môže poškodiť správanie pri zriedkavých jazykových javoch. Lokálna cesta môže znížiť pohyb v sieti, ale zvýšiť duplicitu. Tieto kompromisy sú reálne. Odpoveďou je meranie, nie heslá. Merajte kvalitu, energiu, latenciu, opravy chýb a pracovné zaťaženie ľudí spoločne. Watt ušetrený tým, že zamestnanci opravujú zlý výstup, nie je úspora. Je to len presun tepla na ľudí.
Preto by energia modelu mala byť súčasťou dizajnovej revízie. Nie ako morálny dodatok, ale ako inžinierska vlastnosť. Aká je očakávaná energia na jednu užitočnú odpoveď. Ktoré komponenty dominujú. Ktoré požiadavky sú odľahlé. Aká je záložná cesta. Čo sa deje počas špičkového zaťaženia. Čo možno uložiť do vyrovnávacej pamäte. Ktoré úlohy by sa mali vyhnúť veľkému modelu. Aké dôkazy ukážu, že sa dizajn zlepšuje. Tieto otázky patria vedľa presnosti a bezpečnosti, nie na snímku o udržateľnosti pridanú niekým so stock fotografiou lístka.
Kontextové okno nie je tlačidlo na preskočenie
Dlhý kontext sa stal lákavým tlačidlom na preskočenie architektúry. Prečo budovať starostlivé vyhľadávanie, hodnotenie zdrojov, sumarizáciu, filtrovanie prístupu a štruktúru dokumentov, keď model môže prečítať všetko. Odpoveď je, že prečítať všetko je práca. Dôležitejšie je, že prečítať všetko je často horšia správa. Model dostáva irelevantný materiál, citlivý materiál, zastaraný materiál a konfliktný materiál, a potom sa musí rozhodnúť, čo je dôležité v rámci veľmi drahého vzoru pozornosti.
Dobrý dizajn kontextu je selektívny. Kontextové okno považuje za vzácnu pracovnú pamäť, nie za úložisko s problémami s dôverou. Výber zdrojov by mal prebiehať pred generovaním. Dokumenty by mali byť rozdelené na časti s významom, nie nasekané na ľubovoľné kúsky, pretože predvolená knižnica vyzerala oficiálne. Metadáta by mali niesť dátumy, autoritu, citlivosť a rozsah. Filtre prístupu by mali bežať pred vyhľadávaním. Sumáre by sa mali ukladať do vyrovnávacej pamäte, keď sú stabilné. Model by mal dostať dôkazy potrebné na úlohu, nie mestský archív oblečený do výzvy.
Ide o energetický problém, pretože náklady na pozornosť rastú s dĺžkou sekvencie a pretože dlhé výzvy zvyšujú presun pamäte, latenciu a pokušenie generovať dlhšie odpovede. Model s veľkým kontextom môže tiež produkovať dlhšie odpovede, pretože videl viac materiálu. Výstup potom tiež stojí energiu. Energeticky uvedomelé systémy navrhujú krátke cesty k užitočným odpovediam. Neodmeňujú stroj za písanie prehliadky dôkazov, keď pracovný postup potrebuje jedno rozhodovacie pole a kód dôvodu.
Existuje aj pasca v hodnotení. Systémy s dlhým kontextom môžu v ukážkach pôsobiť pôsobivo, pretože odpovedajú na otázky naprieč veľkými dokumentmi. Produkčné využitie môžu dominovať malé, opakované, štruktúrované otázky. Ak servisná cesta zaobchádza s každou požiadavkou ako so vzácnou výskumnou hádankou, energetický účet zdvorilo vysvetlí rozdiel medzi ukážkou a službou. Použije čísla, pretože faktúry sú obdivuhodne stručné.
Smerovanie je kontrola energie
Smerovanie je jedna z najviac podceňovaných kontrol energie v systémoch umelej inteligencie. Skôr než požiadavka dosiahne veľký model, systém môže rozhodnúť, či je požiadavka v rozsahu, či existuje odpoveď z vyrovnávacej pamäte, či môže odpovedať deterministický nástroj, či stačí malý model, či je potrebné vyhľadávanie, či by sa ňou mal zaoberať človek, alebo či by ju mal systém odmietnuť. Každá vetva môže ušetriť prácu a zlepšiť kvalitu, ak je navrhnutá poctivo.
Zlé smerovanie robí opak. Posiela každú otázku tou istou drahou cestou. Volá nástroje po generovaní namiesto pred ním. Žiada model, aby klasifikoval niečo, čo už pole formulára pozná. Žiada prózu tam, kde by stačila boolovská hodnota. Opakuje volania, pretože stav sa neprenáša dopredu. Nechá agenta skúmať, pretože nikto nedefinoval hranicu úlohy. Výsledná spotreba energie nie je chybou čipu. Čip robí to, o čo bol požiadaný, s unavenou profesionalitou infraštruktúry všade.
Energeticky uvedomelé smerovanie potrebuje prahy spoľahlivosti, pravidlá rozsahu, kontroly aktuálnosti zdrojov, zneplatnenie vyrovnávacej pamäte a odovzdanie človeku. Malo by byť dostatočne transparentné, aby operátori videli, ktorá cesta bola zvolená a prečo. Malo by sa hodnotiť nielen podľa priemerných nákladov, ale aj podľa okrajových prípadov. Pravidlo smerovania, ktoré šetrí energiu pri bežných požiadavkách, ale posiela ťažké prípady do opakovaných zlyhaní, môže zvýšiť celkové náklady po podpore, opakovaniach a manuálnych opravách. Cesta sa musí posudzovať podľa užitočného dokončenia.
Existuje aj ľudský rozmer. Dobré smerovanie znižuje kognitívnu záťaž. Dáva jednoduché prípady jednoduchým strojom, štruktúrované prípady štruktúrovaným systémom, nejednoznačné prípady modelom a citlivé prípady ľuďom s dôkazmi. To je efektívne v širšom zmysle. Energetická efektívnosť a inštitucionálna jasnosť často ukazujú rovnakým smerom: nežiadajte najvšeobecnejší komponent, aby niesol všetku zodpovednosť, len preto, že dokáže vytvoriť vetu.
Lokalita a tvar dopytu
Energiu tiež formuje to, kde sa dopyt stretáva s ponukou. Ak dáta žijú na jednom mieste, modely na inom, denníky na treťom a používatelia na štvrtom, každá odpoveď môže niesť sieťový presun a duplicitné úložisko. Niekedy je takéto rozloženie nevyhnutné. Niekedy je náhodným výsledkom nakupovania služieb v poradí, v akom sa stali módnymi. Voľby lokality ovplyvňujú latenciu, odolnosť, správu a energiu spoločne.
Okrajová a lokálna inferencia môže znížiť presun pri opakovaných alebo citlivých úlohách, ale môže tiež duplikovať zdroje a znížiť využitie, ak sa aplikuje slepo. Centrálne poskytovanie môže zlepšiť využitie a efektívnosť hardvéru, ale môže zvýšiť sieťový presun a koncentráciu závislostí. Regionálne návrhy môžu vyvážiť oboje. Správna odpoveď závisí od tvaru dopytu: objemu, opakovania, citlivosti, tolerancie latencie, umiestnenia zdrojov, vzorcov špičiek a režimov zlyhania.
Preto priemery nestačia. Priemerná požiadavka môže byť lacná, zatiaľ čo horných päť percent požiadaviek dominuje spotrebe energie. Malá skupina úloh s dlhým kontextom môže spotrebovať viac energie ako tisíce krátkych klasifikácií. Nočné dávkové úlohy môžu skrývať zbytočné prepočty. Opakované pokusy agentov môžu vzplanúť počas výpadkov zdrojov. Dizajn zohľadňujúci energiu sa pozerá na rozdelenie, nielen na priemer. Priemer je miesto, kde problémy vyzerajú úctyhodne.
Dopyt by mal meniť dizajn. Ak používatelia opakovane kladú rovnakú faktickú otázku, použite vyrovnávaciu pamäť alebo odpoveď zverejnite. Ak opakovane potrebujú jedno pole z dokumentu, vytvorte extrakciu. Ak kladú široké otázky, pretože rozhranie skrýva štruktúru, opravte rozhranie. Ak agenti opakovane volajú nástroje, pretože stav je nejasný, prenavrhnite stav. Každý opakovaný watt je dizajnová stopa. Niektoré stopy sú jemné. Mesačný účet medzi ne nepatrí.
Slučka modelu zohľadňujúca energiu
Praktická odpoveď nie je urobiť z energie jediný cieľ. To by bolo hlúpe a občas škodlivé. Tmavý server je veľmi efektívny, ale nie je to veľa služby. Úlohou je zahrnúť energiu do dizajnovej slučky spolu s kvalitou, bezpečnosťou, latenciou, súkromím, odolnosťou a udržiavateľnosťou. Merajte užitočnú prácu. Obmedzte úlohu. Vyberte najmenší dostatočný nástroj. Nasadenie s pozorovateľnosťou. Sledujte skutočný dopyt. Revidujte dizajn, keď sa objaví plytvanie.
Slučka potrebuje spoločný jazyk. Produktové tímy by mali poznať energetické náklady dizajnových vzorov: dlhé výzvy, opakované volania, podrobné výstupy, vždy zapnutých agentov, neobmedzené nástroje. Inžinieri by mali poznať hodnotu dodatočného výpočtu pre používateľa: menej chýb, lepšiu prístupnosť, bezpečnejšie rozhodnutia, kratšie ľudské úsilie. Prevádzkové tímy by mali vedieť, ktoré pracovné zaťaženia dominujú účtu. Tímy pre správu by mali vedieť, kedy zníženie energie mení riziko. Tímy pre udržateľnosť by mali byť v miestnosti skôr, ako sa systém naučí drahé návyky.
Tu nejde o vinu. Vina je zlý profiler. Ide o dizajnovú gramotnosť. Keď tímy uvidia, že energia je viazaná architektúrou, môžu si vybrať lepšie. Môžu si ponechať veľké modely pre úlohy, ktoré ich potrebujú, menšie modely pre ohraničené úlohy, vyhľadávanie pre vedomosti, nástroje pre deterministickú prácu, vyrovnávacie pamäte pre opakovanie, ľudí pre úsudok a odmietnutie pre nezmysly. Výsledok je často lacnejší, rýchlejší a jasnejší, čo je slušný výsledok pre tému, ktorá začala elektromerom v smutnej miestnosti.
Ponaučenie
Energetický účet umelej inteligencie nie je skrytý len v dátovom centre. Je skrytý v dizajne modelu: veľkosť, architektúra, kontext, vyhľadávanie, presnosť, smerovanie, lokalita, vyrovnávacia pamäť, forma výstupu, hodnotenie a odmietnutie. Efektívnosť hardvéru záleží, ale hardvér prepláca šeky, ktoré dizajn už vypísal.
Dobrá infraštruktúra pre umelú inteligenciu sa preto začína skôr ako obstaraním akcelerátorov. Začína sa otázkou užitočnej práce. Aká odpoveď je potrebná. Koľko jazyka je nevyhnutné. Ktorý riešiteľ vyhovuje. Ktoré poznanie by malo žiť vo váhach, vyhľadávaní, nástrojoch alebo pravidlách. Ktoré požiadavky by sa mali odmietnuť. Ktoré dôkazy ukážu plytvanie. Ktoré konštrukčné rozhodnutia vytvárajú zbytočný pohyb. Ktoré volania veľkých modelov v skutočnosti vykonávajú prácu veľkých modelov.
Návrh modelu zohľadňujúci energiu nie je šetrenie. Je to presnosť. Udržiava schopnosť tam, kde sa schopnosť oplatí, a odstraňuje prácu tam, kde je práca len zvykom. Výsledkom nie je len nižší účet. Často je to lepší systém: rýchlejší, ľahšie spravovateľný, ľahšie škálovateľný, ľahšie vysvetliteľný a menej závislý od hrdinskej infraštruktúry, ktorá kompenzuje lenivý návrh. Elektromer v rohu hovoril pravdu celý čas. Stačilo ho čítať ako architektúru.