Skriveni energetski račun u dizajnu modela
Brojilo u kutu
Prvi korisni razgovor o energiji koju troši umjetna inteligencija rijetko počinje s modelom. Počinje s brojilom. Negdje u zgradi, često u prostoriji koja nikada nije bila poznata po uređenju interijera, električna energija pretvara se u toplinu, latenciju, račune i povremeno koristan rad. Nadzorna ploča na katu to može nazivati inteligencijom. Tim za održavanje to naziva opterećenjem. Oboje su u pravu, ali samo jedan od njih dobiva račun s brojkama koje se moraju platiti.
Energija koju troši umjetna inteligencija često se promatra kao problem podatkovnih centara. Bolje hlađenje, bolji čipovi, čišća energija, pametnije planiranje, učinkovitiji stalci. Sve je to važno. Ljudi koji se bave infrastrukturom već dugo izvlače koristan rad iz vata, obično bez aplauza koji se daje modelu koji trenutačno nosi krunu. No iznenađujuće velik dio računa za energiju napisan je prije nego što opterećenje uopće stigne do podatkovnog centra. Napisan je u dizajnu modela.
Arhitektura modela unaprijed određuje buduću potrošnju energije. Isto vrijedi i za duljinu konteksta. Isto vrijedi i za odabir da se na svako pitanje odgovori velikim općim modelom kada bi manji specijalizirani put bio dovoljan. Isto vrijedi i za dizajn pretraživanja koji prenosi previše teksta, stil upita koji trpa dokumente u prozor jer nitko nije htio pravilno izgraditi indeksiranje, strategiju dekodiranja koja generira nepotrebne tokene, put posluživanja koji ne može grupirati zahtjeve, odabir preciznosti napravljen iz udobnosti te kulturu evaluacije koja nagrađuje blještave rezultate mjerenja dok zanemaruje operativne troškove.
Račun za energiju skriva se upravo zato što dizajnerske odluke izgledaju apstraktno. Veći kontekstni prozor zvuči kao sposobnost. Veći model zvuči kao rezerva snage. Više alata zvuči kao fleksibilnost. Više uzorkovanja zvuči kao kreativnost. Više pretraživanja zvuči kao utemeljenost. Svaka od tih stvari može biti korisna. Svaka također traži od infrastrukture da obavi posao. Ponekad je taj posao vrijedan toga. Ponekad stroj sagorijeva energiju kako bi nadoknadio dizajn koji nije želio odlučiti gdje bi trebali živjeti znanje, memorija, usmjeravanje i odgovornost.
Zaključivanje je mjesto gdje dizajn postaje račun za komunalije
Obuka dobiva najviše pozornosti jer su brojke velike, a klasteri zvuče filmski. Zaključivanje je manje dramatično, ali često dugotrajnije. To je svakodnevni posao posluživanja pitanja, sažetaka, klasifikacija, preporuka, pretraživanja, agenata i internih alata. Svaki pojedinačni zahtjev može biti malen. Zajedno postaju račun za komunalije koji prati proizvod poput vrlo točnog knjigovođe.
Trošak zaključivanja oblikuju količina računanja, pomicanje memorije, mrežni promet, neiskorišteni kapacitet i ponovni pokušaji potrebni za svaki koristan odgovor. Izraz koristan odgovor je ključan. Ako sustav generira tri odlomka gdje bi jedno polje bilo dovoljno, to nije samo problem korisničkog iskustva. To je energija potrošena na opširnost. Ako tijek rada poziva veliki model pet puta jer proces nije bio razložen na dijelove, račun je povratna informacija o dizajnu. Ako agent isprobava alate u krug jer je stanje nejasno, toplina koja izlazi iz ormara djelomično je problem upravljanja prerušen u tehnički problem.
Veliki kontekstni prozori dobar su primjer. Vrijedni su kada zadatak doista zahtijeva dugačke dokaze. Rasipni su kada se koriste kao zamjena za odabir izvora. Ubaciti cijeli priručnik s politikama u kontekst jer je pretraživanje slabo, AI je ekvivalent donošenja cijelog ormara s dokumentima na sastanak za slučaj da jedan odlomak postane relevantan. Funkcionira dok netko ne mora nositi ormar. U računalstvu, nošenje ormara izgleda kao propusnost memorije, trošak pažnje, latencija i snaga.
Bolji dizajn modela postavlja pitanje koje informacije trebaju biti u težinama, što u pretraživanju, što u alatima, što treba biti predmemorirano, što treba računati lokalno, a što treba odbiti. To su pitanja o energiji jednako koliko i pitanja o arhitekturi. Odbijanje može uštedjeti energiju kada je zadatak izvan opsega. Mali klasifikator može usmjeriti rad prije nego se veliki model probudi. Dobar indeks može smanjiti kontekst. Tipizirani alat može vratiti vrijednost bez da traži od jezičnog modela da pripovijeda kroz aritmetiku, što je milost i za vate i za čitatelje.
Veličina nije isto što i snaga
Javna mašta još uvijek tretira veličinu modela kao jednostavan pokazatelj snage. Veći mora biti bolji, ili barem ozbiljniji. Inženjeri znaju da priča nije tako uredna. Veliki gusti model može biti izvrstan, ali nije automatski ispravna operativna jedinica za svaki zadatak. Mnogi proizvodni zadaci imaju usku strukturu: klasificiraj ovu vrstu dokumenta, izvuci ova polja, odgovori iz ovog izvora, prevedi ovaj obrazac, usmjeri ovaj zahtjev, provjeri ovaj uvjet politike. Koristiti maksimalnu općenitost za minimalnu dvosmislenost ponekad je poput zagrijavanja juhe mlaznim motorom. Tehnički moguće. Reakcije susjedstva variraju.
Manji modeli, specijalizirane glave, dizajni s proširenim pretraživanjem, ograničeni dekoderi, simboličke provjere i klasični algoritmi mogu smanjiti energiju kada se koriste na pravom mjestu. Poanta nije malenost radi malenosti. Poanta je prikladnost zadatku. Kompaktan model koji pouzdano odgovara na jedan zadatak velikog opsega može biti daleko učinkovitiji od univerzalnog modela od kojeg se traži da se pretvara da je svaki zadatak novost. Pravilni stroj može biti bolji za determinističku podobnost. Upit bazi podataka može biti bolji za poznate činjenice. Indeks pretraživanja može biti bolji za odabir kandidata. Jezični model tada može raditi ono u čemu su jezični modeli dobri: sintezu, rješavanje dvosmislenosti, objašnjavanje i izradu nacrta unutar granica.
Mješovite i rijetke arhitekture kompliciraju sliku. Aktiviranje samo dijela modela može smanjiti računanje, ali usmjeravanje, raspored memorije, grupiranje i hardverska podrška odlučuju hoće li teoretska ušteda postati stvarna. Elegantna arhitektura na papiru može postati prometna gužva u proizvodnji ako se zahtjevi rasprše po stručnjacima i memorija ne može pratiti. Učinkovitost nije slogan koji pričvrstite na rad. To je svojstvo cijelog puta posluživanja.
Zato dizajn koji vodi računa o energiji zahtijeva mjerenje u okruženju u kojem će sustav raditi. Samo točnost mjerila nije dovoljna. Tokeni po džulu, pritisak na memoriju, distribucija latencije, mogućnost grupiranja, stopa pogodaka u predmemoriji, mrežni promet, hladni startovi i ponovni pokušaji nakon grešaka su važni. Najbolja arhitektura nije ona koja pobjeđuje na jednom grafikonu. To je ona koja pruža potrebnu kvalitetu uz najmanje izbjegivog rada pod stvarnom potražnjom.
Premještanje memorije tih je posao
Ljudi vole brojati operacije. Hardver se često žali na premještanje. Premještanje težina, aktivacija, ključeva, vrijednosti, izvornih ulomaka, ugradnji i zapisa kroz memoriju i mreže troši vrijeme i energiju. Model može imati impresivnu računsku sposobnost, a opet biti ograničen količinom podataka koju treba premjestiti da bi bio opskrbljen. Korisnik vidi vrtnju. Infrastruktura vidi dostavnu službu za brojeve.
Dizajn modela utječe na to premještanje. Odabir preciznosti određuje koliko bajtova putuje za svaku vrijednost. Kvantizacija može smanjiti memorijsku propusnost i potrebe za kapacitetom, ali je treba testirati na zadaći jer jeftin pogrešan odgovor nije učinkovitost. Duljina konteksta određuje koliko se stanja nosi kroz pozornost. Dizajn dohvaćanja određuje koliko se ulomaka premješta u upit. Predmemoriranje određuje izbjegava li se ponovljeni rad. Lokalnost određuje putuje li podatak kroz regije, usluge ili uređaje prije nego što se pojavi token.
Neke od najboljih ušteda energije nisu glamurozne. Pričvrstite pravu verziju modela. Izbjegavajte nepotrebnu predlošku upita. Uklonite ponovljene upute koje ne čine ništa. Koristite strukturirane izlaze umjesto opširne proze gdje tijek rada treba polja. Predmemorirajte stabilne rezultate alata. Uklonite duplikate dokumenata prije indeksiranja. Isteknite zastarjele ugradnje. Držite vruće indekse blizu putanje posluživanja. Grupirajte kompatibilne zahtjeve. Kompajlirajte uobičajene putanje. Mjerite izlaz tokena, ne samo ulaz. To nisu velike geste. To je kućanstvo s vatmetrom.
Zapetljani dio je što mnogi timovi ne vide premještanje memorije kao pitanje proizvoda. Oni to vide kao infrastrukturnu instalaciju. Ali korisnici plaćaju za to kroz latenciju, organizacije plaćaju kroz energiju i račune za oblak, a društvo plaća kroz potražnju za mrežom. Ako dizajn proizvoda potiče duge upite, ponovljene pozive, nepotrebne ponovne pokušaje i uvijek uključene opće modele, onda je proizvod dio energetskog sustava. Brojilo električne energije ne zanima koji je odjel donio odluku. Ono ima divno slab poštovanje prema organizacijskim shemama.
Energija curi kroz stog
Račun za energiju nije smješten u jednom sloju. On curi kroz stog. Odabir podataka za obuku utječe na veličinu i specijalizaciju modela. Odabir arhitekture utječe na aktivaciju i memoriju. Odabir tokenizatora i konteksta utječe na duljinu niza. Odabir dohvaćanja utječe na premještanje i utemeljenost. Odabir upita utječe na tokene. Odabir dekodiranja utječe na duljinu izlaza. Odabir posluživanja utječe na grupiranje i kapacitet u praznom hodu. Odabir hardvera utječe na učinkovitost. Odabir praćenja utječe na to koliko se brzo otkrije otpad. Ako nitko ne posjeduje cijeli put, otpad postaje sporedno pitanje svih ostalih, a brojilo nastavlja svoj tihi posao.
Prikaz slojeva pomaže jer pokazuje gdje intervencije pripadaju. Ako je problem prevelik kontekst, kupnja boljeg hardvera može samo odgoditi račun. Ako je problem loše usmjeravanje, kvantizacija može pomoći manje nego jeftini klasifikator ispred. Ako je problem niska iskorištenost, arhitektura može biti manje važna od gruppiranja i raspoređivanja. Ako je problem zastarjelo dohvaćanje, energija se troši na generiranje uglađenih odgovora iz pogrešnog materijala, što je tragična upotreba elektrona.
Postoje, naravno, kompromisi. Smanjenje energije ne smije naštetiti sigurnosti, pristupačnosti ili pravednosti. Manji model koji ne uspijeva na rubnim slučajevima može jednostavno prebaciti trošak na ljude. Agresivno predmemoriranje može poslužiti zastarjele odgovore. Kvantizacija može naštetiti rijetkom jezičnom ponašanju. Lokalna ruta može smanjiti mrežni promet, ali povećati dupliciranje. Ti su kompromisi stvarni. Odgovor je mjerenje, ne slogani. Mjerite kvalitetu, energiju, latenciju, popravak pogrešaka i ljudsko opterećenje zajedno. Watt ušteđen tako da osoblje popravlja loš rezultat nije ušteda. To je samo prebacivanje topline na ljude.
Zato bi energija modela trebala biti dio pregleda dizajna. Ne kao moralna naknadna misao, već kao inženjersko svojstvo. Kolika je očekivana energija po korisnom odgovoru. Koje komponente dominiraju. Koji su zahtjevi izvanredni. Koji je put povratka. Što se događa tijekom vršnog opterećenja. Što se može predmemorirati. Koji zadaci trebaju izbjegavati veliki model. Koji će dokazi pokazati da se dizajn poboljšava. Ta pitanja pripadaju uz točnost i sigurnost, ne na slajd o održivosti koji je dodala osoba sa stock fotografijom lista.
Kontekstni prozor nije gumb za preskakanje
Dugi kontekst postao je primamljiv gumb za preskakanje arhitekture. Zašto graditi pažljivo dohvaćanje, rangiranje izvora, sažimanje, filtriranje pristupa i strukturu dokumenta kada model može pročitati sve. Odgovor je da je čitanje svega posao. Što je još važnije, čitanje svega često je lošije upravljanje. Model prima nevažan materijal, osjetljiv materijal, zastarjeli materijal i sukobljeni materijal, a zatim mora odlučiti što je važno unutar vrlo skupog obrasca pažnje.
Dobar dizajn konteksta je selektivan. Tretira kontekstni prozor kao oskudnu radnu memoriju, ne kao jedinicu za pohranu s problemima povjerenja. Odabir izvora trebao bi se dogoditi prije generiranja. Dokumente treba dijeliti s obzirom na značenje, ne rezati na proizvoljne dijelove jer je zadana postavka biblioteke izgledala službeno. Metapodaci trebaju nositi datume, autoritet, osjetljivost i opseg. Filtri pristupa trebali bi se pokretati prije dohvaćanja. Sažetke treba predmemorirati kada su stabilni. Model bi trebao primiti dokaze potrebne za zadatak, ne općinski arhiv odjeven u upit.
Ovo je energetsko pitanje jer trošak pažnje raste s duljinom niza i jer dugi upiti povećavaju kretanje memorije, latenciju i iskušenje generiranja. Model s velikim kontekstom također može proizvesti dulje odgovore jer je vidio više materijala. Taj izlaz tada također troši energiju. Energetski osviješten dizajn sustava teži kratkim putovima do korisnih odgovora. Ne nagrađuje stroj za pisanje vođene ture kroz dokaze kada tijek rada treba samo jedno polje odluke i kod razloga.
Postoji i zamka u evaluaciji. Sustavi s dugim kontekstom mogu izgledati impresivno u demonstracijama jer odgovaraju na pitanja kroz velike dokumente. U produkciji mogu dominirati mala, ponavljajuća, strukturirana pitanja. Ako poslužiteljski put tretira svaki zahtjev kao rijedak istraživački problem, račun za energiju će pristojno objasniti razliku između demonstracije i usluge. Koristit će brojeve, jer su računi pohvalno sažeti.
Usmjeravanje je kontrola energije
Usmjeravanje je jedna od najpodcijenjenijih kontrola energije u AI sustavima. Prije nego zahtjev stigne do velikog modela, sustav može odlučiti je li zahtjev u opsegu, postoji li predmemorirani odgovor, može li deterministički alat odgovoriti, je li mali model dovoljan, je li potrebno pretraživanje, treba li se time baviti čovjek ili bi sustav trebao odbiti. Svaka grana može uštedjeti rad i poboljšati kvalitetu kada je pošteno dizajnirana.
Loše usmjeravanje čini suprotno. Šalje svako pitanje kroz isti skupi put. Poziva alate nakon generiranja umjesto prije. Traži od modela da klasificira nešto što polje u obrascu već zna. Traži prozu gdje bi boolean bio dovoljan. Ponavlja pozive jer se stanje ne prenosi dalje. Dopušta agentu istraživanje jer nitko nije definirao granicu zadatka. Rezultirajuća potrošnja energije nije krivnja čipa. Čip radi ono što mu je rečeno, s umornom profesionalnošću infrastrukture posvuda.
Energetski osviješteno usmjeravanje treba pragove pouzdanosti, pravila opsega, provjere svježine izvora, poništavanje predmemorije i predaju čovjeku. Treba biti dovoljno transparentno da operateri mogu vidjeti koja je ruta odabrana i zašto. Treba ga vrednovati ne samo prema prosječnom trošku, već i prema rubnim slučajevima. Pravilo usmjeravanja koje štedi energiju za uobičajene zahtjeve, ali šalje teške slučajeve u ponovljene neuspjehe, može povećati ukupni trošak nakon podrške, ponovnih pokušaja i ručnog popravka. Ruta se mora prosuđivati prema korisnom završetku.
Postoji i ljudska dimenzija. Dobro usmjeravanje smanjuje kognitivno opterećenje. Daje jednostavne slučajeve jednostavnim strojevima, strukturirane slučajeve strukturiranim sustavima, dvosmislene slučajeve modelima, a osjetljive slučajeve ljudima s dokazima. To je učinkovito u širem smislu. Energetska učinkovitost i institucionalna jasnoća često pokazuju u istom smjeru: ne tražite od najopćenitije komponente da nosi svaku odgovornost samo zato što može proizvesti rečenicu.
Lokalnost i oblik potražnje
Energiju također oblikuje mjesto gdje se potražnja susreće s ponudom. Ako podaci žive na jednom mjestu, modeli na drugom, zapisnici na trećem, a korisnici na četvrtom, svaki odgovor može nositi mrežno kretanje i duplicirano pohranjivanje. Ponekad je ta distribucija nužna. Ponekad je slučajni rezultat kupnje usluga redoslijedom kojim su postale moderne. Izbori lokalnosti zajedno utječu na latenciju, otpornost, upravljanje i energiju.
Rubno i lokalno zaključivanje može smanjiti kretanje za ponavljajuće ili osjetljive zadatke, ali također može duplicirati resurse i smanjiti iskorištenost ako se primjenjuje slijepo. Centralno posluživanje može poboljšati iskorištenost i učinkovitost hardvera, ali može povećati mrežno kretanje i koncentraciju ovisnosti. Regionalni dizajni mogu uravnotežiti to dvoje. Točan odgovor ovisi o obliku potražnje: količini, ponavljanju, osjetljivosti, toleranciji latencije, lokaciji izvora, obrascima vršnog opterećenja i načinima kvara.
Zato prosjeci nisu dovoljni. Prosječan zahtjev može biti jeftin, dok prvih pet posto zahtjeva dominira potrošnjom energije. Mala skupina zadataka s dugim kontekstom može potrošiti više energije nego tisuće kratkih klasifikacija. Noćni paketni poslovi mogu skrivati nepotrebno ponovno računanje. Ponovni pokušaji agenta mogu se rasplamsati tijekom prekida izvora. Energetski osviješten dizajn promatra raspodjelu, ne samo prosjek. Prosjek je mjesto gdje problemi odlaze izgledati ugledno.
Potražnja bi trebala mijenjati dizajn. Ako korisnici uvijek iznova postavljaju isto činjenično pitanje, predmemorirajte ili objavite odgovor. Ako im opetovano treba jedno polje iz dokumenta, izgradite izdvajanje. Ako postavljaju široka pitanja jer sučelje skriva strukturu, popravite sučelje. Ako agenti opetovano pozivaju alate jer stanje nije jasno, redizajnirajte stanje. Svaki ponovljeni vat je naznaka za dizajn. Neke su naznake suptilne. Mjesečni račun nije jedna od njih.
Energetski osviještena petlja modela
Praktičan odgovor nije učiniti energiju jedinim ciljem. To bi bilo besmisleno i ponekad štetno. Poslužitelj u mraku vrlo je učinkovit, ali nije baš usluga. Zadatak je uključiti energiju u petlju dizajna uz kvalitetu, sigurnost, latenciju, privatnost, otpornost i održivost. Mjerite koristan rad. Ograničite zadatak. Odaberite najmanji dovoljan rješavač. Implementirajte s vidljivošću. Pratite stvarnu potražnju. Revidirajte dizajn kada se pojavi rasipanje.
Petlja treba zajednički jezik. Timovi za proizvod trebali bi znati energetsku cijenu obrazaca dizajna: dugi upiti, ponovljeni pozivi, opširni izlazi, uvijek uključeni agenti, neograničeni alati. Inženjeri bi trebali znati korisničku vrijednost dodatnog računanja: manje pogrešaka, bolja pristupačnost, sigurnije odluke, kraći ljudski napor. Operativni timovi trebali bi znati koji radni tereti dominiraju računom. Timovi za upravljanje trebali bi znati kada smanjenje energije mijenja rizik. Timovi za održivost trebali bi biti u prostoriji prije nego što je sustav već naučio skupe navike.
Ovdje se ne radi o krivnji. Krivnja je loš profiler. Poanta je pismenost o dizajnu. Kada timovi uvide da energiju određuje arhitektura, mogu birati bolje. Mogu zadržati velike modele za zadatke koji ih trebaju, manje modele za ograničene zadatke, pretraživanje za znanje, alate za deterministički rad, predmemorije za ponavljanje, ljude za prosudbu i odbijanje za besmislice. Rezultat je često jeftiniji, brži i jasniji, što je pristojan ishod za temu koja je započela s brojilom električne energije u tužnoj prostoriji.
Pouka
Račun za energiju umjetne inteligencije nije skriven samo u podatkovnom centru. Skriven je u dizajnu modela: veličini, arhitekturi, kontekstu, pretraživanju, preciznosti, usmjeravanju, lokalnosti, predmemoriranju, obliku izlaza, evaluaciji i odbijanju. Učinkovitost hardvera je važna, ali hardver unovčava čekove koje je dizajn već ispisao.
Dobra AI infrastruktura stoga počinje ranije od nabave akceleratora. Počinje pitanjem korisnog rada. Koji je odgovor potreban. Koliko je jezika nužno. Koji rješavač odgovara. Koje znanje treba živjeti u težinama, pretraživanju, alatima ili pravilima. Koje zahtjeve treba odbiti. Koji će dokazi pokazati rasipanje. Koji dizajnerski izbori stvaraju izbjegljivo kretanje. Koji pozivi velikih modela zapravo obavljaju posao velikih modela.
Energetski osviješten dizajn modela nije štednja. To je preciznost. Zadržava sposobnost tamo gdje se sposobnost isplati i uklanja rad tamo gdje je rad samo navika. Rezultat nije samo manji račun. Često je to bolji sustav: brži, lakši za upravljanje, lakši za skaliranje, lakši za objašnjenje i manje ovisan o herojskoj infrastrukturi koja kompenzira lijen dizajn. Brojilo u kutu govorilo je istinu cijelo vrijeme. Samo smo ga trebali čitati kao arhitekturu.