Račun za energijo, skrit v oblikovanju modela
Števec v kotu
Prvi koristen pogovor o energiji za umetno inteligenco se le redko začne z modelno kartico. Začne se s števcem. Nekje v stavbi, pogosto v prostoru, ki ga še nikoli niso obtožili notranjega oblikovanja, se elektrika spreminja v toploto, zakasnitve, račune in občasno koristno delo. Nadzorna plošča zgoraj to morda imenuje inteligenca. Vzdrževalna ekipa temu reče obremenitev. Oboje je pravilno, a le eden od njiju dobi račun s številkami, ki jih je treba plačati.
Energija za umetno inteligenco se pogosto obravnava kot problem podatkovnih centrov. Boljše hlajenje, boljši čipi, čistejša energija, pametnejše načrtovanje, učinkovitejši regali. Vse to je pomembno. Ljudje, ki skrbijo za infrastrukturo, že dolgo iz vatov iztisnejo koristno delo, običajno brez aplavza, ki ga dobi model, ki trenutno nosi krono. Toda presenetljivo velik del računa za energijo je napisan, preden delovna obremenitev sploh doseže podatkovni center. Napisan je pri oblikovanju modela.
Arhitektura modela zavezuje prihodnjo energijo. Prav tako dolžina konteksta. Prav tako odločitev, da na vsako vprašanje odgovorimo z velikim splošnim modelom, ko bi zadostovala manjša, bolj specializirana pot. Prav tako zasnova pridobivanja, ki prenaša preveč besedila, slog pozivov, ki stlači dokumente v okno, ker nihče ni hotel pravilno zgraditi indeksiranja, strategija dekodiranja, ki ustvarja nepotrebne žetone, strežna pot, ki ne more paketno obdelovati, izbira natančnosti zaradi udobja, in kultura vrednotenja, ki nagrajuje lesk na merilih uspešnosti, medtem ko ignorira operativne stroške.
Račun za energijo se tam skriva, ker so oblikovalske odločitve videti abstraktne. Večje kontekstno okno zveni kot zmogljivost. Večji model zveni kot rezerva. Več orodij zveni kot prilagodljivost. Več vzorčenja zveni kot ustvarjalnost. Več pridobivanja zveni kot utemeljenost. Vsako od teh je lahko koristno. Vsako od teh tudi od infrastrukture zahteva, da opravi delo. Včasih je delo vredno truda. Včasih stroj porablja energijo, da bi nadomestil oblikovanje, ki ni želelo odločiti, kje naj živijo znanje, spomin, usmerjanje in odgovornost.
Sklepanje je tam, kjer oblikovanje postane komunalni račun
Usposabljanje dobi veliko pozornosti, ker so številke velike in gruče zvenijo kinematografsko. Sklepanje je manj dramatično in pogosto bolj vztrajno. To je vsakodnevno delo strežbe vprašanj, povzetkov, klasifikacij, priporočil, iskanj, agentov in notranjih orodij. Vsaka zahteva je lahko majhna. Skupaj postanejo komunalni račun, ki sledi izdelku kot zelo točen računovodja.
Stroške sklepanja oblikujejo količina računanja, premikanje pomnilnika, premikanje po omrežju, neizkoriščena zmogljivost in ponovni poskusi, potrebni za vsak uporaben odgovor. Besedna zveza uporaben odgovor je pomembna. Če sistem ustvari tri odstavke, kjer bi zadostovalo eno polje, to ni le težava z uporabniško izkušnjo. To je energija, porabljena za besednatost. Če delovni proces petkrat pokliče velik model, ker proces ni bil razčlenjen, je račun povratna informacija o načrtovanju. Če agent v krogu preizkuša orodja, ker je stanje nejasno, je toplota, ki prihaja iz omarice, deloma težava upravljanja, ki nosi značko sistemskega vprašanja.
Veliki kontekstni okviri so dober primer. Dragoceni so, kadar naloga resnično potrebuje dolge dokaze. Zapravljivi so, kadar se uporabljajo kot nadomestek za izbiro virov. Vreči celoten priročnik s politikami v kontekst, ker je iskanje šibko, je umetnointeligenčni ekvivalent tega, da na sestanek prinesete celotno omarico z dokumenti, če bi morda en odstavek postal pomemben. Deluje, dokler mora nekdo omarico nositi. V računalništvu nošenje omarice izgleda kot pasovna širina pomnilnika, stroški pozornosti, zakasnitev in poraba energije.
Boljše načrtovanje modelov se sprašuje, katere informacije naj bodo v utežeh, kaj naj bo pri iskanju, kaj v orodjih, kaj naj bo predpomnjeno, kaj naj se izračuna lokalno in kaj naj se zavrne. To so energetska vprašanja prav tako kot arhitekturna. Zavrnitev lahko prihrani energijo, kadar je naloga zunaj obsega. Majhen klasifikator lahko usmeri delo, preden se velik model prebudi. Dober indeks lahko zmanjša kontekst. Tipizirano orodje lahko vrne vrednost, ne da bi moral jezikovni model pripovedovati skozi aritmetiko, kar je prizanesljivo tako do vatov kot do bralcev.
Velikost ni enaka moči
Javna domišljija še vedno obravnava velikost modela kot preprost približek moči. Večji mora biti boljši ali vsaj resnejši. Inženirji vedo, da zgodba ni tako urejena. Velik gosti model je lahko odličen, vendar ni samodejno prava operativna enota za vsako nalogo. Številne proizvodne naloge imajo ozko strukturo: razvrsti to vrsto dokumenta, izlušči ta polja, odgovori iz tega vira, prevedi ta obrazec, usmeri to zahtevo, preveri ta pogoj politike. Uporaba maksimalne splošnosti za minimalno dvoumnost je včasih kot segrevanje juhe z reaktivnim motorjem. Tehnično mogoče. Odzivi soseske se razlikujejo.
Manjši modeli, specializirane glave, načrti z razširjenim iskanjem, omejeni dekoderji, simbolična preverjanja in klasični algoritmi lahko vsi zmanjšajo porabo energije, če se uporabijo na pravem mestu. Bistvo ni majhnost zaradi majhnosti same. Bistvo je primernost nalogi. Kompakten model, ki zanesljivo odgovarja na eno nalogo z velikim obsegom, je lahko veliko učinkovitejši od univerzalnega modela, ki naj bi se pretvarjal, da je vsaka naloga novost. Pravilni mehanizem je lahko boljši za deterministično upravičenost. Poizvedba v podatkovni bazi je lahko boljša za znana dejstva. Iskalni indeks je lahko boljši za izbiro kandidatov. Jezikovni model lahko nato stori tisto, pri čemer so jezikovni modeli dobri: sintezo, obravnavanje dvoumnosti, razlago in osnutke znotraj meja.
Mešane in redke arhitekture zapletajo sliko. Aktiviranje le dela modela lahko zmanjša računanje, vendar usmerjanje, razporeditev pomnilnika, pakiranje in podpora strojne opreme odločajo, ali teoretični prihranek postane resničen. Elegantna arhitektura na papirju lahko postane prometni zamašek v proizvodnji, če se zahteve razpršijo med strokovnjake in pomnilnik ne more slediti. Učinkovitost ni slogan, ki ga pritrdite na članek. Je lastnost celotne poti strežbe.
Zato energetsko ozaveščeno načrtovanje potrebuje meritve v okolju, kjer bo sistem deloval. Samo merilo točnosti ni dovolj. Pomembni so žetoni na joule, pritisk na pomnilnik, porazdelitev zakasnitev, možnost pakiranja, stopnja zadetkov predpomnilnika, premikanje po omrežju, hladni zagoni in ponovni poskusi ob napakah. Najboljša arhitektura ni tista, ki zmaga na enem samem grafu. Je tista, ki zagotavlja potrebno kakovost z najmanjšim možnim nepotrebnim delom ob realnem povpraševanju.
Premikanje pomnilnika je tiho delo
Ljudje radi štejemo operacije. Strojna oprema se pogosto pritožuje nad premikanjem. Premikanje uteži, aktivacij, ključev, vrednosti, izvornih delov, vdelav in dnevnikov po pomnilniku in omrežjih porablja čas in energijo. Model ima lahko impresivno aritmetično zmogljivost in je še vedno omejen s količino podatkov, ki jih je treba premakniti, da ostane oskrbovan. Uporabnik vidi vrtiljak. Infrastruktura vidi dostavno službo za številke.
Zasnova modela vpliva na to premikanje. Izbira natančnosti določa, koliko bajtov potuje za vsako vrednost. Kvantizacija lahko zmanjša pasovno širino pomnilnika in potrebe po zmogljivosti, vendar jo je treba preizkusiti glede na nalogo, ker poceni napačen odgovor ni učinkovitost. Dolžina konteksta določa, koliko stanja se prenaša skozi pozornost. Zasnova pridobivanja določa, koliko delov se premakne v poziv. Predpomnjenje določa, ali se ponavljajočemu delu izognemo. Lokalnost določa, ali podatki potujejo med regijami, storitvami ali napravami, preden se pojavi žeton.
Nekateri največji prihranki energije niso romantični. Pripnite pravo različico modela. Izogibajte se nepotrebnemu besedilu v pozivih. Odstranite ponavljajoča se navodila, ki ne naredijo ničesar. Uporabite strukturirane izpise namesto dolgovezne proze, kjer potek dela potrebuje polja. Predpomnite stabilne rezultate orodij. Odstranite podvojene dokumente pred indeksiranjem. Poteče vdelave zastarajo. Vroče indekse imejte blizu poti strežbe. Pakirajte združljive zahteve. Zberite pogoste poti. Merite izhod žetonov, ne le vhoda. To niso veličastne poteze. To je gospodinjstvo z merilnikom moči.
Zapleteni del je, da mnoge ekipe ne vidijo premikanja pomnilnika kot vprašanja izdelka. Vidijo ga kot infrastrukturno napeljavo. Toda uporabniki zanj plačujejo z zakasnitvijo, organizacije z energijo in računi za oblak, družba pa s povpraševanjem po omrežju. Če zasnova izdelka spodbuja dolge pozive, ponavljajoče klice, nepotrebne ponovne poskuse in vedno vklopljene splošne modele, potem je izdelek del energetskega sistema. Števec elektrike ne zanima, kateri oddelek je sprejel odločitev. Ima občudovanja vredno malo spoštovanja do organizacijskih shem.
Energija uhaja skozi sklad
Račun za energijo ni v eni sami plasti. Uhaja skozi sklad. Izbire pri usposabljanju vplivajo na velikost in specializacijo modela. Arhitekturne izbire vplivajo na aktivacijo in pomnilnik. Izbire tokenizatorja in konteksta vplivajo na dolžino zaporedja. Izbire pridobivanja vplivajo na premikanje in utemeljevanje. Izbire pozivov vplivajo na žetone. Izbire dekodiranja vplivajo na dolžino izhoda. Izbire strežbe vplivajo na paketno obdelavo in prosto zmogljivost. Izbire strojne opreme vplivajo na učinkovitost. Izbire spremljanja vplivajo na to, kako hitro se odkrije odpad. Če nihče ne obvladuje celotne poti, odpad postane drobna težava vseh drugih in števec nadaljuje svoje tiho delo.
Pogled na celoten sklad pomaga, ker pokaže, kam sodijo posegi. Če je težava prevelik kontekst, lahko nakup boljše strojne opreme le odloži račun. Če je težava slabo usmerjanje, lahko kvantizacija pomaga manj kot poceni klasifikator na začetku. Če je težava nizka izkoriščenost, je arhitektura morda manj pomembna kot paketna obdelava in razporejanje. Če je iskanje zastarelo, se energija porablja za ustvarjanje dodelanih odgovorov iz napačnega gradiva, kar je tragična poraba elektronov.
Seveda obstajajo kompromisi. Zmanjšanje porabe energije ne sme ogroziti varnosti, dostopnosti ali pravičnosti. Manjši model, ki odpove pri robnih primerih, lahko stroške preprosto prenese na ljudi. Agresivno predpomnjenje lahko streže zastarele odgovore. Kvantizacija lahko škoduje redkim jezikovnim vzorcem. Lokalna pot lahko zmanjša prenos po omrežju, a poveča podvajanje. Ti kompromisi so resnični. Odgovor je merjenje, ne slogani. Merite kakovost, energijo, zakasnitev, popravljanje napak in delovno obremenitev ljudi skupaj. Prihranjen vat, zaradi katerega mora osebje popravljati slabe rezultate, ni prihranek. To je le prenos toplote na ljudi.
Zato bi morala biti energija modela del pregleda zasnove. Ne kot moralna naknadna misel, ampak kot inženirska lastnost. Kakšna je pričakovana energija na uporaben odgovor. Katere komponente prevladujejo. Kateri zahtevki so izstopajoči. Kakšna je rezervna pot. Kaj se zgodi med konično obremenitvijo. Kaj je mogoče predpomniti. Katere naloge naj se izognejo velikemu modelu. Kateri dokazi bodo pokazali, da se zasnova izboljšuje. Ta vprašanja sodijo k natančnosti in varnosti, ne na prosojnico o trajnosti, ki jo je dodal nekdo s fotografijo lista iz zaloge.
Kontekstno okno ni gumb za preskok
Dolg kontekst je postal mamljiv gumb za preskok v arhitekturi. Zakaj bi gradili skrbno iskanje, razvrščanje virov, povzemanje, filtriranje dostopa in strukturo dokumentov, če lahko model prebere vse. Odgovor je, da je branje vsega delo. Še pomembneje, branje vsega je pogosto slabše upravljanje. Model prejme nepomembno gradivo, občutljivo gradivo, zastarelo gradivo in nasprotujoče si gradivo, nato pa se mora odločiti, kaj je pomembno, znotraj zelo dragega vzorca pozornosti.
Dobra zasnova konteksta je selektivna. Kontekstno okno obravnava kot redko delovni pomnilnik, ne kot enoto za shranjevanje s težavami zaupanja. Izbira virov naj poteka pred generiranjem. Dokumente je treba razdeliti na dele glede na pomen, ne narezati na poljubne rezine, ker je privzeta nastavitev knjižnice delovala uradno. Metapodatki naj nosijo datume, avtoriteto, občutljivost in obseg. Filtri dostopa naj se izvajajo pred iskanjem. Povzetke je treba predpomniti, ko so stabilni. Model naj prejme dokaze, potrebne za nalogo, ne občinskega arhiva, oblečenega v poziv.
To je energetsko vprašanje, ker stroški pozornosti rastejo z dolžino zaporedja in ker dolge pozivi povečajo premikanje pomnilnika, zakasnitev in skušnjavo po izpisu. Model z velikim kontekstom lahko ustvari tudi daljše odgovore, ker je videl več gradiva. Izhod nato prav tako porablja energijo. Energetsko ozaveščeno načrtovanje sistemov išče kratke poti do uporabnih odgovorov. Stroj ni nagrajen za pisanje vodenega ogleda dokazov, kadar delovni tok potrebuje eno polje z odločitvijo in kodo razloga.
Obstaja tudi past pri vrednotenju. Sistemi z dolgim kontekstom so lahko v predstavitvah videti impresivni, ker odgovarjajo na vprašanja iz obsežnih dokumentov. V produkciji lahko prevladujejo majhna, ponavljajoča se in strukturirana vprašanja. Če strežniška pot vsako zahtevo obravnava kot redek raziskovalni izziv, bo račun za energijo vljudno pojasnil razliko med predstavitvijo in storitvijo. Uporabil bo številke, ker so računi občudovanja vredno jedrnati.
Usmerjanje je nadzor nad energijo
Usmerjanje je eden najbolj podcenjenih nadzorov nad energijo v sistemih z umetno inteligenco. Preden zahteva doseže velik model, se sistem lahko odloči, ali je zahteva v okviru, ali obstaja predpomnjen odgovor, ali lahko odgovori deterministično orodje, ali je dovolj majhen model, ali je potrebno iskanje, ali naj jo obravnava človek ali pa naj sistem zavrne. Vsaka veja lahko prihrani delo in izboljša kakovost, če je zasnovana pošteno.
Slabo usmerjanje naredi nasprotno. Vsako vprašanje pošlje po isti dragi poti. Orodja kliče po generiranju namesto pred njim. Model prosi, naj razvrsti nekaj, kar polje v obrazcu že ve. Zahteva prozo, kjer bi zadostoval logični podatek. Ponavlja klice, ker se stanje ne prenaša naprej. Agentu dovoli raziskovanje, ker nihče ni opredelil meja naloge. Posledična poraba energije ni krivda čipa. Čip dela, kar mu je bilo naročeno, z utrujeno profesionalnostjo, kakršno poznamo povsod v infrastrukturi.
Energetsko ozaveščeno usmerjanje potrebuje pragove zaupanja, pravila o okviru, preverjanje svežine virov, razveljavljanje predpomnilnika in predajo človeku. Biti mora dovolj pregledno, da lahko operaterji vidijo, katera pot je bila izbrana in zakaj. Vrednotiti ga je treba ne le po povprečnih stroških, ampak tudi po robnih primerih. Pravilo usmerjanja, ki pri običajnih zahtevah prihrani energijo, težke primere pa pošlje v ponavljajoče se napake, lahko po podpori, ponovnih poskusih in ročnem popravilu poveča skupne stroške. Pot je treba ocenjevati po uporabno zaključenih nalogah.
Obstaja tudi človeška razsežnost. Dobro usmerjanje zmanjšuje kognitivno obremenitev. Preproste primere daje preprostim mehanizmom, strukturirane primere strukturiranim sistemom, dvoumne primere modelom in občutljive primere ljudem z dokazi. To je učinkovito v širšem smislu. Energetska učinkovitost in institucionalna jasnost pogosto kažeta v isto smer: najbolj splošna komponenta naj ne nosi vseh odgovornosti samo zato, ker zna ustvariti stavek.
Lokalnost in oblika povpraševanja
Na energijo vpliva tudi to, kje se povpraševanje sreča s ponudbo. Če so podatki na enem mestu, modeli na drugem, dnevniki na tretjem in uporabniki na četrtem, lahko vsak odgovor prinese premikanje po omrežju in podvojeno shranjevanje. Včasih je taka porazdelitev nujna. Včasih je naključna posledica nakupa storitev po vrstnem redu, v katerem so postale modne. Odločitve o lokalnosti skupaj vplivajo na zakasnitev, odpornost, upravljanje in energijo.
Robno in lokalno sklepanje lahko zmanjša premikanje pri ponavljajočih se ali občutljivih nalogah, lahko pa tudi podvoji vire in zmanjša izkoriščenost, če se uporablja brez razmisleka. Centralno streženje lahko izboljša izkoriščenost in učinkovitost strojne opreme, lahko pa poveča premikanje po omrežju in koncentracijo odvisnosti. Regionalne zasnove lahko uravnotežijo oboje. Pravi odgovor je odvisen od oblike povpraševanja: obsega, ponavljanja, občutljivosti, tolerance na zakasnitev, lokacije virov, vzorcev konic in načinov odpovedi.
Zato povprečja niso dovolj. Povprečna zahteva je lahko poceni, medtem ko zgornjih pet odstotkov zahtev porabi največ energije. Majhna skupina nalog z dolgim kontekstom lahko porabi več energije kot na tisoče kratkih klasifikacij. Nočne paketne obdelave lahko skrivajo nepotrebno ponovno računanje. Ponovni poskusi agentov lahko narastejo med izpadi virov. Z energijo ozaveščeno načrtovanje gleda na porazdelitev, ne le na povprečje. Povprečje je tam, kjer težave izgledajo spodobno.
Povpraševanje bi moralo spreminjati načrtovanje. Če uporabniki znova in znova postavljajo isto dejansko vprašanje, odgovor predpomnite ali objavite. Če vedno znova potrebujejo eno polje iz dokumenta, zgradite izluščanje. Če postavljajo široka vprašanja, ker vmesnik skriva strukturo, popravite vmesnik. Če agenti vedno znova kličejo orodja, ker stanje ni jasno, preoblikujte stanje. Vsak ponovljeni vat je namig za načrtovanje. Nekateri namigi so subtilni. Mesečni račun ni eden od njih.
Z energijo ozaveščena zanka modela
Praktični odgovor ni, da bi bila energija edini cilj. To bi bilo nespametno in včasih škodljivo. Temen strežnik je zelo učinkovit, a ni ravno storitev. Naloga je vključiti energijo v načrtovalsko zanko skupaj s kakovostjo, varnostjo, zakasnitvijo, zasebnostjo, odpornostjo in vzdržljivostjo. Merite koristno delo. Omejite nalogo. Izberite najmanjši ustrezen reševalec. Uvedite z opazljivostjo. Spremljajte dejansko povpraševanje. Revidirajte načrt, ko se pojavi potrata.
Zanka potrebuje skupni jezik. Produktne ekipe bi morale poznati energetske stroške vzorcev načrtovanja: dolga navodila, ponavljajoči se klici, podrobni izpisi, vedno aktivni agenti, neomejena orodja. Inženirji bi morali poznati uporabniško vrednost dodatnega računanja: manj napak, boljša dostopnost, varnejše odločitve, krajši človeški napor. Operativne ekipe bi morale vedeti, katera delovna obremenitev prevladuje na računu. Ekipe za upravljanje bi morale vedeti, kdaj zmanjšanje energije spremeni tveganje. Ekipe za trajnost bi morale biti v prostoru, preden se sistem že nauči dragih navad.
Ne gre za krivdo. Krivda je slab profiler. Bistvo je načrtovalska pismenost. Ko ekipe vidijo, da energijo določa arhitektura, lahko izbirajo bolje. Velike modele lahko ohranijo za naloge, ki jih potrebujejo, manjše modele za omejene naloge, iskanje za znanje, orodja za deterministično delo, predpomnilnike za ponavljanje, ljudi za presojo in zavrnitev za nesmisel. Rezultat je pogosto cenejši, hitrejši in jasnejši, kar je spodoben izid za temo, ki se je začela s števcem elektrike v žalostnem prostoru.
Sporočilo
Račun za energijo umetne inteligence ni skrit samo v podatkovnem centru. Skrit je v načrtovanju modela: velikost, arhitektura, kontekst, iskanje, natančnost, usmerjanje, lokalnost, predpomnjenje, oblika izpisa, vrednotenje in zavrnitev. Učinkovitost strojne opreme je pomembna, vendar strojna oprema unovčuje čeke, ki jih je načrtovanje že izpisalo.
Dobra infrastruktura za umetno inteligenco se torej začne pred nabavo pospeševalnikov. Začne se z vprašanjem koristnega dela. Kakšen odgovor je potreben. Koliko jezika je potrebnega. Kateri reševalnik ustreza. Katero znanje naj živi v utežeh, iskanju, orodjih ali pravilih. Katere zahteve je treba zavrniti. Kateri dokazi bodo pokazali potratnost. Katere oblikovne odločitve ustvarjajo nepotrebno gibanje. Kateri klici velikih modelov dejansko opravljajo delo velikih modelov.
Z energijo ozaveščeno načrtovanje modelov ni varčevanje. Je natančnost. Ohranja zmogljivost tam, kjer se zmogljivost sama poplača, in odstranjuje delo tam, kjer je delo le navada. Rezultat ni le manjši račun. Pogosto je boljši sistem: hitrejši, lažje obvladljiv, lažje razširljiv, lažje razložljiv in manj odvisen od junaške infrastrukture, ki bi nadomeščala leno načrtovanje. Števec v kotu je ves čas govoril resnico. Le brati smo ga morali kot arhitekturo.