Energiaarve, mis peidab end mudeli kujunduses
Arvesti nurgas
Esimene kasulik vestlus AI energia üle algab harva mudelikaardist. See algab arvestist. Kuskil hoones, sageli ruumis, mida pole kunagi sisekujundusega seostatud, muutub elekter soojuseks, latentsuseks, arveteks ja aeg-ajalt kasulikuks tööks. Ülemisel korrusel asuv juhtpaneel võib seda nimetada intelligentsuseks. Hooldusmeeskond nimetab seda koormuseks. Mõlemal on õigus, kuid ainult üks neist saab arve numbritega, mis tuleb tasuda.
AI energiat käsitletakse sageli kui andmekeskuse probleemi. Parem jahutus, paremad kiibid, puhtam elekter, targem ajastamine, tõhusamad riiulid. Kõik see loeb. Infrastruktuuriinimesed on pikka aega vattidest kasulikku tööd välja pigistanud, tavaliselt ilma aplausita, mida antakse mudelile, mis parasjagu krooni kannab. Kuid üllatav osa energiaarvest kirjutatakse enne, kui töökoormus andmekeskusesse jõuab. See kirjutatakse mudeli disainis.
Mudeli arhitektuur võtab endale tulevase energia. Sama teeb konteksti pikkus. Sama teeb valik vastata igale küsimusele suure üldmudeliga, kui väiksem spetsialiseeritud tee sobiks. Sama teeb otsingudisain, mis liigutab liiga palju teksti, viipade stiil, mis toppib dokumendid aknasse, sest keegi ei tahtnud indekseerimist korralikult üles ehitada, dekodeerimisstrateegia, mis genereerib tarbetuid tokeneid, serveerimistee, mis ei suuda partiidena töötada, täpsuse valik, mis on tehtud mugavuse pärast, ja hindamiskultuur, mis premeerib võrdlusnäitajate sära, ignoreerides samas tegevuskulusid.
Energiaarve peidab end seal, sest disainivalikud tunduvad abstraktsed. Suurem kontekstiaken kõlab võimekusena. Suurem mudel kõlab varuna. Rohkem tööriistu kõlab paindlikkusena. Rohkem valimit kõlab loovusena. Rohkem otsingut kõlab usaldusväärsusena. Igaüks neist võib olla kasulik. Igaüks neist nõuab ka infrastruktuurilt tööd. Mõnikord on töö seda väärt. Mõnikord põletab masin energiat, et kompenseerida disaini, mis ei tahtnud otsustada, kus peaksid elama teadmised, mälu, suunamine ja vastutus.
Järeldamine on koht, kus disain muutub kommunaalarveteks
Treening saab palju tähelepanu, sest numbrid on suured ja klastrid kõlavad kinematograafiliselt. Järeldamine on vähem dramaatiline ja sageli püsivam. See on igapäevane töö küsimustele vastamisel, kokkuvõtete, klassifikatsioonide, soovituste, otsingute, agentide ja sisemiste tööriistade teenindamisel. Iga päring võib olla väike. Koos saavad neist kommunaalarve, mis järgneb tootele nagu väga täpne raamatupidaja.
Inferentsikulu kujuneb arvutushulga, mäluliikumise, võrguliikluse, jõudeoleku võimsuse ja korduskatsete põhjal, mida üks kasulik vastus vajab. Väljend „kasulik vastus“ on oluline. Kui süsteem genereerib kolm lõiku seal, kus piisaks ühest väljast, pole see ainult kasutajakogemuse probleem. See on energia, mis kulub paljusõnalisusele. Kui töövoog kutsub suurt mudelit viis korda, sest protsessi pole osadeks jaotatud, on arve disaini tagasiside. Kui agent proovib tööriistu ringiratast, sest olek on ebamäärane, on riiulist tulev soojus osalt juhtimisprobleem, mis kannab süsteemi silti.
Suured kontekstiaknad on hea näide. Need on väärtuslikud, kui ülesanne vajab tõesti pikka tõendusmaterjali. Need on raiskavad, kui neid kasutatakse allikavaliku asendajana. Kogu poliitikakäsiraamatu konteksti loopimine, sest otsing on nõrk, on tehisintellekti vaste sellele, kui viia koosolekule terve arhiivikapp juhuks, kui üks lõik osutub asjakohaseks. See töötab seni, kuni keegi peab kappi kandma. Arvutimaailmas tähendab kapi kandmine mälulaiust, tähelepanu kulu, latentsust ja võimsust.
Parem mudelidisain küsib, milline info peaks olema kaaludes, milline otsingus, milline tööriistades, milline vahemälus, milline tuleks arvutada kohapeal ja millest tuleks keelduda. Need on energia küsimused sama palju kui arhitektuuri küsimused. Keeldumine võib energiat säästa, kui ülesanne jääb ulatusest välja. Väike klassifikaator võib suunata töö enne, kui suur mudel ärkab. Hea indeks võib konteksti vähendada. Tüübitud tööriist võib tagastada väärtuse ilma, et keelemudel peaks aritmeetikat sõnadega läbi jutustama, mis on armuline nii vattide kui ka lugejate suhtes.
Suurus ei ole sama mis tugevus
Avalikkuse kujutlusvõime kohtleb mudeli suurust endiselt lihtsa võimsuse näitajana. Suurem peab olema parem või vähemalt tõsisem. Insenerid teavad, et lugu pole nii korrapärane. Suur tihe mudel võib olla suurepärane, kuid see pole automaatselt õige tööüksus iga ülesande jaoks. Paljudel tootmisülesannetel on kitsas struktuur: klassifitseeri see dokumenditüüp, eralda need väljad, vasta sellest allikast, tõlgi see vorm, suuna see pilet, kontrolli seda poliitikatingimust. Maksimaalse üldistusvõime kasutamine minimaalse mitmetähenduslikkuse jaoks on mõnikord nagu supi soojendamine reaktiivmootoriga. Tehniliselt võimalik. Naabruskonna reaktsioonid varieeruvad.
Väiksemad mudelid, spetsialiseeritud pead, otsinguga täiendatud disainid, piiratud dekoodrid, sümboolsed kontrollid ja klassikalised algoritmid võivad kõik energiat vähendada, kui neid õiges kohas kasutada. Asi pole väiksuses iseenesest. Asi on ülesande sobivuses. Kompaktne mudel, mis vastab usaldusväärselt ühele suure mahuga ülesandele, võib olla palju tõhusam kui universaalne mudel, millel palutakse teeselda, et iga ülesanne on romaan. Reeglimootor võib olla parem deterministliku sobivuse jaoks. Andmebaasipäring võib olla parem teadaolevate faktide jaoks. Otsinguindeks võib olla parem kandidaatide valikuks. Keelemudel saab seejärel teha seda, milles keelemudelid on head: süntees, mitmetähenduslikkuse käsitlemine, selgitamine ja mustandi koostamine piirides.
Segamudelid ja hõredad arhitektuurid muudavad pildi keerulisemaks. Ainult osa mudeli aktiveerimine võib arvutust vähendada, kuid suunamine, mälupaigutus, pakkimine ja riistvara tugi otsustavad, kas teoreetiline kokkuhoid muutub reaalseks. Paberil elegantne arhitektuur võib tootmises muutuda ummikuks, kui päringud hajuvad ekspertide vahel ja mälu ei suuda järgi tulla. Tõhusus ei ole loosung, mille paberi külge kinnitad. See on kogu teenindustee omadus.
Seetõttu vajab energiateadlik disain mõõtmist keskkonnas, kus süsteem töötab. Ainult võrdlusuuringu täpsusest ei piisa. Loendavad tokenid džauli kohta, mälusurve, latentsuse jaotus, pakkimisvõime, vahemälu tabamusmäär, võrguliiklus, külmkäivitus ja ebaõnnestunud korduskatsed. Parim arhitektuur pole see, mis võidab ühe graafiku. See on see, mis tagab vajaliku kvaliteedi kõige vähema välditava tööga reaalse nõudluse korral.
Mäluliikumine on vaikne töö
Inimestele meeldib tehteid lugeda. Riistvara kurdab sageli liikumise üle. Kaalude, aktiveeringute, võtmete, väärtuste, lähtelõikude, manustuste ja logide liigutamine mälu ja võrkude vahel kulutab aega ja energiat. Mudelil võib olla muljetavaldav aritmeetiline võimekus, kuid seda piirab siiski andmehulk, mida tuleb selle toitmiseks liigutada. Kasutaja näeb laadimisrõngast. Infrastruktuur näeb numbrite kullerteenust.
Mudeli disain mõjutab seda liikumist. Täpsuse valik määrab, mitu baiti iga väärtuse kohta liigub. Kvantimine võib vähendada mälulaiuse ja -mahu vajadust, kuid seda tuleb ülesande vastu testida, sest odav vale vastus ei ole tõhusus. Konteksti pikkus määrab, kui palju olekut tähelepanumehhanismis kaasas kantakse. Otsingu disain määrab, mitu lõiku viipa liigutatakse. Vahemälundus määrab, kas korduvat tööd välditakse. Paiknevus määrab, kas andmed liiguvad üle piirkondade, teenuste või seadmete enne, kui märk ilmub.
Mõned parimad energiasäästud on ebaharilikud. Kinnita õige mudeliversioon. Väldi tarbetut viibakraami. Eemalda korduvad juhised, mis midagi ei tee. Kasuta struktureeritud väljundeid sõnaküllase proosa asemel, kui töövoog vajab välju. Vahemäleta stabiilseid tööriistatulemusi. Eemalda indekseerimisel dubleerivad dokumendid. Aegusta vananenud manustused. Hoia kuumi indekseid teenindustee lähedal. Koonda sobivad päringud. Kompileeri levinud teed. Mõõda väljundmärke, mitte ainult sisendit. Need ei ole suurejoonelised žestid. Need on majapidamistöö vattmeetriga.
Keeruline osa on see, et paljud meeskonnad ei näe mäluliikumist toote probleemina. Nad näevad seda infrastruktuuri torustikuna. Kuid kasutajad maksavad selle eest latentsusega, organisatsioonid energia- ja pilvearvetega ning ühiskond võrgukoormusega. Kui tootedisain soosib pikki viipasid, korduvaid kutseid, tarbetuid uuskatseid ja alati sisselülitatud üldmudeleid, on toode osa energiasüsteemist. Elektriarvesti ei hooli sellest, milline osakond otsuse tegi. Sellel on imetlusväärselt halb lugupidamine organisatsiooniskeemide vastu.
Energia lekib läbi virna
Energiaarve ei asu ühes kihis. See lekib läbi virna. Treeningandmete valikud mõjutavad mudeli suurust ja spetsialiseerumist. Arhitektuuri valikud mõjutavad aktiveeringut ja mälu. Tokenisaatori ja konteksti valikud mõjutavad jada pikkust. Otsingu valikud mõjutavad liikumist ja põhistamist. Viiba valikud mõjutavad märke. Dekodeerimise valikud mõjutavad väljundi pikkust. Teeninduse valikud mõjutavad pakkimist ja jõudevõimsust. Riistvara valikud mõjutavad tõhusust. Seire valikud mõjutavad seda, kui kiiresti raiskamine avastatakse. Kui keegi ei oma kogu teed, muutub raiskamine kõigi teiste väikeseks probleemiks ja arvesti jätkab oma vaikset tööd.
A stack view helps because it shows where interventions belong. If the problem is oversized context, buying better hardware may only postpone the bill. If the problem is poor routing, quantisation may help less than a cheap classifier in front. If the problem is low utilisation, architecture may matter less than batching and scheduling. If the problem is stale retrieval, energy is being spent generating polished answers from the wrong material, which is a tragic use of electrons.
There are tradeoffs, of course. Energy reduction cannot be allowed to damage safety, accessibility or fairness. A smaller model that fails edge cases may simply move cost to humans. Aggressive caching may serve stale answers. Quantisation may harm rare language behaviour. A local route may reduce network movement but increase duplication. These tradeoffs are real. The answer is measurement, not slogans. Measure quality, energy, latency, error repair, and human workload together. A watt saved by making staff repair bad output is not a saving. It is just outsourcing the heat to people.
This is why model energy should be part of design review. Not as a moral afterthought, but as an engineering property. What is the expected energy per useful answer. What components dominate. Which requests are outliers. What is the fallback path. What happens during peak load. What can be cached. Which tasks should avoid the large model. What evidence will show the design is improving. These questions belong next to accuracy and security, not in a sustainability slide added by someone with a stock photo of a leaf.
The context window is not a skip button
Long context has become a tempting skip button for architecture. Why build careful retrieval, source ranking, summarisation, access filtering and document structure when the model can read everything. The answer is that reading everything is work. More importantly, reading everything is often worse governance. The model receives irrelevant material, sensitive material, stale material and conflicting material, then has to decide what matters inside a very expensive attention pattern.
Good context design is selective. It treats the context window as scarce working memory, not a storage unit with confidence issues. Source selection should happen before generation. Documents should be chunked with meaning, not chopped into arbitrary slices because a library default looked official. Metadata should carry dates, authority, sensitivity and scope. Access filters should run before retrieval. Summaries should be cached when they are stable. The model should receive the evidence needed for the task, not a municipal archive wearing a prompt.
See on energiaprobleem, sest tähelepanu hind kasvab koos jada pikkusega ning sellepärast, et pikad päringud suurendavad mälu liikumist, latentsust ja väljundi kiusatust. Suure kontekstiga mudel võib ka pikemaid vastuseid toota, sest ta on rohkem materjali näinud. Ka väljund maksab siis energiat. Energiateadlik süsteemide kavandamine otsib lühikesi teid kasulike vastusteni. See ei premeeri masinat tõendusmaterjali giidituuri kirjutamise eest, kui töövoog vajab ühte otsusevälja ja põhjusekoodi.
On ka hindamislõks. Pika kontekstiga süsteemid võivad demodes muljetavaldavad tunduda, sest nad vastavad küsimustele suurte dokumentide põhjal. Tootmiskasutust võivad domineerida väikesed, korduvad ja struktureeritud küsimused. Kui teenindustee kohtleb iga päringut nagu haruldast uurimismõistatust, selgitab energiaarve viisakalt erinevust demo ja teenuse vahel. See kasutab numbreid, sest arved on imetlusväärselt lakoonilised.
Marsruutimine on energiakontroll
Marsruutimine on üks alahinnatumaid energiakontrolli vahendeid tehisintellektisüsteemides. Enne kui päring jõuab suure mudelini, saab süsteem otsustada, kas päring on ulatuses, kas on olemas vahemällu salvestatud vastus, kas deterministlik tööriist saab vastata, kas väikesest mudelist piisab, kas on vaja otsingut, kas inimene peaks sellega tegelema või kas süsteem peaks keelduma. Iga haru võib tööd säästa ja kvaliteeti parandada, kui see on ausalt kavandatud.
Halb marsruutimine teeb vastupidist. See saadab iga küsimuse läbi sama kalli tee. See kutsub tööriistu pärast genereerimist, mitte enne. See palub mudelil klassifitseerida seda, mida vormiväli juba teab. See küsib proosat, kui piisaks tõeväärtusest. See kordab väljakutseid, sest olekut ei kanta edasi. See laseb agendil avastada, sest keegi ei määratlenud ülesande piiri. Sellest tulenev energiakasutus ei ole kiibi süü. Kiip teeb seda, mida temalt paluti, kogu infrastruktuuri väsinud professionaalsusega.
Energiateadlik marsruutimine vajab usalduspiire, ulatuse reegleid, allika värskuse kontrolle, vahemälu kehtetuks tunnistamist ja inimesele üleandmist. See peaks olema piisavalt läbipaistev, et operaatorid näeksid, milline tee valiti ja miks. Seda tuleks hinnata mitte ainult keskmise kulu, vaid ka äärejuhtumite järgi. Marsruutimisreegel, mis säästab energiat tavaliste päringute puhul, kuid saadab keerulised juhtumid korduvasse ebaõnnestumisse, võib pärast tuge, uuesti proovimist ja käsitsi parandamist kogukulu suurendada. Teed tuleb hinnata kasuliku lõpetatuse järgi.
On ka inimlik mõõde. Hea marsruutimine vähendab kognitiivset koormust. See annab lihtsad juhtumid lihtsatele masinatele, struktureeritud juhtumid struktureeritud süsteemidele, mitmetähenduslikud juhtumid mudelitele ja tundlikud juhtumid tõendusmaterjaliga inimestele. See on tõhus laiemas mõttes. Energiatõhusus ja institutsionaalne selgus osutavad sageli samas suunas: ärge paluge kõige üldisemal komponendil kanda iga vastutust ainult sellepärast, et see suudab lause toota.
Lokaalsus ja nõudluse kuju
Energiat kujundab ka see, kus nõudlus ja pakkumine kokku saavad. Kui andmed asuvad ühes kohas, mudelid teises, logid kolmandas ja kasutajad neljandas, võib iga vastus kanda endas võrgu liikumist ja dubleeritud salvestust. Mõnikord on see jaotus vajalik. Mõnikord on see juhuslik tulemus teenuste ostmisest selles järjekorras, milles need moes olid. Lokaalsuse valikud mõjutavad koos latentsust, vastupidavust, haldust ja energiat.
Serva- ja kohalik inferents võib vähendada liikumist korduvate või tundlike ülesannete puhul, kuid see võib ka ressursse dubleerida ja kasutust vähendada, kui seda pimesi rakendada. Tsentraalne teenindamine võib parandada kasutust ja riistvara tõhusust, kuid see võib suurendada võrgu liikumist ja sõltuvuse koondumist. Piirkondlikud kavandused võivad neid kahte tasakaalustada. Õige vastus sõltub nõudluse kujust: mahust, kordusest, tundlikkusest, latentsustaluvusest, allika asukohast, tippmustritest ja rikkeviisidest.
See on põhjus, miks keskmistest ei piisa. Keskmine päring võib olla odav, samas kui viis protsenti kõige kallimatest päringutest domineerib energiatarbes. Väike rühm pika kontekstiga ülesandeid võib kasutada rohkem energiat kui tuhanded lühikesed klassifitseerimised. Öised partiitööd võivad varjata välditavat ümberarvutamist. Agendi korduskatsed võivad allika katkestuste ajal hüppeliselt kasvada. Energiateadlik disain vaatab jaotust, mitte ainult keskmist. Keskmine on koht, kus probleemid näevad välja korralikud.
Nõudlus peaks muutma disaini. Kui kasutajad küsivad korduvalt sama faktiküsimust, vahemällu salvestada või avalikusta vastus. Kui nad vajavad korduvalt ühte välja dokumendist, ehita väljavõte. Kui nad esitavad laiu küsimusi, sest liides peidab struktuuri, paranda liides. Kui agendid kutsuvad tööriistu korduvalt, sest olek on ebaselge, kujunda olek ümber. Iga korduv vatt on disainivihje. Mõned vihjed on peened. Igakuine arve ei ole nende hulgas.
Energiateadlik mudelitsükkel
Praktiline vastus ei ole muuta energia ainsaks eesmärgiks. See oleks rumal ja mõnikord kahjulik. Tume server on väga tõhus, kuid mitte just teenus. Ülesanne on kaasata energia disainitsüklisse koos kvaliteedi, ohutuse, latentsuse, privaatsuse, vastupidavuse ja hooldatavusega. Mõõda kasulikku tööd. Piira ülesannet. Vali väikseim piisav lahendaja. Kasuta kasutuselevõtul jälgitavust. Jälgi tegelikku nõudlust. Vaata disain üle, kui raiskamine ilmneb.
Tsükkel vajab ühist keelt. Tootemeeskonnad peaksid teadma disainimustrite energiakulu: pikad viibad, korduvad kõned, üksikasjalikud väljundid, alati sisselülitatud agendid, piiramatud tööriistad. Insenerid peaksid teadma lisatöötluse kasutajaväärtust: vähem vigu, parem ligipääsetavus, ohutumad otsused, lühem inimtöö. Operatsioonimeeskonnad peaksid teadma, millised töökoormused arvet domineerivad. Juhtimismeeskonnad peaksid teadma, millal energiakärped muudavad riske. Jätkusuutlikkusmeeskonnad peaksid olema ruumis enne, kui süsteem on juba kallid harjumused omandanud.
See ei puuduta süütunnet. Süütunne on halb profiilija. Asi on disainikirjaoskuses. Kui meeskonnad näevad, et energia on arhitektuuriga seotud, saavad nad paremini valida. Nad saavad hoida suured mudelid ülesannete jaoks, mis neid vajavad, väiksemad mudelid piiratud ülesannete jaoks, otsing teadmiste jaoks, tööriistad deterministliku töö jaoks, vahemälud korduste jaoks, inimesed otsustamiseks ja keeldumine mõttetuse jaoks. Tulemus on sageli odavam, kiirem ja selgem, mis on korralik tulemus teema jaoks, mis algas elektriarvestiga kurvas ruumis.
Õppetund
AI energiaarve ei peitu ainult andmekeskuses. See peitub mudeli disainis: suurus, arhitektuur, kontekst, otsing, täpsus, marsruutimine, asukoht, vahemälustamine, väljundvorm, hindamine ja keeldumine. Riistvara tõhusus on oluline, kuid riistvara laob välja tšekid, mille disain on juba kirjutanud.
Hea tehisintellekti taristu algab seega varem kui kiirendite hankimisest. See algab küsimusest, mis on kasulik töö. Millist vastust vajatakse. Kui palju keelt on vaja. Milline lahendaja sobib. Milline teadmus peaks elama kaaludes, otsingus, tööriistades või reeglites. Millistele päringutele tuleks keelduda vastamast. Milline tõendus näitab raiskamist. Millised disainivalikud tekitavad välditavat liikumist. Millised suure mudeli kutsumised teevad tegelikult suure mudeli tööd.
Energiateadlik mudelidisain ei ole kokkuhoid. See on täpsus. See hoiab võimekust seal, kus võimekus end ära tasub, ja eemaldab töö seal, kus töö on ainult harjumus. Tulemus ei ole ainult väiksem arve. See on sageli parem süsteem: kiirem, kergemini hallatav, kergemini skaleeritav, kergemini selgitatav ja vähem sõltuv kangelaslikust taristust, mis kompenseerib laiska disaini. Arvesti nurgas rääkis kogu aeg tõtt. Me pidime seda lihtsalt lugema kui arhitektuuri.