Enerģijas rēķins, kas slēpjas modeļa dizainā
Skaitītājs stūrī
Pirmā noderīgā saruna par AI enerģiju reti sākas ar modeļa karti. Tā sākas ar skaitītāju. Kaut kur ēkā, bieži vien telpā, kuru nekad nav apsūdzējuši interjera dizainā, elektrība tiek pārvērsta siltumā, latentumā, rēķinos un reizēm noderīgā darbā. Vadības panelis augšstāvā to var saukt par inteliģenci. Apkopēju komanda to sauc par slodzi. Abiem ir taisnība, bet tikai viens no viņiem saņem rēķinu ar skaitļiem, kas ir jāapmaksā.
AI enerģija bieži tiek apspriesta kā datu centra problēma. Labāka dzesēšana, labākas mikroshēmas, tīrāka enerģija, gudrāka plānošana, efektīvāki plaukti. Tas viss ir svarīgi. Infrastruktūras cilvēki jau ilgu laiku izspiež noderīgu darbu no vatiem, parasti bez aplausiem, ko saņem modelis, kuram šobrīd ir vainags. Taču pārsteidzoši liela daļa enerģijas rēķina tiek uzrakstīta, pirms darba slodze sasniedz datu centru. Tā tiek uzrakstīta modeļa dizainā.
Modeļa arhitektūra uzņemas nākotnes enerģijas saistības. To dara arī konteksta garums. To dara arī izvēle atbildēt uz katru jautājumu ar lielu vispārēju modeli, ja pietiktu ar mazāku specializētu ceļu. To dara arī izguves dizains, kas pārvieto pārāk daudz teksta, uzvedņu stils, kas piebāž dokumentus logā, jo neviens nevēlējās kārtīgi izveidot indeksēšanu, dekodēšanas stratēģija, kas ģenerē nevajadzīgus žetonus, apkalpošanas ceļš, kas nevar apstrādāt partijās, precizitātes izvēle, kas izdarīta ērtības dēļ, un vērtēšanas kultūra, kas atalgo etalonu spožumu, ignorējot ekspluatācijas izmaksas.
Enerģijas rēķins tur slēpjas, jo dizaina izvēles izskatās abstraktas. Lielāks konteksta logs izklausās kā iespēja. Lielāks modelis izklausās kā rezerve. Vairāk rīku izklausās kā elastība. Vairāk izlases izklausās kā radošums. Vairāk izguves izklausās kā pamatojums. Katrs no tiem var būt noderīgs. Katrs arī liek infrastruktūrai strādāt. Dažreiz darbs ir tā vērts. Dažreiz iekārta dedzina enerģiju, lai kompensētu dizainu, kas nevēlējās izlemt, kur dzīvo zināšanas, atmiņa, maršrutēšana un atbildība.
Inference ir vieta, kur dizains kļūst par komunālo rēķinu
Apmācība saņem lielu daļu uzmanības, jo skaitļi ir lieli un klasteri izklausās kinematogrāfiski. Inference ir mazāk dramatiska un bieži vien noturīgāka. Tā ir ikdienas darbs, apkalpojot jautājumus, kopsavilkumus, klasifikācijas, ieteikumus, meklēšanas, aģentus un iekšējos rīkus. Katrs pieprasījums var būt mazs. Kopā tie kļūst par komunālo rēķinu, kas seko produktam līdzi kā ļoti punktuāls grāmatvedis.
Inference izmaksas nosaka aprēķinu apjoms, atmiņas pārvietošana, tīkla pārvietošana, dīkstāves kapacitāte un atkārtoti mēģinājumi, kas nepieciešami vienai noderīgai atbildei. Frāzei “noderīga atbilde” ir nozīme. Ja sistēma ģenerē trīs rindkopas tur, kur pietiktu ar vienu lauku, tā nav tikai lietotāja pieredzes problēma. Tā ir enerģija, kas iztērēta liekvārdībai. Ja darbplūsma piecas reizes izsauc lielu modeli, jo process nav sadalīts daļās, rēķins ir dizaina atgriezeniskā saite. Ja aģents bezjēdzīgi mēģina rīkus, jo stāvoklis ir neskaidrs, siltums, kas nāk no serveru skapja, daļēji ir pārvaldības problēma, kas valkā sistēmas nozīmīti.
Lieli konteksta logi ir labs piemērs. Tie ir vērtīgi, ja uzdevumam patiešām nepieciešami gari pierādījumi. Tie ir izšķērdīgi, ja tos izmanto kā avotu atlases aizstājēju. Iemest visu politikas rokasgrāmatu kontekstā, jo atgūšana ir vāja, ir mākslīgā intelekta ekvivalents tam, ka uz sapulci atnes visu dokumentu skapi, ja nu viena rindkopa kļūst aktuāla. Tas darbojas, līdz kādam skapis ir jānes. Skaitļošanā skapja nešana izskatās kā atmiņas joslas platums, uzmanības izmaksas, latentums un enerģijas patēriņš.
Labāks modeļa dizains jautā, kādai informācijai jābūt svaros, kam jābūt atgūšanā, kam rīkos, kas būtu kešojams, kas būtu aprēķināms lokāli un no kā būtu jāatsakās. Tie ir enerģijas jautājumi tikpat lielā mērā kā arhitektūras jautājumi. Atteikums var ietaupīt enerģiju, ja uzdevums ir ārpus darbības jomas. Mazs klasifikators var novirzīt darbu, pirms liels modelis pamostas. Labs indekss var samazināt kontekstu. Tipizēts rīks var atgriezt vērtību, neprasot valodas modelim stāstīt par aritmētikas veikšanu, kas ir žēlastība gan vatiem, gan lasītājiem.
Izmērs nav tas pats, kas stiprums
Sabiedrības iztēle joprojām uztver modeļa izmēru kā vienkāršu jaudas aizstājēju. Lielākam jābūt labākam vai vismaz nopietnākam. Inženieri zina, ka stāsts nav tik kārtīgs. Liels blīvs modelis var būt izcils, bet tas nav automātiski pareizā darba vienība katram uzdevumam. Daudziem ražošanas uzdevumiem ir šaura struktūra: klasificēt šo dokumenta tipu, izvilkt šos laukus, atbildēt no šī avota, tulkot šo veidlapu, novirzīt šo pieprasījumu, pārbaudīt šo politikas nosacījumu. Izmantot maksimālu vispārīgumu minimālai neskaidrībai dažkārt ir kā sildīt zupu ar reaktīvo dzinēju. Tehniski iespējams. Apkārtnes reakcijas atšķiras.
Mazāki modeļi, specializētas galvas, atgūšanu papildinoši dizaini, ierobežoti dekoderi, simboliskas pārbaudes un klasiski algoritmi var samazināt enerģijas patēriņu, ja tos izmanto īstajā vietā. Mērķis nav mazums paša mērķa dēļ. Mērķis ir uzdevuma atbilstība. Kompakts modelis, kas uzticami atbild uz vienu liela apjoma uzdevumu, var būt daudz efektīvāks nekā universāls modelis, kuram lūgts izlikties, ka katrs uzdevums ir jaunums. Noteikumu dzinējs var būt labāks deterministiskai atbilstības pārbaudei. Datu bāzes vaicājums var būt labāks zināmiem faktiem. Meklēšanas indekss var būt labāks kandidātu atlasei. Valodas modelis tad var darīt to, kam valodas modeļi ir piemēroti: sintēzi, neskaidrību apstrādi, skaidrojumu un melnrakstu veidošanu noteiktās robežās.
Jauktas un retas arhitektūras sarežģī ainu. Aktivizēt tikai daļu modeļa var samazināt aprēķinu, bet maršrutēšana, atmiņas izkārtojums, pakešu apstrāde un aparatūras atbalsts nosaka, vai teorētiskais ietaupījums kļūst reāls. Eleganta arhitektūra uz papīra var kļūt par sastrēgumu ražošanā, ja pieprasījumi izkliedējas pa ekspertiem un atmiņa nespēj sekot līdzi. Efektivitāte nav sauklis, ko pievieno rakstam. Tā ir pilna apkalpošanas ceļa īpašība.
Tāpēc enerģijas apzinātam dizainam ir nepieciešami mērījumi vidē, kurā sistēma darbosies. Ar etalona precizitāti vien nepietiek. Svarīgi ir tokeni uz džoulu, atmiņas spiediens, latentuma sadalījums, pakešu apstrādes iespējas, keša trāpījumu līmenis, tīkla pārvietošana, aukstās palaišanas un kļūmju atkārtojumi. Labākā arhitektūra nav tā, kas uzvar vienā diagrammā. Tā ir tā, kas nodrošina nepieciešamo kvalitāti ar vismazāko novēršamo darbu reālas slodzes apstākļos.
Atmiņas pārvietošana ir kluss darbs
Cilvēkiem patīk skaitīt darbības. Aparatūra bieži sūdzas par pārvietošanu. Svaru, aktivāciju, atslēgu, vērtību, avota fragmentu, ietvaru un žurnālu pārvietošana pa atmiņu un tīkliem patērē laiku un enerģiju. Modelim var būt iespaidīgas aritmētiskās spējas, un tomēr to var ierobežot tas, cik daudz datu jāpārvieto, lai tas būtu pastāvīgi apgādāts. Lietotājs redz griežamo rādītāju. Infrastruktūra redz skaitļu piegādes dienestu.
Modeļa dizains ietekmē šo pārvietošanu. Precizitātes izvēle nosaka, cik baitu ceļo par katru vērtību. Kvantizācija var samazināt atmiņas joslas platumu un ietilpības vajadzības, taču tā ir jāpārbauda pret uzdevumu, jo lēta nepareiza atbilde nav efektivitāte. Konteksta garums nosaka, cik daudz stāvokļa tiek nests cauri uzmanības mehānismam. Izguves dizains nosaka, cik fragmentu tiek ievietoti uzvednē. Kešošana nosaka, vai atkārtots darbs tiek novērsts. Lokalitāte nosaka, vai dati ceļo pāri reģioniem, pakalpojumiem vai ierīcēm, pirms parādās tokens.
Daži no labākajiem enerģijas ietaupījumiem ir neizteiksmīgi. Pieslēdziet pareizo modeļa versiju. Izvairieties no liekas uzvednes veidnes. Noņemiet atkārtotus norādījumus, kas neko nedara. Izmantojiet strukturētus rezultātus, nevis garu tekstu, ja darbplūsmai ir vajadzīgi lauki. Kešojiet stabilus rīku rezultātus. Atkārtojiet dokumentus pirms indeksēšanas. Dzēsiet novecojušus ietvarus. Turiet karstos indeksus tuvu apkalpošanas ceļam. Apvienojiet saderīgus pieprasījumus. Kompilējiet biežākos ceļus. Mēriet tokenu izvadi, ne tikai ievadi. Tās nav dižas kustības. Tā ir mājturība ar vatmetru.
Grūtākā daļa ir tā, ka daudzas komandas neredz atmiņas pārvietošanu kā produkta jautājumu. Viņas to redz kā infrastruktūras cauruļvadu. Bet lietotāji par to maksā ar latentumu, organizācijas maksā ar enerģijas un mākoņa rēķiniem, un sabiedrība maksā ar tīkla pieprasījumu. Ja produkta dizains veicina garas uzvednes, atkārtotus zvanus, nevajadzīgus atkārtotus mēģinājumus un vienmēr ieslēgtus vispārējus modeļus, tad produkts ir daļa no enerģijas sistēmas. Elektrības skaitītājam ir vienalga, kura nodaļa pieņēma lēmumu. Tam ir apbrīnojami slikta cieņa pret organizācijas shēmām.
Enerģija noplūst cauri kaudzei
Enerģijas rēķins neatrodas vienā slānī. Tas noplūst cauri kaudzei. Treniņdatu izvēle ietekmē modeļa lielumu un specializāciju. Arhitektūras izvēle ietekmē aktivāciju un atmiņu. Tokenizatora un konteksta izvēle ietekmē secības garumu. Izguves izvēle ietekmē pārvietošanu un pamatojumu. Uzvednes izvēle ietekmē tokenus. Dekodēšanas izvēle ietekmē izvades garumu. Apkalpošanas izvēle ietekmē apvienošanu un dīkstāves jaudu. Aparatūras izvēle ietekmē efektivitāti. Uzraudzības izvēle ietekmē to, cik ātri tiek atklāts atkritums. Ja neviens nepārvalda visu ceļu, atkritums kļūst par visu pārējo maznozīmīgu jautājumu, un skaitītājs turpina savu kluso darbu.
A stack view helps because it shows where interventions belong. If the problem is oversized context, buying better hardware may only postpone the bill. If the problem is poor routing, quantisation may help less than a cheap classifier in front. If the problem is low utilisation, architecture may matter less than batching and scheduling. If the problem is stale retrieval, energy is being spent generating polished answers from the wrong material, which is a tragic use of electrons.
There are tradeoffs, of course. Energy reduction cannot be allowed to damage safety, accessibility or fairness. A smaller model that fails edge cases may simply move cost to humans. Aggressive caching may serve stale answers. Quantisation may harm rare language behaviour. A local route may reduce network movement but increase duplication. These tradeoffs are real. The answer is measurement, not slogans. Measure quality, energy, latency, error repair, and human workload together. A watt saved by making staff repair bad output is not a saving. It is just outsourcing the heat to people.
This is why model energy should be part of design review. Not as a moral afterthought, but as an engineering property. What is the expected energy per useful answer. What components dominate. Which requests are outliers. What is the fallback path. What happens during peak load. What can be cached. Which tasks should avoid the large model. What evidence will show the design is improving. These questions belong next to accuracy and security, not in a sustainability slide added by someone with a stock photo of a leaf.
The context window is not a skip button
Long context has become a tempting skip button for architecture. Why build careful retrieval, source ranking, summarisation, access filtering and document structure when the model can read everything. The answer is that reading everything is work. More importantly, reading everything is often worse governance. The model receives irrelevant material, sensitive material, stale material and conflicting material, then has to decide what matters inside a very expensive attention pattern.
Good context design is selective. It treats the context window as scarce working memory, not a storage unit with confidence issues. Source selection should happen before generation. Documents should be chunked with meaning, not chopped into arbitrary slices because a library default looked official. Metadata should carry dates, authority, sensitivity and scope. Access filters should run before retrieval. Summaries should be cached when they are stable. The model should receive the evidence needed for the task, not a municipal archive wearing a prompt.
Šis ir enerģētikas jautājums, jo uzmanības izmaksas pieaug līdz ar secības garumu un tāpēc, ka gari uzvedņu teksti palielina atmiņas pārvietošanu, latentumu un kārdinājumu ģenerēt garāku izvadi. Modelis ar lielu kontekstu var arī sniegt garākas atbildes, jo tas ir redzējis vairāk materiāla. Tad arī izvade patērē enerģiju. Enerģiju apzinošas sistēmas tiek veidotas īsiem ceļiem līdz noderīgai atbildei. Tās neatalgo mašīnu par pierādījumu ekskursijas uzrakstīšanu, ja darbplūsmai ir vajadzīgs viens lēmuma lauks un iemesla kods.
Ir arī novērtēšanas lamatas. Sistēmas ar garu kontekstu demonstrācijās var izskatīties iespaidīgi, jo tās atbild uz jautājumiem par lieliem dokumentiem. Ražošanas lietojumā var dominēt mazi, atkārtoti, strukturēti jautājumi. Ja apkalpošanas ceļš katru pieprasījumu apstrādā kā retu pētniecības mīklu, enerģijas rēķins pieklājīgi izskaidros atšķirību starp demonstrāciju un pakalpojumu. Tas izmantos skaitļus, jo rēķini ir apbrīnojami kodolīgi.
Maršrutēšana ir enerģijas kontrole
Maršrutēšana ir viens no visvairāk nenovērtētajiem enerģijas kontroles mehānismiem AI sistēmās. Pirms pieprasījums sasniedz lielo modeli, sistēma var izlemt, vai pieprasījums ir tās darbības jomā, vai pastāv kešota atbilde, vai deterministisks rīks var atbildēt, vai pietiek ar mazu modeli, vai ir nepieciešama izguve, vai ar to jānodarbojas cilvēkam, vai sistēmai būtu jāatsaka. Katrs atzars var ietaupīt darbu un uzlabot kvalitāti, ja tas ir izstrādāts godprātīgi.
Slikta maršrutēšana dara pretējo. Tā nosūta katru jautājumu pa to pašu dārgo ceļu. Tā izsauc rīkus pēc ģenerēšanas, nevis pirms tās. Tā liek modelim klasificēt kaut ko tādu, ko formas lauks jau zina. Tā prasa prozu, kur pietiktu ar buļļa vērtību. Tā atkārto izsaukumus, jo stāvoklis netiek pārnests uz priekšu. Tā ļauj aģentam izpētīt, jo neviens nav definējis uzdevuma robežu. Iegūtais enerģijas patēriņš nav mikroshēmas vaina. Mikroshēma dara to, kas tai tika prasīts, ar to nogurušo profesionalitāti, kas raksturīga infrastruktūrai visur.
Enerģiju apzinošai maršrutēšanai ir vajadzīgi ticamības sliekšņi, darbības jomas noteikumi, avota svaiguma pārbaudes, kešatmiņas anulēšana un nodošana cilvēkam. Tai jābūt pietiekami pārredzamai, lai operatori varētu redzēt, kurš ceļš tika izvēlēts un kāpēc. Tā jānovērtē ne tikai pēc vidējām izmaksām, bet arī pēc galējiem gadījumiem. Maršrutēšanas noteikums, kas ietaupa enerģiju biežiem pieprasījumiem, bet nosūta sarežģītus gadījumus atkārtotām kļūmēm, var palielināt kopējās izmaksas pēc atbalsta, atkārtotiem mēģinājumiem un manuāla labojuma. Ceļš jāvērtē pēc noderīgas pabeigšanas.
Ir arī cilvēciskā dimensija. Laba maršrutēšana samazina kognitīvo slodzi. Tā dod vienkāršus gadījumus vienkāršiem mehānismiem, strukturētus gadījumus strukturētām sistēmām, neskaidrus gadījumus modeļiem un sensitīvus gadījumus cilvēkiem ar pierādījumiem. Tas ir efektīvi plašākā nozīmē. Enerģijas efektivitāte un institucionālā skaidrība bieži norāda vienā virzienā: neprasi vispārīgākajam komponentam uzņemties visu atbildību tikai tāpēc, ka tas var izveidot teikumu.
Lokalitāte un pieprasījuma forma
Enerģiju ietekmē arī tas, kur pieprasījums saskaras ar piedāvājumu. Ja dati atrodas vienā vietā, modeļi citā, žurnālfaili trešajā un lietotāji ceturtajā, katra atbilde var ietvert tīkla pārvietošanu un dublētu glabāšanu. Dažreiz šāds sadalījums ir nepieciešams. Dažreiz tas ir nejaušs rezultāts pakalpojumu iegādei tādā secībā, kādā tie kļuva moderni. Lokalitātes izvēle vienlaikus ietekmē latentumu, noturību, pārvaldību un enerģiju.
Malu un lokālā secināšana var samazināt pārvietošanu atkārtotiem vai sensitīviem uzdevumiem, bet tā var arī dublēt resursus un samazināt izmantošanas līmeni, ja to piemēro akli. Centralizēta apkalpošana var uzlabot izmantošanu un aparatūras efektivitāti, bet tā var palielināt tīkla pārvietošanu un atkarību koncentrāciju. Reģionāli risinājumi var līdzsvarot abus. Pareizā atbilde ir atkarīga no pieprasījuma formas: apjoma, atkārtošanās, sensitivitātes, latentuma tolerances, avota atrašanās vietas, maksimumu modeļiem un kļūmju veidiem.
Lūk, kāpēc ar vidējiem rādītājiem nepietiek. Vidējais pieprasījums var būt lēts, kamēr pieci procenti dārgāko pieprasījumu dominē enerģijas patēriņā. Neliela grupa uzdevumu ar garu kontekstu var patērēt vairāk enerģijas nekā tūkstošiem īsu klasifikācijas uzdevumu. Nakts pakešu darbi var slēpt novēršamu pārrēķinu. Aģentu atkārtoti mēģinājumi var uzliesmot avota pārtraukumu laikā. Enerģijas apzināta dizaina pieeja vērtē sadalījumu, ne tikai vidējo vērtību. Vidējā vērtība ir vieta, kur problēmas dodas izskatīties cienījami.
Pieprasījumam vajadzētu mainīt dizainu. Ja lietotāji atkārtoti uzdod vienu un to pašu faktu jautājumu, saglabājiet atbildi kešatmiņā vai publicējiet to. Ja viņiem atkārtoti nepieciešams viens lauks no dokumenta, izveidojiet ekstrakciju. Ja viņi uzdod plašus jautājumus, jo saskarne slēpj struktūru, uzlabojiet saskarni. Ja aģenti atkārtoti izsauc rīkus, jo stāvoklis ir neskaidrs, pārveidojiet stāvokli. Katrs atkārtots vats ir dizaina pavediens. Daži pavedieni ir smalki. Ikmēneša rēķins nav viens no tiem.
Enerģijas apzināta modeļa cilpa
Praktiskā atbilde nav padarīt enerģiju par vienīgo mērķi. Tas būtu muļķīgi un dažkārt kaitīgi. Tumšs serveris ir ļoti efektīvs, bet tas nav īpašs pakalpojums. Uzdevums ir iekļaut enerģiju dizaina cilpā līdzās kvalitātei, drošībai, latentumam, privātumam, noturībai un uzturamībai. Mēriet lietderīgo darbu. Ierobežojiet uzdevumu. Izvēlieties mazāko piemēroto risinātāju. Ieviesiet ar novērojamību. Vērojiet reālo pieprasījumu. Pārskatiet dizainu, kad parādās izšķērdība.
Cilpai ir nepieciešama kopīga valoda. Produktu komandām būtu jāzina dizaina modeļu enerģijas izmaksas: gari uzvednes, atkārtoti izsaukumi, detalizētas izvades, vienmēr ieslēgti aģenti, neierobežoti rīki. Inženieriem būtu jāzina papildu skaitļošanas vērtība lietotājam: mazāk kļūdu, labāka pieejamība, drošāki lēmumi, mazāks cilvēka darbs. Operāciju komandām būtu jāzina, kuras darba slodzes dominē rēķinā. Pārvaldības komandām būtu jāzina, kad enerģijas samazinājumi maina risku. Ilgtspējas komandām vajadzētu būt klāt, pirms sistēma jau ir apguvusi dārgus ieradumus.
Šeit nav runa par vainas apziņu. Vainas apziņa ir slikts profilētājs. Būtība ir dizaina izpratne. Kad komandas redz, ka enerģiju nosaka arhitektūra, tās var izvēlēties labāk. Tās var paturēt lielus modeļus uzdevumiem, kuriem tie nepieciešami, mazākus modeļus ierobežotiem uzdevumiem, izguvi zināšanām, rīkus deterministiskam darbam, kešatmiņas atkārtojumiem, cilvēkus spriedumiem un atteikumu muļķībām. Rezultāts bieži ir lētāks, ātrāks un skaidrāks, kas ir pienācīgs iznākums tēmai, kas sākās ar elektrības skaitītāju skumjā telpā.
Mācība
AI enerģijas rēķins nav paslēpts tikai datu centrā. Tas ir paslēpts modeļa dizainā: izmērā, arhitektūrā, kontekstā, izguvē, precizitātē, maršrutēšanā, lokalitātē, kešatmiņā, izvades formā, novērtēšanā un atteikumā. Aparatūras efektivitātei ir nozīme, bet aparatūra apmaksā čekus, ko dizains jau ir izrakstījis.
Laba AI infrastruktūra tāpēc sākas agrāk nekā paātrinātāju iegāde. Tā sākas ar jautājumu par lietderīgu darbu. Kāda atbilde ir nepieciešama. Cik daudz valodas ir vajadzīgs. Kurš risinātājs der. Kurām zināšanām būtu jādzīvo svaros, izguvē, rīkos vai noteikumos. Kuri pieprasījumi būtu jānoraida. Kuri pierādījumi parādīs izšķērdību. Kuras dizaina izvēles rada lieku kustību. Kuri lielo modeļu izsaukumi patiešām veic lielo modeļu darbu.
Enerģiju apzinoša modeļu dizaina izstrāde nav taupība. Tā ir precizitāte. Tā saglabā jaudu tur, kur jauda atmaksājas, un noņem darbu tur, kur darbs ir tikai ieradums. Rezultāts nav tikai mazāks rēķins. Bieži vien tā ir labāka sistēma: ātrāka, vieglāk pārvaldāma, vieglāk mērogojama, vieglāk izskaidrojama un mazāk atkarīga no varonīgas infrastruktūras, kas kompensē slinku dizainu. Skaitītājs stūrī visu laiku runāja patiesību. Mums tikai vajadzēja to lasīt kā arhitektūru.