Energialasku, joka piilee mallin suunnittelussa
Kulutusmittari nurkassa
Ensimmäinen hyödyllinen keskustelu tekoälyn energiankulutuksesta alkaa harvoin mallikortista. Se alkaa mittarista. Jossain rakennuksessa, usein huoneessa, jota ei ole koskaan syytetty sisustusmausta, sähkö muuttuu lämmöksi, viiveeksi, laskuiksi ja joskus hyödylliseksi työksi. Yläkerran kojelauta voi kutsua sitä älykkyydeksi. Kiinteistöhuolto kutsuu sitä kuormaksi. Molemmat ovat oikeassa, mutta vain toinen saa laskun, jossa on maksettavia numeroita.
Tekoälyn energiankulutuksesta puhutaan usein datakeskusongelmana. Parempi jäähdytys, paremmat sirut, puhtaampi sähkö, älykkäämpi ajoitus, tehokkaammat telineet. Kaikella sillä on merkitystä. Infrastruktuurin parissa työskentelevät ovat puristaneet hyödyllistä työtä wateista jo pitkään, yleensä ilman sitä suosionosoitusta, joka annetaan sille mallille, jolla sattuu olemaan kruunu päässään. Mutta yllättävän suuri osa energialaskusta kirjoitetaan ennen kuin työkuorma saavuttaa datakeskuksen. Se kirjoitetaan mallin suunnittelussa.
Malliarkkitehtuuri sitoo tulevaa energiaa. Niin tekee myös kontekstin pituus. Niin tekee myös valinta vastata jokaiseen kysymykseen suurella yleismallilla, kun pienempi erikoistunut reitti riittäisi. Niin tekee myös hakusuunnittelu, joka siirtää liikaa tekstiä, kehote tyyli, joka tunkeaa asiakirjoja ikkunaan, koska kukaan ei halunnut rakentaa indeksointia kunnolla, dekoodausstrategia, joka tuottaa tarpeettomia tokeneita, palvelupolku, joka ei osaa eräkäsittelyä, tarkkuusvalinta, joka on tehty mukavuuden vuoksi, ja arviointikulttuuri, joka palkitsee vertailuarvojen kiiltelystä mutta jättää huomiotta käyttökustannukset.
Energialasku piiloutuu sinne, koska suunnitteluvalinnat näyttävät abstrakteilta. Suurempi kontekstiikkuna kuulostaa kyvykkyydeltä. Isompi malli kuulostaa pelivaramarginaalilta. Useammat työkalut kuulostavat joustavuudelta. Enemmän otantaa kuulostaa luovuudelta. Enemmän hakua kuulostaa pohjautumiselta. Jokainen voi olla hyödyllinen. Jokainen myös pyytää infrastruktuuria tekemään työtä. Joskus työ on sen arvoista. Joskus kone polttaa sähköä kompensoidakseen suunnittelua, joka ei halunnut päättää, missä tiedon, muistin, reitityksen ja vastuun tulisi asua.
Päätelmä on se, missä suunnittelusta tulee sähkölasku
Harjoittelu saa suuren osan huomiosta, koska luvut ovat suuria ja klusterit kuulostavat elokuvallisilta. Päätelmä on vähemmän dramaattista ja usein pysyvämpää. Se on päivittäistä työtä kysymyksiin vastaamisessa, yhteenvetojen, luokittelujen, suositusten, hakujen, agenttien ja sisäisten työkalujen palvelemisessa. Jokainen pyyntö voi olla pieni. Yhdessä niistä tulee sähkölasku, joka seuraa tuotetta ympäriinsä kuin hyvin täsmällinen kirjanpitäjä.
Päätelmäkustannuksiin vaikuttavat laskennan määrä, muistin siirtely, verkkoliikenne, käyttämätön kapasiteetti ja uudelleenyritykset, joita hyödyllinen vastaus vaatii. Ilmaus hyödyllinen vastaus on olennaista. Jos järjestelmä tuottaa kolme kappaletta, kun yksi kenttä riittäisi, kyse ei ole vain käyttökokemusongelmasta. Se on energiaa, joka kuluu jaaritteluun. Jos työnkulku kutsuu suurta mallia viisi kertaa, koska prosessia ei ole pilkottu osiin, lasku on suunnittelupalaute. Jos agentti kokeilee työkaluja ympyrää, koska tila on epämääräinen, konehuoneesta tuleva lämpö on osittain hallintaongelma, jolla on järjestelmäviraston nimikyltti.
Suuret konteksti-ikkunat ovat hyvä esimerkki. Ne ovat arvokkaita, kun tehtävä todella vaatii pitkää todistusaineistoa. Ne ovat tuhlaavaisia, kun niitä käytetään lähteiden valinnan korvikkeena. Koko ohjekirjan syöttäminen kontekstiin, koska haku on heikkoa, vastaa sitä, että koko arkistokaappi raahataan kokoukseen siltä varalta, että yksi kappale tulee ajankohtaiseksi. Se toimii, kunnes jonkun on kannettava kaappi. Tietotekniikassa kaapin kantaminen näyttää muistikaistalta, huomion kustannuksilta, viiveeltä ja virrankulutukselta.
Parempi mallisuunnittelu kysyy, mitä tietoa pitäisi olla painoissa, mitä haussa, mitä työkaluissa, mitä välimuistissa, mitä pitäisi laskea paikallisesti ja mistä pitäisi kieltäytyä. Nämä ovat yhtä lailla energia- kuin arkkitehtuurikysymyksiä. Kieltäytyminen voi säästää energiaa, kun tehtävä on toimialueen ulkopuolella. Pieni luokittelija voi ohjata työn ennen kuin suuri malli herää. Hyvä indeksi voi pienentää kontekstia. Tyypitetty työkalu voi palauttaa arvon ilman, että kielimallia pyydetään jaarittelemaan tiensä aritmetiikan läpi, mikä on armollista sekä watteja että lukijoita kohtaan.
Koko ei ole sama kuin vahvuus
Julkinen mielikuvitus pitää edelleen mallin kokoa yksinkertaisena tehokkuuden mittarina. Isomman täytyy olla parempi tai ainakin vakavampi. Insinöörit tietävät, että tarina on vähemmän siisti. Suuri tiheä malli voi olla erinomainen, mutta se ei ole automaattisesti oikea toimintayksikkö jokaiseen tehtävään. Monilla tuotantotehtävillä on kapea rakenne: luokittele tämä asiakirjatyyppi, poimi nämä kentät, vastaa tästä lähteestä, käännä tämä lomake, reititä tämä tiketti, tarkista tämä käytäntöehto. Maksimaalisen yleisyyden käyttäminen minimaaliseen epäselvyyteen on joskus kuin keiton kuumentaminen suihkumoottorilla. Teknisesti mahdollista. Naapuruston reaktiot vaihtelevat.
Pienemmät mallit, erikoistuneet päät, haulla täydennetyt rakenteet, rajoitetut dekooderit, symboliset tarkistukset ja klassiset algoritmit voivat kaikki vähentää energiankulutusta, kun niitä käytetään oikeassa paikassa. Kyse ei ole pienuudesta sen itsensä vuoksi. Kyse on tehtäväsopivuudesta. Kompakti malli, joka vastaa luotettavasti yhteen suuren volyymin tehtävään, voi olla huomattavasti tehokkaampi kuin yleismalli, jota pyydetään teeskentelemään, että jokainen tehtävä on romaani. Sääntömoottori voi olla parempi deterministiseen kelpoisuuden arviointiin. Tietokantakysely voi olla parempi tunnettuihin faktoihin. Hakuhakemisto voi olla parempi ehdokkaiden valintaan. Kielimalli voi sitten tehdä sen, missä kielimallit ovat hyviä: synteesin, epäselvyyden käsittelyn, selityksen ja luonnostelun rajojen sisällä.
Sekoite- ja hajautetut arkkitehtuurit mutkistavat kuvaa. Vain osan mallista aktivoiminen voi vähentää laskentaa, mutta reititys, muistiasettelu, eräkäsittely ja laitteistotuki ratkaisevat, toteutuuko teoreettinen säästö käytännössä. Tyylikäs arkkitehtuuri paperilla voi muuttua ruuhkaksi tuotannossa, jos pyynnöt hajaantuvat asiantuntijoiden kesken eikä muisti pysy perässä. Tehokkuus ei ole iskulause, jonka liität artikkeliin. Se on koko palvelupolun ominaisuus.
Siksi energiatietoinen suunnittelu vaatii mittaamista siinä ympäristössä, jossa järjestelmä tulee toimimaan. Pelkkä vertailuarvojen tarkkuus ei riitä. Tokenit joulea kohti, muistipaine, viivejakauma, eräkäsiteltävyys, välimuistin osumasuhde, verkkoliikenne, kylmät käynnistykset ja epäonnistumisten uudelleenyritykset ovat merkityksellisiä. Paras arkkitehtuuri ei ole se, joka voittaa yhden kaavion. Se on se, joka tuottaa tarvittavan laadun vähimmällä vältettävissä olevalla työllä todellisen kysynnän alla.
Muistin siirtely on hiljaista työtä
Ihmiset laskevat mielellään operaatioita. Laitteisto valittaa usein siirtelystä. Painojen, aktivaatioiden, avainten, arvojen, lähdeosien, upotusten ja lokien siirtäminen muistin ja verkkojen yli kuluttaa aikaa ja energiaa. Mallilla voi olla vaikuttava laskennallinen kyvykkyys, ja silti rajana on, kuinka paljon dataa on siirrettävä, jotta se pysyy ruokittuna. Käyttäjä näkee spinnerin. Infrastruktuuri näkee numeroiden kuljetuspalvelun.
Mallin suunnittelu vaikuttaa tähän siirtelyyn. Tarkkuusvalinnat määräävät, kuinka monta tavua kulkee kutakin arvoa kohden. Kvantisointi voi vähentää muistikaistan ja kapasiteetin tarvetta, mutta sitä on testattava tehtävää vasten, koska halpa väärä vastaus ei ole tehokkuutta. Kontekstin pituus määrää, kuinka paljon tilaa kulkee attentionin läpi. Haun suunnittelu määrää, kuinka monta lohkoa siirtyy kehotteeseen. Välimuisti määrää, vältetäänkö toistuva työ. Sijainti määrää, kulkeeko data alueiden, palveluiden tai laitteiden yli ennen kuin token ilmestyy.
Osa parhaista energiansäästöistä on epäromanttisia. Kiinnitä oikea malliversio. Vältä tarpeetonta kehotehöttöä. Poista toistuvat ohjeet, jotka eivät tee mitään. Käytä jäsenneltyjä tulosteita pitkän proosan sijaan, kun työnkulku tarvitsee kenttiä. Välimuistita vakaat työkalujen tulokset. Poista kaksoiskappaleet asiakirjoista ennen indeksointia. Vanhenna vanhentuneet upotukset. Pidä kuumat indeksit lähellä palvelupolkua. Yhdistä yhteensopivat pyynnöt erissä. Käännä yleiset polut. Mittaa token-tulostetta, älä vain syötettä. Nämä eivät ole suuria eleitä. Ne ovat taloudenhoitoa wattimittarin kanssa.
Hankala osuus on se, että monet tiimit eivät näe muistin siirtelyä tuoteongelmana. He näkevät sen infrastruktuurin putkistona. Mutta käyttäjät maksavat siitä viiveenä, organisaatiot maksavat siitä energiana ja pilvilaskuina, ja yhteiskunta maksaa siitä verkon kysyntänä. Jos tuotesuunnittelu rohkaisee pitkiin kehotteisiin, toistuviin kutsuihin, tarpeettomiin uudelleenyrityksiin ja aina päällä oleviin yleismalleihin, tuote on osa energiajärjestelmää. Sähkömittari ei välitä siitä, mikä osasto teki päätöksen. Sillä on ihailtavan huono kunnioitus organisaatiokaavioita kohtaan.
Energia vuotaa pinon läpi
Energialasku ei sijaitse yhdessä kerroksessa. Se vuotaa pinon läpi. Harjoitusdatan valinnat vaikuttavat mallin kokoon ja erikoistumiseen. Arkkitehtuurivalinnat vaikuttavat aktivaatioon ja muistiin. Tokenisoijan ja kontekstin valinnat vaikuttavat sekvenssin pituuteen. Haun valinnat vaikuttavat siirtelyyn ja pohjautumiseen. Kehotevalinnat vaikuttavat tokeneihin. Dekoodausvalinnat vaikuttavat tulosteen pituuteen. Palveluvalinnat vaikuttavat eräkäsittelyyn ja tyhjäkäyntikapasiteettiin. Laitteistovalinnat vaikuttavat tehokkuuteen. Seurantavalinnat vaikuttavat siihen, kuinka nopeasti hukka löydetään. Jos kukaan ei omista koko polkua, hukasta tulee kaikkien muiden pieni ongelma, ja mittari jatkaa hiljaista työtään.
Pinopohjainen tarkastelu auttaa, koska se osoittaa, mihin toimenpiteet kuuluvat. Jos ongelma on liian suuri konteksti, paremman laitteiston hankinta voi vain siirtää laskua myöhemmäksi. Jos ongelma on huono reititys, kvantisointi voi auttaa vähemmän kuin halpa luokittelija sen edessä. Jos ongelma on alhainen käyttöaste, arkkitehtuurilla voi olla vähemmän merkitystä kuin eräajolla ja ajoituksella. Jos ongelma on vanhentunut haku, energiaa käytetään viimeisteltyjen vastausten tuottamiseen väärästä materiaalista, mikä on elektronien traagista tuhlausta.
Kompromisseja toki on. Energian vähentäminen ei saa vahingoittaa turvallisuutta, saavutettavuutta tai oikeudenmukaisuutta. Pienempi malli, joka epäonnistuu reunatapauksissa, voi yksinkertaisesti siirtää kustannukset ihmisille. Aggressiivinen välimuistitus voi tarjota vanhentuneita vastauksia. Kvantisointi voi vahingoittaa harvinaista kielenkäyttäytymistä. Paikallinen reitti voi vähentää verkkoliikennettä mutta lisätä päällekkäisyyttä. Nämä kompromissit ovat todellisia. Vastaus on mittaus, ei iskulauseet. Mittaa laatua, energiaa, viivettä, virheiden korjausta ja ihmisten työkuormaa yhdessä. Säästetty watti, joka syntyy siitä, että henkilökunta joutuu korjaamaan huonoa tuotosta, ei ole säästö. Se on vain lämmön ulkoistamista ihmisille.
Siksi mallin energiankulutuksen pitäisi kuulua suunnittelukatselmukseen. Ei moraalisena jälkiajatuksena, vaan teknisenä ominaisuutena. Mikä on odotettu energia hyödyllistä vastausta kohti. Mitkä komponentit hallitsevat. Mitkä pyynnöt ovat poikkeavia. Mikä on varareitti. Mitä tapahtuu huippukuormituksen aikana. Mitä voidaan välimuistittaa. Mitkä tehtävät tulisi pitää erossa suuresta mallista. Mikä näyttö osoittaa, että suunnittelu paranee. Nämä kysymykset kuuluvat tarkkuuden ja turvallisuuden rinnalle, eivät kestävyyskalvolle, jonka on lisännyt joku, jolla on varastokuva lehdestä.
Konteksti-ikkuna ei ole ohituspainike
Pitkästä kontekstista on tullut houkutteleva ohituspainike arkkitehtuurille. Miksi rakentaa huolellista hakua, lähteiden luokittelua, tiivistämistä, pääsyn suodatusta ja dokumenttirakennetta, kun malli voi lukea kaiken. Vastaus on, että kaiken lukeminen on työtä. Vielä tärkeämpää on, että kaiken lukeminen on usein huonompaa hallintaa. Malli vastaanottaa epäolennaista materiaalia, arkaluonteista materiaalia, vanhentunutta materiaalia ja ristiriitaista materiaalia, ja sen on sitten päätettävä, millä on merkitystä hyvin kalliin huomiointikuvion sisällä.
Hyvä kontekstisuunnittelu on valikoivaa. Se kohtelee konteksti-ikkunaa niukkana työmuistina, ei tallennusyksikkönä, jolla on luottamusongelmia. Lähteiden valinta tulisi tehdä ennen tuottamista. Dokumentit tulisi paloitella merkityksen mukaan, ei leikata mielivaltaisiin siivuihin, koska kirjaston oletusarvo näytti viralliselta. Metadatan tulisi sisältää päivämäärät, auktoriteetin, arkaluonteisuuden ja laajuuden. Pääsyn suodattimet tulisi suorittaa ennen hakua. Tiivistelmät tulisi välimuistittaa, kun ne ovat pysyviä. Mallin tulisi vastaanottaa tehtävän edellyttämä näyttö, ei kunnallista arkistoa, jolla on kehote.
Tämä on energiaongelma, koska tarkkaavuuden kustannus kasvaa sekvenssin pituuden myötä ja koska pitkät kehotteet lisäävät muistin siirtoa, viivettä ja vastauksen houkutusta. Suuren kontekstin saava malli voi myös tuottaa pidempiä vastauksia, koska se on nähnyt enemmän materiaalia. Vastaus kuluttaa sitten myös energiaa. Energiatietoinen järjestelmäsuunnittelu tähtää lyhyisiin polkuihin hyödyllisiin vastauksiin. Se ei palkitse konetta siitä, että se kirjoittaa todistusaineiston opastetun kierroksen, kun työnkulku tarvitsee yhden päätöskentän ja syykoodin.
On myös arvioinnin ansa. Pitkän kontekstin järjestelmät voivat näyttää vaikuttavilta demoissa, koska ne vastaavat kysymyksiin suurten asiakirjojen yli. Tuotantokäyttöä voivat hallita pienet, toistuvat ja jäsennellyt kysymykset. Jos palvelupolku kohtelee jokaista pyyntöä kuin harvinaista tutkimustehtävää, energialasku selittää kohteliaasti eron demon ja palvelun välillä. Se käyttää numeroita, koska laskut ovat ihailtavan ytimekkäitä.
Reititys on energianhallinnan keino
Reititys on yksi aliarvostetuimmista energianhallinnan keinoista tekoälyjärjestelmissä. Ennen kuin pyyntö saavuttaa suuren mallin, järjestelmä voi päättää, onko pyyntö soveltamisalassa, onko välimuistissa vastausta, voiko deterministinen työkalu vastata, riittääkö pieni malli, tarvitaanko hakua, pitäisikö ihmisen käsitellä pyyntö vai pitäisikö järjestelmän kieltäytyä. Jokainen haara voi säästää työtä ja parantaa laatua, kun se on suunniteltu rehellisesti.
Huono reititys tekee päinvastoin. Se lähettää jokaisen kysymyksen saman kalliin polun läpi. Se kutsuu työkaluja generoinnin jälkeen eikä ennen sitä. Se pyytää mallia luokittelemaan jotakin, jonka lomakekenttä jo tietää. Se pyytää proosaa, kun totuusarvo riittäisi. Se toistaa kutsuja, koska tilaa ei siirretä eteenpäin. Se antaa agentin tutkia, koska kukaan ei määritellyt tehtävän rajaa. Syntyvä energiankulutus ei ole sirun vika. Siru tekee mitä siltä pyydettiin, infrastruktuurin väsyneellä ammattitaidolla kaikkialla.
Energiatietoinen reititys tarvitsee luottamusrajoja, soveltamisalasääntöjä, lähteen tuoreuden tarkistuksia, välimuistin mitätöintiä ja siirtoa ihmiselle. Sen pitäisi olla riittävän läpinäkyvää, jotta käyttäjät näkevät, mikä reitti valittiin ja miksi. Sitä pitäisi arvioida paitsi keskimääräisen kustannuksen myös häntätapausten perusteella. Reitityssääntö, joka säästää energiaa tavallisissa pyynnöissä mutta lähettää vaikeat tapaukset toistuvaan epäonnistumiseen, voi kasvattaa kokonaiskustannuksia tuen, uudelleenyritysten ja manuaalisen korjauksen jälkeen. Reittiä on arvioitava hyödyllisen loppuun saattamisen perusteella.
On myös inhimillinen ulottuvuus. Hyvä reititys vähentää kognitiivista kuormitusta. Se antaa yksinkertaiset tapaukset yksinkertaisille koneille, jäsennellyt tapaukset jäsennellyille järjestelmille, monitulkintaiset tapaukset malleille ja arkaluonteiset tapaukset ihmisille, joilla on todisteita. Se on tehokasta laajemmassa merkityksessä. Energiatehokkuus ja institutionaalinen selkeys osoittavat usein samaan suuntaan: älä pyydä yleiskäyttöisintä komponenttia kantamaan jokaista vastuuta vain siksi, että se pystyy tuottamaan lauseen.
Lokaalisuus ja kysynnän muoto
Energiaan vaikuttaa myös se, missä kysyntä kohtaa tarjonnan. Jos data sijaitsee yhdessä paikassa, mallit toisessa, lokit kolmannessa ja käyttäjät neljännessä, jokainen vastaus voi sisältää verkon siirtoa ja päällekkäistä tallennusta. Joskus tämä jakautuminen on välttämätöntä. Joskus se on vahingossa syntynyt tulos siitä, että palveluita ostettiin siinä järjestyksessä, jossa niistä tuli muodikkaita. Lokaalisuusvalinnat vaikuttavat viiveeseen, sietokykyyn, hallintaan ja energiaan yhdessä.
Reunalaskenta ja paikallinen päättely voivat vähentää siirtoa toistuvissa tai arkaluonteisissa tehtävissä, mutta ne voivat myös monistaa resursseja ja laskea käyttöastetta, jos niitä sovelletaan sokeasti. Keskitetty palvelu voi parantaa käyttöastetta ja laitteiston tehokkuutta, mutta se voi lisätä verkon siirtoa ja riippuvuuksien keskittymistä. Alueelliset mallit voivat tasapainottaa nämä kaksi. Oikea vastaus riippuu kysynnän muodosta: volyymista, toistuvuudesta, arkaluonteisuudesta, viivetoleranssista, lähteen sijainnista, huippukuvioista ja vikatiloista.
This is why averages are not enough. The average request may be cheap while the top five percent of requests dominate energy. A small group of long-context tasks may use more power than thousands of short classifications. Nightly batch jobs may hide avoidable recomputation. Agent retries may flare during source outages. Energy-aware design looks at the distribution, not only the mean. The mean is where problems go to look respectable.
Demand should change design. If users repeatedly ask the same factual question, cache or publish the answer. If they repeatedly need one field from a document, build extraction. If they ask broad questions because the interface hides structure, fix the interface. If agents call tools repeatedly because state is unclear, redesign state. Every repeated watt is a design hint. Some hints are subtle. The monthly bill is not one of them.
Energiatietoinen mallisilmukka
Käytännön vastaus ei ole tehdä energiasta ainoaa tavoitetta. Se olisi typerää ja toisinaan haitallista. Pimeä palvelin on hyvin tehokas, mutta ei juuri palvelu. Tehtävänä on ottaa energia mukaan suunnittelusilmukkaan laadun, turvallisuuden, viiveen, yksityisyyden, häiriönsietokyvyn ja ylläpidettävyyden rinnalle. Mittaa hyödyllinen työ. Rajoita tehtävää. Valitse pienin riittävä ratkaisija. Ota käyttöön havaittavuuden kanssa. Seuraa todellista kysyntää. Tarkista suunnitelmaa, kun hukkaa ilmenee.
Silmukka tarvitsee yhteistä kieltä. Tuotetiimien tulisi tuntea suunnittelumallien energiakustannus: pitkät kehotteet, toistuvat kutsut, runsassanaiset tulosteet, aina päällä olevat agentit, rajoittamattomat työkalut. Insinöörien tulisi tuntea lisälaskennan käyttäjäarvo: vähemmän virheitä, parempi saavutettavuus, turvallisemmat päätökset, lyhyempi inhimillinen vaiva. Käyttötiimien tulisi tietää, mitkä työmäärät hallitsevat laskua. Hallintotiimien tulisi tietää, milloin energiansäästöt muuttavat riskiä. Kestävyystiimien tulisi olla huoneessa ennen kuin järjestelmä on jo oppinut kalliit tavat.
Tässä ei ole kyse syyllisyydestä. Syyllisyys on huono profiloija. Pointti on suunnittelulukutaito. Kun tiimit näkevät, että energia sitoutuu arkkitehtuurissa, he voivat valita paremmin. He voivat pitää suuret mallit tehtävissä, jotka niitä tarvitsevat, pienemmät mallit rajatuissa tehtävissä, haun tietoa varten, työkalut deterministiseen työhön, välimuistit toistoa varten, ihmiset arviointia varten ja kieltäytymisen hölynpölyä varten. Lopputulos on usein halvempi, nopeampi ja selkeämpi, mikä on kelpo lopputulos aiheelle, joka alkoi sähkömittarista surullisessa huoneessa.
Opetus
AI:n energialasku ei piile vain datakeskuksessa. Se piilee mallin suunnittelussa: koossa, arkkitehtuurissa, kontekstissa, haussa, tarkkuudessa, reitityksessä, sijainnissa, välimuistituksessa, tulosteen muodossa, arvioinnissa ja kieltäytymisessä. Laitteiston tehokkuudella on merkitystä, mutta laitteisto lunastaa sekit, jotka suunnittelu on jo kirjoittanut.
Hyvä tekoälyinfrastruktuuri alkaa siis aikaisemmin kuin kiihdyttimien hankinnasta. Se alkaa kysymyksestä hyödyllisestä työstä. Mitä vastausta tarvitaan. Kuinka paljon kieltä tarvitaan. Mikä ratkaisija sopii. Minkä tiedon tulisi elää painoissa, haussa, työkaluissa vai säännöissä. Mitkä pyynnöt tulisi kieltää. Mikä näyttö paljastaa hukkaa. Mitkä suunnitteluvalinnat luovat vältettävissä olevaa liikettä. Mitkä suurten mallien kutsut todella tekevät suurten mallien työtä.
Energiatietoinen mallisuunnittelu ei ole säästäväisyyttä. Se on tarkkuutta. Se pitää kyvykkyyden siellä, missä kyvykkyys maksaa itsensä takaisin, ja poistaa työn siellä, missä työ on vain tapa. Tulos ei ole pelkästään pienempi lasku. Se on usein parempi järjestelmä: nopeampi, helpommin hallittava, helpommin skaalattava, helpommin selitettävä ja vähemmän riippuvainen sankarillisesta infrastruktuurista kompensoimassa laiskaa suunnittelua. Kulmassa oleva mittari kertoi totuutta koko ajan. Meidän tarvitsi vain lukea sitä arkkitehtuurina.