Zakaj za umetno inteligenco vsi uporabljajo grafične procesorje (in zakaj bi se to lahko spremenilo)
De GPU-bezetenheid
Če se z nekom pogovarjate o poganjanju umetne inteligence, vam bo rekel: "Potrebuješ GPU. CPE so prepočasne. Vsi uporabljajo GPU-je."
In imajo prav. Večinoma. GPU-ji obvladujejo umetno inteligenco iz dobrih razlogov. A zgodba ni tako preprosta.
Razumevanje, zakaj so GPU-ji zmagali, v čem so CPE dejansko dobre in zakaj se lahko ravnovesje premika, je pomembno. Še posebej, če plačujete račune vi. Ali račune vašega dobavitelja elektrike. Ali pa se sprašujete, zakaj vaš podatkovni center potrebuje lastno električno postajo.
Splošno prepričanje pravi: nevronske mreže s plavajočo vejico potrebujejo ogromno vzporednosti, GPU-ji zagotavljajo ogromno vzporednosti, torej GPU-ji zmagajo. A to je le polovica zgodbe. Druga polovica se nanaša na to, kaj se zgodi, ko spremenite matematiko.
Kaj CPE in GPE v resnici sta
Začnimo z osnovami:
CPU (centralna procesna enota):
Možgani vašega računalnika. Zasnovan za splošne naloge. Poganja vaš operacijski sistem. Odpira datoteke. Upravlja pomnilnik. Izvaja programe. Po malem počne vse.
Sodobne CPE imajo 8–64 jeder. Vsako jedro je zmogljivo. Zmore kompleksno logiko. Razvejanje. Zaporedne naloge. Odlično opravlja različne stvari hitro. CPE si predstavljajte kot majhno ekipo visoko usposobljenih inženirjev, od katerih vsak samostojno rešuje kompleksne probleme.
GPU (grafični procesor):
Oorspronkelijk gebouwd voor graphics. Het renderen van 3D-scènes vereist dezelfde eenvoudige wiskunde op miljoenen pixels tegelijk. GPU's blinken hierin uit: eenvoudige bewerkingen, enorme parallelliteit.
Sodobni GPU-ji imajo na tisoče jeder. Vsako jedro je preprostejše od jedra CPE. A na tisoče njih, ki delujejo skupaj? Ogromna računska prepustnost za vzporedne naloge. GPU si predstavljajte kot tovarniško halo s tisoči delavcev, od katerih vsak zelo hitro opravlja eno preprosto nalogo.
To je temeljna razlika: CPU-ji so vsestranski generalisti. GPU-ji so specializirani vzporedni procesorji.
Tukaj je vizualna primerjava:
Waarom GPU's AI domineren
AI-workloads, met name neurale netwerken, zijn in hoge mate parallel. Dit is waarom GPU's winnen:
Matrixvermenigvuldiging overal:
Neurale netwerken zijn meestal matrixvermenigvuldigingen. Vermenigvuldig de invoer met de gewichten. Miljoenen vermenigvuldigingen. Allemaal onafhankelijk. Perfect voor parallelle verwerking.
GPU: Voer alle vermenigvuldigingen tegelijkertijd uit over duizenden kernen. Snel.
CPU: Doe vermenigvuldigingen sequentieel of over beperkte kernen. Veel langzamer.
Primer: posamezna plast v velikem jezikovnem modelu lahko pomnoži matriko 1024×4096 z matriko 4096×1024. To je več kot 4 milijarde operacij množenja in seštevanja. Na GPU-ju s tenzorskimi jedri to traja milisekunde. Na CPU-ju sekunde. Razlika je ogromna.
Zelfde bewerking, andere gegevens:
Vsak nevron opravi isto operacijo: množenje in seštevanje. Le z različnimi podatki. Temu se reče SIMD (Single Instruction, Multiple Data). GPU-ji so zgrajeni za to.
GPU: eno navodilo, razširjeno na tisoče jeder. Vsako ga uporabi na različnih podatkih. Učinkovito.
CPE: SIMD zmore z vektorskimi navodili (AVX-512), a le v majhnih širinah (8–16 operacij). Ne skalira se kot GPU-ji.
Het is alsof je hetzelfde recept aan duizend koks geeft in plaats van aan acht koks. De duizend koks maken hun gerechten tegelijkertijd af. De acht koks moeten in batches werken. Simpele wiskunde.
Geheugenbandbreedte:
AI moet enorme hoeveelheden data verplaatsen. Miljarden gewichten. Miljarden activaties. Geheugenbandbreedte telt.
GPU: Geoptimaliseerde geheugenarchitectuur. High-bandwidth geheugen (HBM). Ontworpen voor data-intensieve workloads. Honderden GB/s.
CPU: nižja pasovna širina pomnilnika. Optimiziran za zakasnitev, ne za prepustnost. Desetine GB/s.
Predstavljajte si to kot vodovodne cevi. GPU-ji imajo ogromne cevi, ki lahko hitro premaknejo ogromne količine podatkov. CPE imajo ožje cevi, optimizirane za hiter dostop do manjših količin podatkov. Za podatkovni cunami umetne inteligence želite večje cevi.
Gespecialiseerde hardware:
Moderne GPU's hebben tensor cores. Hardware die specifiek is voor matrixvermenigvuldiging. Extreem snel voor AI-workloads.
NVIDIA A100 na primer zagotavlja do 624 TFLOPS zmogljivosti FP16 s svojimi tenzorskimi jedri tretje generacije. H200 gre še višje z izboljšanim pomnilnikom HBM3e. Niso le hitri; zgrajeni so namensko za natanko tiste operacije, ki jih nevronske mreže potrebujejo.
CPU'er er generelle. Ingen specialiseret AI-hardware (for det meste). Gør alting okay, intet ekstraordinært.
Za tradicionalne nevronske mreže z operacijami s plavajočo vejico so GPU-ji 10–100× hitrejši od CPE. Razlika je resnična.
V čem so CPE dejansko dobre
CPU-ji niso neuporabni za umetno inteligenco. Izstopajo pri drugih stvareh:
Complexe logica en vertakkingen:
CPE dobro obvladajo pogojno logiko. If-then-else. Stavke switch. Kompleksen nadzor poteka. GPU-ji se s tem mučijo. Razvejanje povzroča razhajanje, kar uniči vzporednost.
Pri nalogah umetne inteligence z veliko pogojne logike se CPU-ji lahko kosajo.
Predstavljajte si GPU s tisoči jeder, ki poskuša izvajati različne poti kode. Polovica jeder želi levo, polovica desno. GPU mora izvesti obe poti in prikriti rezultate. Potratno. CPE preprosto izvede pot, ki jo potrebuje. Učinkovito za razvejano logiko.
Inferentie met lage latentie:
Za majhne modele s strogimi zahtevami glede zakasnitve zmagajo CPE. Brez dodatnih stroškov prenosa podatkov. Brez inicializacije GPU. Preprosto takojšnje izvajanje.
Edge-apparaten, realtime systemen, interactieve toepassingen. CPU-inferentie is praktisch.
PCIe-overdracht alleen al kan 1-10 milliseconden toevoegen. Voor een model dat in 2 milliseconden draait, is die overhead onacceptabel. CPU's voeren direct uit. Nul overdrachtslatentie. Dit is belangrijk voor responsieve toepassingen.
Integer- en binaire bewerkingen:
CPE so odlične pri celoštevilski matematiki. Bitnih operacijah. Logičnih operacijah. To so temeljne operacije CPE, optimizirane desetletja.
Za binarne nevronske mreže ali celoštevilsko kvantizirane modele se razlika med CPE in GPU dramatično zmanjša.
Vrata XNOR so v CPE od njihovega začetka. Štetje bitov (popcount) je na sodobnih CPE navodilo v enem ciklu. Te operacije so tako temeljne, da so jih inženirji silicija neusmiljeno optimizirali. Ko vaš model umetne inteligence uporablja te primitivne operacije namesto množenja in seštevanja s plavajočo vejico, nenadoma desetletja optimizacije CPE postanejo pomembnejša od vzporednih jeder GPU.
Algemene beschikbaarheid:
Vsaka naprava ima CPU. Vsaka naprava nima GPU-ja. Za uvedbo povsod so CPU-ji edina univerzalna možnost.
Telefoons, IoT-apparaten, embedded systemen. CPU-inferentie is vaak de enige optie.
Evropa ima stroge zahteve glede hrambe podatkov po GDPR. Poganjanje umetne inteligence lokalno na CPE se izogne odvisnosti od oblaka in zapletom pri čezmejnem prenosu podatkov. Telefon vašega uporabnika že ima CPE. Dodatna strojna oprema ni potrebna. Noben podatek ne zapusti naprave. Skladnost urejena.
De doorbraak van binaire neurale netwerken
Tu postane zanimivo. Se spomnite tistih binarnih operacij, v katerih so CPE dobre?
Binaire neurale netwerken gebruiken XNOR en popcount in plaats van floating-point vermenigvuldigen en optellen. Dit zijn native CPU-bewerkingen. Extreem snel op CPU's.
De wiskunde is elegant: in plaats van 32-bits drijvende-kommagetallen te vermenigvuldigen, vergelijk je 1-bits waarden met XNOR en tel je vervolgens de overeenkomende bits met popcount. Dezelfde logische vergelijking, een veel eenvoudigere implementatie. En CPU's doen dit al sinds de jaren zeventig.
Zmogljivost CPE z binarnimi omrežji:
Voor binaire netwerken kunnen CPU's de prestaties van GPU's evenaren of overtreffen. Waarom?
XNOR in popcount sta na CPE poceni. 6 tranzistorjev za XNOR. Operacije v enem ciklu. Brez dodatnih stroškov plavajoče vejice.
GPU-ji so optimizirani za plavajočo vejico. Njihova tenzorska jedra ne pomagajo pri binarnih operacijah. Specializacija postane omejitev.
Kot bi dirkalnik formule 1 pripeljali na reli. Seveda je hiter na gladki progi. Ko pa se teren spremeni, se specializirani dirkalni stroj muči, vsestranski reli avtomobil pa blesti. Binarne operacije so spremenile teren.
De Dweve-aanpak:
XNOR-popcount is wat CPU's zijn ontworpen om te doen. Logische bewerkingen. Bit tellen. Snel.
To ni teoretično. To je merljivo. Binarna omrežja temeljito spremenijo enačbo strojne opreme. Ko lahko z binarnimi omejitvami aktivirate le 4–8 domenskih specialistov izmed 528 razpoložljivih možnosti in vsak domenski specialist predstavlja 64–128 MB čistih logičnih pravil, CPU-ji to odlično obvladajo. Nobene aritmetike s plavajočo vejico. Samo hitre, učinkovite bitne operacije.
Stroomverbruik (de verborgen kosten)
Uspešnost ni vse. Poraba energije je pomembna. Še posebej v Evropi, kjer so stroški energije visoki in predpisi o trajnosti strogi.
GPU-stroomverbruik:
High-end AI GPU's verbruiken 300-700 watt. Onder belasting, constant. Uren of dagen tijdens het trainen.
Datacenters vol GPU's verbruiken megawatts. Elektriciteit ter waarde van energiecentrales. Enorme koelingsvereisten. De operationele kosten zijn enorm.
Predvideva se, da bodo prihodnji procesorji za umetno inteligenco porabili do 15.360 vatov vsak. To ni tipkarska napaka. Petnajst kilovatov. Na čip. Potrebovali boste eksotične rešitve hlajenja in namensko energetsko infrastrukturo. Direktiva EU o energetski učinkovitosti zahteva, da podatkovni centri z nazivno močjo nad 500 kilovatov poročajo o porabi energije. S takšnimi GPU-ji boste to mejo hitro dosegli.
CPU-stroomverbruik:
Sodobne CPE pri delovnih obremenitvah UI porabijo 50–150 vatov. Veliko manj kot GPE.
Voor inferentie, vooral bij edge-implementaties, is energie-efficiëntie belangrijk. Batterijduur. Thermische limieten. Operationele kosten.
AMD je nedavno napovedal, da bo do leta 2030 dosegel 20-kratno izboljšanje energetske učinkovitosti na ravni stojala za sisteme umetne inteligence, kar za skoraj 3-krat presega industrijske trende. Toda tudi s temi izboljšavami GPU-ji pri številnih delovnih obremenitvah ostajajo energijsko potratni v primerjavi s CPU-ji.
Prednost binarnih operacij:
Binarne operacije porabijo veliko manj energije kot računanje s plavajočo vejico. Enostavnejša vezja. Manj preklapljanja. Manj energije na operacijo.
To je pomembno za trajnost. Za operativne stroške. Za omejitve pri uvajanju. Ko so evropski stroški električne energije med najvišjimi na svetu, izvajanje umetne inteligence na CPU-jih z binarnimi operacijami ni le učinkovito; je ekonomsko smiselno. Vaš računovodja bo cenil nižje račune za energijo. Vaš pooblaščenec za trajnost bo cenil manjši ogljični odtis.
Kostenoverwegingen (de zakelijke realiteit)
Strojna oprema stane. Bodimo konkretni:
- GPU-kosten: High-end AI-GPU's kosten tienduizenden per stuk. De huur van datacenters varieert, maar telt snel op. Het trainen van grote modellen vereist honderden GPU's gedurende weken. De rekening loopt op tot miljoenen.
- Stroški CPU: vrhunski CPU-ji stanejo tisoče, ne desettisoče. Veliko ceneje. Že v vsakem strežniku. Dodaten nakup strojne opreme ni potreben.
- TCO (skupni stroški lastništva): GPE zahtevajo stroške strojne opreme, porabo energije, hlajenje in specializirano infrastrukturo. Visok TCO.
CPU's: Lagere hardwarekosten plus lager stroomverbruik plus standaardinfrastructuur. Lagere total cost of ownership.
Pri sklepanju v velikem obsegu, zlasti z binarnimi mrežami, so CPU-ji lahko stroškovno učinkovitejši. Vrzel v zmogljivosti se zapira, stroškovna vrzel se v korist CPU-ja povečuje.
Tu je praktičen primer: izvajanje sklepanja za milijon zahtevkov na dan. Pri GPE-jih z modeli s plavajočo vejico boste morda potrebovali namenske strežnike GPE, hladilno infrastrukturo in precejšnje proračune za energijo. Pri CPE-jih z binarnimi omrežji lahko uporabite obstoječo strežniško infrastrukturo, standardno hlajenje in delček energije. Enake zmogljivosti, povsem drugačna ekonomika.
Evropska podjetja se soočajo še z enim vidikom: suverenostjo strojne opreme. Večina vrhunskih GPE-jev za umetno inteligenco prihaja od ameriških proizvajalcev. Odvisnost od dobavne verige prinaša tveganja. CPE-ji ponujajo bolj raznolike možnosti nabave, vključno z evropskimi proizvajalci. Ko geopolitične napetosti vplivajo na dobavo čipov, je pomembno imeti alternative.
Kdaj uporabiti kaj
Prava izbira je odvisna od vašega primera uporabe:
GPE uporabite, ko:
Trenirate velike modele s plavajočo vejico. Zmogljivost je ključna. Proračun to dopušča. Poraba energije ni omejena. Tradicionalne arhitekture nevronskih omrežij.
Tu so GPE-ji odlični. Brez dvoma. Če trenirate transformerski model s 70 milijardami parametrov, so GPE-ji vaš zaveznik. Njihova vzporedna arhitektura in tenzorska jedra so očitna izbira za množična množenja matrik s plavajočo vejico.
CPE uporabite, ko:
Izvajate sklepanje na robu. Poraba energije je omejena. Stroški so pomembni. Zahteve glede zakasnitve so stroge. Binarni ali kvantizirani modeli. Uvajanje povsod.
CPE-ji so smiselna izbira. Pogosto edina možnost.
CPE-je upoštevajte tudi, ko potrebujete skladnost z GDPR z lokalno obdelavo, ko uvajate na različno strojno opremo brez razpoložljivosti GPE, ko je energetska učinkovitost pomembnejša od surove prepustnosti ali ko uporabljate binarna nevronska omrežja, ki izkoriščajo prednosti CPE-jev.
Hibridni pristop:
Trenirajte na GPE-jih (če uporabljate plavajočo vejico). Uvajajte na CPE-jih (z binarnimi/kvantiziranimi različicami). Najboljše iz obeh svetov.
Ali pa binarna omrežja trenirajte na CPE-jih že od začetka. GPE-je povsem izpustite. To je pristop Dweve.
Univerzalnega odgovora ni. Dogma o »nujnosti GPE« spregleda nianse. Vaša delovna obremenitev, okolje uvajanja, proračunske omejitve in arhitekturne odločitve so vse pomembne. Odločite se premišljeno, ne refleksno.
Prihodnost (razvoj strojne opreme)
Pokrajina strojne opreme se spreminja:
Specializirani čipi za umetno inteligenco:
TPU-ji (Google). Nevronski motorji (Apple). Namenski ASIC-i. Optimizirani za posebne delovne obremenitve umetne inteligence. Niti čisti CPE niti čisti GPE.
Ti lahko prevladajo v posebnih nišah. Toda CPE-ji in GPE-ji ostajajo namenski. Specializirani čipi pa prinašajo tveganje zaklenjenosti v dobavitelja. Ko Google nadzoruje TPU-je in Apple nevronske motorje, ste odvisni od njihovih načrtov in cen. Evropska podjetja bi morala upoštevati te posledice za suverenost.
Razširitve CPE za umetno inteligenco:
Intel AMX (Advanced Matrix Extensions). ARM SVE2. Vektorske razširitve RISC-V. CPE-ji dobivajo navodila, specifična za umetno inteligenco.
Vrzel med CPE in GPE pri umetni inteligenci se oži. Še posebej pri celoštevilskih in binarnih operacijah.
Te razširitve prinašajo pospeševanje množenja matrik neposredno v CPE-je. Niso tako zmogljive kot namenski GPE-ji za plavajočo vejico, a zadostujejo za številne delovne obremenitve. In so standardne, brez dodatne strojne opreme.
Energiezuinige architecturen:
Naarmate de energiekosten stijgen, telt efficiëntie zwaarder dan ruwe prestaties. Binaire bewerkingen. Neuromorfe chips. Analoog rekenen.
Prihodnost je naklonjena učinkovitosti. CPU-ji z binarnimi operacijami se bolje ujemajo s tem trendom kot energijsko potratna GPU-obdelava s plavajočo vejico.
Evropske cene energije in predpisi o trajnosti pospešujejo ta premik. Ko plačujete najvišje tarife za električno energijo in se soočate z obveznostmi zmanjševanja ogljika, učinkovitost ni izbira. Je obveznost. Zmaga strojna oprema, ki naredi več z manj energije.
Rast robnega računalništva:
Umetna inteligenca se seli iz oblaka na rob. Telefoni. Avtomobili. Naprave IoT. Te imajo CPU-je, ne GPU-jev.
Učinkovita umetna inteligenca na CPU-jih postane obvezna, ne izbirna.
De EU AI-verordening legt de nadruk op lokale verwerking voor bepaalde toepassingen. Edge computing met AI op basis van CPU sluit perfect aan bij deze wettelijke vereisten. Gegevens blijven lokaal. Verwerking gebeurt lokaal. Naleving is eenvoudiger.
Prestaties in de praktijk
Laten we concreet worden met daadwerkelijke metingen:
Neurale netwerken met zwevendekommagetallen:
GPU: 100–300 TFLOPS (bilijon operacij s plavajočo vejico na sekundo). Vrhunski modeli, kot je A100, dosežejo 624 TFLOPS za FP16. Novejši H200 gre še višje.
1-5 TFLOPS
Winnaar: GPU (20-100× sneller)
De kloof is onmiskenbaar. Voor traditionele neurale netwerken domineren GPU's. Daarom nam iedereen aan dat je GPU's nodig hebt voor AI. Een decennium lang hadden ze gelijk.
Binaire neurale netwerken:
GPU: omejen zaradi pomanjkanja specializirane strojne opreme. Uporablja INT8 ali jedra po meri. Morda 10–30-krat hitrejši od CPU-ja za binarne operacije.
CPU: XNOR en popcount zijn native. Extreem snel. Parallel over kernen met AVX-512.
Zmagovalec: CPE se lahko kosa z GPE ali jo prekaša
Ta preobrat ni čarovnija. Je matematika, ki se sreča z načrtovanjem strojne opreme. Binarne operacije izkoriščajo prednosti CPU-ja enako, kot množenje s plavajočo vejico izkorišča prednosti GPU-ja.
Latentie:
GPU: PCIe-overdrachtsoverhead. 1-10 ms alleen al voor datatransport.
CPU: ničelni stroški prenosa. Možna inferenca v podmilisekundnem času.
Winnaar: CPU voor toepassingen met lage latentie
Ta prehod prek PCIe je nespremenljiv. Nobena optimizacija ga ne odpravi. Pri aplikacijah v realnem času, kjer šteje vsaka milisekunda, CPU-ji zmagajo že po zasnovi.
Energijska učinkovitost (operacije na vat):
GPU: ~500-1000 GFLOPS/W (drijvende-komma)
FPU: ~100-200 GFLOPS/W (zwevendekommagetallen)
Zmagovalec: GPE za plavajočo vejico
Binarne operacije to spremenijo:
CPE z binarnimi operacijami: 10–50× več operacij na vat kot GPE s plavajočo vejico
Zmagovalec: CPE z binarnimi operacijami
Ko so evropski stroški električne energije 3–4-krat višji kot v ZDA, se te razlike v učinkovitosti neposredno prevedejo v operativne stroške. Poslovni primer za umetno inteligenco na osnovi CPU-ja hitro postane prepričljiv.
Wat je moet onthouden
Als je verder niets van dit meeneemt, onthoud dan:
- 1. GPU-ji prevladujejo pri umetni inteligenci s plavajočo vejico. Vzporednost množenja matrik. Specializirana tenzorska jedra. 20–100-krat hitrejši od CPU-jev za tradicionalna nevronska omrežja. Za delovne obremenitve s plavajočo vejico so jasna izbira.
- 2. CPU's blinken uit in andere zaken. Complexe logica. Lage latentie. Integer/binaire bewerkingen. Universele beschikbaarheid. AVG-conforme lokale verwerking.
- 3. Binarna omrežja spremenijo enačbo. XNOR in popcount sta CPU-jevi izvorni operaciji. CPU-ji lahko dosežejo ali presežejo zmogljivost GPU-ja za binarno umetno inteligenco. Matematični premik je naklonjen arhitekturi CPU.
- 4. Stroomverbruik wordt steeds belangrijker. GPU's: 300-700W vandaag, tot 15.360W geprojecteerd. CPU's: 50-150W. Met Europese energiekosten en duurzaamheidsverplichtingen is efficiëntie geen optie meer.
- 5. Stroški niso le strojna oprema. Energija. Hlajenje. Infrastruktura. Suverenost dobavne verige. Skupni stroški lastništva so pomembni. CPU-ji so pogosto cenejši za inferenco v velikem obsegu, zlasti z binarnimi omrežji.
- 6. Kies op basis van de workload, niet op basis van dogma. Grote floating-point modellen trainen? GPU. Inferentie aan de rand? CPU. Binaire netwerken? CPU. AVG-naleving? CPU. Hybride benaderingen werken ook.
- 7. Prihodnost je naklonjena učinkovitosti. Robno računalništvo. Naraščajoči stroški energije. Predpisi EU o trajnosti. Zahteve Akta o umetni inteligenci. Arhitekture, prijazne do CPU-jev, naraščajo, ne upadajo.
De kern
GPU-ji so dobili prvi krog umetne inteligence, ker so bile nevronske mreže zasnovane za operacije s plavajočo vejico in množično vzporednost. GPU-ji so bili zgrajeni prav za to. Desetletje prevlade je ustvarilo domnevo, da umetna inteligenca zahteva GPU-je. Za delovne obremenitve s plavajočo vejico to še vedno drži.
A umetna inteligenca se razvija. Binarne mreže. Celoštevilsko kvantiziranje. Učinkovite arhitekture. Te dajejo prednost CPU-jem. Matematični temelji so se spremenili, z njimi pa tudi optimalna strojna oprema.
Pripoved, da "potrebujete GPU", je za številne primere uporabe zastarela. Robna inferenca? Binarna omrežja? Stroškovno občutljivo uvajanje? Skladnost z GDPR? CPU-ji so konkurenčni. Pogosto boljši.
Pokrajina strojne opreme se spreminja. Pojavljajo se specializirani čipi. Prihajajo razširitve za umetno inteligenco v CPU-jih. Monopol GPU-jev se končuje. Evropska podjetja imajo pri tem premiku posebne prednosti: strogi predpisi o varstvu podatkov so naklonjeni lokalni obdelavi na CPU-jih, visoki stroški energije nagrajujejo učinkovitost, pomisleki glede suverenosti strojne opreme pa koristijo raznolikemu pridobivanju CPU-jev.
Razumevanje, kaj vsak procesor dobro opravlja, vam pomaga pri pravilni izbiri. Ne na podlagi hypea. Na podlagi vaših dejanskih zahtev. Uspešnost, energija, stroški, omejitve pri uvajanju, skladnost s predpisi.
Grafični procesorji še vedno prevladujejo pri učenju velikih modelov s plavajočo vejico. Kaj pa sklepanje? Uvajanje? Robno računalništvo? Ravnovesje se premika. In prav binarne operacije na procesorjih vodijo ta premik. Naslednje desetletje umetne inteligence ne bo podobno prejšnjemu. Strojna oprema, ki se je zdela nujna, bo morda postala neobvezna. Strojna oprema, ki se je zdela nezadostna, bo morda postala idealna.
Vaša izbira ni GPU ali CPU. Gre za razumevanje, katera delovna obremenitev ustreza kateri strojni opremi. In to razumevanje vse pogosteje kaže na CPU-je pri več primerih uporabe, kot nakazuje splošno prepričanje.
Želite videti umetno inteligenco, optimizirano za procesorje, v praksi? Raziščite Dweve Loom. Binarno omejitveno sklepanje na običajnih procesorjih. Skladno z GDPR že po zasnovi. Vrsta umetne inteligence, ki deluje s strojno opremo, ki jo že imate. Zgrajeno v Evropi za evropske zahteve.