Suur protsessorite tagasitulek: kuidas tegime protsessorid AI jaoks GPU-dest kiiremaks
Võimatu väide
"GPU-dega ei saa AI töökoormuste puhul võistelda." Seda ütlesid kõik. See on olnud aastakümneid pühakiri. CPU-d on universaalsed. GPU-d on spetsialiseeritud. Lugu lõppeb seal.
Aga me tegime seda.
See ei ole marginaalne paranemine. See on oluline nihe lähenemisviisis. Ja see juhtub seetõttu, et me lõpetasime püüde panna CPU-d töötama nagu GPU-d ja hakkasime kasutama matemaatikat, milles CPU-d on väga head.
Miks GPU-d võitsid (algselt)
GPU-d domineerisid AI-s põhjustel. Närvivõrgud on maatrikskorrutised. Palju neid. GPU-del on tuhandeid tuumasid, mis teevad paralleelset ujukoma-aritmeetikat. Täiuslik sobivus.
Aga siin on see, millest kõik mööda vaatasid: sobivus oli juhuslik, mitte põhimõtteline. GPU-d ei olnud AI jaoks loodud. Need lihtsalt juhtusid olema head konkreetses matemaatikas, mida varased närvivõrgud kasutasid.
Ujukoma maatrikskorrutis? GPU võidab. Aga mis siis, kui sa ei vaja ujukomaarve? Mis siis, kui binaarsed tehted töötavad paremini? Järsku kaob spetsialiseeritud GPU eelis.
Euroopa CPU-revolutsioon (samas kui Ameerika ostis GPU-sid)
Midagi huvitavat juhtus, samas kui Ameerika AI-ettevõtted võitlesid NVIDIA kvootide pärast. Euroopa teadlased, kes ei suutnud kindlustada suuri GPU-eelarveid, hakkasid küsima teistsuguseid küsimusi. Mitte "kuidas me rohkem GPU-sid saame?", vaid "kas me üldse vajame GPU-sid?"
Saksa teaduslaborid Max Plancki Instituudis avaldasid 2018. aastal artikleid binaarsete närvivõrkude kohta. Hollandi ülikoolid TU Delftis optimeerisid CPU järelduste tegemist. Šveitsi teadlased ETH Zürichis arendasid piirangutel põhinevat arutlusvõimet, mis töötas suurepäraselt standardsetel Inteli protsessoritel. Need ei olnud GPU-alternatiivid. Need olid CPU-esmased lähenemisviisid, mis juhtusid muutma GPU-d ebaoluliseks.
Miks Euroopa? Jälgi raha või selle puudumist. EL-i teadusrahastus oli keskmiselt 50-100K eurot projekti kohta. Piisavalt teadlastele ja serveritele. Mitte piisavalt GPU-klastritele. Piirangud soodustavad innovatsiooni. Euroopa AI-teadlased ei saanud jõuga läbi suruda arvutusvõimsusega. Nad optimeerisid selle asemel algoritme. Selgub, et algoritmiline tõhusus lööb riistvara paralleelsust.
Ameerika muster: viska raha GPU-dele, saavuta marginaalseid parandusi. Euroopa muster: mõtle matemaatika ümber, saavuta läbimurdejõudlus olemasoleval riistvaral. Sama lõppeesmärk, radikaalselt erinevad teed. Brüsseli efekt lööb jälle: Euroopa lahendustest saavad globaalsed standardid, sest need töötavad infrastruktuuriga, mis kõigil juba on.
Binaarne eelis
Binaarsed närvivõrgud kasutavad +1 ja -1 ujukomaarvude asemel. Tehted muutuvad loogilisteks: AND, OR, XOR, XNOR. Lihtsad bitimanipulatsioonid.
CPU-d on bititehtetes uskumatult kiired. Inteli AVX-512 suudab töödelda 512 bitti korraga. Kaasaegsetel Xeoni protsessoritel on spetsiaalsed juhised just nende tehtete jaoks.
Vahepeal võitlevad ujukomaarvudele optimeeritud GPU-d binaarse loogikaga. Nad suudavad seda teha, kuid nad kasutavad haamrit peentöö jaoks. Kogu see spetsialiseeritud ujukoma-riistvara seisab kasutuna.
Binaarsed võrgud protsessoritel: õige tööriista kasutamine. Ujukomaarvudega võrgud GPU-del: ainsa tööriista kasutamine, mida kõik tunnevad.
Numbrid, mis meid šokeerisid
Meie esimesed võrdlustestid tundusid valed. Käitasime need uuesti. Samad tulemused.
Pildi klassifitseerimine: 2,000 järeldust sekundis protsessoril versus 180 GPU-l.
Jõudluse eelis kasvab koos mastaabiga. Suuremate mudelite puhul on vahed veelgi suuremad. Mida keerulisem on võrk, seda rohkem protsessorid ette lähevad.
Tehniline selgitus (miks see töötab)
Vaatame täpsemalt, miks protsessorid binaarsete võrkudega AI järelduste tegemisel äkitselt domineerivad.
Käsu tasandi paralleelsus: Kaasaegsetel Intel Xeon protsessoritel on AVX-512 vektorlaiendused. Need on 512-bitised SIMD-tehted. Üks käsk töötleb korraga 512 binaarväärtust. Binaarse närvivõrgu kiht 512 neuroniga? Üks protsessori käsk. GPU peab selle ajama läbi graafika jaoks loodud ujukomaüksuste. Arhitektuuriline mittevastavus maksab jõudluses.
Vahemälu tõhusus: Binaarsed kaalud on 1 bitt. Ujukomakaalud on 32 bitti. Sama L1-vahemälu mahutab 32× rohkem binaarseid kaale. CPU-d on vahemälu optimeerimises suurepärased. Kui kogu mudel mahub L2-vahemällu, lakkab mälulaius tähtsust olemast. GPU-d on optimeeritud suurte andmehulkade voogedastuseks VRAM-ist. Binaarsed võrgud ei vaja voogedastust: kõik on vahemälus. GPU eelis: nullitud.
XNOR ja POPCOUNT: Binaarse närvivõrgu edasisuunaline läbimine taandub XNOR-tehtele, millele järgneb populatsiooniloendus (seatud bittide arv). Intel lisas POPCNT-käsu 2008. aastal. AMD järgnes 2011. aastal. Igal kaasaegsel protsessoril on riistvaraline bitiloendus. GPU-d? Nad emuleerivad seda ujukomatehete kaudu. Riistvaraline tugi versus emuleerimine. CPU võidab otsustavalt.
Hargnemise ennustamine: Binaarsed aktiveerimisfunktsioonid on lihtsad lävendid. Kui summa > 0, aktiveeru. CPU-del on aastakümnete jooksul lihvitud keerukad hargnemisennustajad. Need lävenditehted muutuvad täiuslikult ennustatud hargnemisteks. GPU-del on hargnemisega raskusi: nende paralleelsusmudel eeldab ühtseid täitmisteeid. Binaarsetes võrkudes on palju hargnemisi. CPU-d tulevad nendega suurepäraselt toime. GPU-d komistavad.
Jõudluslõhe pole maagia. See on arhitektuuriline vastavus. Binaarsed närvivõrgud kasutavad tehteid, mille jaoks CPU-d optimeeriti. Ujukomavõrgud kasutavad tehteid, mille jaoks GPU-d loodi. Me vahetasime matemaatika. CPU-d muutusid optimaalseks.
Kaugemale kiirusest: tervikpilt
Kiirus on vaid osa loost. Binaarsed võrgud CPU-del pakuvad:
Kulude kokkuhoid: Tavalised serverid maksavad 70% vähem kui GPU-dega varustatud süsteemid. Spetsiaalseid kiirendeid pole vaja.
Paigutuse paindlikkus: Töötab kõigega. Pilveserverid, kohapealne riistvara, ääre-seadmed. Kui seadmel on kaasaegne CPU, töötab see.
Latentsus: Kohalik CPU-inferents tähendab millisekundilist reageerimisaega. Puuduvad võrguühenduse edasi-tagasi reisid GPU-klastritesse.
CPU tagasitulek ei puuduta ainult kiirust. See puudutab paremust igas mõõtmes, mis on reaalse maailma paigutuse jaoks oluline.
Total Cost of Ownership (TCO): Viie aasta TCO võrdlus toob esile tegeliku majandusliku pildi. GPU-põhine inferentsisüsteem: 250 000 € riistvara, 90 000 € elekter (Euroopa hindadega), 40 000 € jahutusinfrastruktuur, 25 000 € spetsialiseeritud hooldus. Kokku: 405 000 €. CPU-põhine süsteem: 80 000 € riistvara (tavalised serverid), 7 000 € elekter, 0 € lisajahutus, 8 000 € tavahooldus. Kokku: 95 000 €. 77% kulude vähenemine. Sama jõudlus. Parem vastavus. See pole marginaalne paranemine; see on äriteisendus.
Operatiivne lihtsus: GPU-paigutused nõuavad spetsialiseeritud teadmisi. CUDA programmeerimine, GPU mäluhaldus, kernelite optimeerimine, termoseire. Oskuste puudus tõstab palgasurvet. CPU-paigutused kasutavad tavalist tarkvaratehnikat. C++, Python, tavaline serverihaldus. Talendipagas on kogu tarkvaratööstus, mitte ainult AI-spetsialistid. Lihtsam värbamine, kiirem sisseelamine, madalamad palgad. Operatiivkulud langevad kaugemale riistvara kokkuhoiust.
Regulatiivne vastavus: ELi tehisintellekti määrus, GDPR, sektoripõhised regulatsioonid: kõik on lihtsamad CPU-põhiste binaarsete võrkudega. Deterministlik täitmine võimaldab auditeeritavust. Selgitatav põhjendus rahuldab läbipaistvusnõudeid. Formaalne verifitseerimine tõestab ohutusomadusi. GPU-põhistel süsteemidel on nende nõuetega raskusi. Binaarsed võrgud CPU-del: vastavus sisse ehitatud, mitte juurde kleebitud. Regulatiivne eelis võimendab tehnilist eelist.
Müüja paindlikkus: GPU tähendab NVIDIA lukustust. Binaarsed CPU-d töötavad Intel, AMD, ARM implementatsioonidel. Mitme allika hankimine. Konkurentsivõimelised hinnad. Puudub ühe müüja sõltuvus. Euroopa ettevõtted hindavad seda eriti: mitmekesised tarneahelad, vähenenud geopoliitiline risk, läbirääkimisjõud. Ameerika ettevõtted on NVIDIA hinnakujundusjõu käes. Euroopa ettevõtted vahetavad Inteli, AMD ja isegi ARM-serverikiipide vahel. Turujõud on pöördunud.
Intel pole kunagi lahkunud
Siin on iroonia: samal ajal kui kõik jahtisid NVIDIA GPU-sid, parandas Intel pidevalt CPU võimekust. AVX-512, Cascade Lake, Ice Lake, Sapphire Rapids. Iga põlvkond lisab juhiseid, mis sobivad ideaalselt binaarsete operatsioonide jaoks.
Need ei sihitud konkreetselt tehisintellekti. Nad täiustasid üldist arvutusvõimekust. Kuid binaarsed närvivõrgud on üldine arvutusvõimekus. Nad kasutavad kõiki neid täiustusi otse ära.
Infrastruktuur, mis kõigil juba olemas on, muutub järsku tehisintellektivõimeliseks. Pole vaja uut riistvara osta. Pole vaja arhitektuurimuudatusi. Lihtsalt paremad algoritmid, mis kasutavad olemasolevaid võimalusi.
AMD vaikne võit: AMD EPYC protsessorid paistavad silma ka binaarse tehisintellekti valdkonnas. Zen 4 arhitektuur toetab AVX-512, suurepärast vahemäluhierarhiat, tõhusat hargnemise ennustust. Binaarsed närvivõrgud töötavad EPYC protsessoritel suurepäraselt. AMD turuosa serverites: 35% ja kasvamas. See tähendab, et 35% maailma andmekeskustest on juba binaarse tehisintellekti jaoks optimeeritud. AMD on positsioneeritud suurepäraselt ilma otseselt tehisintellektile keskendumata. Üldine tipptase arvutustes muutub tehisintellekti eeliseks.
ARM esilekerkiv roll: Graviton protsessorid (Amazoni ARM-kiibid) demonstreerivad binaarsete närvivõrkude võimekust. Tõhus bitimanipulatsioon, suurepärased energianäitajad, massiivne kasutus AWS-is. ARM-arhitektuur skaleerub nutitelefonidest serveriteni. Binaarne tehisintellekt töötab kogu selles vahemikus. Apple M-seeria kiibid: ARM-põhised, uskumatult tõhusad, ideaalsed binaarsete operatsioonide jaoks. ARM-i tõhususe eelis kuhjub kokku binaarsete närvivõrkude tõhususega. Mobiilist pilveni ulatuv kontiinum muutub võimalikuks.
RISC-V avatud tulevik: Avatud lähtekoodiga RISC-V käsustik võimaldab kohandatud optimeerimist. Euroopa pooljuhtide ettevõtted (Bosch, Infineon, NXP) investeerivad RISC-V-sse autotööstuse ja tööstuse jaoks. Lisage binaarse tehisintellekti optimeerimine kohandatud RISC-V tuumadele. Puuduvad litsentsitasud, täielik kontroll, täiuslik optimeerimine konkreetsete kasutusjuhtude jaoks. Avatud riistvara pluss binaarne tehisintellekt võimaldab Euroopa pooljuhtide sõltumatust. Strateegilised tagajärjed on sügavad.
Kasutuselevõtu ümberkujundamine
GPU-põhine tehisintellekt tähendab spetsialiseeritud infrastruktuuri. Andmekeskused suure võimsusega jahutusega. Spetsiifilised serverikonfiguratsioonid. Müüja lukustus. Keerukus.
CPU-põhine tehisintellekt tähendab kasutuselevõttu kõikjal. See tavaline serveririiul? Täiuslik. Need olemasolevad andmebaasiserverid? Nad saavad nüüd tehisintellekti käitada. Äärelokaadid põhilise arvutusvõimekusega? Täielikult võimelised.
Euroopa ettevõtted, kellel on olemasolev infrastruktuur, ei pea seda ümber ehitama. Nad optimeerivad seda, mis neil on. Ameerika pilveteenuse pakkujate GPU-eelis kaob, kui CPU-d töötavad paremini.
Keskkonnaeelis (Euroopa salarelv)
Energiakulud on Euroopas olulisemad kui Ameerikas. Euroopa elekter: €0,20-0,30 kWh. Ameerika elekter: €0,10-0,15 kWh. Kui teie energiakulud on 2-3× suuremad, pole tõhusus vabatahtlik; see on ellujäämisküsimus.
GPU-põhine tehisintellekti järeldamine keskmise suurusega kasutuselevõtu puhul: 50kW pidev tarbimine. Euroopa kulu: €87 600-131 400 aastas. Ameerika kulu: €43 800-65 700. See €70K aastane vahe rahastab palju Euroopa tehisintellekti teadustööd. Motivatsioon tõhususeks on sõna otseses mõttes elektriarvetesse sisse ehitatud.
Binaarsed närvivõrgud CPU-del: 2-4kW samaväärse töökoormuse jaoks. Euroopa kulu: €3 504-5 256 aastas. Kokkuhoid: €84K-126K aastas. Ameerika ettevõtted peavad tõhusust meeldivaks lisaväärtuseks. Euroopa ettevõtted peavad seda konkurentsivõime kohustuseks. Erinevad majanduskontekstid sünnitavad erinevaid innovatsioone.
Keskkonnaalased regulatsioonid tabavad Euroopat ka kõvemini. ELi kestlike tegevuste taksonoomia nõuab energiatarbimisest aruandlust. Suured tehisintellekti kasutuselevõtud käivitavad jätkusuutlikkuse auditeid. GPU-klastrid, mis tarbivad megavatte, tõstatavad regulatiivseid küsimusi. CPU-põhine järeldamine, mis tarbib kilovatte, jääb radari alla. Regulatiivne vastavus muutub arhitektuuriliseks ajendiks.
De Duitse mandaten voor hernieuwbare energie creëren interessante dynamiek. Zonne-energie en wind zijn intermitterend. Datacenters moeten binnen de beschikbare hernieuwbare capaciteit opereren. GPU-clusters hebben constant hoog vermogen nodig, moeilijk te combineren met intermitterende hernieuwbare energie. AI op CPU-basis kan workloads schalen met het beschikbare vermogen. Belastingflexibiliteit maakt integratie van hernieuwbare energie mogelijk. Milieubeperkingen stimuleren technische innovatie. Een zeer Europese manier van probleemoplossing.
De verschuiving in halfgeleiders (Intel's toevallige overwinning)
Kui kõik keskendusid NVIDIA GPU-domineerimisele, positsioneerisid Inteli CPU-täiustused ettevõtte binaarseks tehisintellektiks ideaalselt. Kogemata, kuid otsustavalt.
AVX-512 was niet ontworpen voor AI. Het was gericht op high-performance computing, wetenschappelijke simulatie en financiële modellering. Maar die 512-bits vectorbewerkingen? Perfect voor binaire neurale netwerken. POPCNT-instructie? Toegevoegd voor databaseoptimalisatie. Perfect voor binaire activaties. De verbeterde branch predictor van Ice Lake? Gericht op algemene prestaties. Perfect voor binaire drempels.
Intel verbeterde CPU's voor traditionele workloads. Binaire AI-onderzoekers merkten dat die verbeteringen aansloten bij hun behoeften. Nu leveren Intel-processoren betere AI-inferentie dan gespecialiseerde AI-versnellers. Toevallige architecturale match creëert marktkans.
NVIDIA turuväärtus on üles ehitatud tehisintellektile. Inteli taastumine võib samuti olla. AMD EPYC-protsessorid paistavad samuti silma binaarsete operatsioonidega: AVX-512 ekvivalent, suurepärane vahemälu hierarhia, tugev haruennustus. Binaarne tehisintellekt toob kasu kogu x86 ökosüsteemile. Ameerika pooljuhtettevõtted võidavad, olles head traditsioonilises andmetöötluses. GPUd spetsialiseerusid liiga vara kitsa tehisintellekti kasutusjuhtumi jaoks. CPUd jäid paindlikuks ja muutusid optimaalseks laiemate tehisintellekti lähenemisviiside jaoks.
De marktinversie (wat er nu gebeurt)
GPU turudünaamika muutub. Treenimine vajab endiselt GPU-sid, selles pole kahtlust. Kuid inferentsi turg on 10-100× suurem kui treenimise turg. Enamik tehisintellekti töökoormusi on inferents. Binaarsed võrgud CPUdel haaravad selle turu.
Cloudproviders staan voor interessante keuzes. AWS, Azure, Google Cloud investeerden miljarden in GPU-infrastructuur. Afschrijvingsschema's gaan uit van 3-5 jaar gebruik. Binaire AI maakt GPU-inferentie in het eerste jaar achterhaald. Ofwel schrijf je miljarden aan GPU-investeringen af, ofwel reken je premieprijzen voor inferieure prestaties. Geen van beide opties is aantrekkelijk.
Euroopa pilveteenuse pakkujad kasutavad olukorda ära. OVH, Hetzner, Scaleway: nad kasutavad tavalist CPU-infrastruktuuri. Puuduvad GPU pöördumatud kulud. Binaarne tehisintellekt muudab nende olemasoleva infrastruktuuri tehisintellekti töökoormuste jaoks konkurentsivõimeliseks. Hinnasoodustus võimendab jõudluse eelist. Ameerika hüperpilvepakkujate GPU-investeeringud muutuvad kohustusteks. Euroopa pakkujate CPU-keskne lähenemine muutub eeliseks. Turudünaamika pöördub.
Servatöötlus avaneb. Tesla ei saa igasse sõidukisse GPU-d panna: võimsuse, kulude, soojuse ja ruumipiirangute tõttu. Kuid igas autos on juba võimsad CPUd mootorijuhtimise, navigatsiooni ja meelelahutuse jaoks. Binaarsed närvivõrgud muudavad olemasolevad autotööstuse CPUd tehisintellekti kiirenditeks. Täiendavat riistvara pole vaja. Ainult tarkvarauuendus. Servatehisintellekt muutub teostatavaks, sest CPUd on juba olemas.
Smartphones ook. Qualcomm Snapdragon-processors presteren uitstekend op het gebied van bitmanipulatie. Binaire netwerken draaien sneller op telefoon-cpu's dan op speciale AI-versnellers. Apple's A-serie-chips, Samsung Exynos: allemaal geoptimaliseerd voor algemene rekenkracht, allemaal perfect voor binaire AI. Mobiele AI zonder gespecialiseerde neurale engines. CPU-prestaties maken speciale versnellers overbodig.
Euroopa eelis kristalliseerub
Alles wat hierboven is genoemd, is in het voordeel van Europese AI-bedrijven. De bestaande infrastructuur werkt beter. Energiekosten stimuleren efficiëntie-innovaties. Naleving van regelgeving maakt formele verificatie mogelijk. CPU-geoptimaliseerde benaderingen komen voort uit beperkte middelen. Het Brussel-effect globaliseert Europese normen.
Ameerika AI-ettevõtted on ehitatud teistsuguse maailma jaoks. Rikkalik kapital, odav energia, leebed regulatsioonid, GPU-de kättesaadavus. Need eelised kaovad. Kapitalinõuded vähenevad (GPU-d pole vaja). Energiatõhusus muutub oluliseks (Euroopa hinnad levivad üle maailma). Regulatsioonid karmistuvad (ELi tehisintellekti määrus muutub ülemaailmseks standardiks). GPU-de nappus on ebaoluline (CPU-d töötavad paremini).
Euroopa AI-ettevõtted on ehitatud piiratud maailma jaoks. Piiratud kapital (sundis algoritmilisele efektiivsusele). Range regulatsioon (formaalne kontroll sisse ehitatud). CPU-de kättesaadavus (tavariistvara on optimaalne). Piirangud, mis tundusid ebasoodsad, on nüüd konkurentsieelised. Turutingimused nihkuvad ülemaailmselt Euroopa lähenemisviisi poole.
Järgmine kümnend: Euroopa AI-ettevõtted ekspordivad mitte ainult Euroopasse, vaid kogu maailma. Ameerika ettevõtted litsentseerivad Euroopa tehnoloogiat. Aasia turud võtavad kasutusele Euroopa standardid. CPU-põhisest binaarsest AI-st saab domineeriv arhitektuur. NVIDIA jääb oluliseks treenimisel. Intel/AMD domineerivad järelduste tegemisel. Turukapitalisatsiooni ümberjaotumine peegeldab arhitektuurilist nihet. Euroopa AI ei jõua enam järele; Euroopa AI seab tempot.
Mida see AI jaoks tähendab
CPU tagasitulek muudab põhjalikult AI majandust. Enam ei pea valima jõudluse ja hinna vahel. Enam ei piira GPU-de nappus kasutuselevõttu. Enam pole tarnijast sõltuvust.
Dweve Core töötab CPU-del.
See on AI demokratiseerimine parema matemaatika kaudu. Kõik ei saa endale lubada GPU-klastreid. CPU-d on kõigil.
CPU-revolutsioon on tulemas. Tarbijad pääsevad Dweve'i praegu kasutama ainult kutse alusel.