Скритата енергийна цена в дизайна на моделите
Броилото в ъгъла
Първият полезен разговор за енергията на ИИ рядко започва с моделния паспорт. Започва с броило. Някъде в сградата, често в помещение, което никога не е било обвинявано в интериорен дизайн, електричеството се превръща в топлина, латентност, фактури и от време на време в полезна работа. Таблото горе може да го нарича интелигентност. Екипът по поддръжката го нарича товар. И двамата са прави, но само един от тях получава сметка с числа, които трябва да бъдат платени.
Енергията на ИИ често се обсъжда като проблем на центровете за данни. По-добро охлаждане, по-добри чипове, по-чиста енергия, по-умно планиране, по-ефективни стойки. Всичко това има значение. Хората от инфраструктурата отдавна изстискват полезна работа от ватовете, обикновено без аплодисментите, които получава който и да е модел, носещ в момента короната. Но изненадващо голяма част от сметката за енергия се пише, преди натоварването да стигне до центъра за данни. Тя се пише в дизайна на модела.
Архитектурата на модела поема ангажимент за бъдеща енергия. Същото прави и дължината на контекста. Същото прави и изборът да се отговаря на всеки въпрос с голям универсален модел, когато по-малък специализиран път би свършил работа. Същото прави и дизайнът на извличането, който премества твърде много текст, стилът на подканите, който тъпче документи в прозореца, защото никой не е искал да изгради индексиране както трябва, стратегията за декодиране, която генерира ненужни токени, пътят за обслужване, който не може да групира заявки, изборът на точност, направен за удобство, и културата на оценяване, която награждава блясъка на бенчмарковете, докато игнорира оперативните разходи.
Сметката за енергия се крие там, защото дизайнерските избори изглеждат абстрактни. По-големият контекстен прозорец звучи като възможност. По-големият модел звучи като резерв. Повече инструменти звучат като гъвкавост. Повече семплиране звучи като креативност. Повече извличане звучи като обоснованост. Всяко от тях може да е полезно. Всяко от тях също така кара инфраструктурата да върши работа. Понякога работата си заслужава. Понякога машината гори енергия, за да компенсира дизайн, който не е искал да реши къде трябва да живеят знанието, паметта, маршрутизирането и отговорността.
Изводът е мястото, където дизайнът се превръща в сметка за комунални услуги
Обучението получава голяма част от вниманието, защото числата са големи и клъстерите звучат кинематографично. Изводът е по-малко драматичен и често по-постоянен. Той е ежедневната работа по обслужване на въпроси, обобщения, класификации, препоръки, търсения, агенти и вътрешни инструменти. Всяка заявка може да е малка. Заедно те се превръщат в сметката за комунални услуги, която следва продукта навсякъде като много точен счетоводител.
Разходите за извод се определят от количеството изчисления, преместването на памет, мрежовия трафик, неизползвания капацитет и повторните опити, необходими за всеки полезен отговор. Фразата „полезен отговор“ има значение. Ако една система генерира три абзаца там, където едно поле би било достатъчно, това не е само проблем с потребителското изживяване. Това е енергия, изразходвана за многословие. Ако един работен процес извиква голям модел пет пъти, защото процесът не е бил разложен, сметката е обратна връзка за дизайна. Ако агент се опитва с инструменти в кръг, защото състоянието е неясно, топлината, излизаща от стойката, е отчасти проблем на управлението, облечен в системна униформа.
Големите контекстни прозорци са добър пример. Те са ценни, когато задачата наистина изисква дълги доказателства. Те са разточителни, когато се използват като заместител на подбора на източници. Хвърлянето на цялото ръководство с политики в контекста, защото извличането е слабо, е AI еквивалентът на носенето на целия архив на среща, в случай че един абзац стане от значение. Работи, докато някой трябва да носи архива. В изчислителната техника носенето на архива изглежда като честотна лента на паметта, цена на вниманието, латентност и мощност.
По-добрият дизайн на моделите пита каква информация трябва да бъде в теглата, какво трябва да бъде в извличането, какво трябва да бъде в инструментите, какво трябва да бъде кеширано, какво трябва да се изчислява локално и какво трябва да бъде отказано. Това са енергийни въпроси също толкова, колкото и архитектурни. Отказът може да спести енергия, когато задачата е извън обхвата. Малък класификатор може да насочи работата, преди голям модел да се събуди. Добър индекс може да намали контекста. Типизиран инструмент може да върне стойност, без да кара езиков модел да разказва как стига до аритметиката, което е милостиво както за ватовете, така и за читателите.
Размерът не е същото като силата
Общественото въображение все още третира размера на модела като прост показател за мощ. По-големият трябва да е по-добър или поне по-сериозен. Инженерите знаят, че историята е по-сложна. Голям плътен модел може да е отличен, но не е автоматично правилната оперативна единица за всяка задача. Много производствени задачи имат тясна структура: класифицирай този тип документ, извлечи тези полета, отговори от този източник, преведи този формуляр, насочи този билет, провери това условие от политиката. Използването на максимална универсалност за минимална двусмисленост понякога е като загряване на супа с реактивен двигател. Технически възможно. Реакциите на съседите варират.
По-малките модели, специализираните глави, дизайните с извличане, ограничените декодери, символните проверки и класическите алгоритми могат да намалят енергията, когато се използват на правилното място. Въпросът не е малък заради самия малък размер. Въпросът е съответствието на задачата. Компактен модел, който надеждно отговаря на една задача с голям обем, може да е далеч по-ефективен от универсален модел, помолен да се преструва, че всяка задача е новост. Механизъм с правила може да е по-добър за детерминирана допустимост. Заявка към база данни може да е по-добра за известни факти. Индекс за търсене може да е по-добър за подбор на кандидати. Тогава езиковият модел може да прави това, в което езиковите модели са добри: синтез, обработка на двусмисленост, обяснение и изготвяне на чернови в определени граници.
Смесените и редките архитектури усложняват картината. Активирането само на част от модела може да намали изчисленията, но насочването, оформлението на паметта, групирането и поддръжката на хардуера решават дали теоретичното спестяване става реално. Елегантна архитектура на хартия може да се превърне в задръстване в производство, ако заявките се разпръснат между експерти и паметта не успее да смогне. Ефективността не е лозунг, който закачате на документ. Тя е свойство на целия път на обслужване.
Ето защо енергийно осъзнатият дизайн изисква измерване в средата, в която системата ще работи. Само точността на бенчмарка не е достатъчна. Токени на джаул, натиск върху паметта, разпределение на латентността, възможност за групиране, процент на попадения в кеша, мрежов трафик, студени стартове и повторни опити при отказ имат значение. Най-добрата архитектура не е тази, която печели една графика. Тя е тази, която осигурява необходимото качество с най-малко излишна работа при реално търсене.
Преместването на паметта е тиха работа
Хората обичат да броят операции. Хардуерът често се оплаква от преместването. Преместването на тегла, активации, ключове, стойности, изходни части, вграждания и логове през паметта и мрежите изразходва време и енергия. Един модел може да има впечатляващи аритметични способности и пак да бъде ограничен от количеството данни, които трябва да се преместят, за да бъде захранван. Потребителят вижда въртящ се индикатор. Инфраструктурата вижда доставна служба за числа.
Дизайнът на модела влияе върху това преместване. Изборът на точност определя колко байта пътуват за всяка стойност. Квантоването може да намали честотната лента на паметта и нуждите от капацитет, но трябва да бъде тествано спрямо задачата, защото евтиният грешен отговор не е ефективност. Дължината на контекста определя колко състояние се пренася през вниманието. Дизайнът на извличането определя колко части се придвижват в подканата. Кеширането определя дали повторната работа се избягва. Локалността определя дали данните пътуват през региони, услуги или устройства, преди да се появи токен.
Някои от най-добрите енергийни спестявания са невзрачни. Закачете правилната версия на модела. Избягвайте ненужен шаблонен текст в подканите. Премахнете повторените инструкции, които не правят нищо. Използвайте структурирани изходи вместо многословна проза, където работният процес има нужда от полета. Кеширайте стабилни резултати от инструменти. Дедупликирайте документите преди индексиране. Премахвайте остарели вграждания. Дръжте горещите индекси близо до пътя на обслужване. Обединявайте съвместими заявки. Компилирайте често срещани пътища. Измервайте изхода от токени, не само входа. Това не са грандиозни жестове. Това е домакинска работа с ватметър.
Сложната част е, че много екипи не виждат преместването на паметта като продуктов проблем. Те го виждат като инфраструктурно окабеляване. Но потребителите плащат за него чрез закъснението, организациите плащат чрез енергията и сметките за облака, а обществото плаща чрез търсенето от мрежата. Ако продуктовият дизайн насърчава дълги подкани, повторени извиквания, ненужни повторни опити и винаги включени общи модели, тогава продуктът е част от енергийната система. Електромерът не се интересува кой отдел е взел решението. Той има възхитително малко уважение към организационните схеми.
Енергията изтича през стека
Сметката за енергия не се намира в един единствен слой. Тя изтича през стека. Изборът на данни за обучение влияе върху размера и специализацията на модела. Архитектурните избори влияят върху активацията и паметта. Изборът на токенизатор и контекст влияе върху дължината на последователността. Изборът на извличане влияе върху преместването и обосноваването. Изборът на подкана влияе върху токените. Изборът на декодиране влияе върху дължината на изхода. Изборът на обслужване влияе върху пакетирането и празния капацитет. Изборът на хардуер влияе върху ефективността. Изборът на наблюдение влияе върху това колко бързо се откриват загубите. Ако никой не притежава целия път, загубата става нечий друг дребен проблем и електромерът продължава тихата си работа.
Стек изгледът помага, защото показва къде принадлежат интервенциите. Ако проблемът е прекалено голям контекст, закупуването на по-добър хардуер може само да отложи сметката. Ако проблемът е лошо маршрутизиране, квантоването може да помогне по-малко от евтин класификатор отпред. Ако проблемът е ниска употреба, архитектурата може да има по-малко значение от пакетирането и планирането. Ако проблемът е остаряло извличане, енергията се изразходва за генериране на полирани отговори от грешен материал, което е трагично използване на електрони.
Разбира се, има компромиси. Намаляването на енергията не може да бъде позволено да навреди на безопасността, достъпността или справедливостта. По-малък модел, който се проваля в крайни случаи, може просто да прехвърли разходите към хората. Агресивното кеширане може да сервира остарели отговори. Квантоването може да навреди на рядко срещано езиково поведение. Локален маршрут може да намали мрежовото движение, но да увеличи дублирането. Тези компромиси са реални. Отговорът е измерване, не лозунги. Измервайте качеството, енергията, латентността, поправката на грешки и човешкото натоварване заедно. Ват, спестен чрез каране на персонала да поправя лош резултат, не е спестяване. Това е просто изнасяне на топлината към хората.
Ето защо енергията на модела трябва да бъде част от прегледа на дизайна. Не като морален послеслов, а като инженерно свойство. Каква е очакваната енергия за полезен отговор. Кои компоненти доминират. Кои заявки са извънредни. Какъв е пътят за отстъпление. Какво се случва при пиково натоварване. Какво може да се кешира. Кои задачи трябва да избягват големия модел. Какви доказателства ще покажат, че дизайнът се подобрява. Тези въпроси принадлежат до точността и сигурността, не в слайд за устойчивост, добавен от някой със снимка на листо от запаси.
Прозорецът на контекста не е бутон за прескачане
Дългият контекст се превърна в изкушителен бутон за прескачане на архитектурата. Защо да изграждаме внимателно извличане, класиране на източници, обобщаване, филтриране на достъпа и структура на документите, когато моделът може да прочете всичко. Отговорът е, че четенето на всичко е работа. По-важното е, че четенето на всичко често е по-лошо управление. Моделът получава неподходящ материал, чувствителен материал, остарял материал и противоречив материал, след което трябва да реши какво има значение в много скъп модел на внимание.
Добрият дизайн на контекста е селективен. Той третира прозореца на контекста като оскъдна работна памет, не като хранилище с проблеми с доверието. Изборът на източници трябва да се случи преди генерирането. Документите трябва да бъдат разделени на части със значение, не нарязани на произволни парчета, защото стандартна библиотечна настройка изглеждаше официално. Метаданните трябва да носят дати, авторитет, чувствителност и обхват. Филтрите за достъп трябва да се изпълняват преди извличането. Обобщенията трябва да се кешират, когато са стабилни. Моделът трябва да получава доказателствата, необходими за задачата, не общински архив, облечен в подкана.
Това е енергиен проблем, защото разходите за внимание растат с дължината на последователността и защото дългите подкани увеличават движението на паметта, латентността и изкушението за по-дълъг отговор. Модел с голям контекст може също да дава по-дълги отговори, защото е видял повече материал. Тогава и изходът струва енергия. Енергийно осъзнатите системи се проектират за кратки пътища до полезни отговори. Те не възнаграждават машината за това, че е написала подробна обиколка из доказателствата, когато работният процес се нуждае от едно поле за решение и код за причина.
Има и капан при оценяването. Системите с дълъг контекст могат да изглеждат впечатляващи в демонстрации, защото отговарят на въпроси върху големи документи. В реална употреба обаче може да доминират малки, повтарящи се и структурирани въпроси. Ако обслужващият път третира всяка заявка като рядък изследователски пъзел, сметката за енергия учтиво ще обясни разликата между демонстрация и услуга. Тя ще използва числа, защото фактурите са възхитително кратки.
Маршрутизирането е контрол върху енергията
Маршрутизирането е един от най-подценяваните контроли върху енергията в системите с изкуствен интелект. Преди заявката да стигне до голям модел, системата може да реши дали заявката е в обхвата, дали съществува кеширан отговор, дали детерминиран инструмент може да отговори, дали малък модел е достатъчен, дали е необходимо извличане, дали човек трябва да се заеме с нея, или дали системата трябва да откаже. Всеки клон може да спести работа и да подобри качеството, когато е проектиран честно.
Лошото маршрутизиране прави обратното. То изпраща всеки въпрос по същия скъп път. Извиква инструменти след генерирането вместо преди него. Иска от модел да класифицира нещо, което поле във формуляр вече знае. Иска проза, където би стигнал булев отговор. Повтаря извиквания, защото състоянието не се пренася напред. Оставя агента да изследва, защото никой не е определил границата на задачата. Получената употреба на енергия не е по вина на чипа. Чипът прави това, което му е поискано, с уморения професионализъм на всяка инфраструктура.
Енергийно осъзнатото маршрутизиране изисква прагове на увереност, правила за обхвата, проверки за свежестта на източниците, инвалидиране на кеша и предаване към човек. То трябва да е достатъчно прозрачно, за да могат операторите да видят кой маршрут е избран и защо. Трябва да се оценява не само по средния разход, но и по крайните случаи. Правило за маршрутизиране, което спестява енергия при често срещани заявки, но изпраща трудните случаи в повтарящи се грешки, може да увеличи общия разход след поддръжка, повторни опити и ръчен ремонт. Маршрутът трябва да се съди по полезното завършване.
Има и човешко измерение. Доброто маршрутизиране намалява когнитивното натоварване. То дава простите случаи на прости машини, структурираните случаи на структурирани системи, двусмислените случаи на модели, а чувствителните случаи на хора с доказателства. Това е ефективно в по-широк смисъл. Енергийната ефективност и институционалната яснота често сочат в една посока: не искайте от най-общия компонент да носи всяка отговорност само защото може да произведе изречение.
Локалност и формата на търсенето
Енергията се оформя и от това къде търсенето среща предлагането. Ако данните живеят на едно място, моделите на друго, логовете на трето, а потребителите на четвърто, всеки отговор може да носи мрежово движение и дублирано съхранение. Понякога това разпределение е необходимо. Понякога е случаен резултат от закупуването на услуги в реда, в който са станали модерни. Изборът на локалност засяга латентността, устойчивостта, управлението и енергията заедно.
Периферната и локалната инференция могат да намалят движението при повтарящи се или чувствителни задачи, но могат и да дублират ресурси и да понижат използваемостта, ако се прилагат безразборно. Централизираното обслужване може да подобри използваемостта и ефективността на хардуера, но може да увеличи мрежовото движение и концентрацията на зависимости. Регионалните проекти могат да балансират двете. Правилният отговор зависи от формата на търсенето: обем, повторяемост, чувствителност, толерантност към латентност, местоположение на източника, пикови модели и начини на отказ.
Ето защо средните стойности не са достатъчни. Средната заявка може да е евтина, докато най-скъпите пет процента от заявките доминират потреблението на енергия. Малка група задачи с дълъг контекст може да използва повече енергия от хиляди кратки класификации. Нощните пакетни задания може да прикриват предотвратимо преизчисляване. Повторните опити на агентите може да ескалират при прекъсвания на източника. Енергийно осъзнатият дизайн гледа разпределението, не само средната стойност. Средната стойност е мястото, където проблемите отиват, за да изглеждат прилични.
Търсенето трябва да променя дизайна. Ако потребителите многократно задават един и същ фактически въпрос, кеширайте или публикувайте отговора. Ако многократно имат нужда от едно поле от документ, изградете извличане. Ако задават широки въпроси, защото интерфейсът скрива структурата, поправете интерфейса. Ако агентите многократно извикват инструменти, защото състоянието е неясно, препроектирайте състоянието. Всеки повторен ват е дизайнерска подсказка. Някои подсказки са фини. Месечната сметка не е една от тях.
Енергийно осъзнат моделен цикъл
Практичният отговор не е да се превърне енергията в единствена цел. Това би било глупаво и понякога вредно. Тъмен сървър е много ефективен, но не е особено услуга. Задачата е енергията да бъде включена в цикъла на дизайна заедно с качеството, безопасността, латентността, поверителността, устойчивостта и поддръжката. Измервайте полезната работа. Ограничавайте задачата. Избирайте най-малкия адекватен решаващ механизъм. Внедрявайте с наблюдаемост. Следете реалното търсене. Преразглеждайте дизайна, когато се появи разхищение.
Цикълът има нужда от общ език. Продуктовите екипи трябва да знаят енергийната цена на дизайнерските модели: дълги подкани, повторни извиквания, многословни изходи, винаги активни агенти, неограничени инструменти. Инженерите трябва да знаят потребителската стойност на допълнителните изчисления: по-малко грешки, по-добра достъпност, по-безопасни решения, по-кратки човешки усилия. Оперативните екипи трябва да знаят кои работни натоварвания доминират сметката. Управителните екипи трябва да знаят кога намаляването на енергията променя риска. Екипите за устойчивост трябва да са в стаята, преди системата да е научила скъпи навици.
Тук не става въпрос за вина. Вината е лош профилиращ инструмент. Въпросът е дизайнерска грамотност. След като екипите видят, че енергията се определя от архитектурата, те могат да избират по-добре. Могат да запазят големите модели за задачи, които се нуждаят от тях, по-малките модели за ограничени задачи, извличането за знания, инструментите за детерминирана работа, кешовете за повторение, хората за преценка и отказа за глупости. Резултатът често е по-евтин, по-бърз и по-ясен, което е приличен резултат за тема, започнала с електромер в тъжна стая.
Урокът
Енергийната сметка на ИИ не е скрита само в центъра за данни. Тя е скрита в дизайна на модела: размер, архитектура, контекст, извличане, прецизност, маршрутизиране, локалност, кеширане, форма на изхода, оценка и отказ. Ефективността на хардуера има значение, но хардуерът осребрява чекове, които дизайнът вече е написал.
Добрата ИИ инфраструктура следователно започва по-рано от закупуването на ускорители. Тя започва с въпроса за полезната работа. Какъв отговор е необходим. Колко език е нужен. Кой решаващ механизъм подхожда. Какво знание трябва да живее в теглата, извличането, инструментите или правилата. Кои заявки трябва да бъдат отказвани. Кои доказателства ще покажат разхищение. Кои дизайнерски избори създават излишно движение. Кои извиквания на големи модели всъщност вършат работа, присъща на големите модели.
Енергийно осъзнатият моделен дизайн не е строгост. Той е прецизност. Той запазва способностите там, където те се изплащат, и премахва работата там, където тя е само навик. Резултатът не е просто по-малка сметка. Често това е по-добра система: по-бърза, по-лесна за управление, по-лесна за мащабиране, по-лесна за обяснение и по-малко зависима от героична инфраструктура, която да компенсира мързеливия дизайн. Електромерът в ъгъла е казвал истината през цялото време. Просто трябваше да го четем като архитектура.