Инференция срещу обучение: защо използването на ИИ се различава от създаването му

Инференция срещу обучение: защо използването на ИИ се различава от създаването му

Два напълно различни проблема

Всички говорят за AI модели. ChatGPT. Генератори на изображения. Гласови асистенти. Но има фундаментално разделение, което никой не обяснява:

Изграждането на модела (обучение) и използването на модела (инференция) са напълно различни операции. Различен хардуер. Различни цели за оптимизация. Различни разходи. Различни предизвикателства.

Разбирането на това разделение е от решаващо значение. Защото изискванията не биха могли да бъдат по-различни.

Какво всъщност представлява обучението

Обучението е еднократният (или периодичен) процес на изграждане на модела.

Имате данни. Много от тях. Имате архитектура на модела. Първоначално със случайни тегла. Обучението коригира тези тегла, докато моделът заработи.

Характеристики на обучението:

• Еднократно усилие: Обучавате веднъж (или преобучавате периодично). Не непрекъснато. Пакетен процес.
• Изчислително интензивно: Милиарди операции. Дни или седмици GPU време. Огромен изчислителен бюджет.
• Толерантност към времето: Ако обучението отнеме седмица вместо ден, това е нормално. Изчаквате. Няма изисквания за работа в реално време.
• Толерантност към разходите: Обучението може да струва милиони. Но това се разпределя върху всички бъдещи употреби на модела. Разходът за всяка крайна прогноза е минимален.
• Мания за качество: Грижите се за качеството на модела. Точност. Производителност. Ще похарчите допълнителни изчислителни ресурси, за да получите с 0,1% по-добра точност. Струва си.

Обучението е пакетен процес. Офлайн. Скъп. Толерантен към времето. Фокусиран върху качеството.

Какво всъщност представлява инференцията

Инференцията е използването на обучения модел за правене на прогнози. Това се случва всеки път, когато някой използва вашия AI.

Потребителят изпраща заявка. Моделът я обработва. Връща прогноза. Повтаря се милиони пъти на ден.

Характеристики на инференцията:

• Непрекъсната работа: Не е еднократна. Случва се милиони или милиарди пъти. При всяко взаимодействие с потребителя. При всяко API извикване.
• Критична латентност: Потребителите очакват мигновени отговори. Милисекундите имат значение. Закъсненията са неприемливи.
• Разходи за предсказание: Всяко предсказание струва пари. Изчислителна мощ. Енергия. В мащаб малките разходи се умножават. Оптимизацията е задължителна.
• Ограничени ресурси: Често работи на периферни устройства. Телефони. IoT. Ограничена мощност. Ограничена памет. Ограничена изчислителна мощ.
• Компромис между качество и скорост: Може да приемете малко по-ниска точност за много по-бързо извеждане. Потребителите държат на отзивчивостта.

Извеждането е онлайн. В реално време. Чувствително към разходи. Критично към латентност. С ограничени ресурси.

Разделянето на хардуера

Обучението и извеждането често работят на напълно различен хардуер:

Хардуер за обучение:

Центрове за данни с GPU. От висок клас. Хиляди евро за бройка. Оптимизирани за пропускателна способност. Масивен паралелизъм. Без ограничения за латентност.

NVIDIA A100, H100. Google TPU. Персонализирани AI ускорители. Консумацията на енергия няма значение. Производителността има.

Хардуер за извеждане:

Процесори. Периферни устройства. Телефони. Вградени системи. Оптимизирани за ефективност. Латентност. Консумация на енергия.

Intel Xeon процесори. ARM процесори. Apple Neural Engine. Edge TPU. Евтини. Ефективни. Навсякъде.

Целите за оптимизация на хардуера са противоположни. Обучение: максимална пропускателна способност. Извеждане: минимална латентност и консумация на енергия.

Изчислителни разлики

Това, което хардуерът реално прави, се различава фундаментално:

Изчисления при обучение:

Право преминаване: изчисляване на предсказания. Обратно преминаване: изчисляване на градиенти. Актуализиране на тегла: коригиране на параметри. Повтаря се милиони пъти.

И право, и обратно преминаване. Огромни изисквания към паметта. Съхраняване на всички активации за обратно разпространение. Съхраняване на градиенти. Съхраняване на състоянието на оптимизатора.

Отпечатъкът върху паметта е 3-4 пъти размера на модела. Изчисленията са 2 пъти (право и обратно). Всичко е тежко.

Изчисления при извеждане:

Само право преминаване. Без обратно преминаване. Без изчисляване на градиенти. Без актуализиране на тегла. Просто: вход → модел → изход.

Паметта заема 1× размера на модела (само теглата). Изчисленията са 1× (само предно преминаване). Много по-леко.

Същият модел. Напълно различен изчислителен модел.

Цели на оптимизацията (това, което наистина ви интересува)

Обучението и изводът оптимизират различни цели:

Оптимизация на обучението:

• Точност: Основна цел. Да се получи възможно най-добрият модел. Похарчете повече изчислителна мощ, ако това подобрява точността.
• Скорост на сходимост: По-бързото обучение означава по-бърза итерация. По-добри хиперпараметри. Повече експерименти. Но точността е по-важна.
• Стабилност: Обучението не трябва да се срива. Градиентите не трябва да експлодират. Сходимостта трябва да е надеждна. Да се пропилеят дни изчислителна мощ за неуспешен опит е недопустимо.

Оптимизация на извода:

• Закъснение: Времето за отговор има значение. Потребителите чакат. Милисекундите са от значение. Това е основният показател.
• Пропускателна способност: Прогнози в секунда. В мащаб това определя колко сървъра са ви нужни. Разходите нарастват линейно.
• Ефективност: Консумация на енергия. Особено при периферни устройства. Животът на батерията има значение. Термичните ограничения имат значение.
• Памет: По-малките модели се побират на по-малки устройства. По-малко памет означава по-широко разпространение.

Различни цели. Различни оптимизации. Различни компромиси.

Уравнението на разходите

Икономиката е напълно различна:

Разходи за обучение:

Еднократни (или периодични). Милиони евро за големи модели. Но разпределени върху милиарди изводи. Разход за прогноза от обучението: части от цента.

Можете да оправдаете огромни бюджети за обучение, ако моделът ще се използва широко.

Разходи за извод:

Разход за прогноза. Умножен по милиарди прогнози. Дори малки разходи стават огромни в мащаб.

Намаляването на разходите за извод с 10% спестява милиони годишно. Оптимизацията има незабавна възвръщаемост на инвестицията.

Примерна сметка:

Обучение: €10 милиона еднократен разход

Извод: 1 милиард прогнози на ден

Разход за извод: €0,001 за прогноза = €1 милион на ден = €365 милиона на година

Разходите за извод надминават разходите за обучение в мащаб. Ето защо оптимизацията на извода е толкова важна.

Двоичните мрежи променят всичко

Ето къде двоичните мрежи коренно изместват уравнението:

Обучение с двоични мрежи:

Хибриден подход. Градиенти с пълна точност. Двоично предно преминаване. 2× по-бързо от обучението с плаваща запетая. Но все още изчислително интензивно.

Подобренията в обучението са приятни. Но обучението е еднократно. Истинската полза е в извода.

Извод с двоични мрежи:

XNOR и popcount вместо умножение със събиране. 6 транзистора вместо хиляди. Огромно ускорение на процесорите.

40× по-бърз извод на процесори в сравнение с плаваща запетая на графични процесори. 96% намаление на мощността. Намаляването на разходите е линейно.

При милиард прогнози на ден това спестява стотици милиони годишно. Бизнес аргументът е неоспорим.

Подходът на Dweve:

Обучете модели с двоични ограничения. Разположете на процесори. Не са нужни графични процесори за извод. Работи на всяко устройство. Навсякъде.

Оптимизацията на извода е мястото, където двоичните мрежи блестят. Ползите за обучението са второстепенни. Разполагането е промяната на играта.

Компресия на модели (преодоляване на разликата)

Често обучавате голям модел, а разполагате малък. Техниките за компресия свързват обучението и извода:

• Квантоване: Обучение с плаваща запетая. Преобразуване към по-ниска точност (INT8, INT4). Разгръщане на квантуван модел. По-малък, по-бърз, същата точност (почти).
• Подрязване: Премахване на ненужни тегла. Разредени модели. Същата точност, част от размера. По-бърз извод.
• Дестилация: Обучение на голям учителски модел. Обучение на малък ученически модел да имитира учителя. Разгръщане на ученика. Компресирано знание.
• Бинарно преобразуване: Обучение с техники, съобразени с бинарното представяне. Разгръщане на чисто бинарен модел. Екстремна компресия. Максимална скорост на извод.

Тези техники оптимизират извода, като същевременно запазват гъвкавостта на обучението. Най-доброто от двата свята.

Модели за разгръщане в реалния свят

Как работи това на практика в производствена среда:

• Извод в облак: Обучение на високопроизводителни GPU. Разгръщане на CPU клъстери за извод. Хоризонтално мащабиране. Оптимизация на разходите. Това е стандартният модел.
• Извод на периферията: Обучение в облака. Компресиране на модела. Разгръщане на периферни устройства. Телефони, IoT, вградени системи. Ниска латентност. Поверителност. Работа офлайн.
• Хибриден подход: Прости заявки на периферията. Сложни заявки към облака. Най-добра латентност за често срещаните случаи. Връщане към облака за гранични случаи.
• Моделът Dweve: Обучение на модели с ограничения (еволюционно търсене, не градиентно спускане). Разгръщане на бинарно разсъждение на всеки CPU. Архитектура с приоритет на периферията. Облакът е по избор.

Наблюдение и поддръжка

Обучение: настрой и наблюдавай. Извод: наблюдавай постоянно.

• Наблюдение на обучението: Криви на загубата. Норми на градиента. Точност при валидация. Проверявай периодично. Коригирай при нужда. Не е в реално време.
• Наблюдение на извода: Персентили на латентността. Степен на грешки. Пропускателна способност. Използване на ресурси. Табла в реално време. Сигнали при влошаване.

Изводът е производство. Обучението е разработка. Наблюдението в производство е 24/7. Наблюдението при разработка е периодично.

Какво трябва да запомните

Ако не запомните нищо друго от това, запомнете:

• 1. Обучението и изводът са коренно различни. Обучение: пакетно, офлайн, скъпо, фокусирано върху качеството. Извод: онлайн, в реално време, чувствителен към разходите, критичен към латентността.
• 2. Изискванията към хардуера са противоположни. Обучение: максимална производителност, неограничена мощност. Извод: минимална латентност, ограничена мощност, внедряване на периферията.
• 3. В мащаб разходите за извод доминират. Обучението може да струва милиони. Изводът струва стотици милиони годишно. Възвръщаемостта от оптимизацията е незабавна.
• 4. Двоичните мрежи превъзхождат при извод. Ползите за обучението са приятни. Ползите за извода са значителни. 40× по-бързо, 96% по-малко мощност, разгръщане навсякъде.
• 5. Компресията преодолява разликата. Обучавай голямо. Разгръщай малко. Квантуване, подрязване, дестилация. Оптимизирай за извод, като запазваш гъвкавостта на обучението.
• 6. Производственият извод изисква наблюдение. Метрики в реално време. Латентност, грешки, производителност. Видимост 24/7. Наблюдението при обучение е периодично.
• 7. Моделите на внедряване варират. Облак, периферия, хибрид. Изборът зависи от изискванията за латентност, поверителност, разходи и свързаност.

Долната линия

Обучението привлича вниманието. Публикувани статии. Сравнени бенчмаркове. Празнувана точност от най-високо ниво.

Но изводът е там, където се харчат парите. Където потребителите взаимодействат. Където латентността има значение. Където разходите се умножават. Където ефективността определя успеха.

Най-добрият процес на обучение няма значение, ако изводът е бавен, скъп или консумира много мощност. Внедряването е проверката на реалността.

Разбирането на разделението обучение-извод ви помага да оптимизирате правилно. Не оптимизирайте обучението за сметка на извода. Тежестта на извода е там, където се крие истинското предизвикателство.

Двоичните мрежи разпознават това. Ефективността на обучението е приятна. Ефективността на извода е от съществено значение. Точно там отиват усилията за оптимизация. Точно там е бизнес стойността.

Обучението изгражда модела. Изводът доставя стойността. Никога не ги бъркайте.

Искате AI, оптимизиран за извод? Разгледайте Dweve Loom. Двоично разсъждение с ограничения, проектирано за внедряване. 40× по-бърз извод на процесори. 96% намаление на мощността. Внедрявайте навсякъде. Такъв AI, създаден за производство от първия ден.