Ръбът на облачните разходи: Защо периферният ИИ е единственото икономически устойчиво бъдеще

Ръбът на облачните разходи: Защо периферният ИИ е единственото икономически устойчиво бъдеще

Бизнес моделът на наркодилъра

В света на незаконните вещества съществува известна маркетингова стратегия: „Първата доза е безплатна.“ Пристрастяваш клиента към усещането и след като той стане зависим, започваш да му взимаш пари. И продължаваш да взимаш, завинаги.

По същество това е бизнес моделът на днешните доставчици на облачен изкуствен интелект.

Дават ти безплатни кредити. Правят API-тата изключително лесни за интеграция. Само няколко реда Python: import openai. import anthropic. Усещането е магическо. Изграждаш демо за един следобед. Работи перфектно. Генерирането на отговор струва части от стотинка. Инвеститорите ти са впечатлени. Екипът ти е развълнуван. Бъдещето изглежда безкрайно.

След това пускаш продукта. Мащабираш. Внедряваш функцията си с изкуствен интелект за 100 000 потребители. И изведнъж се удряш в Скалата на облачните разходи.

Сметката ти от AWS или OpenAI вече не е просто ред в баланса; тя е твоята скорост на изгаряне на средства. Виждали сме стартъпи, при които разходите за изводите на изкуствения интелект надвишават приходите от абонаменти на потребителите. Това е отрицателен брутен марж. В света на бизнес физиката това е черна дупка. Това е бизнес модел, който е мъртъв още от самото начало, колкото и блестяща да е технологията.

Това не е теоретичен проблем. Случва се точно сега, в цялата екосистема от стартъпи за изкуствен интелект. Въпросът не е дали разходите ти за изкуствен интелект ще експлодират при мащабиране. Въпросът е дали ще успееш да измислиш икономиката, преди да ти свърши пистата.

Разбиране на данъка върху токените

За да разберете защо разходите за облачен ИИ експлодират, трябва да разберете как работи ценообразуването. То не прилича на традиционната софтуерна инфраструктура.

Облачните услуги с ИИ таксуват на „токен“. Токенът е приблизително една дума или част от дума (средно около 4 знака). GPT-4o струва приблизително $2,50 на милион входни токени и $10 на милион изходни токени. Claude 3.5 Sonnet струва $3 на милион входни токени и $15 на милион изходни токени. Тези числа звучат малки, докато не направите сметката в мащаб.

Представете си типично взаимодействие с AI чатбот. Потребителят задава въпрос (може би 50 токена). Вашият системен промпт, историята на разговора и извлеченият контекст добавят още 2 000 токена. ИИ генерира отговор от 300 токена. Това са общо 2 350 токена на взаимодействие.

При $3 на милион входни токени и $15 на милион изходни токени, едно такова взаимодействие струва приблизително:

• Разход за вход: 2 050 токена x ($3 / 1 000 000) = $0,00615
• Разход за изход: 300 токена x ($15 / 1 000 000) = $0,0045
• Общо на взаимодействие: ~$0,01

Един цент на взаимодействие. Звучи тривиално. Но сега помислете за потребителско приложение, при което потребителите взаимодействат 20 пъти на ден. Това е $0,20 на потребител на ден, или $6 на потребител на месец само за разходи за ИИ.

Ако таксувате $9,99/месец за продукта си и плащате $6/месец за ИИ, ви остават 40% от приходите за всичко останало: сървъри, честотна лента, поддръжка на клиенти, маркетинг, заплати на инженери и печалба. Това не е SaaS бизнес. Това е машина на рентабилността в най-добрия случай.

И става още по-лошо. Интензивните потребители (които често са най-добрите ви клиенти и най-гласовитите ви защитници) струват експоненциално повече. Енергичен потребител, който прави 100 взаимодействия на ден, ви струва $30/месец. Той буквално ви носи загуба всеки месец, в който остава абониран. Колкото повече обича продукта ви, толкова по-бързо източва банковата ви сметка.

Чудото на традиционния софтуер

За да оцените колко счупен е моделът на облачния ИИ, го сравнете с икономиката на традиционния SaaS.

Netflix стриймва видео на над 230 милиона абонати. Пределният разход за стриймване на още един филм на още един човек е практически нула. Битовете вече са кеширани на CDN сървъри. Честотната лента е предплатена в пакетни договори. Добавянето на абонат струва на Netflix почти нищо, след като инфраструктурата е изградена.

Това се нарича „оперативен ливъридж“. Традиционните софтуерни бизнеси имат невероятен оперативен ливъридж, защото пределният разход за обслужване на допълнителни потребители клони към нула. Ето защо софтуерните компании могат да постигат брутни маржове от 80%+ и защо инвеститорите ги обичат.

Икономиката изглежда така:

Реалните числа: казус

Нека ви покажа реални числа от компания, на която сме консултирали (детайлите са анонимизирани, но пропорциите са запазени).

Това беше B2B инструмент за производителност, струващ $29/месец на потребител. Те интегрираха функции за AI обобщаване и помощ при писане, захранвани от GPT-4. В тяхната демо среда с 50 бета потребители всичко изглеждаше чудесно. AI разходите бяха общо $200/месец. Приходите бяха $1,450/месец. Здравословен 86% брутен марж.

Те стартираха. Шест месеца по-късно имаха 15,000 плащащи потребители. Приходите бяха $435,000/месец. Впечатляващ растеж. Но сметката им към OpenAI беше $380,000/месец. Брутният марж се беше сринал до 12.6%. След като платиха за сървъри, екип за поддръжка и инженеринг, те губеха пари от всеки нов клиент.

Какво се обърка? Средният им потребител правеше 40 AI заявки на ден (те бяха изградили добър продукт, който хората наистина използваха). Всяка заявка средно използваше 3,500 токена с контекст. При цените на GPT-4 това беше приблизително $0.84 на потребител на ден, или $25.20 на потребител на месец.

Те таксуваха $29 и плащаха $25.20 за AI разходи. Продукт, който изглеждаше с 86% брутен марж в бета версия, се беше превърнал в катастрофа с 13% брутен марж в мащаб. И колкото повече потребители привличаха, толкова по-зле ставаше.

Това е Cloud Cost Cliff. Това не е постепенен наклон. Това е пропаст, от която падаш, когато успееш.

Edge AI инверсията: Обръщане на CapEx и OpEx

Решението не е да преговаряте за по-добри цени с OpenAI (макар че това помага в известна степен). Решението е фундаментално да преструктурирате къде се извършва изчислението.

Edge AI обръща икономическия модел. Вместо да наемате интелигентност на токен в облака, вие притежавате интелигентност на вашия хардуер. Вместо оперативни разходи (OpEx), които растат с употребата, имате капиталови разходи (CapEx), които плащате веднъж.

Помислете за сравнението на разходите за производител на умни устройства:

Защо Edge AI не беше жизнеспособен до сега

Ако edge AI е толкова очевидно по-добър икономически, защо не всички вече са го приели? Отговорът се крие в техническите изисквания на традиционните AI модели.

Моделите от класа на GPT-4 изискват приблизително 1,8 трилиона параметри, съхранени като числа с плаваща запетая с 32-битова точност. Това са грубо 7,2 терабайта тегла на модела. Не можете да ги поберете на edge устройство. Не можете да ги стартирате на смартфон. Със сигурност не можете да ги стартирате на микроконтролер за 4 долара.

Облачният модел съществува, защото моделите са толкова масивни, че само инфраструктура от облачен мащаб може да ги изпълнява. Трябват ви H100 GPU за по 25 000 долара всеки, клъстери с хиляди от тях и енергийната инфраструктура на малък град, за да ги поддържате работещи.

Тук архитектурата на Dweve за откриване на двоични ограничения променя всичко.

Dweve не използва традиционни невронни мрежи с плаваща запетая. Ние използваме набори от двоични ограничения: 1-битови изчисления с побитови оператори (XNOR, AND, OR, POPCNT). Това не е компромис. Това е коренно различен подход към машинния интелект.

Предимствата са зашеметяващи:

• 32x компресия: Докато традиционните модели използват 32-битови числа с плаваща запетая, ние използваме 1-битови. Същият логически капацитет, 32 пъти по-малък размер.
• 96% по-малко енергия: Двоичните операции консумират ~0,15 пикоджаула срещу ~4,6 пикоджаула за операциите с плаваща запетая. Батерията ви издържа по-дълго. Сметката ви за ток е по-ниска.
• Хардуерна ефективност: Съвременните процесори имат високо оптимизирани инструкции за двоични операции. Нашите 1 937 алгоритъма в Dweve Core са специално проектирани да използват SIMD инструкции като AVX-512 за масивен паралелизъм.
• Дизайн, ориентиран към edge: 456-те специализирани набора от ограничения на Dweve Loom възлизат общо на приблизително 150GB компресирани. Но само 4-8 домейн специалисти се активират на заявка, което означава, че активната работна памет е само 256MB-1GB. Това се побира на смартфон. Това се побира на интелигентен високоговорител. Това се побира на индустриални edge устройства.

За първи път можете да изпълнявате сложни AI изводи на edge хардуер, без да жертвате качество. Икономиката се обръща от OpEx към CapEx. Скалата изчезва.

Дивидентът от латентност: Побеждавайки физиката

Освен икономиката, има твърдо ограничение, което никакво количество пари не може да реши: скоростта на светлината.

Светлината се движи с приблизително 300 000 километра в секунда. Сигнал от фабрика в Мюнхен до център за данни във Вирджиния и обратно изминава приблизително 14 000 километра, което отнема около 47 милисекунди при скоростта на светлината. На практика, с маршрутизиране, комутиране, опашки и обработка, латентността при двупосочно пътуване обикновено е 150-300 милисекунди.

За много приложения тази латентност е пречка:

• Индустриална роботика: Роботизирана ръка, която усеща човешки работник на пътя си, не може да чака 200ms облачен сървър да обработи изображението и да изпрати команда за спиране. При типичните скорости на роботите, това забавяне означава, че ръката изминава 20-50 сантиметра, преди да реагира. В приложения, критични за безопасността, AI трябва да вземе решение за под 10 милисекунди.
• Автономни превозни средства: Кола, движеща се със 130 км/ч, изминава 36 метра в секунда. 200ms облачно двупосочно пътуване означава шофиране на сляпо за 7,2 метра. За това разстояние, пешеходец може да слезе от тротоара. Мотоциклет може да излезе. Физиката не се интересува от вашата облачна архитектура.
• Гласови интерфейси: Хората са изключително чувствителни към времето на разговора. Проучванията показват, че паузите, по-дълги от 200ms, се усещат като "забавяне" или "глупави". Прекъсваме се взаимно, говорим през паузите. Облачните гласови асистенти се усещат неестествено, защото мрежовата латентност създава неудобни тишини.
• Игри и медии в реално време: Геймърите забелязват латентност над 20ms. За игри с AI подобрения, облачните изводи просто не са опция. Изживяването трябва да е в реално време.

Edge AI работи със скоростта на силиция. Бинарният извод на Dweve може да обработва заявки за микросекунди, а не за милисекунди. Няма мрежов джитър, няма опашки от сървъри, няма прекъсвания на WiFi, няма ограничения за API заявки. За приложения в реално време edge не е просто по-евтин; това е единствената архитектура, която работи.

Поверителността като начин за спестяване

Има вторичен, често пренебрегван икономически полза от периферния ИИ: не е нужно да обработвате данните на потребителите изобщо.

Данните са отговорност, а не актив. Когато съхранявате потребителски данни в облака, поемате множество разходи:

• Разходи за съхранение: Всеки гласов запис, всеки стенограмен запис на чат, всеки дневник на взаимодействия заема място. Разходите за съхранение в S3 се трупат. Разходите за архивиране ги умножават.
• Разходи за честотна лента: Качването на аудио потоци, видео кадри или сензорни данни в облака изразходва честотна лента. В мащаб честотната лента често е най-големият инфраструктурен разход.
• Разходи за сигурност: Данните привличат нападатели. Нужни са ви екипи за сигурност, тестове за проникване, планове за реагиране при инциденти, програми за откриване на грешки. Нужна ви е киберзастраховка, която поскъпва всяка година.
• Разходи за съответствие: GDPR, CCPA, HIPAA и десетки други регламенти изискват специфични процедури за обработка на данни. Нужни са ви адвокати, служители по съответствие, одитни пътеки, споразумения за обработка на данни. Едно единствено нарушение на GDPR може да струва 4% от глобалните приходи.
• Риск от съдебни спорове: Ако потребителските ви данни бъдат компрометирани, ви очакват колективни искове, регулаторни глоби и увреждане на репутацията. Средната цена на пробив на данни през 2024 г. беше 4,45 милиона долара.

С периферния ИИ данните никога не напускат устройството на потребителя. Няма какво да съхранявате, няма какво да защитавате, няма какво да бъде пробито, няма какво да разкривате в съдебни производства. Тежестта на съответствието спада драстично. Най-евтините данни за защита са данните, които никога не докосвате.

За приложения, чувствителни към поверителността (здравеопазване, финанси, детски продукти), периферният ИИ не е просто икономически избор. Често това е единственият начин да постигнете регулаторно съответствие на разумна цена.

Избягване на капана на наема

Основните облачни доставчици (Amazon, Google, Microsoft) и компаниите за AI API (OpenAI, Anthropic) имат пряк интерес от статуквото. Бизнес моделите им зависят от това вие да наемате, а не да притежавате.

Те искат да повярвате, че ИИ е твърде сложен, твърде масивен и твърде изтънчен, за да работи на собствен хардуер. Искат да повярвате, че се нуждаете от техните патентовани модели на техните наети GPU. Те рекламират удобство: „Просто извикайте нашия API! Ние се справяме със сложността!“

Това, което не ви казват, е, че изграждате целия си бизнес върху техния марж. Когато използвате облачен ИИ, значителна част от икономиката на единица продукт се поема от доставчика на инфраструктура. Вие им плащате, за да притежават връзката с клиента, докато вие вършите маркетинга и поддръжката.

По-лошо, вие създавате зависимост. Вашите подкани са настроени към техните модели. Вашите потребители очакват тяхното поведение. Разходите за преминаване към друг доставчик растат. И тогава, когато нямате алтернатива, цените се повишават.

Това е капанът на наема. Това е същата динамика, която е повишила разходите за жилища в големите градове: наемодателите притежават основната инфраструктура, наемателите плащат вечно, богатството се прехвърля от потребителите към собствениците.

Периферният ИИ разбива капана на наема. Когато притежавате интелигентността на собствен хардуер, вие притежавате способността. Не плащате наем. Изграждате собствен капитал. Всяко устройство, което доставяте с периферен ИИ, е актив, а не отговорност.

Подходът на Dweve: Двоична интелигентност за периферно разгръщане

Платформата на Dweve е специално проектирана за внедряване в периферията на мрежата. Нашата архитектура Binary Constraint Discovery постига интелигентност на облачно ниво при размери, съвместими с периферните устройства.

Ето как правим възможна тази икономическа инверсия:

• Dweve Core: 1 937 алгоритъма, оптимизирани за хардуер, в 6 категории и 132 раздела. Пълна поддръжка на CPU (SSE2, AVX2, AVX-512, ARM NEON, ARM SVE), GPU (CUDA, ROCm, Metal, Vulkan), FPGA и WebAssembly. Вие избирате хардуера, който отговаря на вашия BOM.
• Dweve Loom: 456 специализирани набора от ограничения с ултра-разредена активация. Само 4-8 домейн специалисти се активират при заявка. Изискване за работна памет: 256MB-1GB. Пълна функционалност, размер, подходящ за периферни устройства.
• Двоична компресия: 32 пъти по-малък размер от еквивалентни модели с плаваща запетая. Възможност, която изисква 7GB в традиционен формат, се побира в 220MB с нашето двоично представяне.
• Енергийна ефективност: 96% по-малко енергия за една инференция. Вашият живот на батерията се удължава. Вашите разходи за електроенергия намаляват. Вашите изисквания за охлаждане се облекчават.

Ние предоставяме пълния инструментариум: квантуване на модели, рамки за внедряване в периферията, SDK за устройства и постоянна поддръжка за оптимизация. Вие се фокусирате върху изграждането на вашия продукт. Ние се грижим AI да работи на вашия хардуер.

Кого Това Засяга

Проблемът с нарастващите разходи за облака засяга всяка компания, която изгражда продукти със захранване от AI. Но някои категории са под по-силен натиск:

Производители на потребителски хардуер: Умни високоговорители, носими устройства, домашна автоматизация, играчки. Това са продукти с нисък марж и голям обем, при които 5 долара на устройство за облачни разходи могат да надхвърлят цялата ви печалба. Периферният AI не е опция. Той е въпрос на оцеляване.

Индустриален IoT: Фабрики, логистика, селско стопанство, енергетика. Тези приложения изискват отговор в реално време и не могат да търпят зависимост от мрежата. Прекъсване на облака не може да спре вашата фабрика. Скок в латентността не може да срине вашия дрон. Периферията е единствената възможна архитектура.

Автомобилна индустрия: ADAS, инфотейнмънт, управление на автопаркове. Превозните средства работят в зони без свързаност. Те изискват времена за отговор, критични за безопасността. Те имат жизнен цикъл от 10-15 години, през който текущите облачни разходи се натрупват катастрофално. Периферията е задължителна.

Медицински устройства: Наблюдение на пациенти, диагностични инструменти, терапевтични устройства. Регламентите за поверителност силно ограничават обработката на данни в облака. Изискванията за реален отговор налагат локална обработка. Отговорността изисква доказуеми и одитируеми системи. Периферията е пътят към съответствието.

B2B SaaS с интензивно използване на AI: Всеки продукт, при който потребителите взаимодействат често с AI, е изправен пред проблема с намаляващите маржове. Ако вашите потребители обичат вашите AI функции, те ще ги използват постоянно и маржовете ви ще се изпарят. Периферните или хибридните архитектури могат да възстановят икономическата жизнеспособност.

Пътят на Прехода

Преминаването от облака към периферията не е превключване за една нощ. Изисква планиране, но пътят е ясен:

1. Одитирайте текущите си разходи: Разберете точно колко плащате на потребител, на взаимодействие, на функция. Повечето компании подценяват разходите си за ИИ, защото те са скрити в обобщените облачни сметки.
2. Идентифицирайте задачи с висока честота и ниска сложност: Не всичко се нуждае от GPT-4. Много често срещани задачи за ИИ (класификация на намерения, извличане на обекти, обобщаване на кратки текстове) могат да работят на много по-малки модели в периферията.
3. Започнете с хибриден подход: Оставете сложните и редки задачи в облака. Преместете простите и чести задачи в периферията. Това веднага подобрява маржа ви, докато развивате пълни периферни възможности.
4. Изградете периферен капацитет: Работете с Dweve, за да разположите оптимизирани модели на вашия целеви хардуер. Нашият екип ви помага да намерите баланса между възможностите на модела, хардуерните изисквания и латентността на изводите.
5. Итерирайте: С узряването на периферния капацитет премествайте повече работни натоварвания от облака към периферията. Всяка миграция подобрява маржовете ви и намалява зависимостта ви от облака.

Целта не е непременно нулев облак. Някои задачи винаги могат да се възползват от модели с облачен мащаб. Целта е икономическа устойчивост: структура на разходите, при която растежът създава печалба, а не загуби.

Бъдещето принадлежи на собствеността

Текущата ера на доминиране на облачния ИИ е историческа аномалия. Тя съществува, защото първото поколение способни ИИ модели бяха твърде големи за всичко друго освен облачно разполагане. С узряването на техниките за оптимизация, с подобряването на специализирания хардуер, с компании като Dweve, които пионерстват ефективни архитектури, икономиката неумолимо се измества към периферията.

Победителите през следващото десетилетие няма да са компаниите, които плащат най-високите облачни сметки. Те ще са компаниите, които притежават своята интелигентност, които са вградили ИИ възможности в продуктите си на хардуерно ниво, които са превърнали Данъка върху токените в Периферен дивидент.

Спрете да плащате наем. Започнете да изграждате собствен капитал. Облачната пропаст на разходите идва за всички, които все още стоят на ръба ѝ.

Dweve може да ви помогне да слезете от ръба, преди да паднете. Нашата бинарно оптимизирана ИИ платформа работи на периферни устройства с минимални хардуерни изисквания, елиминирайки Данъка върху токените, който унищожава маржовете. Помагаме ви да преминете от вечен облачен наем към еднократен капиталов разход, което позволява бизнес модели, които наистина се мащабират печелившо.

Независимо дали изграждате IoT устройства, индустриална автоматизация, потребителска електроника или софтуер с подобрен ИИ, ние разполагаме с инструментите, експертния опит и доказания опит, за да направим периферния ИИ икономически жизнеспособен за вашия продукт.

Наемът е твърде висок. Време е да притежавате.