Данните в ИИ: защо боклук в действителност означава боклук навън

Данните определят колко е умен AI. Ето защо качеството на данните е по-важно от сложността на алгоритмите и как да разпознаете разликата.

Данните в ИИ: защо боклук в действителност означава боклук навън

Готварската книга, която майка ти така и не довърши

Представи си кухнята на майка ти през 1990 г. Тя е известна в квартала с ябълковия си пай. Всички искат рецептата. Затова решава да я запише.

Но ето къде е проблемът. За повече от четиридесет години печене е правила тази торта стотици пъти. Понякога е използвала масло, понякога маргарин (в зависимост от това кое е било по-евтино през онази седмица). Понякога една ябълка, понякога друга, понякога обикновена. Понякога е пекала на 150 градуса, понякога на 250 (защото фурната е била капризна). Понякога е добавяла допълнително яйце, когато са били малки.

Гъвкавостта на опита

Всяка една торта се е получавала вкусна. Тя инстинктивно е знаела как да се приспособи. Малко повече брашно, когато е влажно. Малко по-малко захар, когато ябълката е особено кисела. Години опит са я правили гъвкава.

Сега си представи, че записва рецептата само въз основа на последните пет пъти, когато я е правила. Всички през лятото. Всички с маргарин. Всички с онази партида изключително кисели ябълки, които е купила на промоция. Всички с фурна, която е била нагорещена.

Бедствието от ограничени примери

Някой следва тази рецепта през зимата, с масло, със сладки ябълки, в нормална фурна. Бедствие. Суха, ронеща се, прекалено сладка. Рецептата не работи, защото примерите, на които се е основавала, не са обхващали пълния диапазон от ситуации.

Точно така се учи изкуственият интелект от данни. „Рецептата“ (изкуственият интелект) е толкова добра, колкото са добри примерите, от които се е учил. Ограничени примери създават ограничен изкуствен интелект. Пристрастни примери създават пристрастен изкуствен интелект. Грешни примери създават изкуствен интелект, който просто не работи.

Тук не става въпрос за сложна технология. Става въпрос за проста истина: можеш да научиш само на това, което показваш. И ако това, което показваш, е непълно, пристрастно или просто грешно, точно това се научава.

Рецептата се проваля, защото пет летни примера не могат да заменят четиридесет години кухненско разнообразие.

Защо никой не говори за скучната част (а би трябвало)

Ето какво се случва на всяка AI конференция, във всяка технологична статия, във всяка маркетингова презентация:

Какво получава цялото внимание

Много вълнение около алгоритмите. Умната математика. Елегантните архитектури. Невронни мрежи с милиарди параметри. Обучителни техники с впечатляващи имена. Оптимизационни стратегии, които звучат като магия.

Какво се пренебрегва

Почти нищо за данните. Откъде идват. Как са събрани. Дали изобщо са качествени. Какво липсва. Какви пристрастия съдържат.

Защо? Защото алгоритмите са секси. Данните са скучни. Алгоритмите звучат умно и изтънчено. Данните звучат като... документация. Картотеки. Електронни таблици. Изобщо не са вълнуващи.

Но ето я неудобната истина, която всеки честен изследовател на AI ще ви каже насаме:

Неудобната истина

Блестящ алгоритъм, обучен върху боклукчийски данни, дава боклукчийски резултати. Посредствен алгоритъм, обучен върху отлични данни, дава отлични резултати. Всеки път. Без изключения.

Представи си го като учене за изпит

Алгоритъмът е като ученик, който се готви за изпит. Дай на този ученик грешния учебник и няма значение колко е умен или колко усърдно учи. Ще се провали на изпита, защото се е учил от грешна информация. Дай на среден ученик правилния учебник, много задачи за упражнение и добри примери? Ще се справи добре. Може би не перфектно, но стабилно полезно.

Това е реалността на ИИ. Качеството на данните е по-важно от сложността на алгоритъма. Много по-важно. И въпреки това почти никой не иска да говори за това.

Представи си, че учиш някого да разпознава отровни гъби само по снимки от една гора, направени през лятото, всички на ярка слънчева светлина. Може да се справи чудесно точно в тази гора, през лятото, в слънчеви дни. Но го заведи в друга гора през есента в облачен ден? Почва да гадае. Обучението е било твърде тясно. Същият проблем е и с ИИ: тесните данни създават тесни, ненадеждни системи. Данните определят границите на това, което ИИ може да научи.

Какво всъщност означава „учене от данни“

Когато някой каже, че „ИИ се учи от данни“, какво всъщност означава това? Нека използваме пример, който всеки може да разбере.

Учиш внука си да разпознава птици

Представи си, че учиш десетгодишния си внук да разпознава различни видове птици. Завеждаш го в парка с наръчник за птици. Всеки път, когато видите птица, я търсите заедно в наръчника.

„Виждаш ли онази? Синьо оперение, червени гърди, горе-долу толкова голяма. Това е синя птица.“ Той я оглежда внимателно. Запомня цветовете, размера, формата. Следващата седмица, друга птица. „А онази? Цялата черна, по-голяма, със силен звук „гра“. Това е врана.“ Той наблюдава. Запомня.

Правиш това петдесет пъти. Различни птици. Различни ситуации. Различна светлина. Понякога летящи, понякога седящи. След петдесет птици той започва да познава правилно. „Дядо, това червеношийка ли е?“ И е прав!

Той се е научил от примери. Много примери. Всеки от тях го е научил на нещо за моделите: какво прави червеношийката червеношийка, какво прави враната врана.

ИИ се учи по абсолютно същия начин

Покажи му примери. Много от тях. За всеки пример му кажи верния отговор. „Този имейл е спам.“ „Тази снимка съдържа котка.“ „Това ревю е положително.“ ИИ търси модели, които свързват примерите с отговорите.

Но тук става сложно. Какво става, ако показваш на внука си само летни птици? Може да си помисли, че червеношийките винаги имат яркочервени гърди (през зимата са по-бледи). Ами ако му показваш само птиците от задния си двор? Може да не разпознае същите птици в друга среда.

Учене на грешни модели

Ами ако случайно разпознаеш погрешно няколко птици? „Това е врабче“, а всъщност е сипка. Той научава грешния модел. Оттук нататък ще разпознава сипките погрешно завинаги, освен ако някой не го поправи.

Качеството и разнообразието на примерите определят какво ще научи. Същото важи и за ИИ. Данните са урокът. Ако урокът е непълен, пристрастен или грешен, ученето ще бъде непълно, пристрастено или грешно.

Колко данни наистина са ти нужни?

Всеки задава този въпрос. Отговорът разочарова хората: зависи.

Помисли за ученето на умения в реалния живот. Колко пъти трябва да практикува човек, преди да научи?

Да научим дете да си връзва обувките

Може би двайсет тренировки. Това е прост, повтаряем модел. Едни и същи стъпки всеки път. Няма голямо разнообразие. Двайсет примера са достатъчни.

Да научим някого да шофира

Стотици часове. Защо? Защото шофирането включва безкрайно разнообразие. Градски улици, магистрали, дъжд, сняг, строителни работи, агресивни шофьори, пешеходци, велосипедисти, пресичащи животни. Всяка ситуация е малко по-различна. Трябва да се сблъскаш с всички тези варианти, за да станеш компетентен шофьор.

С ИИ е същото. Простите задачи изискват по-малко примери. Сложните задачи изискват огромни количества.

Просто разпознаване на модели (това спам ли е?)

Може би 10 000 примера. Спамът има разпознаваеми модели. След като видиш достатъчно примери за „КУПИ СЕГА!!!" и „Спечели награда!", схващаш идеята.

Умерена сложност (разпознаване на лица)

Десетки хиляди до стотици хиляди. Лицата варират изключително много. Различни ъгли, осветление, изражения, възрасти. Нужни са ти много разнообразни примери, за да обхванеш всичко това.

Висока сложност (разпознаване на всякакви обекти в снимки)

Милиони изображения. Хиляди видове обекти. Всеки обект в различни контексти, ъгли и осветление. Коли по улиците, коли в шоуруми, коли след катастрофа. Дървета в гори, дървета в дворове, дървета в картини. Огромното разнообразие изисква огромни количества данни.

Изключителна сложност (разбиране на езика)

Милиарди думи. Езикът има безкрайно разнообразие. Всяка тема, всеки стил, всеки контекст. Официални доклади, небрежни разговори, поезия, инструкции, шеги, сарказъм. За да се справиш с всичко това, ти трябва достъп до огромни количества текст.

Но ето го ключовият момент: самото количество не е достатъчно. По-добре е да имаш 100 000 отлични, разнообразни и правилно обозначени примера, отколкото 10 милиона посредствени, повтарящи се и немарливо обозначени примера. Все едно да се учиш да готвиш. Дали би предпочел да практикуваш приготвянето на 100 различни ястия с добри указания, или да правиш едни и същи посредствени спагети 10 000 пъти с неясни инструкции? Разнообразието и качеството на практиката са по-важни от суровия брой повторения.

Петте съставки на качествените данни

Какво прави данните добри или лоши? Пет ключови фактора. Нека ги разгледаме с примери, които всеки може да разбере.

  1. 1 Точни етикети (правилните отговори)

    Представете си, че учите дете на животни с книга с грешни етикети. „Това е куче“ до снимка на котка. „Това е крава“ до снимка на кон. Детето научава напълно грешни неща. Ще разпознава животните погрешно завинаги.

    ИИ има същия проблем. Ако го обучавате да разпознава котки, всяка снимка с етикет „котка“ трябва наистина да е котка. Дори 5% грешки водят до сериозни проблеми. А 10% грешки? ИИ научава боклуци. Не може да различи сигнала от шума, когато отговорите са ненадеждни.

  2. 2 Представителност (съответствие с реалния живот)

    Внукът ви се е научил да разпознава птици в задния ви двор в предградието. Страхотен е в разпознаването на кардинали, червеношийки, сини сойки. После го водите на плажа. Чайки, пеликани, пясъчници. Той е объркан. Нищо не прилича на птиците, по които се е учил.

    Обучаващите данни трябва да представят средата, в която ИИ действително ще се използва. Обучавате система за разпознаване на лица със студийни снимки с добро осветление? Тя се проваля при слабо осветление в нощен клуб. Обучавате гласов асистент с ясна, тиха реч? Той се затруднява с акценти и фонов шум. Разпределението на данните трябва да съответства на разпределението в реалния свят.

  3. 3 Достатъчно разнообразие (покриване на всички ситуации)

    Представете си, че се учите да шофирате, но само при идеално време, по прави пътища и в лек трафик. Навсякъде другаде ще сте ужасен шофьор. Завои? Паника. Дъжд? Катастрофа. Пиков час? Претоварване.

    ИИ се нуждае от разнообразие в обучаващите данни. Снимки на ярка слънчева светлина и в дълбока сянка. Официални текстове и разговорен език. Млади гласове и стари гласове. Обичайни случаи и редки гранични случаи. Без разнообразие ИИ се пренастройва. Той запомня конкретни примери, вместо да учи общи модели. Покажете му само голдън ретривъри и той ще се затрудни с пудели. Покажете му котки във всеки цвят, размер и позиция и той надеждно ще разпознава котки.

  4. 4 Уместност и актуалност (в крак с времето)

    Представете си, че учите някого на модата от 60-те години и очаквате да разпознава актуалните тенденции. Клош панталони, високи фризури, ботуши go-go. После му покажете съвременната мода. Той е объркан. Всичко се е променило.

    Данните остаряват. Езикът се развива („готино“ днес означава нещо различно от 60-те). Спам тактиките се променят (вчерашните трикове престават да работят). Модните тенденции се сменят. Технологиите се обновяват. Ако обучаващите ви данни са отпреди пет години, моделите са се променили. Актуалните данни улавят актуалните модели.

  5. 5 Липса на пристрастия (справедливо представяне)

    Това е големият. Опасният. Този, който причинява реални вреди в реалния свят. Ще се задълбочим много повече в това съвсем скоро, защото пристрастията в данните не са просто технически проблем. Това е човешки проблем със сериозни последици. Ако данните ви отразяват историческа дискриминация, вашият ИИ се учи да дискриминира. Ако данните ви надпредставят едни групи и недопредставят други, вашият ИИ се представя по-добре за едни хора, отколкото за други. Боклук влиза, боклук излиза. Пристрастие влиза, пристрастие излиза.

Мислете за данните като за съставки за готвене. Може да имате готвач с мишлен звезда (сложен алгоритъм), но ако му дадете развалени зеленчуци, стар хляб и прокиснало мляко (лоши данни), ястието ще е негодно за ядене. Междувременно домашна домакиня (прост алгоритъм) с пресни, качествени съставки ще приготви нещо вкусно. Съставките са по-важни от квалификацията на готвача. В ИИ данните са съставките.

Добрите данни за обучение изискват едновременно точни етикети, покритие от реалния свят, разнообразие, чистота и актуалност.

Непривлекателната реалност (където всъщност е работата)

Ето какво никой не ви казва, когато ви продава решения с ИИ или ви води курсове по ИИ:

По-голямата част от работата не е изграждането на ИИ. А подготовката на данните.

Специалистите по данни прекарват около 80% от времето си в подготовка на данни. Само 20% в реално изграждане и обучение на модели. Това съотношение ви казва всичко за това къде се крие истинското предизвикателство.

Какво включва подготовката на данни? Четири огромни, досадни и критични задачи:

Събиране на данни

Събиране на подходящи примери откъдето и да съществуват. Извличане на данни от уебсайтове, достъп до бази данни, запис от сензори, обединяване на множество източници. Отнема време. Често е скъпо. Често е разочароващо, когато източниците не съдействат или данните не съществуват.

Почистване на данни

Премахване на дубликати. Поправяне на грешки. Обработване на липсващи стойности. Стандартизиране на формати. Филтриране на шум. Като да преровиш десетилетия документи в разхвърлян архив. Само това може да отнеме седмици или месеци при големи набори от данни.

Етикетиране на данни

Ръчно отбелязване на примери с верните отговори. „Това изображение е на котка.“ „Това ревю е положително.“ „Тази транзакция е измамна.“ За милиони примери. Изключително досадно. Често се възлага на нископлатени работници, които правят грешки от скука и умора.

Валидиране на данни

Проверка дали етикетите са верни. Дали разнообразието е достатъчно. Дали пристрастията са идентифицирани и адресирани. Дали наборът от данни наистина отразява реалността. Контрол на качеството за милиони примери. Изтощително, но абсолютно критично.

Нищо от това не е бляскаво. Нищо от това не попада в заглавията. Нищо от това не впечатлява хората на партита. Това е черна работа. Но точно тук проектите с ИИ успяват или се провалят.

Алгоритъмът е сравнително лесен. Има много добри алгоритми. Повечето са публикувани открито. Можеш да ги изтеглиш, да ги използваш, да ги променяш. Трудни са данните. Събирането им, почистването им, етикетирането им, валидирането им. Точно там отива истинското усилие. Точно там повечето проекти засядат. Точно това отличава работещия ИИ от празните обещания. Компаниите с по-добри данни побеждават компаниите с по-добри алгоритми. Всеки път. Данните са защитният ров. Защитимото предимство. Истинското конкурентно предимство.

Проблемът с пристрастията (най-опасният недостатък на ИИ)

Сега стигаме до наистина неудобната част. Частта, която причинява реална вреда на реални хора. Частта, която превръща ИИ от „леко ненадежден“ в „активно опасен“.

ИИ не просто учи модели от данните. Той ги усилва.

Ако данните ти съдържат пристрастия (а почти всички реални данни ги съдържат), ИИ не ги филтрира. Той ги научава. Кодира ги. Прилага ги систематично. Прави ги по-лоши.

Нека обясня с история, която всеки може да разбере.

Учене от пристрастни исторически данни

Представи си, че учиш внука си кой се назначава на работа във вашата компания. Показваш му досиетата от последните двадесет години на назначения. Инженерен отдел: предимно мъже. Секретарски длъжности: предимно жени. Ръководство: предимно бели. Физически труд: по-разнообразен.

Никога не му казваш изрично „мъжете трябва да са инженери“ или „жените трябва да са секретарки“. Просто му показваш историческите данни.

Сега той отговаря за подбора на нови кандидатури. Какво прави? Той е научил модела от данните. Кандидатка за инженерна позиция, която е жена? Изглежда необичайно, може да не е подходяща. Мъж, кандидатстващ за секретар? Не отговаря на модела. Той дискриминира. Не защото е лош човек. А защото се е учил от пристрастни исторически данни и е приложил тези модели, сякаш са верни.

Точно това се случва и с изкуствения интелект. Историческите данни отразяват историческата дискриминация. ИИ научава тази дискриминация, сякаш е валиден модел за следване. След това я прилага систематично към милиони решения.

Реални примери за това:

⚠️ ИИ за наемане на Amazon

Amazon обучи ИИ да подбира автобиографии, използвайки десет години исторически данни за наемане. Данните показваха, че за технически позиции са назначавали предимно мъже. ИИ се научи да омаловажава автобиографиите на жени. Той забелязваше улики като „женски шахматен клуб“ в автобиографиите и ги санкционираше. Amazon трябваше да бракува системата. Алгоритъмът работеше перфектно. Проблемът бяха данните.

⚠️ Алгоритми в здравеопазването

Множество системи с ИИ в здравеопазването показаха расова пристрастност. Те даваха приоритет на бели пациенти пред чернокожи пациенти с идентични симптоми. Защо? Историческите данни в здравеопазването отразяваха историческите несъответствия в грижите. Чернокожите пациенти исторически са получавали по-малко лечение. ИИ научи този модел и го приложи, сякаш по-малкото лечение е медицински подходящо, а не доказателство за дискриминация.

⚠️ Системи за разпознаване на лица

Повечето набори от данни за разпознаване на лица са свръхпредставени от бели мъже. ИИ се представя най-добре при бели мъже. Значително по-зле при жени. Още по-зле при хора с по-тъмна кожа. Не защото алгоритъмът е расистки, а защото данните за обучение са били небалансирани. ИИ буквално не е видял достатъчно разнообразни лица, за да се научи да ги разпознава надеждно.

⚠️ Модели за кредитен скоринг

Изкуственият интелект за кредитен скоринг се е учил от исторически данни за кредитиране, които отразяват десетилетия на дискриминационни практики. Редлайнинг. Хищнически заеми в малцинствени квартали. ИИ е кодирал тези модели като „добри кредитни решения“ и ги е увековечил. Легална дискриминация, автоматизирана и мащабирана.

Във всеки един случай алгоритъмът е работил правилно. Той е научил моделите в данните. Данните са били пристрастни. Затова ИИ е станал пристрастен. Каквото вложиш, такова получаваш. Каквато дискриминация вложиш, такава получаваш.

Това не е дребен технически проблем. Това е фундаментално предизвикателство. Не можеш да изградиш честен ИИ от нечестни данни. По-добрите алгоритми не помагат. Помагат само по-добри данни. По-разнообразни. По-представителни. Съзнателно пречистени от пристрастия.

Най-страшното? Пристрастният ИИ изглежда обективен. „Компютърът го е казал“ звучи по-легитимно от „човек е решил“. Но компютърът се е учил от пристрастни хора, които вземат пристрастни решения. Всичко, което ИИ прави, е да автоматизира и мащабира това пристрастие, като го представя за научно и неутрално, когато не е нито едното, нито другото. Пристрастието в данните е мястото, където ИИ преминава от полезен инструмент към инструмент за вреда.

Историческото пристрастие се превръща в автоматизирана вреда, когато моделът третира старата дискриминация като модел, който си струва да се повтаря.

Какви въпроси да задавате за всяка ИИ система

Независимо дали изграждате ИИ, купувате ИИ или просто го използвате в ежедневието си, ето въпросите, които трябва да си зададете. Отговорите показват дали можете да му се доверите.

  1. ? Откъде идват данните за обучение?

    Конкретните източници са от значение. Публични данни от интернет? Подбрани набори от данни? Корпоративни записи? Всеки източник носи различни пристрастия и ограничения. Ако не ви кажат, това е огромен предупредителен знак.

  2. ? Колко данни са използвани? Как са обозначени?

    Числата имат значение. „Хиляди“ срещу „милиони“ прави разлика. Кой ги е обозначил? Експерти или случайни нископлатени работници? Как е контролирано качеството? Тези детайли определят надеждността.

  3. ? Съответстват ли данните за обучение на вашия случай на употреба?

    Изкуствен интелект, обучен върху официални бизнес документи, ще се затрудни с неформални текстови съобщения. Обучен върху слънчеви снимки от Калифорния, може да се провали в дъждовния Сиатъл. Съответствието е от значение. Несъответствието означава провали.

  4. ? Кои групи са представени в данните?

    Всички възрасти? Всички полове? Всички етноси? Всички езици? Или предимно една демографска група? Небалансираните данни създават системи, които работят чудесно за едни хора и ужасно за други.

  5. ? Какви известни пристрастия съществуват? Как са адресирани?

    Всеки набор от данни има пристрастия. Честните разработчици ги признават и обясняват усилията си за смекчаването им. Всеки, който твърди, че няма пристрастия, или лъже, или е опасно несъзнаващ.

  6. ? С кои ситуации този изкуствен интелект ще се справи зле?

    Всеки изкуствен интелект има граници, основани на данните си за обучение. Какво не е видял? С какво не може да се справи? Ако не могат да отговорят на това, значи не познават собствената си система достатъчно добре, за да я внедрят безопасно.

Ако някой, който ти продава AI, не може да отговори на тези въпроси, обърни се и си тръгни. Или не знае (некомпетентен е), или не иска да ти каже (скрива проблеми). И в двата случая не му се доверявай.

Доставчик на AI, на когото можеш да имаш доверие, отговаря конкретно на въпросите за източниците, етикетирането, съответствието, представителността, пристрастията и ограниченията.

Бъдещето на данните в AI

Предизвикателствата с данните няма да изчезнат. Но подходите се развиват. Ето какво се променя:

Синтетични данни

Създаване на изкуствени примери за обучение чрез симулация. Полезно е за редки сценарии, опасни ситуации (като автомобилни катастрофи за самоуправляващи се коли) и области, чувствителни към поверителността. Не замества реалните данни, но е ценно допълнение, което запълва празнините.

Разширяване на данните

Създаване на варианти на съществуващи примери. Завъртай изображения, обръщай ги, променяй осветлението. Преформулирай изречения. Добавяй фонов шум към аудиото. Така увеличаваш изкуствено набора от данни, повишавайки разнообразието, без да събираш нови примери от нулата.

Обучение с малко примери

Техники за учене от по-малко примери чрез пренасяне на знания от предишни задачи. Както когато вече знаеш няколко езика, научаването на нов става по-лесно. Намалява изискванията към данните за нови задачи, като използва съществуващи знания.

Методи за запазване на поверителността

Учене от данни, без да ги виждаш пряко. Федеративното обучение (AI се обучава на телефона ти, без да изпраща данни до сървъри). Диференциална поверителност (добавяне на внимателен шум, така че отделни записи да не могат да бъдат идентифицирани). Дава възможност за учене от чувствителни медицински, финансови и лични данни.

Активно обучение

AI иска етикети само за примерите, за които не е сигурен. Вместо да етикетираш милион случайни примера, етикетирай хилядата примера, в които AI е най-объркан. Насочва човешките усилия там, където имат най-голямо значение, и драстично намалява разходите за етикетиране.

Тези техники помагат, но не премахват основната истина: качествените данни са незаменими. Можеш да намалиш колко ти трябват. Можеш да генерираш допълнения. Можеш да учиш по-ефективно. Но не можеш да избегнеш уравнението „боклук влиза, боклук излиза“.

Изводът (Какво наистина трябва да знаеш)

Нека обобщим със съществените истини за данните в AI:

Данните са по-важни от алгоритмите. Винаги са били. Винаги ще бъдат. Най-модерният и сложен AI в света, обучен с боклук данни, дава боклук резултати. Прост AI, обучен с качествени данни, дава качествени резултати. Всеки път. Без изключения.

Качеството побеждава количеството, но ти трябват и двете. По-добре е да имаш 100 000 разнообразни, правилно етикетирани и представителни примера, отколкото 10 милиона повтарящи се, грешно етикетирани и пристрастни примера. Но в идеалния случай? Искаш милиони висококачествени и разнообразни примери. И количество, и качество.

Пристрастието в данните се превръща в пристрастие в ИИ. Историческата дискриминация се превръща в алгоритмична дискриминация. Небалансираното представяне се превръща в ненадеждна производителност за недостатъчно представените групи. ИИ не филтрира пристрастието. То го научава, кодира го, усилва го и го прилага систематично.

По-голямата част от работата с ИИ е подготовка на данни, а не изграждане на алгоритми. 80% събиране на данни, почистване, етикетиране, валидиране. 20% моделиране. Това съотношение ви казва всичко. Алгоритъмът е лесната част. Данните са трудната част. И важната част.

Всеки ИИ има ограничения, определени от неговите обучителни данни. Това, което не е видял, не може да обработи. Където данните са били пристрастни, той ще бъде пристрастен. Където данните са били непълни, той ще се провали. Никой ИИ не надхвърля своите обучителни данни. Данните определят тавана.

Помните ли мамината готварска книга от началото на тази статия? Рецептата е толкова добра, колкото и опитът, на който се основава. Ограниченият опит създава ограничени рецепти. Пристрастният опит създава пристрастни рецепти. Грешната информация създава рецепти, които не работят.

Същото важи и за ИИ. Системата е толкова добра, колкото и данните, от които се е учила. Ограничените данни създават ограничен ИИ. Пристрастните данни създават пристрастен ИИ. Лошите данни създават ИИ, който просто не работи. „Каквото вложиш, такова получаваш“ не е просто закачлива фраза. Това е основният закон на ИИ. Ако данните са правилни, дори прости алгоритми могат да научат полезни модели. Ако данните са грешни, никаква алгоритмична сложност не може да ви спаси.

Сега знаете защо данните са всичко в ИИ. И защо всеки, който ви казва обратното, или ви продава нещо, или не разбира как всъщност работи тази технология.

В Dweve сме прозрачни относно изискванията за данни. Нашите системи, базирани на ограничения, се нуждаят от качествени, представителни примери, за да откриват валидни логически връзки. Без преки пътища. Без магия. Само честно инженерство, което признава една проста истина: не можете да изградите надежден ИИ от ненадеждни данни. Защото каквото вложиш, наистина означава каквото получаваш, всеки път.