Data v AI: proč platí, že co do toho dáš, to z toho

Kvalita dat je důležitější než sofistikovanost algoritmů. Zde je důvod, proč na ní záleží, a jak poznat rozdíl.

Data v AI: proč platí, že co do toho dáš, to z toho dostaneš

Kuchařka, kterou tvoje máma nikdy nedopsala

Představ si maminčinu kuchyni v roce 1990. V sousedství je proslulá svým jablečným koláčem. Všichni chtějí recept. A tak se rozhodne, že si ho zapíše.

Jenže v tom je háček. Za více než čtyřicet let pečení ten koláč dělala stokrát. Někdy použila máslo, někdy margarín (podle toho, co bylo ten týden levnější). Někdy ta jablka, někdy jiná, někdy obyčejná. Někdy pekla na 150 stupňů, někdy na 250 (protože trouba byla náladová). Někdy přidala vajíčko navíc, když byla malá.

Flexibilita zkušenosti

Každý jeden koláč se povedl. Instinktivně věděla, jak to upravit. Trochu víc mouky, když je vlhko. O trochu méně cukru, když jsou jablka hodně kyselá. Díky letům zkušeností byla flexibilní.

Teď si představ, že recept zapíše jen podle posledních pěti pokusů. Všechny v létě. Všechny s margarínem. Všechny s tou várkou extra kyselých jablek, která koupila ve slevě. Všechny s troubou, která hřála víc, než měla.

Katastrofa úzkých příkladů

Někdo ten recept zkusí v zimě, s máslem, se sladkými jablky, v normální troubě. Katastrofa. Suchý, drobivý, příliš sladký. Recept nefunguje, protože příklady, na kterých byl založen, nepokrývaly celou škálu situací.

Přesně takhle se AI učí z dat. Ten „recept" (tedy AI) je jen tak dobrý, jako příklady, ze kterých se učil. Úzké příklady vytvoří úzkou AI. Zaujaté příklady vytvoří zaujatou AI. Špatné příklady vytvoří AI, která prostě nefunguje.

Tohle není o složité technologii. Je to o jednoduché pravdě: naučíš jen to, co ukážeš. A když to, co ukážeš, je neúplné, zaujaté nebo prostě špatné, přesně to se pak naučí.

Recept selhává, protože pět letních příkladů nemůže zastoupit čtyřicet let kuchyňských variací.

Proč nikdo nemluví o té nudné části (a měl by)

Takhle to vypadá na každé AI konferenci, v každém technickém článku, v každém marketingovém prodeji:

Co dostává veškerou pozornost

Spousta vzrušení kolem algoritmů. Chytrá matematika. Efektní architektury. Neuronové sítě s miliardami parametrů. Tréninkové techniky s působivými názvy. Optimalizační strategie, které znějí jako kouzla.

Co je ignorováno

Téměř nic o datech. Odkud pocházejí. Jak byla shromážděna. Jestli jsou vůbec dobrá. Co v nich chybí. Jaké předsudky obsahují.

Proč? Protože algoritmy jsou sexy. Data jsou nudná. Algoritmy znějí chytře a sofistikovaně. Data znějí jako... papírování. Kartotéky. Tabulky. Vůbec ne vzrušující.

Ale tady je nepříjemná pravda, kterou vám každý poctivý výzkumník AI řekne soukromě:

Nepříjemná pravda

Skvělý algoritmus trénovaný na odpadkových datech produkuje odpadkové výsledky. Průměrný algoritmus trénovaný na vynikajících datech produkuje vynikající výsledky. Pokaždé. Bez výjimek.

Představte si to jako učení na zkoušku

Algoritmus je jako student, který se učí na zkoušku. Dejte tomu studentovi špatnou učebnici a je jedno, jak je chytrý nebo jak pilně se učí. U zkoušky propadne, protože se učil z chybných informací. Dejte průměrnému studentovi správnou učebnici, spoustu příkladů k procvičení a dobré ukázky? Zvládne to dobře. Možná ne dokonale, ale solidně a užitečně.

Taková je realita umělé inteligence. Kvalita dat je důležitější než sofistikovanost algoritmu. Mnohem důležitější. A přesto o tom nechce skoro nikdo mluvit.

Představte si, že učíte někoho poznávat jedovaté houby jen podle fotografií z jednoho lesa, pořízených v létě, vše v ostrém slunečním světle. V tom konkrétním lese, v létě, za slunečných dnů by si možná vedl skvěle. Ale pošlete ho do jiného lesa na podzim za zamračeného dne? Bude jen hádat. Trénink byl příliš úzký. Stejný problém má i umělá inteligence: úzká data vytvářejí úzké a nespolehlivé systémy. Data určují hranice toho, co se umělá inteligence vůbec může naučit.

Co vlastně znamená „učení se z dat"

Když někdo řekne, že se „umělá inteligence učí z dat", co to doopravdy znamená? Použijme příklad, kterému rozumí každý.

Učíte vnuka poznávat ptáky

Představte si, že učíte svého desetiletého vnuka poznávat různé druhy ptáků. Vezmete ho do parku s atlasem ptáků. Pokaždé, když nějakého ptáka uvidíte, společně si ho v atlasu najdete.

„Vidíš toho? Modré peří, červená hruď, asi takhle velký. To je sýkora modřinka." Pozorně si ho prohlédne. Vnímá barvy, velikost, tvar. Příští týden další pták. „A tenhle? Celý černý, větší, hlasité krákání. To je vrána." Pozoruje. Pamatuje si.

Tohle uděláte padesátkrát. Různí ptáci. Různé situace. Různé světlo. Někdy v letu, někdy sedící. Po padesáti ptácích začne hádat správně. „Dědo, je tohle červenka?" A má pravdu!

Naučil se z příkladů. Ze spousty příkladů. Každý z nich ho něco naučil o vzorcích: co dělá červenku červenkou, co dělá vránu vránou.

Umělá inteligence se učí úplně stejně

Ukažte jí příklady. Spoustu příkladů. Ke každému příkladu jí řekněte správnou odpověď. „Tenhle e-mail je spam." „Tahle fotka obsahuje kočku." „Tahle recenze je pozitivní." Umělá inteligence hledá vzorce, které spojují příklady s odpověďmi.

Ale tady to začíná být ošemetné. Co se stane, když svému vnukovi ukážete ptáky jen v létě? Možná si bude myslet, že červenky mají vždy jasně červenou hruď (v zimě jsou matnější). Co když mu ukážete jen ptáky ze své zahrady? Možná ty samé ptáky v jiném prostředí nepozná.

Učení se špatných vzorců

Co když omylem špatně určíte pár ptáků? Řeknete si „to je vrabec“, ale ve skutečnosti to je pěnkava. On se naučí špatný vzorec. A pak bude pěnkavy určovat špatně navždy, dokud ho někdo neopraví.

Kvalita a rozmanitost příkladů určuje, co se naučí. Stejně je to s AI. Data jsou lekcí. Pokud je lekce neúplná, zaujatá nebo špatná, bude i učení neúplné, zaujaté nebo špatné.

Kolik dat vlastně potřebujete?

Tuhle otázku si klade každý. Odpověď lidi frustruje: záleží.

Přemýšlejte o tom, jak se učíme dovednosti v reálném životě. Kolikrát musí někdo trénovat, než se to naučí?

Učíte dítě zavazovat si tkaničky

Třeba dvacet tréninků. Je to jednoduchý, opakovatelný vzorec. Pokaždé stejné kroky. Žádná velká variace. Dvacet příkladů to pokryje.

Učíte někoho řídit

Stovky hodin. Proč? Protože řízení zahrnuje nekonečné variace. Městské ulice, dálnice, déšť, sníh, stavby, agresivní řidiči, chodci, cyklisté, zvířata přecházející silnici. Každá situace je trochu jiná. Potřebujete se setkat se všemi těmi variacemi, abyste se stali kompetentním řidičem.

AI je na tom stejně. Jednoduché úkoly potřebují méně příkladů. Složité úkoly potřebují obrovské množství.

Jednoduché rozpoznávání vzorů (je to spam?)

Možná 10 000 příkladů. Spam má rozpoznatelné vzorce. Jakmile vidíte dost příkladů typu „KUP TEĎ!!!" a „Vyhráli jste cenu!", pochopíte to.

Střední složitost (rozpoznávání obličejů)

Desítky tisíc až stovky tisíc. Obličeje se nesmírně liší. Různé úhly, osvětlení, výrazy, věk. Potřebujete hodně rozmanitosti, abyste to všechno zachytili.

Vysoká složitost (rozpoznání libovolného objektu na fotografiích)

Miliony snímků. Tisíce typů objektů. Každý objekt v různých kontextech, úhlech a osvětlení. Auta na ulicích, auta v showroomech, auta po nehodách. Stromy v lesích, stromy na zahradách, stromy na obrazech. Obrovská rozmanitost vyžaduje obrovské množství dat.

Extrémní složitost (porozumění jazyku)

Miliardy slov. Jazyk má nekonečnou rozmanitost. Každé téma, každý styl, každý kontext. Formální zprávy, neformální konverzace, poezie, návody, vtipy, sarkasmus. Abyste to všechno zvládli, potřebujete kontakt s obrovským množstvím textu.

Ale tady je klíčový bod: samotné množství nestačí. Raději budete mít 100 000 vynikajících, rozmanitých a správně označených příkladů než 10 milionů průměrných, opakujících se a ledabyle označených příkladů. Je to jako učit se vařit. Chcete raději trénovat přípravu 100 různých jídel s dobrými instrukcemi, nebo dělat stejné průměrné těstoviny 10 000krát s nejasnými pokyny? Rozmanitost a kvalita tréninku je důležitější než samotný počet opakování.

Pět ingrediencí kvalitních dat

Co dělá data dobrými nebo špatnými? Pět klíčových faktorů. Pojďme si je rozebrat na příkladech, kterým rozumí každý.

1 Přesné štítky (správné odpovědi)
Představte si, že učíte dítě poznávat zvířata pomocí obrázkové knížky s chybnými popisky. „Toto je pes" u fotky kočky. „Toto je kráva" u fotky koně. Dítě se naučí úplně špatně. Zvířata pak bude špatně určovat navždy.

AI má stejný problém. Pokud ji trénujete na rozpoznávání koček, každá fotka označená jako „kočka" musí skutečně být kočka. Už 5% chyb způsobí vážné problémy. 10% chyb? AI se naučí nesmysly. Nedokáže rozlišit signál od šumu, když jsou odpovědi nespolehlivé.
2 Reprezentativnost (odpovídá skutečnému životu)
Váš vnuk se naučil poznávat ptáky na vaší předměstské zahradě. Skvěle pozná kardinály, červenky, sojky modré. Pak ho vezmete na pláž. Rackové, pelikáni, pisíci. Je ztracený. Nic nevypadá jako ptáci, které se naučil znát.

Trénovací data musí odpovídat prostředí, kde se bude AI skutečně používat. Trénujete systém rozpoznávání obličejů na dobře osvětlených studiových fotkách? Selže v šeru nočního klubu. Trénujete hlasového asistenta na čisté, tiché řeči? Bude mít problémy s přízvukem a okolním hlukem. Rozložení dat musí odpovídat rozložení v reálném světě.
3 Dostatečná rozmanitost (pokrytí všech situací)
Představte si, že se učíte řídit, ale jen za dokonalého počasí na rovných silnicích v plynulém provozu. Všude jinde byste byli hrozný řidič. Zatáčky? Panika. Déšť? Katastrofa. Dopravní špička? Jste zahlceni.

AI potřebuje rozmanitost v trénovacích datech. Fotky na ostrém slunci i v hlubokém stínu. Formální texty i neformální zprávy. Mladé hlasy i staré hlasy. Běžné případy i vzácné okrajové případy. Bez rozmanitosti se AI přeučí. Zapamatuje si konkrétní příklady místo toho, aby se naučila obecné vzorce. Ukážete jí jen zlaté retrívry a bude mít problémy s pudly. Ukážete jí kočky v každé barvě, velikosti a poloze a bude je spolehlivě rozpoznávat.
4 Relevance a aktuálnost (držet krok s dobou)
Představte si, že učíte někoho módu 60. let a očekáváte, že bude určovat současné trendy. Zvonové kalhoty, účesy jako úl, kozačky go-go. Pak mu ukážete moderní módu. Je zmatený. Všechno se změnilo.

Data stárnou. Jazyk se vyvíjí („cool" dnes znamená něco jiného než v 60. letech). Taktiky spamu se mění (včerejší triky přestávají fungovat). Módní trendy se posouvají. Technologie se aktualizují. Pokud jsou vaše trénovací data stará pět let, vzorce se už posunuly. Aktuální data zachycují aktuální vzorce.
5 Bez předsudků (spravedlivé zastoupení)
Toto je ten velký problém. Ten nebezpečný. Ten, který způsobuje skutečnou újmu v reálném světě. Brzy se do něj ponoříme mnohem hlouběji, protože předsudky v datech nejsou jen technický problém. Je to lidský problém s vážnými důsledky. Pokud vaše data odrážejí historickou diskriminaci, vaše AI se naučí diskriminovat. Pokud vaše data nadměrně zastupují některé skupiny a nedostatečně jiné, vaše AI bude fungovat lépe pro některé lidi než pro jiné. Co do toho dáte, to z toho dostanete. Co do toho dáte za předsudky, to z toho dostanete.

Představte si data jako suroviny na vaření. Můžete mít šéfkuchaře s michelinskou hvězdou (sofistikovaný algoritmus), ale když mu dáte shnilou zeleninu, zatuchlý chléb a zkažené mléko (špatná data), jídlo bude nepoživatelné. Mezitím domácí kuchařka (jednoduchý algoritmus) s čerstvými, kvalitními surovinami připraví něco vynikajícího. Suroviny jsou důležitější než kuchařovy diplomy. V AI jsou data těmi surovinami.

Kvalitní trénovací data potřebují správné popisky, pokrytí reálného světa, rozmanitost, čistotu a aktuálnost zároveň.

Nepůvabná realita (kde se skutečně pracuje)

Tady je to, co vám nikdo neřekne, když prodává řešení AI nebo učí kurzy o AI:

Většina práce není o stavbě AI. Je o přípravě dat.

Datoví vědci tráví zhruba 80 % času přípravou dat. Pouze 20 % pak samotným stavěním a trénováním modelů. Ten poměr vám řekne vše o tom, kde leží skutečná výzva.

Co příprava dat obnáší? Čtyři obrovské, zdlouhavé a kritické úkoly:

Sběr dat

Shromažďování relevantních příkladů, ať už existují kdekoli. Stahování z webů, přístup do databází, záznamy ze senzorů, agregace více zdrojů. Časově náročné. Často drahé. Často frustrující, když zdroje nespolupracují nebo data neexistují.

Čištění dat

Odstraňování duplicit. Opravování chyb. Řešení chybějících hodnot. Sjednocování formátů. Filtrování šumu. Jako byste třídili desítky let staré papíry v neuklizené skříni. Jen tohle samo o sobě může u velkých datových sad zabrat týdny nebo měsíce.

Anotace dat

Ruční označování příkladů správnými odpověďmi. „Tento obrázek je kočka." „Tato recenze je pozitivní." „Tato transakce je podvodná." A to pro miliony příkladů. Neskutečně únavné. Často se to zadává externě pracovníkům s nízkou mzdou, kteří kvůli nudě a únavě dělají chyby.

Validace dat

Kontrola, zda jsou anotace správné. Zda je dostatečná rozmanitost. Zda jsou zkreslení identifikována a řešena. Zda datová sada skutečně odpovídá realitě. Kontrola kvality pro miliony příkladů. Vyčerpávající, ale naprosto zásadní.

Nic z toho není okouzlující. Nic z toho se nedostane na titulky. Nic z toho nikoho na večírku nezaujme. Je to dřina. Ale právě tady se projekty umělé inteligence buď podaří, nebo selžou.

Algoritmus je poměrně snadný. Existuje spousta dobrých algoritmů. Většina je volně publikovaná. Můžete si je stáhnout, používat je, upravovat je. Těžká jsou data. Jejich sběr, čištění, anotace a validace. Tady se vynakládá skutečné úsilí. Tady většina projektů uvízne. Tohle odlišuje fungující umělou inteligenci od pouhých slibů. Společnosti s lepšími daty porážejí společnosti s lepšími algoritmy. Pokaždé. Data jsou příkop, obranná výhoda, skutečná konkurenční výhoda.

Problém zkreslení (nejnebezpečnější vada umělé inteligence)

Teď se dostáváme k té opravdu nepříjemné části. K té části, která způsobuje skutečnou újmu skutečným lidem. K té části, která mění umělou inteligenci z „mírně nespolehlivé" na „aktivně nebezpečnou".

Umělá inteligence se z dat jen neučí vzorce. Ona je zesiluje.

Pokud vaše data obsahují zkreslení (a téměř všechna reálná data ano), umělá inteligence je neodfiltruje. Naučí se je. Zakóduje je. Systematicky je aplikuje. A ještě je zhorší.

Vysvětlím to na příběhu, kterému rozumí každý.

Učení se ze zkreslených historických dat

Představte si, že učíte svého vnuka o tom, kdo se u vás ve firmě přijímá do zaměstnání. Ukážete mu spisy z posledních dvaceti let přijímacích řízení. Technické oddělení: většinou muži. Pozice sekretářek: většinou ženy. Vedení: většinou běloši. Dělnické profese: pestřejší zastoupení.

Nikdy mu výslovně neřeknete „muži by měli být technici" nebo „ženy by měly být sekretářky". Jen mu ukážete historická data.

Teď je zodpovědný za posuzování nových žádostí. Co udělá? Naučil se vzorec z dat. Uchazečka o technickou pozici? Zdá se to neobvyklé, možná se nehodí. Muž se hlásí na pozici sekretáře? Neodpovídá vzorci. Diskriminuje. Ne proto, že by byl špatný člověk. Protože se naučil ze zkreslených historických dat a tyto vzorce aplikuje, jako by byly správné.

Přesně to se děje s umělou inteligencí. Historická data odrážejí historickou diskriminaci. Umělá inteligence se tuto diskriminaci naučí, jako by šlo o platný vzorec, který je třeba následovat. Pak ho systematicky aplikuje na miliony rozhodnutí.

Skutečné příklady, kdy k tomu došlo:

⚠️ Náborová umělá inteligence společnosti Amazon

Amazon vycvičil umělou inteligenci k posuzování životopisů pomocí deseti let historických náborových dat. Data ukazovala, že na technické pozice najímali převážně muže. Umělá inteligence se naučila znevýhodňovat životopisy žen. Odhalovala v životopisech náznaky jako „šachový klub žen" a srážela za ně hodnocení. Amazon musel systém zrušit. Algoritmus fungoval dokonale. Problémem byla data.

⚠️ Algoritmy ve zdravotnictví

Několik systémů umělé inteligence ve zdravotnictví vykazovalo rasové předsudky. Upřednostňovaly bílé pacienty před černošskými pacienty se stejnými příznaky. Proč? Historická zdravotnická data odrážela historické rozdíly v péči. Černošští pacienti se historicky dočkávali menší léčby. Umělá inteligence se tento vzorec naučila a aplikovala ho, jako by menší péče byla medicínsky vhodná, a ne důkazem diskriminace.

⚠️ Systémy rozpoznávání obličejů

Většina datových sad pro rozpoznávání obličejů nadměrně zastupuje bílé muže. Umělá inteligence funguje nejlépe na bílých mužích. Výrazně hůře na ženách. Ještě hůře na lidech s tmavší pletí. Ne proto, že by byl algoritmus rasistický, ale protože trénovací data byla nevyvážená. Umělá inteligence doslova neviděla dost rozmanitých obličejů, aby se je naučila spolehlivě rozpoznávat.

⚠️ Modely úvěrového scoringu

AI úvěrový scoring se učil z historických úvěrových dat, která odrážela desetiletí diskriminačních úvěrových praktik. Redlining. Predátorské půjčky v menšinových čtvrtích. AI tyto vzorce zakódovala jako „správná úvěrová rozhodnutí“ a dále je udržovala. Legalizovaná diskriminace, automatizovaná a škálovaná.

V každém jednotlivém případě algoritmus fungoval správně. Naučil se vzorce v datech. Data byla zaujatá. Tak se AI stala zaujatou. Co do toho dáš, to z toho dostaneš. Diskriminace dovnitř, diskriminace ven.

Toto není drobný technický problém. Je to zásadní výzva. Z nespravedlivých dat nelze postavit spravedlivou AI. Lepší algoritmy nepomohou. Pomohou jen lepší data. Rozmanitější. Reprezentativnější. Záměrně zbavená zaujatosti.

To nejděsivější? Zaujatá AI působí objektivně. „Počítač to řekl“ zní důvěryhodněji než „rozhodl člověk.“ Jenže počítač se učil od zaujatých lidí, kteří dělali zaujatá rozhodnutí. AI jen automatizuje a škáluje tuto zaujatost, takže vypadá vědecky a neutrálně, i když není ani jedno. Zaujatost dat je okamžik, kdy se AI mění z užitečného nástroje v nástroj škody.

Historická zaujatost se mění v automatizovanou škodu, když model považuje starou diskriminaci za vzorec, který stojí za to opakovat.

Jaké otázky si klást u jakéhokoli systému AI

Ať už AI vytváříte, kupujete, nebo ji jen používáte v každodenním životě, zde jsou otázky, které byste si měli položit. Odpovědi vám řeknou, jestli jí můžete věřit.

? Odkud pocházejí trénovací data?
Na konkrétních zdrojích záleží. Jsou to data z veřejného internetu? Kurátorské datové sady? Firemní záznamy? Každý zdroj má jiné zkreslení a omezení. Pokud vám to neřeknou, je to obrovská výstražná vlajka.
? Kolik dat bylo použito? Jak byla označena?
Na číslech záleží. Rozdíl mezi „tisíci“ a „miliony“ je podstatný. Kdo data označoval? Odborníci, nebo náhodní nízce placení pracovníci? Jak byla kontrolována kvalita? Tyto detaily určují spolehlivost.
? Odpovídají trénovací data vašemu případu použití?
AI trénovaná na formálních obchodních dokumentech bude mít problém s neformálními textovými zprávami. AI trénovaná na slunečných kalifornských fotografiích může selhat v deštivém Seattlu. Shoda je důležitá. Neshoda znamená selhání.
? Jaké skupiny jsou v datech zastoupeny?
Všechny věkové kategorie? Všechna pohlaví? Všechny etnické skupiny? Všechny jazyky? Nebo převážně jedna demografická skupina? Nevyvážená data vytvářejí systémy, které skvěle fungují pro některé lidi a pro jiné hrozně.
? Jaké známé zkreslení existují? Jak byla řešena?
Každá datová sada má zkreslení. Poctiví vývojáři je přiznají a vysvětlí, jak je zmírňují. Kdokoli tvrdí, že je zcela bez zkreslení, buď lže, nebo si nebezpečně neuvědomuje realitu.
? V jakých situacích bude tato AI selhávat?
Každá AI má limity dané svými trénovacími daty. Co neviděla? Co nezvládne? Pokud na to nedokážou odpovědět, nerozumí vlastnímu systému dost dobře na to, aby ho bezpečně nasadili.

Pokud vám prodejce AI nedokáže odpovědět na tyto otázky, odejděte. Buď to neví (je nekompetentní), nebo vám to nechce říct (skrývá problémy). V obou případech tomu nevěřte.

Důvěryhodný dodavatel AI vám dokáže odpovědět na konkrétní otázky ohledně zdrojů, označování, vhodnosti, reprezentativnosti, zkreslení a limitů.

Budoucnost dat v AI

Výzvy spojené s daty nezmizí. Ale přístupy se vyvíjejí. Tady je, co se mění:

Syntetická data

Vytváření umělých trénovacích příkladů pomocí simulace. Užitečné pro vzácné scénáře, nebezpečné situace (jako jsou dopravní nehody pro samořiditelná auta) a oblasti citlivé na soukromí. Není to náhrada za skutečná data, ale cenný doplněk, který vyplňuje mezery.

Rozšíření dat

Vytváření variací stávajících příkladů. Otáčejte obrázky, překlápějte je, upravujte osvětlení. Parafrázujte věty. Přidejte šum na pozadí do zvuku. Tím se váš datový soubor znásobí, zvýší se rozmanitost bez sběru nových příkladů od začátku.

Učení z mála příkladů

Techniky, jak se učit z menšího počtu příkladů přenosem znalostí z předchozích úloh. Podobně jako když už umíte několik jazyků, naučit se nový je snazší. Snižuje nároky na data u nových úloh díky využití stávajících znalostí.

Metody chránící soukromí

Učení z dat, aniž bychom je přímo viděli. Federované učení (AI se trénuje přímo ve vašem telefonu, aniž by data odesílala na servery). Diferenciální soukromí (přidání pečlivě zvoleného šumu, aby nebylo možné identifikovat jednotlivé záznamy). Umožňuje učení z citlivých lékařských, finančních a osobních dat.

Aktivní učení

AI žádá o označení pouze u příkladů, kterými si není jistá. Místo označování milionu náhodných příkladů se označí tisíc příkladů, ve kterých se AI nejvíc plete. Soustředí lidské úsilí tam, kde je nejvíc potřeba, a výrazně snižuje náklady na označování.

Tyto techniky pomáhají, ale neodstraňují základní pravdu: kvalitní data jsou nenahraditelná. Můžete snížit, kolik jich potřebujete. Můžete generovat doplňky. Můžete se učit efektivněji. Ale neutečete rovnici „co do toho dáš, to z toho máš“.

Závěr (Co skutečně potřebujete vědět)

Pojďme si to shrnout se základními pravdami o datech v AI:

Na datech záleží víc než na algoritmech. Vždy záleželo. Vždy bude. Ta nejmodernější a nejpropracovanější AI na světě, trénovaná na nekvalitních datech, produkuje nekvalitní výsledky. Jednoduchá AI trénovaná na kvalitních datech produkuje kvalitní výsledky. Pokaždé. Bez výjimky.

Kvalita poráží kvantitu, ale potřebujete obojí. Lepší je mít 100 000 různorodých, správně označených a reprezentativních příkladů než 10 milionů opakujících se, špatně označených a zaujatých příkladů. Ale ideálně? Chcete miliony vysoce kvalitních a různorodých příkladů. Kvantitu i kvalitu.

Zaujatost v datech se stává zaujatostí v AI. Historická diskriminace se stává algoritmickou diskriminací. Nevyvážené zastoupení se stává nespolehlivým výkonem pro nedostatečně zastoupené skupiny. AI zaujatost nefiltruje. Učí se jí, kóduje ji, zesiluje ji a systematicky ji aplikuje.

Většina práce s AI spočívá v přípravě dat, ne v tvorbě algoritmů. 80 % sběr dat, čištění, označování, validace. 20 % modelování. Tento poměr vám řekne vše. Algoritmus je ta snadná část. Data jsou ta těžká část. A ta důležitá.

Každá AI má limity dané svými trénovacími daty. Co neviděla, to nezvládne. Kde byla data zaujatá, bude zaujatá i ona. Kde byla data neúplná, tam selže. Žádná AI nepřekoná svá trénovací data. Data definují strop.

Pamatujete si na maminčinu kuchařku ze začátku tohoto článku? Recept je jen tak dobrý, jako zážitky, na kterých je založen. Úzké zážitky vytvářejí úzké recepty. Zaujaté zážitky vytvářejí zaujaté recepty. Špatné informace vytvářejí recepty, které nefungují.

Stejně tak AI. Systém je jen tak dobrý, jako data, ze kterých se učil. Úzká data vytvářejí úzkou AI. Zaujatá data vytvářejí zaujatou AI. Špatná data vytvářejí AI, která prostě nefunguje. „Co do toho dáš, to z toho dostaneš" není jen chytlavé rčení. Je to základní zákon AI. Když budete mít data správně, i jednoduché algoritmy se dokážou naučit užitečné vzorce. Když budete mít data špatně, žádná algoritmická sofistikovanost vás nezachrání.

Teď už víte, proč jsou v AI data vším. A proč každý, kdo vám tvrdí něco jiného, vám buď něco prodává, nebo nerozumí tomu, jak tato technologie skutečně funguje.

Ve společnosti Dweve jsme ohledně požadavků na data transparentní. Naše systémy založené na omezeních potřebují kvalitní a reprezentativní příklady, aby objevily platné logické vztahy. Žádné zkratky. Žádná magie. Jen poctivé inženýrství, které uznává jednoduchou pravdu: z nespolehlivých dat nelze postavit spolehlivou AI. Protože co do toho dáte, to z toho skutečně dostanete, pokaždé.