Szemét adat, szemét eredmény: miért számít ennyire az adatminőség az AI-ban
A receptes könyv, amit anyukád sosem fejezett be
Képzeld el anyukád konyháját 1990-ben. A környéken híres az almás pitéjéről. Mindenki szeretné a receptet. Ezért úgy dönt, hogy leírja.
De itt a probléma. Negyven év sütés alatt százszor is elkészítette azt a süteményt. Néha vajat használt, néha margarint (attól függően, melyik volt olcsóbb azon a héten). Néha ilyen almát, néha olyat, néha a simát. Néha 150 fokon sütött, néha 250-en (mert a sütő kiszámíthatatlan volt). Néha tett bele egy plusz tojást, amikor kicsik voltak.
A tapasztalat rugalmassága
Minden egyes sütemény finom lett. Ösztönösen tudta, hogyan igazítson. Egy kicsit több liszt, ha párás az idő. Egy kicsit kevesebb cukor, ha az alma különösen savanyú. Az évek tapasztalata rugalmassá tette.
Most képzeld el, hogy a receptet csak az utolsó öt alkalom alapján írja le. Mind nyáron. Mind margarinnal. Mind azzal a különösen savanyú almával, amit akciósan vett. Mind úgy, hogy a sütő nagyon forró volt.
A szűk példák katasztrófája
Valaki télen, vajjal, édes almával, normál sütőben követi a receptet. Katasztrófa. Száraz, morzsálódó, túl édes. A recept nem működik, mert a példák, amelyeken alapult, nem fedték le a helyzetek teljes skáláját.
Pontosan így tanul az AI az adatokból. A „recept" (az AI) csak annyira jó, mint a példák, amelyekből tanult. A szűk példák szűk látókörű AI-t hoznak létre. Az elfogult példák elfogult AI-t hoznak létre. A hibás példák olyan AI-t hoznak létre, amely egyszerűen nem működik.
Ez nem a bonyolult technológiáról szól. Hanem egy egyszerű igazságról: csak azt tudod megtanítani, amit megmutatsz. És ha az, amit megmutatsz, hiányos, elfogult vagy egyszerűen rossz, pontosan az fog elsajátítódni.
Miért Nem Beszél Senki az Unalmas Részről (Pedig Kéne)
Ez történik minden mesterséges intelligencia konferencián, minden tech cikkben, minden marketing előadásban:
Mi kapja a legtöbb figyelmet
Rengeteg izgalom az algoritmusok körül. Az okos matematika. A divatos architektúrák. Neurális hálózatok milliárdnyi paraméterrel. Lenyűgöző nevű tanítási technikák. Optimalizációs stratégiák, amelyek varázslatnak hangzanak.
Amit figyelmen kívül hagynak
Szinte semmit az adatokról. Honnan jöttek. Hogyan gyűjtötték őket. Hogy egyáltalán jók-e. Mi hiányzik belőlük. Milyen torzításokat tartalmaznak.
Miért? Mert az algoritmusok szexik. Az adatok unalmasak. Az algoritmusok okosnak és kifinomultnak hangzanak. Az adatok úgy hangzanak, mint... a papírmunka. Iratszekrények. Táblázatok. Egyáltalán nem izgalmas.
De itt van az a kényelmetlen igazság, amelyet minden becsületes mesterséges intelligencia kutató négyszemközt elmond neked:
A kényelmetlen igazság
Egy zseniális algoritmus, amelyet szemét adatokkal tanítanak, szemét eredményeket produkál. Egy közepes algoritmus, amelyet kiváló adatokkal tanítanak, kiváló eredményeket produkál. Minden egyes alkalommal. Kivétel nélkül.
Úgy gondolj rá, mint egy vizsgára való felkészülésre
Az algoritmus olyan, mint egy diák, aki egy vizsgára készül. Ha rossz tankönyvet adsz ennek a diáknak, mindegy, milyen okos, vagy milyen keményen tanul. Megbukik a vizsgán, mert rossz információkból tanult. Adj egy átlagos diáknak a megfelelő tankönyvet, rengeteg gyakorlófeladatot és jó példákat? Jól fog teljesíteni. Lehet, hogy nem tökéletesen, de megbízhatóan hasznosan.
Ez az AI valósága. Az adatok minősége fontosabb, mint az algoritmus kifinomultsága. Sokkal fontosabb. És mégis, szinte senki sem akar erről beszélni.
Képzeld el, hogy megtanítasz valakit mérgező gombákat felismerni, csak egyetlen erdőből származó, nyáron, tűző napfényben készült fényképek segítségével. Lehet, hogy abban a bizonyos erdőben, nyáron, napsütéses napokon nagyszerűen teljesít. De tedd át egy másik erdőbe, ősszel, felhős napon? Találgatni fog. A képzés túl szűk volt. Ugyanez a probléma az AI-jal: a szűk adatok szűk, megbízhatatlan rendszereket hoznak létre. Az adatok határozzák meg, hogy az AI egyáltalán mit képes megtanulni.
Mit jelent valójában az, hogy „tanul az adatokból”
Amikor valaki azt mondja, hogy „az AI tanul az adatokból”, mit is jelent ez pontosan? Használjunk egy példát, amelyet mindenki megért.
Megtanítod az unokádat madarakat felismerni
Képzeld el, hogy a tízéves unokádat tanítod meg különböző madárfajok felismerésére. Elviszed a parkba egy madárhatározóval. Minden alkalommal, amikor láttok egy madarat, együtt keresitek ki.
„Látod azt? Kék tollak, vörös mell, nagyjából ekkora. Ez egy kékbegy.” Ő alaposan megnézi. Megjegyzi a színeket, a méretet, az alakot. A következő héten egy másik madár. „Az? Teljesen fekete, nagyobb, hangos károgás. Ez egy varjú.” Megfigyeli. Megjegyzi.
Ezt megcsinálod ötvenszer. Különböző madarak. Különböző helyzetek. Különböző fényviszonyok. Néha repülnek, néha ülnek. Ötven madár után már elkezd helyesen tippelni. „Nagypapa, ez egy vörösbegy?” És igaza van!
Példákból tanult. Rengeteg példából. Mindegyik megtanított neki valamit a mintázatokról: mi teszi a vörösbegyet vörösbegyé, mi teszi a varjút varjúvá.
Az AI pontosan ugyanígy tanul
Mutass neki példákat. Rengeteget. Minden egyes példánál mondd meg neki a helyes választ. „Ez az e-mail spam.” „Ez a fotó macskát tartalmaz.” „Ez az értékelés pozitív.” Az AI olyan mintázatokat keres, amelyek összekötik a példákat a válaszokkal.
De itt válik trükkössé a dolog. Mi történik, ha csak nyári madarakat mutatsz az unokádnak? Azt gondolhatja, hogy a vörösbegyeknek mindig élénkpiros a mellük (télen fakóbbak). Mi van, ha csak a hátsó kerted madarait mutatod meg neki? Lehet, hogy ugyanazokat a madarakat más környezetben már nem ismeri fel.
Learning wrong patterns
What if you accidentally misidentify a few birds? "That's a sparrow" when it's actually a finch. He learns the wrong pattern. Now he'll misidentify finches forever unless someone corrects him.
The quality and variety of examples determines what he learns. Same with AI. The data is the lesson. If the lesson is incomplete, biased, or wrong, the learning will be incomplete, biased, or wrong.
How Much Data Do You Actually Need?
Everyone asks this question. The answer frustrates people: it depends.
Think about teaching skills in real life. How many times does someone need to practice before they learn?
Teaching a child to tie their shoes
Maybe twenty practice sessions. It's a simple, repeatable pattern. Same steps every time. Not much variation. Twenty examples covers it.
Teaching someone to drive
Hundreds of hours. Why? Because driving involves infinite variation. City streets, highways, rain, snow, construction, aggressive drivers, pedestrians, cyclists, animals crossing. Every situation is slightly different. You need exposure to all those variations to become a competent driver.
AI is the same. Simple tasks need fewer examples. Complex tasks need massive amounts.
Simple pattern recognition (is this spam?)
Maybe 10,000 examples. Spam has recognizable patterns. Once you've seen enough examples of "BUY NOW!!!" and "You won a prize!" you get the idea.
Moderate complexity (recognize faces)
Tens of thousands to hundreds of thousands. Faces vary enormously. Different angles, lighting, expressions, ages. You need lots of variety to capture all that.
Magas komplexitás (bármilyen objektum felismerése fotókon)
Több millió kép. Több ezer objektumtípus. Minden objektum más környezetben, más szögből, más megvilágításban. Autók az utcán, autók a szalonban, autók balesetben. Fák az erdőben, fák a kertben, fák festményeken. A hatalmas változatosság hatalmas adatmennyiséget igényel.
Extrém komplexitás (a nyelv megértése)
Több milliárd szó. A nyelv végtelen változatosságot rejt. Minden téma, minden stílus, minden kontextus. Hivatalos jelentések, kötetlen csevegés, versek, útmutatók, viccek, szarkazmus. Ahhoz, hogy mindezt kezelni tudd, hatalmas mennyiségű szöveggel kell találkoznod.
De itt jön a lényeg: önmagában a mennyiség nem elég. Inkább legyen 100 000 kiváló, változatos, helyesen felcímkézett példa, mint 10 millió közepes, ismétlődő, hanyagul felcímkézett példa. Olyan ez, mint a főzés megtanulása. Inkább gyakorolnál 100 különböző ételt jó útmutatással, vagy ugyanazt a közepes tésztát készítenéd el 10 000-szer homályos instrukciókkal? A gyakorlás változatossága és minősége fontosabb, mint a nyers ismétlésszám.
A minőségi adat öt összetevője
Mitől lesz az adat jó vagy rossz? Öt kulcsfontosságú tényezőtől. Nézzük meg őket olyan példákon keresztül, amelyeket bárki megérthet.
-
1
Accurate Labels (Getting the Answers Right)
Imagine teaching a child about animals using a mislabeled picture book. "This is a dog" next to a photo of a cat. "This is a cow" next to a horse. The child learns completely wrong. They'll misidentify animals forever.
AI has the same problem. If you're training it to recognize cats, every photo labeled "cat" must actually be a cat. Even 5% errors cause serious problems. 10% errors? The AI learns garbage. It can't distinguish signal from noise when the answers are unreliable.
-
2
Representativeness (Matching Real Life)
Your grandson learned to identify birds in your suburban backyard. He's great at recognizing cardinals, robins, blue jays. Then you take him to the beach. Seagulls, pelicans, sandpipers. He's lost. Nothing looks like the birds he learned from.
Training data must represent where the AI will actually be used. Train a face recognition system on well-lit studio photos? It fails in dim nightclub lighting. Train a voice assistant on clear, quiet speech? It struggles with accents and background noise. The data distribution must match the real world distribution.
-
3
Sufficient Diversity (Covering All Situations)
Imagine learning to drive, but only in perfect weather on straight roads in light traffic. You'd be a terrible driver anywhere else. Curves? Panic. Rain? Disaster. Rush hour? Overwhelmed.
AI needs diversity in training data. Photos in bright sun and dim shade. Formal writing and casual text. Young voices and old voices. Common cases and rare edge cases. Without diversity, the AI overfits. It memorizes specific examples instead of learning general patterns. Show it only golden retrievers, and it struggles with poodles. Show it cats in every color, size, and position, and it recognizes cats reliably.
-
4
Relevance and Recency (Staying Current)
Imagine teaching someone 1960s fashion and expecting them to identify current trends. Bell bottoms, beehive hairdos, go-go boots. Then show them modern fashion. They're confused. Everything changed.
Data gets old. Language evolves ("cool" means something different now than in 1960). Spam tactics change (yesterday's tricks stop working). Fashion trends shift. Technology updates. If your training data is from five years ago, patterns have moved on. Current data captures current patterns.
-
5
Freedom from Bias (Fair Representation)
This is the big one. The dangerous one. The one that causes real harm in the real world. We'll dive much deeper into this shortly, because bias in data isn't just a technical problem. It's a human problem with serious consequences. If your data reflects historical discrimination, your AI learns to discriminate. If your data overrepresents some groups and underrepresents others, your AI performs better for some people than others. Garbage in, garbage out. Bias in, bias out.
Gondolj az adatokra úgy, mint a főzéshez való alapanyagokra. Lehet, hogy van egy Michelin-csillagos séfed (kifinomult algoritmus), de ha rothadt zöldséget, állott kenyeret és megromlott tejet adsz neki (rossz adatok), az étel ehetetlen lesz. Eközben egy háziasszony (egyszerű algoritmus) friss, minőségi alapanyagokkal valami finomat fog készíteni. Az alapanyagok fontosabbak, mint a séf végzettsége. Az AI-ban az adatok jelentik az alapanyagokat.
A nem túl fényes valóság (ahol a munka valójában van)
Ezt senki nem mondja el, amikor AI-megoldásokat árulnak vagy AI-tanfolyamokat tartanak:
A munka nagy része nem az AI építése. Hanem az adatok előkészítése.
Az adattudósok idejük nagyjából 80%-át adat-előkészítéssel töltik. Csak 20%-át a modellek tényleges építésével és tanításával. Ez az arány mindent elárul arról, hogy hol van az igazi kihívás.
Mit jelent az adat-előkészítés? Négy nagy, fárasztó és kritikus feladatot:
Adatgyűjtés
A releváns példák összegyűjtése onnan, ahol léteznek. Weboldalak letapogatása, adatbázisok elérése, érzékelők rögzítése, több forrás összesítése. Időigényes. Gyakran költséges. Sokszor bosszantó, amikor a források nem működnek együtt, vagy az adatok nem léteznek.
Adattisztítás
Ismétlődések eltávolítása. Hibák javítása. Hiányzó értékek kezelése. Formátumok szabványosítása. Zaj szűrése. Olyan, mintha évtizedek papírjait rendeznénk egy rendetlen iratszekrényben. Ez önmagában hetekig vagy hónapokig is eltarthat nagy adathalmazoknál.
Adatcímkézés
Példák kézi felcímkézése a helyes válaszokkal. „Ez a kép egy macska.” „Ez az értékelés pozitív.” „Ez a tranzakció csalárd.” Milliónyi példa esetében. Hihetetlenül fárasztó. Gyakran kiszervezik alacsony fizetésű dolgozóknak, akik az unalomtól és a kimerültségtől hibáznak.
Adatvalidáció
Annak ellenőrzése, hogy a címkék helyesek. Hogy a változatosság elegendő. Hogy az elfogultságokat azonosítják és kezelik. Hogy az adathalmaz valóban a valóságot tükrözi. Minőségellenőrzés milliónyi példán. Kimerítő, de feltétlenül szükséges.
Egyik sem glamour. Egyik sem kerül a címlapokra. Egyik sem nyűgözi le az embereket bulikon. Ez kétkezi munka. De itt dől el, hogy egy MI-projekt sikeres lesz-e vagy kudarcot vall.
Az algoritmus viszonylag egyszerű. Rengeteg jó algoritmus létezik. A legtöbb nyíltan publikált. Letöltheted, használhatod, módosíthatod őket. Az adat a nehéz. Összegyűjteni, tisztítani, címkézni, validálni. Ide megy a valódi erőfeszítés. Itt akadnak el a legtöbb projektnél. Ez különbözteti meg a működő MI-t a légből kapott ígéretektől. A jobb adatokkal rendelkező cégek legyőzik a jobb algoritmusokkal rendelkező cégeket. Minden alkalommal. Az adat a védőárok. A védhető előny. A valódi versenyelőny.
Az elfogultság problémája (az MI legveszélyesebb hibája)
Most elérkeztünk az igazán kényelmetlen részhez. Ahhoz a részhez, amely valódi kárt okoz valódi embereknek. Amely az MI-t „enyhén megbízhatatlanból” „aktívan veszélyessé” változtatja.
Az MI nem csak tanul az adatokból. Fel is erősíti azokat.
Ha az adataid elfogultak (és szinte minden valós adat az), az MI nem szűri ki őket. Megtanulja őket. Bele kódolja. Rendszeresen alkalmazza. Rosszabbá teszi őket.
Hadd magyarázzam el egy történettel, amelyet mindenki megért.
Tanulás torzított történelmi adatokból
Képzeld el, hogy megtanítod az unokádnak, hogy kit vesznek fel a cégednél. Megmutatod neki az elmúlt húsz év felvételeiről szóló aktákat. Műszaki osztály: többnyire férfiak. Titkári pozíciók: többnyire nők. Vezetés: többnyire fehérek. Fizikai munka: változatosabb.
Soha nem mondod ki neki, hogy „a férfiakból legyenek mérnökök”, vagy hogy „a nők legyenek titkárok”. Csak megmutatod neki a történelmi adatokat.
Most ő felel az új jelentkezések szűréséért. Mit csinál? Megtanulta a mintát az adatokból. Egy női jelentkező mérnöki pozícióra? Szokatlannak tűnik, talán nem is illik a képbe. Egy férfi titkári állásra? Nem illik a mintába. Diszkriminál. Nem azért, mert rossz ember. Hanem azért, mert torzított történelmi adatokból tanult, és úgy alkalmazta ezeket a mintákat, mintha helyesek lennének.
Pontosan ez történik az MI-vel. A történelmi adatok a történelmi diszkriminációt tükrözik. Az MI úgy tanulja meg ezt a diszkriminációt, mintha érvényes minta lenne, amit követni kell. Aztán szisztematikusan alkalmazza milliónyi döntésre.
Valós példák erre:
⚠️ Az Amazon toborzó MI-je
Az Amazon egy MI-t tanított be az önéletrajzok szűrésére tíz év történelmi felvételi adata alapján. Az adatok azt mutatták, hogy a műszaki pozíciókra többnyire férfiakat vettek fel. Az MI megtanulta, hogy a nők önéletrajzait hátrébb sorolja. Olyan jeleket vett észre az önéletrajzokban, mint a „női sakk klub”, és büntette őket. Az Amazonnak ki kellett dobnia a rendszert. Az algoritmus tökéletesen működött. Az adatok jelentették a problémát.
⚠️ Egészségügyi algoritmusok
Több egészségügyi MI-rendszer is faji elfogultságot mutatott. Azonos tünetekkel a fehér betegeket részesítették előnyben a fekete betegekkel szemben. Miért? A történelmi egészségügyi adatok az ellátásban meglévő történelmi egyenlőtlenségeket tükrözték. A fekete betegek történelmileg kevesebb kezelésben részesültek. Az MI megtanulta ezt a mintát, és úgy alkalmazta, mintha a kevesebb ellátás orvosilag indokolt lett volna, nem pedig a diszkrimináció bizonyítéka.
⚠️ Arcfelismerő rendszerek
A legtöbb arcfelismerő adatkészletben a fehér férfiak felülreprezentáltak. Az MI a fehér férfiakon teljesít a legjobban. A nőkön lényegesen rosszabbul. A sötétebb bőrű embereken pedig még rosszabbul. Nem azért, mert az algoritmus rasszista, hanem mert a tanítóadatok kiegyensúlyozatlanok voltak. Az MI egyszerűen nem látott elég sokszínű arcot ahhoz, hogy megbízhatóan felismerje őket.
⚠️ Hitelképességi modellek
A mesterséges intelligencia hitelbírálata olyan történelmi hitelezési adatokból tanult, amelyek évtizedek diszkriminatív hitelezési gyakorlatát tükrözték. A redlining. Ragadozó hitelek kisebbségi negyedekben. Az MI ezeket a mintázatokat „jó hitelezési döntésként” kódolta be, és tovább örökítette. Jogi diszkrimináció, automatizálva és felskálázva.
Minden egyes esetben az algoritmus helyesen működött. Megtanulta az adatok mintázatait. Az adatok torzítottak voltak. Így az MI is torzított lett. Szemét be, szemét ki. Diszkrimináció be, diszkrimináció ki.
Ez nem apró technikai probléma. Ez alapvető kihívás. Torz adatokból nem lehet tisztességes MI-t építeni. A jobb algoritmusok nem segítenek. Csak a jobb adatok segítenek. Változatosabbak. Reprezentatívabbak. Szándékosan torzításmentesítettek.
A legijesztőbb rész? A torzított MI objektívnek tűnik. „A számítógép mondta” hitelesebbnek tűnik, mint hogy „egy ember döntött”. De a számítógép torzított emberektől tanult, akik torzított döntéseket hoztak. Az MI mindössze automatizálja és felskálázza ezt a torzítást, tudományosnak és semlegesnek tüntetve fel azt, ami egyik sem. Az adatok torzítása az a pont, ahol az MI hasznos eszközből károkozó eszközzé válik.
Milyen kérdéseket tegyél fel bármely MI-rendszerrel kapcsolatban
Akár MI-t építesz, akár MI-t vásárolsz, akár csak a mindennapjaidban használod, ezeket a kérdéseket kell feltenned. A válaszok megmutatják, hogy megbízhatsz-e benne.
-
?
Honnan származnak a tanítóadatok?
A konkrét források számítanak. Nyilvános internetes adatok? Gondozott adatkészletek? Vállalati nyilvántartások? Mindegyiknek mások az elfogultságai és korlátai. Ha ezt nem árulják el, az hatalmas figyelmeztető jel.
-
?
Mekkora adatmennyiséget használtak? Hogyan címkézték fel?
A számok számítanak. Az „ezrek” és a „milliók” között óriási különbség van. Ki végezte a címkézést? Szakértők vagy alulfizetett, véletlenszerűen kiválasztott dolgozók? Hogyan ellenőrizték a minőséget? Ezek a részletek határozzák meg a megbízhatóságot.
-
?
Illenek a tanítóadatok az Ön felhasználási esetéhez?
Egy hivatalos üzleti dokumentumokon tanított MI nehezen boldogul a kötetlen szöveges üzenetekkel. Egy napsütéses kaliforniai fotókon tanított MI kudarcot vallhat az esős Seattle-ben. Az összhang számít. Az összhang hiánya kudarcot jelent.
-
?
Mely csoportok vannak képviselve az adatokban?
Minden korosztály? Minden nem? Minden etnikum? Minden nyelv? Vagy többnyire egyetlen demográfiai csoport? A kiegyensúlyozatlan adatok olyan rendszereket hoznak létre, amelyek egyeseknek kiválóan, másoknak viszont borzasztóan működnek.
-
?
Milyen ismert elfogultságok léteznek? Hogyan kezelték őket?
Minden adatkészlet tartalmaz elfogultságokat. A becsületes fejlesztők elismerik ezeket, és elmagyarázzák a kockázatcsökkentő intézkedéseket. Aki azt állítja, hogy nulla az elfogultság, az vagy hazudik, vagy veszélyesen tájékozatlan.
-
?
Milyen helyzetekben fog ez az MI rosszul teljesíteni?
Minden MI-nek megvannak a korlátai a tanítóadatai alapján. Mit nem látott? Mit nem tud kezelni? Ha erre nem tudnak válaszolni, akkor nem ismerik elég jól a saját rendszerüket ahhoz, hogy biztonságosan telepítsék.
Ha valaki, aki AI-t ad el önnek, nem tud válaszolni ezekre a kérdésekre, forduljon el. Vagy nem tudja (inkompetens), vagy nem mondja el (problémákat rejteget). Akárhogy is van, ne bízzon benne.
Az adatok jövője az AI-ban
Az adatkihívások nem tűnnek el. De a megközelítések fejlődnek. Íme, mi változik:
Szintetikus adatok
Mesterséges tanítási példák létrehozása szimulációval. Hasznos ritka forgatókönyvekhez, veszélyes helyzetekhez (például autóbalesetek az önvezető autók esetében) és adatvédelmi szempontból érzékeny területekhez. Nem helyettesíti a valós adatokat, de értékes kiegészítő, amely kitölti a hiányosságokat.
Adatbővítés
Meglévő példák változatainak létrehozása. Forgassa el a képeket, tükrözze őket, állítsa be a megvilágítást. Fogalmazza át a mondatokat. Adjon háttérzajt a hangfájlokhoz. Ez mesterségesen megsokszorozza az adatkészletet, növelve a változatosságot anélkül, hogy új példákat kellene gyűjteni a semmiből.
Kevesebb példából tanulás
Olyan technikák, amelyekkel kevesebb példából tanulhatunk azáltal, hogy átvisszük a tudást a korábbi feladatokból. Ahogyan ha már megtanultál több nyelvet, egy újabb könnyebben megy. Csökkenti az új feladatok adatigényét a meglévő tudás kihasználásával.
Adatvédelmet biztosító módszerek
Tanulás az adatokból anélkül, hogy közvetlenül látnánk azokat. Federált tanulás (a mesterséges intelligencia a telefonodon tanul anélkül, hogy adatokat küldene a szerverekre). Differenciált adatvédelem (gondos zaj hozzáadása, hogy az egyes rekordok ne legyenek azonosíthatók). Lehetővé teszi a tanulást érzékeny orvosi, pénzügyi és személyes adatokból.
Aktív tanulás
A mesterséges intelligencia csak azokhoz a példákhoz kér címkéket, amelyekben bizonytalan. Ahelyett, hogy egymillió véletlenszerű példát címkéznénk fel, címkézzük fel azt az ezer példát, amelyben a mesterséges intelligencia a leginkább összezavarodik. Az emberi erőfeszítést oda összpontosítja, ahol az a legfontosabb, drámaian csökkentve a címkézési költségeket.
Ezek a technikák segítenek, de nem szüntetik meg az alapvető igazságot: a minőségi adat pótolhatatlan. Csökkentheted, mennyire van szükséged belőle. Generálhatsz kiegészítéseket. Tanulhatsz hatékonyabban. De nem kerülheted el a szemét be, szemét ki elvét.
A lényeg (amit valójában tudnod kell)
Foglaljuk össze az adatokkal kapcsolatos alapvető igazságokat a mesterséges intelligenciában:
Az adat fontosabb, mint az algoritmusok. Mindig is az volt. Mindig is az lesz. A világ legkifinomultabb, legfejlettebb mesterséges intelligenciája, ha szemét adatokon tanították, szemét eredményeket produkál. Egy egyszerű mesterséges intelligencia, amelyet minőségi adatokon tanítottak, minőségi eredményeket produkál. Minden alkalommal. Kivétel nélkül.
A minőség felülmúlja a mennyiséget, de mindkettőre szükséged van. Jobb, ha 100 000 változatos, helyesen címkézett, reprezentatív példád van, mint 10 millió ismétlődő, rosszul címkézett, torz példa. De ideális esetben? Milliónyi kiváló minőségű, változatos példát szeretnél. Mind mennyiséget, mind minőséget.
A torzítás az adatokban torzítás az AI-ban. A történelmi megkülönböztetés algoritmikus megkülönböztetéssé válik. Az aránytalan reprezentáció megbízhatatlan teljesítményt eredményez az alulreprezentált csoportok számára. Az AI nem szűri ki a torzítást. Megtanulja, kódolja, felerősíti és szisztematikusan alkalmazza.
Az AI-munka nagy része adat-előkészítés, nem algoritmusépítés. 80% adatgyűjtés, tisztítás, címkézés, érvényesítés. 20% modellezés. Ez az arány mindent elárul. Az algoritmus a könnyű rész. Az adat a nehéz rész. És a fontos rész.
Minden AI-nak korlátot szabnak a tanítóadatai. Amit nem látott, azt nem tudja kezelni. Ahol az adat torz volt, ott torz lesz. Ahol az adat hiányos volt, ott kudarcot vall. Egyetlen AI sem lép túl a tanítóadatain. Az adat határozza meg a plafont.
Emlékszel az édesanyád receptes könyvére a cikk elejéről? A recept csak annyira jó, amennyire az élmények, amelyeken alapul. A szűk élmények szűk recepteket szülnek. A torz élmények torz recepteket szülnek. A rossz információk olyan recepteket szülnek, amelyek nem működnek.
Ugyanez igaz az AI-ra. A rendszer csak annyira jó, amennyire az adat, amiből tanult. A szűk adat szűk AI-t hoz létre. A torz adat torz AI-t hoz létre. A rossz adat olyan AI-t hoz létre, amely egyszerűen nem működik. A szemét be, szemét ki nem csak egy jól hangzó mondás. Ez az AI alaptörvénye. Ha jól csinálod az adatot, akkor még az egyszerű algoritmusok is hasznos mintákat tudnak tanulni. Ha rosszul csinálod az adatot, akkor semmilyen algoritmikus kifinomultság nem ment meg.
Most már tudod, miért minden az adat az AI-ban. És azt is, hogy aki ennek az ellenkezőjét mondja, az vagy eladni akar valamit, vagy nem érti, hogyan működik valójában ez a technológia.
A Dweve-nél őszinték vagyunk az adatkövetelményekkel kapcsolatban. A kényszeralapú rendszereinknek minőségi, reprezentatív példákra van szükségük az érvényes logikai kapcsolatok felfedezéséhez. Nincsenek rövidítések. Nincs varázslat. Csak őszinte mérnöki munka, amely elismer egy egyszerű igazságot: nem lehet megbízható AI-t építeni megbízhatatlan adatokból. Mert a szemét be valóban szemét ki, minden egyes alkalommal.