Datele în AI: de ce gunoiul la intrare înseamnă într-adevăr gunoi la ieșire
Cartea de rețete pe care mama ta nu a terminat-o niciodată
Imaginează-ți bucătăria mamei tale în 1990. E renumită în cartier pentru plăcinta ei cu mere. Toată lumea vrea rețeta. Așa că se hotărăște să o scrie.
Dar iată problema. În peste patruzeci de ani de copt, a făcut prăjitura aceea de sute de ori. Uneori folosea unt, alteori margarină (în funcție de ce era mai ieftin în săptămâna aceea). Uneori un măr, alteori altul, uneori obișnuit. Uneori cocea la 150 de grade, alteori la 250 (pentru că cuptorul era capricios). Uneori adăuga un ou în plus când erau mici.
Flexibilitatea experienței
Fiecare prăjitură ieșea delicioasă. Știa instinctiv cum să ajusteze. Puțin mai multă făină când e umed. Puțin mai puțin zahăr când mărul e deosebit de acru. Anii de experiență o făcuseră flexibilă.
Acum imaginează-ți că scrie rețeta bazându-se doar pe ultimele cinci dăți când a făcut-o. Toate vara. Toate cu margarină. Toate cu acel lot de mere extra-acre cumpărate la reducere. Toate cu cuptorul încins.
Dezastrul exemplelor înguste
Cineva urmează rețeta aceea iarna, cu unt, cu mere dulci, într-un cuptor normal. Dezastru. Uscată, sfărâmicioasă, mult prea dulce. Rețeta nu funcționează pentru că exemplele pe care s-a bazat nu reprezentau întreaga gamă de situații.
Exact așa învață AI din date. „Rețeta" (AI) e doar la fel de bună ca exemplele din care a învățat. Exemple înguste creează un AI îngust. Exemple părtinitoare creează un AI părtinitor. Exemple greșite creează un AI care pur și simplu nu funcționează.
Nu e vorba de tehnologie complicată. E vorba de un adevăr simplu: poți preda doar ceea ce arăți. Și dacă ceea ce arăți e incomplet, părtinitor sau pur și simplu greșit, exact asta se învață.
De ce nimeni nu vorbește despre partea plictisitoare (deși ar trebui)
Iată ce se întâmplă la fiecare conferință de AI, în fiecare articol tech, în fiecare discurs de marketing:
Ce primește toată atenția
Mult entuziasm în jurul algoritmilor. Matematica ingenioasă. Arhitecturile sofisticate. Rețele neuronale cu miliarde de parametri. Tehnici de antrenare cu nume impresionante. Strategii de optimizare care sună a magie.
Ce este ignorat
Aproape nimic despre date. De unde provin. Cum au fost colectate. Dacă sunt bune. Ce lipsește. Ce prejudecăți conțin.
De ce? Pentru că algoritmii sunt atrăgători. Datele sunt plictisitoare. Algoritmii sună deștepți și sofisticați. Datele sună a... birocrație. Dosare. Foi de calcul. Deloc interesant.
Dar iată adevărul incomod pe care orice cercetător onest în AI ți-l va spune în privat:
Adevărul incomod
Un algoritm genial antrenat pe date proaste produce rezultate proaste. Un algoritm mediocru antrenat pe date excelente produce rezultate excelente. De fiecare dată. Fără excepții.
Gândește-te ca atunci când înveți pentru un test
Algoritmul este ca un elev care învață pentru un test. Dă-i acelui elev manualul greșit și nu contează cât de deștept este sau cât de mult învață. Va pica testul pentru că a învățat din informații greșite. Dă-i unui elev obișnuit manualul potrivit, o mulțime de probleme de exersat și exemple bune? Se va descurca bine. Poate nu perfect, dar solid și util.
Așa arată realitatea inteligenței artificiale. Calitatea datelor contează mai mult decât sofisticarea algoritmului. Mult mai mult. Și totuși, aproape nimeni nu vrea să vorbească despre asta.
Imaginează-ți că înveți pe cineva să identifice ciupercile otrăvitoare folosind doar fotografii dintr-o singură pădure, făcute vara, toate în lumină puternică. S-ar putea să se descurce excelent în acea pădure exactă, vara, în zile însorite. Dar pune-l într-o altă pădure, toamna, într-o zi înnorată? Ghicește. Instruirea a fost prea limitată. Aceeași problemă cu inteligența artificială: datele limitate creează sisteme limitate și nesigure. Datele definesc limitele a ceea ce poate învăța IA.
Ce înseamnă de fapt „Învățarea din date"
Când cineva spune că „IA învață din date", ce înseamnă asta de fapt? Să folosim un exemplu pe care toată lumea îl poate înțelege.
Îți înveți nepotul să recunoască păsările
Imaginează-ți că îți înveți nepotul de zece ani să recunoască diferite tipuri de păsări. Îl duci în parc cu un ghid de păsări. De fiecare dată când vedeți o pasăre, o căutați împreună.
„Vezi aceea? Pene albastre, piept roșu, cam de mărimea asta. Este o pasăre albastră." Se uită atent. Observă culorile, mărimea, forma. Săptămâna următoare, altă pasăre. „Aia? Toată neagră, mai mare, sunet puternic de croncănit. Este o cioară." Observă. Își amintește.
Faci asta de cincizeci de ori. Păsări diferite. Situații diferite. Lumină diferită. Uneori zboară, alteori stau. După cincizeci de păsări, începe să ghicească corect. „Bunicule, este un măcăleandru?" Și are dreptate!
A învățat din exemple. O mulțime de exemple. Fiecare i-a arătat ceva despre tipare: ce face un măcăleandru să fie măcăleandru, ce face o cioară să fie cioară.
IA învață exact în același mod
Arată-i exemple. O mulțime. Pentru fiecare exemplu, spune-i răspunsul corect. „Acest e-mail este spam." „Această fotografie conține o pisică." „Această recenzie este pozitivă." IA caută tipare care leagă exemplele de răspunsuri.
Dar aici devine complicat. Ce se întâmplă dacă îi arăți nepotului tău doar păsări vara? Ar putea crede că măcăleandrii au întotdeauna pieptul roșu aprins (sunt mai șterși iarna). Ce se întâmplă dacă îi arăți doar păsările din curtea ta? S-ar putea să nu le recunoască pe aceleași păsări într-un alt mediu.
Învață tipare greșite
Ce se întâmplă dacă identifici din greșeală câteva păsări? „Asta e o vrabie”, când de fapt e o cinteză. El învață tiparul greșit. De acum înainte va identifica greșit cintezele pentru totdeauna, dacă nu îl corectează cineva.
Calitatea și varietatea exemplelor determină ce învață el. La fel și cu AI. Datele sunt lecția. Dacă lecția este incompletă, părtinitoare sau greșită, învățarea va fi incompletă, părtinitoare sau greșită.
De Câte Date Ai Nevoie, De Fapt?
Toți pun această întrebare. Răspunsul îi frustrează pe oameni: depinde.
Gândește-te la predarea abilităților în viața reală. De câte ori trebuie să exerseze cineva înainte să învețe?
Să înveți un copil să își lege șireturile
Poate douăzeci de sesiuni de practică. Este un tipar simplu, repetitiv. Aceiași pași de fiecare dată. Nu prea multă variație. Douăzeci de exemple sunt suficiente.
Să înveți pe cineva să conducă
Sute de ore. De ce? Pentru că a conduce implică o variație infinită. Străzi urbane, autostrăzi, ploaie, zăpadă, construcții, șoferi agresivi, pietoni, bicicliști, animale care traversează. Fiecare situație este ușor diferită. Ai nevoie de expunere la toate aceste variații pentru a deveni un șofer competent.
La fel este și cu AI. Sarcinile simple au nevoie de mai puține exemple. Sarcinile complexe au nevoie de cantități masive.
Recunoașterea simplă a tiparelor (este spam?)
Poate 10.000 de exemple. Spam-ul are tipare recognoscibile. După ce ai văzut suficiente exemple de „CUMPĂRĂ ACUM!!!” și „Ai câștigat un premiu!”, îți faci o idee.
Complexitate moderată (recunoașterea fețelor)
Zeci de mii până la sute de mii. Fețele variază enorm. Unghiuri diferite, iluminare, expresii, vârste. Ai nevoie de multă varietate pentru a surprinde toate acestea.
Complexitate ridicată (identificarea oricărui obiect din fotografii)
Milioane de imagini. Mii de tipuri de obiecte. Fiecare obiect în contexte, unghiuri și condiții de iluminare diferite. Mașini pe străzi, mașini în showroom-uri, mașini implicate în accidente. Copaci în păduri, copaci în curți, copaci în picturi. Varietatea imensă necesită o cantitate imensă de date.
Complexitate extremă (înțelegerea limbajului)
Miliarde de cuvinte. Limbajul are o varietate infinită. Fiecare subiect, fiecare stil, fiecare context. Rapoarte oficiale, conversații informale, poezie, instrucțiuni, glume, sarcasm. Pentru a face față tuturor acestora, ai nevoie de expunere la cantități uriașe de text.
Dar iată punctul esențial: cantitatea singură nu este suficientă. Mai bine ai avea 100.000 de exemple excelente, diverse și etichetate corect decât 10 milioane de exemple mediocre, repetitive și etichetate neglijent. Este ca atunci când înveți să gătești. Ai prefera să exersezi prepararea a 100 de feluri de mâncare diferite cu instrucțiuni bune sau să gătești aceeași pastă mediocră de 10.000 de ori cu indicații neclare? Varietatea și calitatea exersării contează mai mult decât numărul brut de repetiții.
Cele cinci ingrediente ale datelor de calitate
Ce face ca datele să fie bune sau proaste? Cinci factori-cheie. Să-i analizăm folosind exemple pe care oricine le poate înțelege.
-
1
Etichete corecte (obținerea răspunsurilor corecte)
Imaginează-ți că înveți un copil despre animale folosind o carte cu imagini etichetate greșit. „Acesta este un câine" lângă poza unei pisici. „Aceasta este o vacă" lângă un cal. Copilul învață complet greșit. Va identifica greșit animalele pentru totdeauna.
IA are aceeași problemă. Dacă o antrenezi să recunoască pisici, fiecare fotografie etichetată „pisică" trebuie să fie într-adevăr o pisică. Chiar și erorile de 5% cauzează probleme serioase. Erori de 10%? IA învață prostii. Nu poate distinge semnalul de zgomot atunci când răspunsurile nu sunt de încredere.
-
2
Reprezentativitate (potrivirea cu viața reală)
Nepotul tău a învățat să identifice păsările în curtea ta suburbană. Este foarte bun la recunoașterea cardinalilor, mierlelor, gaițelor albastre. Apoi îl duci la plajă. Pescăruși, pelicani, fugaci. Este pierdut. Nimic nu seamănă cu păsările din care a învățat.
Datele de antrenament trebuie să reprezinte locul în care IA va fi folosită efectiv. Antrenezi un sistem de recunoaștere facială pe fotografii de studio bine iluminate? Eșuează în lumina slabă a unui club de noapte. Antrenezi un asistent vocal pe vorbire clară și liniștită? Se chinuie cu accente și zgomot de fundal. Distribuția datelor trebuie să se potrivească cu distribuția din lumea reală.
-
3
Diversitate suficientă (acoperirea tuturor situațiilor)
Imaginează-ți că înveți să conduci, dar doar pe vreme perfectă, pe drumuri drepte și cu trafic redus. Ai fi un șofer groaznic oriunde altundeva. Curbe? Panică. Ploaie? Dezastru. Ora de vârf? Copleșit.
IA are nevoie de diversitate în datele de antrenament. Fotografii în soare puternic și umbră densă. Scrieri formale și texte casual. Voci tinere și voci bătrâne. Cazuri comune și cazuri limită rare. Fără diversitate, IA se supraadaptează. Memorează exemple specifice în loc să învețe modele generale. Arată-i doar golden retrieveri și se va chinui cu pudelii. Arată-i pisici în fiecare culoare, dimensiune și poziție și va recunoaște pisicile în mod fiabil.
-
4
Relevanță și actualitate (rămânerea la curent)
Imaginează-ți că înveți pe cineva moda anilor 1960 și te aștepți să identifice tendințele actuale. Pantaloni evazați, coafuri coc, cizme go-go. Apoi arată-i moda modernă. Este confuz. Totul s-a schimbat.
Datele îmbătrânesc. Limba evoluează („mișto" înseamnă acum ceva diferit față de anii 1960). Tactica spamului se schimbă (trucurile de ieri nu mai funcționează). Tendințele modei se schimbă. Tehnologia se actualizează. Dacă datele tale de antrenament sunt de acum cinci ani, modelele au evoluat. Datele actuale surprind modelele actuale.
-
5
Lipsa prejudecăților (reprezentare corectă)
Aceasta este cea mare. Cea periculoasă. Cea care cauzează daune reale în lumea reală. Vom aprofunda mult mai mult acest subiect în curând, pentru că prejudecățile din date nu sunt doar o problemă tehnică. Este o problemă umană cu consecințe serioase. Dacă datele tale reflectă discriminarea istorică, IA ta învață să discrimineze. Dacă datele tale suprareprezintă unele grupuri și subreprezintă altele, IA ta performează mai bine pentru unii oameni decât pentru alții. Gunoi la intrare, gunoi la ieșire. Prejudecată la intrare, prejudecată la ieșire.
Gândește-te la date ca la ingrediente pentru gătit. Poți avea un bucătar cu stele Michelin (un algoritm sofisticat), dar dacă îi dai legume stricate, pâine veche și lapte acru (date proaste), masa va fi necomestibilă. Între timp, un bucătar de acasă (un algoritm simplu) cu ingrediente proaspete și de calitate va pregăti ceva delicios. Ingredientele contează mai mult decât diplomele bucătarului. În AI, datele sunt ingredientele.
Realitatea fără farmec (unde se află de fapt munca)
Iată ce nu îți spune nimeni când îți vinde soluții AI sau ține cursuri de AI:
Cea mai mare parte a muncii nu înseamnă construirea AI-ului. Înseamnă pregătirea datelor.
Specialiștii în date petrec aproximativ 80% din timp pe pregătirea datelor. Doar 20% pe construirea și antrenarea efectivă a modelelor. Acest raport îți spune totul despre unde se află adevărata provocare.
Ce implică pregătirea datelor? Patru sarcini uriașe, plictisitoare și critice:
Colectarea datelor
Adunarea exemplelor relevante de oriunde există. Răzuirea site-urilor web, accesarea bazelor de date, înregistrarea senzorilor, agregarea mai multor surse. Consumă mult timp. Adesea costisitor. Frecvent frustrant când sursele nu cooperează sau datele nu există.
Curățarea datelor
Eliminarea duplicatelor. Corectarea erorilor. Gestionarea valorilor lipsă. Standardizarea formatelor. Filtrarea zgomotului. Ca și cum ai sorta zeci de ani de documente dintr-un dulap de arhivă dezordonat. Doar această etapă poate dura săptămâni sau luni pentru seturi de date mari.
Etichetarea datelor
Etichetarea manuală a exemplelor cu răspunsurile corecte. „Această imagine este o pisică.” „Această recenzie este pozitivă.” „Această tranzacție este frauduloasă.” Pentru milioane de exemple. Incredibil de plictisitor. Adesea externalizat către muncitori prost plătiți care greșesc din plictiseală și oboseală.
Validarea datelor
Verificarea faptului că etichetele sunt corecte. Că diversitatea este suficientă. Că prejudecățile sunt identificate și abordate. Că setul de date reflectă cu adevărat realitatea. Controlul calității pentru milioane de exemple. Epuizant, dar absolut esențial.
Nimic din toate acestea nu este spectaculos. Nimic nu face titluri de presă. Nimic nu impresionează pe nimeni la petreceri. Este muncă de jos. Dar de aici depinde succesul sau eșecul proiectelor de AI.
Algoritmul este relativ ușor. Există o mulțime de algoritmi buni. Cei mai mulți sunt publicați deschis. Îi poți descărca, folosi, modifica. Datele sunt grele. Colectarea lor, curățarea, etichetarea, validarea. Aici se depune efortul real. Aici rămân blocate cele mai multe proiecte. Asta separă AI-ul funcțional de promisiunile goale. Companiile cu date mai bune înving companiile cu algoritmi mai buni. De fiecare dată. Datele sunt șanțul de apărare. Avantajul apărabil. Adevăratul avantaj competitiv.
Problema prejudecăților (cel mai periculos defect al AI-ului)
Acum ajungem la partea cu adevărat inconfortabilă. Partea care provoacă daune reale oamenilor reali. Partea care transformă AI-ul din „ușor de nesigur” în „activ periculos”.
AI-ul nu doar învață modele din date. Le amplifică.
Dacă datele tale au prejudecăți (și aproape toate datele din lumea reală au), AI-ul nu le filtrează. Le învață. Le codifică. Le aplică sistematic. Le înrăutățește.
Permite-mi să explic cu o poveste pe care toată lumea o poate înțelege.
Învățarea din date istorice părtinitoare
Imaginează-ți că îți înveți nepotul despre cine este angajat la compania ta. Îi arăți dosare din ultimii douăzeci de ani de angajări. Departamentul de inginerie: în mare parte bărbați. Posturile de secretariat: în mare parte femei. Conducerea: în mare parte albi. Muncitorii: mai diversificați.
Nu îi spui niciodată explicit „bărbații ar trebui să fie ingineri” sau „femeile ar trebui să fie secretare”. Doar îi arăți datele istorice.
Acum el este responsabil de selecția noilor cereri de angajare. Ce face? A învățat tiparul din date. O femeie care aplică pentru inginerie? Pare neobișnuit, s-ar putea să nu fie potrivită. Un bărbat care aplică pentru postul de secretar? Nu se potrivește cu tiparul. El discriminează. Nu pentru că este o persoană rea. Ci pentru că a învățat din date istorice părtinitoare și a aplicat acele tipare ca și cum ar fi corecte.
Exact asta se întâmplă și cu inteligența artificială. Datele istorice reflectă discriminarea istorică. IA învață acea discriminare ca și cum ar fi un tipar valid de urmat. Apoi o aplică sistematic la milioane de decizii.
Exemple reale în care s-a întâmplat acest lucru:
⚠️ IA de recrutare a Amazon
Amazon a antrenat o IA pentru a selecta CV-uri folosind zece ani de date istorice de angajare. Datele arătau că angajaseră în mare parte bărbați pentru posturile tehnice. IA a învățat să deprecieze CV-urile femeilor. A detectat indicii precum „clubul de șah al femeilor” pe CV-uri și le-a penalizat. Amazon a fost nevoită să renunțe la sistem. Algoritmul funcționa perfect. Problema erau datele.
⚠️ Algoritmi din domeniul sănătății
Mai multe sisteme de IA din domeniul sănătății au prezentat părtinire rasială. Acordau prioritate pacienților albi în detrimentul pacienților de culoare cu simptome identice. De ce? Datele istorice din domeniul sănătății reflectau disparitățile istorice în îngrijire. Pacienții de culoare primeau, istoric, mai puțin tratament. IA a învățat acest tipar și l-a aplicat ca și cum îngrijirea redusă ar fi fost adecvată din punct de vedere medical, nu o dovadă de discriminare.
⚠️ Sisteme de recunoaștere facială
Cele mai multe seturi de date pentru recunoașterea facială suprareprezintă bărbații albi. IA are cele mai bune rezultate pe bărbații albi. Rezultate semnificativ mai slabe pe femei. Și mai slabe pe persoanele cu pielea mai închisă la culoare. Nu pentru că algoritmul este rasist, ci pentru că datele de antrenare au fost dezechilibrate. IA pur și simplu nu a văzut suficiente fețe diverse pentru a învăța să le recunoască în mod fiabil.
⚠️ Modele de scoring de credit
Scoringul de credit prin AI a învățat din date istorice de creditare care reflectau decenii de practici discriminatorii. Redlining. Credite predatorii în cartierele minoritare. AI a codificat aceste tipare drept „decizii bune de creditare" și le-a perpetuat. Discriminare legală, automatizată și la scară largă.
În fiecare caz, algoritmul a funcționat corect. A învățat tiparele din date. Datele erau părtinitoare. Așa că AI a devenit părtinitor. Gunoi la intrare, gunoi la ieșire. Discriminare la intrare, discriminare la ieșire.
Nu este o problemă tehnică minoră. Este o provocare fundamentală. Nu poți construi un AI corect din date incorecte. Algoritmi mai buni nu ajută. Doar date mai bune ajută. Mai diverse. Mai reprezentative. Dezbiasate în mod deliberat.
Partea cea mai înfricoșătoare? Un AI părtinitor pare obiectiv. „A spus calculatorul" pare mai legitim decât „a decis o persoană." Dar calculatorul a învățat de la oameni părtinitori care luau decizii părtinitoare. Tot ce face AI este să automatizeze și să amplifice această părtinire, făcând-o să pară științifică și neutră, când nu este nici una, nici alta. Părtinirea datelor este momentul în care AI trece de la un instrument util la un instrument de vătămare.
Ce întrebări să pui despre orice sistem AI
Indiferent dacă construiești AI, cumperi AI sau doar folosești AI în viața de zi cu zi, iată întrebările pe care ar trebui să le pui. Răspunsurile îți spun dacă poți avea încredere în el.
-
?
De unde provin datele de antrenament?
Sursele specifice contează. Date de pe internetul public? Seturi de date curate? Înregistrări ale companiei? Fiecare are prejudecăți și limitări diferite. Dacă nu vor să-ți spună, acesta este un semnal de alarmă uriaș.
-
?
Cât de multe date au fost folosite? Cum au fost etichetate?
Numerele contează. „Mii” față de „milioane” face o diferență. Cine le-a etichetat? Experți sau muncitori plătiți prost, aleși la întâmplare? Cum a fost controlată calitatea? Aceste detalii determină fiabilitatea.
-
?
Se potrivesc datele de antrenament cu cazul tău de utilizare?
Un AI antrenat pe documente de afaceri formale se va lupta cu mesajele text ocazionale. Unul antrenat pe fotografii însorite din California ar putea eșua în Seattle-ul ploios. Potrivirea contează. Nepotrivirea înseamnă eșecuri.
-
?
Ce grupuri sunt reprezentate în date?
Toate vârstele? Toate genurile? Toate etniile? Toate limbile? Sau în principal un singur grup demografic? Datele dezechilibrate creează sisteme care funcționează excelent pentru unii și teribil pentru alții.
-
?
Ce prejudecăți cunoscute există? Cum au fost abordate?
Fiecare set de date are prejudecăți. Dezvoltatorii onești le recunosc și explică eforturile de atenuare. Oricine pretinde zero prejudecăți fie minte, fie este periculos de inconștient.
-
?
În ce situații va gestiona prost acest AI?
Fiecare AI are limite bazate pe datele sale de antrenament. Ce nu a văzut? Ce nu poate gestiona? Dacă nu pot răspunde la asta, nu își înțeleg suficient de bine propriul sistem pentru a-l implementa în siguranță.
Dacă cineva care îți vinde AI nu poate răspunde la aceste întrebări, pleacă. Ori nu știe (incompetent), ori nu vrea să-ți spună (ascunde probleme). În orice caz, nu te încrede.
Viitorul datelor în AI
Provocările legate de date nu dispar. Dar abordările evoluează. Iată ce se schimbă:
Date sintetice
Crearea de exemple artificiale de antrenament prin simulare. Utile pentru scenarii rare, situații periculoase (cum ar fi accidentele auto pentru mașinile autonome) și domenii sensibile la confidențialitate. Nu înlocuiesc datele reale, dar sunt un supliment valoros care completează golurile.
Augmentarea datelor
Crearea de variații ale exemplelor existente. Rotirea imaginilor, răsturnarea lor, ajustarea luminii. Reformularea propozițiilor. Adăugarea de zgomot de fundal la audio. Înmulțește artificial setul de date, crescând diversitatea fără a colecta exemple noi de la zero.
Învățare cu puține exemple
Tehnici de a învăța din mai puține exemple prin transferul cunoștințelor din sarcinile anterioare. Asemenea modului în care, după ce ai învățat mai multe limbi, învățarea uneia noi devine mai ușoară. Reduce cerințele de date pentru sarcinile noi prin valorificarea cunoștințelor existente.
Metode care protejează confidențialitatea
Învățarea din date fără a le vedea efectiv direct. Învățare federată (IA se antrenează pe telefonul tău fără a trimite date către servere). Confidențialitate diferențială (adăugarea de zgomot atent calculat, astfel încât înregistrările individuale să nu poată fi identificate). Permite învățarea din date medicale, financiare și personale sensibile.
Învățare activă
IA solicită etichete doar pentru exemplele de care nu este sigură. În loc să etichetezi un milion de exemple aleatorii, etichetezi cele o mie de exemple în care IA este cea mai confuză. Concentrează efortul uman acolo unde contează cel mai mult, reducând dramatic costurile de etichetare.
Aceste tehnici ajută, dar nu elimină adevărul fundamental: datele de calitate sunt de neînlocuit. Poți reduce cât de multe date îți trebuie. Poți genera suplimente. Poți învăța mai eficient. Dar nu poți scăpa de ecuația gunoi la intrare, gunoi la ieșire.
Concluzia (Ce trebuie să știi cu adevărat)
Haide să rezumăm cu adevărurile esențiale despre date în IA:
Datele contează mai mult decât algoritmii. Au contat mereu. Vor conta mereu. Cea mai sofisticată IA din lume, antrenată pe date proaste, produce rezultate proaste. O IA simplă, antrenată pe date de calitate, produce rezultate de calitate. De fiecare dată. Fără excepții.
Calitatea întrece cantitatea, dar ai nevoie de amândouă. Mai bine să ai 100.000 de exemple diverse, etichetate corect și reprezentative decât 10 milioane de exemple repetitive, etichetate greșit și părtinitoare. Dar, ideal? Vrei milioane de exemple de calitate, diverse. Atât cantitate, cât și calitate.
Prejudecățile din date devin prejudecăți în AI. Discriminarea istorică devine discriminare algoritmică. Reprezentarea dezechilibrată devine performanță nesigură pentru grupurile subreprezentate. AI-ul nu filtrează prejudecățile. Le învață, le codifică, le amplifică și le aplică sistematic.
Cea mai mare parte a muncii în AI este pregătirea datelor, nu construirea algoritmilor. 80% colectare, curățare, etichetare și validare a datelor. 20% modelare. Acest raport îți spune totul. Algoritmul este partea ușoară. Datele sunt partea grea. Și partea importantă.
Fiecare AI are limite definite de datele sale de antrenament. Ceea ce nu a văzut, nu poate gestiona. Acolo unde datele au fost părtinitoare, va fi părtinitor. Acolo unde datele au fost incomplete, va eșua. Niciun AI nu depășește datele sale de antrenament. Datele definesc plafonul.
Îți amintești cartea de rețete a mamei tale de la începutul acestui articol? Rețeta este la fel de bună precum experiențele pe care s-a bazat. Experiențele limitate creează rețete limitate. Experiențele părtinitoare creează rețete părtinitoare. Informațiile greșite creează rețete care nu funcționează.
La fel și cu AI-ul. Sistemul este la fel de bun precum datele din care a învățat. Datele limitate creează un AI limitat. Datele părtinitoare creează un AI părtinitor. Datele proaste creează un AI care pur și simplu nu funcționează. „Garbage in, garbage out" nu este doar o vorbă prinzătoare. Este legea fundamentală a AI-ului. Dacă datele sunt corecte, chiar și algoritmii simpli pot învăța modele utile. Dacă datele sunt greșite, nicio sofisticare algoritmică nu te poate salva.
Acum știi de ce datele sunt totul în AI. Și de ce oricine îți spune altceva fie încearcă să-ți vândă ceva, fie nu înțelege cum funcționează cu adevărat această tehnologie.
La Dweve, suntem transparenți în privința cerințelor legate de date. Sistemele noastre bazate pe constrângeri au nevoie de exemple de calitate și reprezentative pentru a descoperi relații logice valide. Fără scurtături. Fără magie. Doar inginerie onestă care recunoaște un adevăr simplu: nu poți construi un AI fiabil din date nesigure. Pentru că „garbage in" chiar înseamnă „garbage out", de fiecare dată.