Podaci u umjetnoj inteligenciji: zašto smeće unutra doista znači smeće van
Kuharica koju tvoja majka nikad nije dovršila
Zamisli majčinu kuhinju 1990. godine. Poznata je u susjedstvu po svojoj piti od jabuka. Svi žele recept. Zato odluči da će ga zapisati.
Ali tu je problem. Tijekom više od četrdeset godina pečenja, tu je pitu napravila stotine puta. Ponekad je koristila maslac, ponekad margarin (ovisno o tome što je taj tjedan bilo jeftinije). Ponekad ovu jabuku, pa onu jabuku, ponekad običnu. Ponekad je pekla na 150 stupnjeva, ponekad na 250 (jer je pećnica bila hirovita). Ponekad je dodala dodatno jaje kad su bila mala.
Fleksibilnost iskustva
Svaka je pita ispala ukusna. Instinktivno je znala kako se prilagoditi. Malo više brašna kad je vlažno. Malo manje šećera kad je jabuka posebno kisela. Godine iskustva učinile su je fleksibilnom.
Sada zamisli da zapiše recept na temelju samo zadnjih pet puta kad ga je napravila. Sve ljeti. Sve s margarinom. Sve s onom serijom ekstra kiselih jabuka koje je kupila na sniženju. Sve s pećnicom koja je radila na jakoj temperaturi.
Katastrofa uskih primjera
Netko slijedi taj recept zimi, s maslacem, sa slatkim jabukama, u normalnoj pećnici. Katastrofa. Suho, mrvičasto, previše slatko. Recept ne funkcionira jer primjeri na kojima se temelji nisu predstavljali cijeli raspon situacija.
Upravo tako AI uči iz podataka. "Recept" (AI) dobar je onoliko koliko su dobri primjeri iz kojih je učio. Uski primjeri stvaraju uski AI. Pristrani primjeri stvaraju pristrani AI. Pogrešni primjeri stvaraju AI koji jednostavno ne radi.
Ovdje se ne radi o kompliciranoj tehnologiji. Radi se o jednostavnoj istini: možeš naučiti samo ono što pokažeš. A ako je ono što pokažeš nepotpuno, pristrano ili jednostavno pogrešno, upravo se to i nauči.
Zašto nitko ne govori o dosadnom dijelu (a trebao bi)
Evo što se događa na svakoj konferenciji o umjetnoj inteligenciji, u svakom tehnološkom članku, u svakom marketinškom nastupu:
Što dobiva svu pozornost
Puno uzbuđenja oko algoritama. Genijalna matematika. Otmjene arhitekture. Neuronske mreže s milijardama parametara. Tehnike treniranja s impresivnim nazivima. Strategije optimizacije koje zvuče poput magije.
Što se zanemaruje
Gotovo ništa o podacima. Odakle potječu. Kako su prikupljeni. Jesu li uopće dobri. Što nedostaje. Koje pristranosti sadrže.
Zašto? Zato što su algoritmi privlačni. Podaci su dosadni. Algoritmi zvuče pametno i sofisticirano. Podaci zvuče kao... papirologija. Registratori. Proračunske tablice. Nimalo uzbudljivo.
Ali evo neugodne istine koju će vam svaki pošteni istraživač umjetne inteligencije reći nasamo:
Neugodna istina
Sjajan algoritam treniran na lošim podacima daje loše rezultate. Prosječan algoritam treniran na izvrsnim podacima daje izvrsne rezultate. Svaki put. Bez iznimke.
Zamislite to kao učenje za ispit
Algoritam je poput učenika koji se sprema za ispit. Dajte tom učeniku pogrešan udžbenik i nije važno koliko je pametan ili koliko se trudi. Past će na ispitu jer je učio iz pogrešnih informacija. Dajte prosječnom učeniku pravi udžbenik, puno zadataka za vježbu i dobre primjere? Proći će dobro. Možda ne savršeno, ali će biti solidno koristan.
To je stvarnost umjetne inteligencije. Kvaliteta podataka važnija je od sofisticiranosti algoritma. Puno važnija. A ipak, gotovo nitko ne želi o tome razgovarati.
Zamislite da nekoga učite prepoznavati otrovne gljive koristeći samo fotografije iz jedne šume, snimljene ljeti, sve na jakom suncu. Mogli bi biti odlični u toj točno određenoj šumi, ljeti, po sunčanim danima. Ali stavite ih u drugu šumu u jesen po oblačnom danu? Pogađat će. Obuka je bila preuska. Isti problem ima umjetna inteligencija: uski podaci stvaraju uske i nepouzdane sustave. Podaci definiraju granice onoga što umjetna inteligencija uopće može naučiti.
Što "učenje iz podataka" zapravo znači
Kad netko kaže "umjetna inteligencija uči iz podataka", što to zapravo znači? Poslužimo se primjerom koji svatko može razumjeti.
Učite unuka prepoznavati ptice
Zamislite da učite svog desetogodišnjeg unuka prepoznavati različite vrste ptica. Povedete ga u park s priručnikom za prepoznavanje ptica. Svaki put kad vidite pticu, zajedno je potražite u knjizi.
"Vidiš onu? Plavo perje, crvena prsa, otprilike ove veličine. To je plavić." On je pažljivo pogleda. Upije boje, veličinu, oblik. Sljedeći tjedan, druga ptica. "Ona? Potpuno crna, veća, glasan grakćući zvuk. To je vrana." On promatra. Pamti.
To ponovite pedeset puta. Različite ptice. Različite situacije. Različito osvjetljenje. Ponekad lete, ponekad sjede. Nakon pedeset ptica, počinje pogađati točno. "Djede, je li ovo crvendać?" I u pravu je!
Naučio je iz primjera. Puno primjera. Svaki ga je naučio nešto o obrascima: što čini crvendaća crvendaćem, što čini vranu vranom.
Umjetna inteligencija uči na potpuno isti način
Pokažite joj primjere. Puno njih. Za svaki primjer recite joj točan odgovor. "Ova e-pošta je neželjena." "Ova fotografija sadrži mačku." "Ova recenzija je pozitivna." Umjetna inteligencija traži obrasce koji povezuju primjere s odgovorima.
Ali ovdje postaje nezgodno. Što se dogodi ako unuku pokažete samo ptice ljeti? Mogao bi pomisliti da crvendaći uvijek imaju jarko crvena prsa (zimi su tamnija). Što ako mu pokažete samo ptice u vašem dvorištu? Možda neće prepoznati te iste ptice u drugačijem okruženju.
Učenje pogrešnih obrazaca
Što ako slučajno pogrešno prepoznaš nekoliko ptica? Kažeš "to je vrabac", a zapravo je zeba. Nauči pogrešan obrazac. I od tada će zebe pogrešno prepoznavati zauvijek, osim ako ga netko ne ispravi.
Kvaliteta i raznolikost primjera određuju ono što nauči. Isto vrijedi i za umjetnu inteligenciju. Podaci su lekcija. Ako je lekcija nepotpuna, pristrana ili pogrešna, učenje će biti nepotpuno, pristrano ili pogrešno.
Koliko Ti Podataka Zapravo Treba?
Svi postavljaju ovo pitanje. Odgovor ljude frustrira: ovisi.
Razmisli o podučavanju vještina u stvarnom životu. Koliko puta netko treba vježbati prije nego što nauči?
Učenje djeteta vezanju cipela
Možda dvadeset treninga. To je jednostavan, ponavljajući obrazac. Isti koraci svaki put. Bez puno varijacija. Dvadeset primjera je dovoljno.
Učenje nekoga da vozi
Stotine sati. Zašto? Zato što vožnja uključuje beskonačne varijacije. Gradske ulice, autoceste, kiša, snijeg, radovi na cesti, agresivni vozači, pješaci, biciklisti, životinje koje prelaze cestu. Svaka je situacija malo drugačija. Treba ti izloženost svim tim varijacijama da postaneš kompetentan vozač.
Umjetna inteligencija je ista. Jednostavni zadaci zahtijevaju manje primjera. Složeni zadaci zahtijevaju ogromne količine.
Jednostavno prepoznavanje obrazaca (je li ovo spam?)
Možda 10.000 primjera. Spam ima prepoznatljive obrasce. Nakon što vidiš dovoljno primjera "KUPI ODMAH!!!" i "Osvojili ste nagradu!", shvatiš poantu.
Umjerena složenost (prepoznavanje lica)
Desetci tisuća do stotine tisuća. Lica se izrazito razlikuju. Različiti kutovi, osvjetljenje, izrazi, dobi. Treba ti puno raznolikosti da sve to obuhvatiš.
Visoka složenost (prepoznavanje bilo kojeg objekta na fotografijama)
Milijuni slika. Tisuće vrsta objekata. Svaki objekt u različitim kontekstima, kutovima i osvjetljenjima. Automobili na ulicama, automobili u salonima, automobili u nesrećama. Drveće u šumama, drveće u dvorištima, drveće na slikama. Ogromna raznolikost zahtijeva ogromne količine podataka.
Ekstremna složenost (razumijevanje jezika)
Milijarde riječi. Jezik ima beskonačnu raznolikost. Svaka tema, svaki stil, svaki kontekst. Službena izvješća, ležerni razgovori, poezija, upute, šale, sarkazam. Da biste sve to obradili, potrebna vam je izloženost ogromnim količinama teksta.
Ali evo ključne stvari: sama količina nije dovoljna. Radije biste imali 100.000 izvrsnih, raznolikih i ispravno označenih primjera nego 10 milijuna prosječnih, ponavljajućih i nemarno označenih primjera. To je kao učenje kuhanja. Biste li radije vježbali pripremajući 100 različitih jela uz dobre upute ili radije 10.000 puta radili istu prosječnu tjesteninu uz nejasne upute? Raznolikost i kvaliteta vježbe važniji su od pukog broja ponavljanja.
Pet sastojaka kvalitetnih podataka
Što podatke čini dobrima ili lošima? Pet ključnih čimbenika. Razmotrimo ih na primjerima koje svatko može razumjeti.
-
1
Točne oznake (Dobivanje točnih odgovora)
Zamislite da dijete učite o životinjama koristeći slikovnicu s pogrešnim oznakama. "Ovo je pas" uz fotografiju mačke. "Ovo je krava" uz konja. Dijete nauči potpuno pogrešno. Zauvijek će krivo prepoznavati životinje.
AI ima isti problem. Ako ga trenirate da prepoznaje mačke, svaka fotografija označena kao "mačka" mora doista biti mačka. Čak i pogreške od 5% uzrokuju ozbiljne probleme. Pogreške od 10%? AI uči smeće. Ne može razlikovati signal od šuma kada su odgovori nepouzdani.
-
2
Reprezentativnost (Podudaranje sa stvarnim životom)
Vaš je unuk naučio prepoznavati ptice u vašem prigradskom dvorištu. Odličan je u prepoznavanju kardinala, crvendaća, plavih šojki. Zatim ga odvedete na plažu. Galebi, pelikani, prudnici. Izgubljen je. Ništa ne liči na ptice koje je naučio.
Podaci za treniranje moraju predstavljati okruženje u kojem će se AI doista koristiti. Trenirate sustav za prepoznavanje lica na dobro osvijetljenim studijskim fotografijama? Ne uspijeva pri slabom osvjetljenju u noćnom klubu. Trenirate glasovnog asistenta na jasnom, tihom govoru? Muči se s naglascima i pozadinskom bukom. Raspodjela podataka mora odgovarati raspodjeli u stvarnom svijetu.
-
3
Dostatna raznolikost (Pokrivanje svih situacija)
Zamislite da učite voziti, ali samo po savršenom vremenu, na ravnim cestama i uz slab promet. Bili biste užasan vozač bilo gdje drugdje. Zavoji? Panika. Kiša? Katastrofa. Špic? Preplavljeni ste.
AI treba raznolikost u podacima za treniranje. Fotografije na jakom suncu i u dubokoj sjeni. Formalno pisanje i ležerni tekst. Mladi i stari glasovi. Uobičajeni slučajevi i rijetki rubni slučajevi. Bez raznolikosti, AI se pretrenira. Pamti konkretne primjere umjesto da uči općenite obrasce. Pokažite mu samo zlatne retrivere i muči se s pudlicama. Pokažite mu mačke u svim bojama, veličinama i položajima i pouzdano prepoznaje mačke.
-
4
Relevantnost i ažurnost (Ostanite u toku)
Zamislite da nekoga učite modu iz 1960-ih i očekujete da prepozna aktualne trendove. Zvonaste hlače, frizure u obliku košnice, go-go čizme. Zatim mu pokažete modernu modu. Zbunjen je. Sve se promijenilo.
Podaci stare. Jezik evoluira ("cool" danas znači nešto drugo nego 1960-ih). Taktike neželjene pošte se mijenjaju (jučerašnji trikovi prestaju djelovati). Modni trendovi se pomiču. Tehnologija se ažurira. Ako su vaši podaci za treniranje stari pet godina, obrasci su se već pomaknuli. Aktualni podaci bilježe aktualne obrasce.
-
5
Sloboda od pristranosti (Poštena zastupljenost)
Ovo je najvažnije. Ono opasno. Ono što uzrokuje stvarnu štetu u stvarnom svijetu. U to ćemo se vrlo brzo dublje upustiti, jer pristranost u podacima nije samo tehnički problem. To je ljudski problem s ozbiljnim posljedicama. Ako vaši podaci odražavaju povijesnu diskriminaciju, vaš AI uči diskriminirati. Ako vaši podaci pretjerano zastupaju neke skupine, a premalo druge, vaš AI radi bolje za neke ljude nego za druge. Smeće unutra, smeće van. Pristranost unutra, pristranost van.
Zamislite podatke kao sastojke za kuhanje. Možete imati kuhara s Michelin zvjezdicom (sofisticirani algoritam), ali ako mu date trulo povrće, bajat kruh i pokvareno mlijeko (loši podaci), jelo će biti nejestivo. U međuvremenu, domaćica (jednostavni algoritam) sa svježim, kvalitetnim sastojcima napravit će nešto ukusno. Sastojci su važniji od kuharskih kvalifikacija. U umjetnoj inteligenciji, podaci su sastojci.
Neglamurozna stvarnost (gdje je posao zapravo)
Evo što vam nitko ne govori kada prodaje AI rješenja ili podučava tečajeve o umjetnoj inteligenciji:
Većina posla nije izgradnja umjetne inteligencije. To je priprema podataka.
Znanstvenici za podatke provode otprilike 80% svog vremena na pripremu podataka. Samo 20% na stvarnu izgradnju i obuku modela. Taj omjer govori vam sve o tome gdje je pravi izazov.
Što uključuje priprema podataka? Četiri ogromna, zamorna, ključna posla:
Prikupljanje podataka
Prikupljanje relevantnih primjera odakle god postoje. Struganje web stranica, pristupanje bazama podataka, snimanje senzora, objedinjavanje više izvora. Dugotrajno. Često skupo. Često frustrirajuće kada izvori ne surađuju ili podaci ne postoje.
Čišćenje podataka
Uklanjanje duplikata. Ispravljanje pogrešaka. Rješavanje nedostajućih vrijednosti. Standardizacija formata. Filtriranje šuma. Kao da sredite desetljeća papira u neurednom ormaru za spise. Samo to može potrajati tjednima ili mjesecima za velike skupove podataka.
Označavanje podataka
Ručno označavanje primjera točnim odgovorima. "Ova slika prikazuje mačku." "Ova je recenzija pozitivna." "Ova je transakcija prijevarna." Za milijune primjera. Nevjerojatno zamorno. Često se prepušta slabo plaćenim radnicima koji griješe zbog dosade i umora.
Validacija podataka
Provjera jesu li oznake točne. Je li raznolikost dovoljna. Jesu li pristranosti prepoznate i riješene. Predstavlja li skup podataka doista stvarnost. Kontrola kvalitete za milijune primjera. Iscrpno, ali prijeko potrebno.
Ništa od ovoga nije glamurozno. Ništa od ovoga ne dospijeva u naslove. Ništa od ovoga ne impresionira ljude na zabavama. To je težački posao. Ali upravo tu projekti umjetne inteligencije uspijevaju ili propadaju.
Algoritam je relativno jednostavan. Postoji mnogo dobrih algoritama. Većina je javno objavljena. Možete ih preuzeti, koristiti i mijenjati. Podaci su teški. Prikupljanje, čišćenje, označavanje i validacija. Tu odlazi pravi trud. Tu većina projekata zapne. To razlikuje radnu umjetnu inteligenciju od praznog obećanja. Tvrtke s boljim podacima pobjeđuju tvrtke s boljim algoritmima. Uvijek. Podaci su jarak. Obranjiva prednost. Prava konkurentska prednost.
Problem pristranosti (najopasnija mana umjetne inteligencije)
Sada dolazimo do doista neugodnog dijela. Dijela koji nanosi stvarnu štetu stvarnim ljudima. Dijela koji umjetnu inteligenciju pretvara iz "blago nepouzdane" u "aktivno opasne".
Umjetna inteligencija ne uči samo obrasce iz podataka. Ona ih pojačava.
Ako vaši podaci sadrže pristranosti (a gotovo svi stvarni podaci ih sadrže), umjetna inteligencija ih ne filtrira. Ona ih uči. Kodira. Primjenjuje sustavno. Čini ih gorima.
Dopustite mi da objasnim pričom koju svatko može razumjeti.
Učenje iz pristranih povijesnih podataka
Zamislite da svom unuku objašnjavate kako se zapošljava u vašoj tvrtki. Pokažete mu spise o zapošljavanju iz posljednjih dvadeset godina. U inženjerskom odjelu: uglavnom muškarci. Na tajničkim pozicijama: uglavnom žene. U menadžmentu: uglavnom bijelci. U proizvodnji: raznolikije.
Nikada mu izričito ne kažete "muškarci bi trebali biti inženjeri" ili "žene bi trebale biti tajnice". Samo mu pokažete povijesne podatke.
Sada je on zadužen za pregled novih prijava. Što on radi? Naučio je obrazac iz podataka. Kandidat za inženjera koji je žena? Čini se neobično, možda nije dobar izbor. Muškarac koji se prijavljuje za tajnika? Ne odgovara obrascu. On diskriminira. Ne zato što je loša osoba. Zato što je naučio iz pristranih povijesnih podataka i primijenio te obrasce kao da su točni.
Upravo to se događa s umjetnom inteligencijom. Povijesni podaci odražavaju povijesnu diskriminaciju. Umjetna inteligencija tu diskriminaciju uči kao da je valjan obrazac kojeg se treba pridržavati. Zatim je sustavno primjenjuje na milijune odluka.
Stvarni primjeri toga:
⚠️ Amazonova umjetna inteligencija za zapošljavanje
Amazon je obučio umjetnu inteligenciju za pregled životopisa koristeći deset godina povijesnih podataka o zapošljavanju. Podaci su pokazali da su za tehničke pozicije uglavnom zapošljavali muškarce. Umjetna inteligencija naučila je vrednovati životopise žena niže. Uočavala je znakove poput "šahovskog kluba za žene" u životopisima i kažnjavala ih. Amazon je morao ukinuti sustav. Algoritam je radio savršeno. Problem su bili podaci.
⚠️ Algoritmi u zdravstvu
Brojni zdravstveni sustavi umjetne inteligencije pokazali su rasnu pristranost. Davali bi prednost bijelim pacijentima nad crnim pacijentima s identičnim simptomima. Zašto? Povijesni zdravstveni podaci odražavali su povijesne nejednakosti u skrbi. Crni pacijenti su u prošlosti primali manje liječenja. Umjetna inteligencija naučila je taj obrazac i primijenila ga kao da je manja skrb medicinski opravdana, a ne dokaz diskriminacije.
⚠️ Sustavi za prepoznavanje lica
Većina skupova podataka za prepoznavanje lica sadrži nesrazmjerno mnogo bijelih muškaraca. Umjetna inteligencija najbolje radi na bijelim muškarcima. Znatno lošije na ženama. Još lošije na osobama tamnije puti. Ne zato što je algoritam rasistički, već zato što su podaci za obuku bili neuravnoteženi. Umjetna inteligencija doslovno nije vidjela dovoljno raznolikih lica da bi naučila pouzdano ih prepoznavati.
⚠️ Modeli kreditnog bodovanja
AI kreditno bodovanje naučilo je iz povijesnih podataka o kreditiranju koji su odražavali desetljeća diskriminirajuće prakse. Redlining. Pljačkaški zajmovi u četvrtima manjina. AI je te obrasce kodirao kao "dobre odluke o kreditiranju" i nastavio ih provoditi. Legalna diskriminacija, automatizirana i skalirana.
U svakom pojedinom slučaju algoritam je radio ispravno. Naučio je obrasce u podacima. Podaci su bili pristrani. Zato je AI postao pristran. Smeće unutra, smeće van. Diskriminacija unutra, diskriminacija van.
Ovo nije manji tehnički problem. To je temeljni izazov. Ne možete izgraditi pošten AI od nepoštenih podataka. Bolji algoritmi ne pomažu. Pomažu samo bolji podaci. Raznovrsniji. Reprezentativniji. Namjerno oslobođeni pristranosti.
Najstrašniji dio? Pristran AI djeluje objektivno. "Računalo je reklo" zvuči legitimnije od "čovjek je odlučio." Ali računalo je naučilo od pristranih ljudi koji su donosili pristrane odluke. Sve što AI radi jest automatizirati i skalirati tu pristranost, čineći je znanstvenom i neutralnom iako nije ni jedno ni drugo. Pristranost podataka mjesto je gdje AI od korisnog alata postaje instrument štete.
Koja pitanja postaviti o bilo kojem AI sustavu
Bilo da gradite AI, kupujete AI ili ga samo koristite u svakodnevnom životu, evo pitanja koja biste trebali postaviti. Odgovori vam govore možete li mu vjerovati.
-
?
Odakle potječu podaci za obuku?
Konkretni izvori su važni. Javni podaci s interneta? Pažljivo odabrani skupovi podataka? Korporativni zapisi? Svaki od njih nosi različite pristranosti i ograničenja. Ako vam to ne žele reći, to je veliki znak upozorenja.
-
?
Koliko je podataka korišteno? Kako su označeni?
Brojke su važne. Razlika između "tisuća" i "milijuna" je velika. Tko ih je označio? Stručnjaci ili nasumični slabo plaćeni radnici? Kako je kontrolirana kvaliteta? Ti detalji određuju pouzdanost.
-
?
Odgovaraju li podaci za obuku vašoj namjeni?
AI obučen na formalnim poslovnim dokumentima teško će se nositi s ležernim tekstnim porukama. Onaj obučen na sunčanim fotografijama Kalifornije mogao bi zakazati u kišovitom Seattleu. Podudarnost je bitna. Nepodudarnost znači pogreške.
-
?
Koje su skupine zastupljene u podacima?
Sve dobi? Svi spolovi? Sve etničke skupine? Svi jezici? Ili uglavnom jedna demografska skupina? Neuravnoteženi podaci stvaraju sustave koji odlično rade za neke ljude, a loše za druge.
-
?
Koje su poznate pristranosti? Kako su riješene?
Svaki skup podataka ima pristranosti. Pošteni programeri ih priznaju i objašnjavaju mjere za ublažavanje. Svatko tko tvrdi da pristranosti nema, ili laže ili je opasno nesvjestan.
-
?
U kojim će situacijama ovaj AI loše raditi?
Svaki AI ima ograničenja temeljena na podacima za obuku. Što nije vidio? S čime se ne može nositi? Ako ne znaju odgovoriti na to, ne razumiju vlastiti sustav dovoljno dobro da ga sigurno uvedu u upotrebu.
Ako vam netko tko prodaje umjetnu inteligenciju ne može odgovoriti na ova pitanja, okrenite se i otiđite. Ili ne zna (nesposoban je) ili vam ne želi reći (skriva probleme). U svakom slučaju, ne vjerujte mu.
Budućnost podataka u umjetnoj inteligenciji
Izazovi s podacima neće nestati. No pristupi se razvijaju. Evo što se mijenja:
Sintetički podaci
Stvaranje umjetnih primjera za obuku simulacijom. Korisno za rijetke scenarije, opasne situacije (poput automobilskih nesreća za samovozeće automobile) i područja osjetljiva na privatnost. Nisu zamjena za stvarne podatke, već vrijedan dodatak koji popunjava praznine.
Proširivanje podataka
Stvaranje varijacija postojećih primjera. Rotirajte slike, preokrenite ih, prilagodite osvjetljenje. Preformulirajte rečenice. Dodajte pozadinsku buku audiozapisu. Umjetno povećava skup podataka, povećavajući raznolikost bez prikupljanja novih primjera od nule.
Učenje iz malog broja primjera
Tehnike učenja iz manjeg broja primjera prijenosom znanja s prethodnih zadataka. Poput toga kako, kad jednom naučite nekoliko jezika, učenje novog postaje lakše. Smanjuje potrebu za podacima kod novih zadataka iskorištavanjem postojećeg znanja.
Metode koje čuvaju privatnost
Učenje iz podataka bez izravnog uvida u njih. Federativno učenje (AI se trenira na vašem telefonu bez slanja podataka na poslužitelje). Diferencijalna privatnost (dodavanje pažljivog šuma tako da se pojedinačni zapisi ne mogu identificirati). Omogućuje učenje iz osjetljivih medicinskih, financijskih i osobnih podataka.
Aktivno učenje
AI traži oznake samo za primjere oko kojih nije siguran. Umjesto označavanja milijun nasumičnih primjera, označite tisuću primjera u kojima je AI najviše zbunjen. Usmjerava ljudski trud tamo gdje je najpotrebniji, dramatično smanjujući troškove označavanja.
Ove tehnike pomažu, ali ne uklanjaju temeljnu istinu: kvalitetni podaci su nezamjenjivi. Možete smanjiti ono što vam treba. Možete generirati dopune. Možete učiti učinkovitije. Ali ne možete pobjeći od jednadžbe smeće unutra, smeće van.
Zaključak (Što stvarno trebate znati)
Da rezimiramo s ključnim istinama o podacima u AI-ju:
Podaci su važniji od algoritama. Uvijek su bili. Uvijek će biti. Najotmjeniji, najsofisticiraniji AI na svijetu, treniran na lošim podacima, daje loše rezultate. Jednostavan AI treniran na kvalitetnim podacima daje kvalitetne rezultate. Svaki put. Bez iznimke.
Kvaliteta je važnija od količine, ali trebate oboje. Bolje je imati 100.000 raznolikih, ispravno označenih, reprezentativnih primjera nego 10 milijuna ponavljajućih, pogrešno označenih, pristranih primjera. Ali idealno? Želite milijune visokokvalitetnih, raznolikih primjera. I količinu i kvalitetu.
Pristranost u podacima postaje pristranost u umjetnoj inteligenciji. Povijesna diskriminacija postaje algoritamska diskriminacija. Neuravnotežena zastupljenost postaje nepouzdana izvedba za nedovoljno zastupljene skupine. Umjetna inteligencija ne filtrira pristranost. Ona je uči, kodira, pojačava i sustavno primjenjuje.
Većina posla s umjetnom inteligencijom je priprema podataka, a ne izgradnja algoritama. 80% prikupljanje, čišćenje, označavanje i validacija podataka. 20% modeliranje. Taj omjer govori sve. Algoritam je lagani dio. Podaci su teški dio. I važan dio.
Svaka umjetna inteligencija ima ograničenja definirana svojim podacima za obuku. Ono što nije vidjela, ne može obraditi. Gdje su podaci bili pristrani, bit će pristrana. Gdje su podaci bili nepotpuni, neće uspjeti. Nijedna umjetna inteligencija ne nadilazi svoje podatke za obuku. Podaci definiraju strop.
Sjećate se mamine kuharice s početka ovog članka? Recept je dobar koliko i iskustva na kojima se temelji. Uska iskustva stvaraju uske recepte. Pristrana iskustva stvaraju pristrane recepte. Pogrešne informacije stvaraju recepte koji ne funkcioniraju.
Isto je i s umjetnom inteligencijom. Sustav je dobar koliko i podaci iz kojih je učio. Uski podaci stvaraju usku umjetnu inteligenciju. Pristrani podaci stvaraju pristranu umjetnu inteligenciju. Loši podaci stvaraju umjetnu inteligenciju koja jednostavno ne radi. Smeće unutra, smeće van nije samo zgodna izreka. To je temeljni zakon umjetne inteligencije. Ako su podaci ispravni, čak i jednostavni algoritmi mogu naučiti korisne obrasce. Ako su podaci pogrešni, nikakva algoritamska sofisticiranost vas ne može spasiti.
Sada znate zašto su podaci sve u umjetnoj inteligenciji. I zašto svatko tko vam govori drugačije ili nešto prodaje ili ne razumije kako ova tehnologija zapravo funkcionira.
U Dweveu smo transparentni u pogledu zahtjeva za podacima. Naši sustavi temeljeni na ograničenjima trebaju kvalitetne, reprezentativne primjere kako bi otkrili valjane logičke odnose. Bez prečaca. Bez magije. Samo pošteno inženjerstvo koje priznaje jednostavnu istinu: ne možete izgraditi pouzdanu umjetnu inteligenciju od nepouzdanih podataka. Jer smeće unutra doista znači smeće van, svaki put.