Podatki v umetni inteligenci: zakaj smetana noter res

AI je le tako dober kot podatki, iz katerih se uči. Tukaj je razlog, zakaj je kakovost podatkov pomembnejša od prefinjenosti algoritmov, in kako prepoznati...

Podatki v umetni inteligenci: zakaj smetana noter res pomeni smetana ven

Kuharska knjiga, ki je tvoja mama nikoli ni dokončala

Predstavljaj si mamino kuhinjo leta 1990. V soseski je znana po svoji jabolčni piti. Vsi si želijo recepta. Zato se odloči, da ga bo zapisala.

Toda tu je težava. V več kot štiridesetih letih peke je to pito naredila na stotine krat. Včasih je uporabila maslo, včasih margarino (odvisno, kaj je bilo tisti teden ceneje). Včasih to jabolko, pa ono jabolko, včasih navadno. Včasih je pekla na 150 stopinjah, včasih na 250 (ker je bila pečica muhasta). Včasih je dodala dodatno jajce, ko so bila majhna.

Prilagodljivost izkušenj

Vsaka posamezna pita je bila odlična. Instinktivno je vedela, kako prilagoditi. Malo več moke, ko je vlažno. Malo manj sladkorja, ko je jabolko še posebej kislo. Dolgoletne izkušnje so jo naredile prilagodljivo.

Zdaj pa si predstavljaj, da recept zapiše samo na podlagi zadnjih petih priprav. Vse poleti. Vse z margarino. Vse s tisto serijo zelo kislih jabolk, ki jih je kupila na razprodaji. Vse s pečico, ki je bila prevroča.

Poguba ozkih primerov

Nekdo sledi temu receptu pozimi, z maslom, s sladkimi jabolki, v običajni pečici. Poguba. Suha, drobljiva, preveč sladka. Recept ne deluje, ker primeri, na katerih je temeljil, niso zajeli celotnega razpona situacij.

Prav tako se umetna inteligenca uči iz podatkov. »Recept« (umetna inteligenca) je samo tako dober kot primeri, iz katerih se je učil. Ozki primeri ustvarijo ozko umetno inteligenco. Pristranski primeri ustvarijo pristransko umetno inteligenco. Napačni primeri ustvarijo umetno inteligenco, ki preprosto ne deluje.

To ne govori o zapleteni tehnologiji. Gre za preprosto resnico: naučiš lahko samo tistega, kar pokažeš. In če je tisto, kar pokažeš, nepopolno, pristransko ali preprosto napačno, se natanko to tudi nauči.

Recept ne deluje, ker pet poletnih primerov ne more nadomestiti štiridesetih let kuhinjskih različic.

Zakaj nihče ne govori o dolgočasnem delu (pa bi moral)

To se dogaja na vsaki konferenci o umetni inteligenci, v vsakem tehničnem članku, v vsaki marketinški predstavitvi:

Kaj dobi vso pozornost

Veliko navdušenja nad algoritmi. Duhovita matematika. Fancy arhitekture. Nevronske mreže z milijardami parametrov. Tehnike učenja z impresivnimi imeni. Optimizacijske strategije, ki zvenijo kot čarovnija.

Kaj je spregledano

Skoraj nič o podatkih. Od kod prihajajo. Kako so bili zbrani. Ali so sploh dobri. Kaj manjka. Kakšne pristranskosti vsebujejo.

Zakaj? Ker so algoritmi seksi. Podatki so dolgočasni. Algoritmi zvenijo pametno in prefinjeno. Podatki zvenijo kot... papirologija. Pisarniške omare. Preglednice. Sploh ni vznemirljivo.

Ampak tukaj je neprijetna resnica, ki vam jo bo vsak pošten raziskovalec umetne inteligence povedal na štiri oči:

Neprijetna resnica

Briljanten algoritem, naučen na slabih podatkih, daje slabe rezultate. Povprečen algoritem, naučen na odličnih podatkih, daje odlične rezultate. Vsakič. Brez izjem.

Predstavljajte si, da se učite za izpit

Algoritem je kot učenec, ki se uči za izpit. Če temu učencu daste napačen učbenik, ni pomembno, kako pameten je ali kako pridno se uči. Na izpitu bo padel, ker se je učil iz napačnih informacij. Povprečnemu učencu pa dajte pravi učbenik, veliko vaj in dobre primere? Odlično mu bo šlo. Morda ne popolno, a trdno uporabno.

To je resničnost umetne inteligence. Kakovost podatkov je pomembnejša od prefinjenosti algoritma. Veliko pomembnejša. In vendar o tem skoraj nihče ne želi govoriti.

Predstavljajte si, da nekoga učite prepoznavati strupene gobe samo s fotografijami iz enega gozda, posnetimi poleti, vse v močni sončni svetlobi. V tistem točno določenem gozdu, poleti, na sončen dan bi mu šlo odlično. A ga postavite v drug gozd, jeseni, na oblačen dan? Ugiba. Učenje je bilo preozko. Enak problem je z umetno inteligenco: ozki podatki ustvarijo ozke, nezanesljive sisteme. Podatki določajo meje tega, kar se umetna inteligenca sploh lahko nauči.

Kaj »učenje iz podatkov« dejansko pomeni

Ko nekdo reče, da se »umetna inteligenca uči iz podatkov«, kaj to v resnici pomeni? Uporabimo primer, ki ga razume vsak.

Učite svojega vnuka prepoznavati ptice

Predstavljajte si, da svojega desetletnega vnuka učite prepoznavati različne vrste ptic. Peljete ga v park s priročnikom o pticah. Vsakič, ko vidita ptico, jo skupaj poiščeta v knjigi.

»Vidiš tisto? Modro perje, rdeče prsi, približno tako velika. To je modra ptica.« Pozorno si jo ogleda. Zazna barve, velikost, obliko. Naslednji teden spet kakšna ptica. »Tista? Povsem črna, večja, glasen krakajoč glas. To je vrana.« Opazuje. Si zapomni.

To ponovita petdesetkrat. Različne ptice. Različne situacije. Različna svetloba. Včasih letijo, včasih sedijo. Po petdesetih pticah začne pravilno ugibati. »Dedek, je to taščica?« In ima prav!

Učil se je iz primerov. Veliko primerov. Vsak ga je naučil nekaj o vzorcih: kaj dela taščico taščico, kaj dela vrano vrano.

Umetna inteligenca se uči na popolnoma enak način

Pokažite ji primere. Veliko primerov. Za vsak primer ji povejte pravilen odgovor. »To e-poštno sporočilo je neželena pošta.« »Ta fotografija vsebuje mačko.« »Ta ocena je pozitivna.« Umetna inteligenca išče vzorce, ki povezujejo primere z odgovori.

A tu postane zapleteno. Kaj se zgodi, če svojemu vnuku pokažete samo ptice poleti? Morda bo mislil, da imajo taščice vedno živo rdeče prsi (pozimi so bolj motne). Kaj pa, če mu pokažete samo ptice na vašem dvorišču? Morda teh istih ptic ne bo prepoznal v drugačnem okolju.

Učenje napačnih vzorcev

Kaj pa, če pomotoma napačno prepoznaš nekaj ptic? "To je vrabec", čeprav je v resnici ščinkovec. Nauči se napačnega vzorca. Zdaj bo ščinkavce napačno prepoznaval za vedno, če ga kdo ne popravi.

Kakovost in raznolikost primerov določata, kaj se nauči. Enako je z umetno inteligenco. Podatki so lekcija. Če je lekcija nepopolna, pristranska ali napačna, bo učenje nepopolno, pristransko ali napačno.

Koliko podatkov dejansko potrebujete?

To vprašanje zastavi vsak. Odgovor ljudi razočara: odvisno je.

Pomislite na učenje veščin v resničnem življenju. Kolikokrat mora nekdo vaditi, preden se nauči?

Učenje otroka zavezovanja čevljev

Morda dvajset vaj. Gre za preprost, ponovljiv vzorec. Vsakič enaki koraki. Ni veliko različic. Dvajset primerov je dovolj.

Učenje nekoga vožnje

Na stotine ur. Zakaj? Ker vožnja vključuje neskončno različic. Mestne ulice, avtoceste, dež, sneg, gradbišča, agresivni vozniki, pešci, kolesarji, živali, ki prečkajo cesto. Vsaka situacija je nekoliko drugačna. Potrebuješ izpostavljenost vsem tem različicam, da postaneš kompetenten voznik.

Umetna inteligenca je enaka. Preproste naloge potrebujejo manj primerov. Zapletene naloge potrebujejo ogromne količine.

Preprosto prepoznavanje vzorcev (je to vsiljena pošta?)

Morda 10.000 primerov. Vsiljena pošta ima prepoznavne vzorce. Ko enkrat vidiš dovolj primerov "KUPI ZDAJ!!!" in "Zadeli ste nagrado!", dobiš predstavo.

Zmerna zapletenost (prepoznavanje obrazov)

Na desettisoče do več sto tisoč. Obrazi se izjemno razlikujejo. Različní koti, osvetlitev, izrazi, starosti. Potrebuješ veliko raznolikosti, da zajameš vse to.

Visoka zahtevnost (prepoznavanje poljubnega predmeta na fotografijah)

Milijoni slik. Na tisoče vrst predmetov. Vsak predmet v različnih okoliščinah, pod različnimi koti in osvetlitvami. Avtomobili na ulicah, avtomobili v razstavnih salonih, avtomobili po nesrečah. Drevesa v gozdovih, drevesa na dvoriščih, drevesa na slikah. Ogromna raznolikost zahteva ogromno podatkov.

Skrajna zahtevnost (razumevanje jezika)

Milijarde besed. Jezik ima neskončno raznolikost. Vsaka tema, vsak slog, vsak kontekst. Uradna poročila, sproščeni pogovori, poezija, navodila, šale, sarkazem. Da bi obvladali vse to, potrebujete izpostavljenost ogromnim količinam besedila.

Toda tu je ključna stvar: sama količina ni dovolj. Raje imejte 100.000 odličnih, raznolikih in pravilno označenih primerov kot 10 milijonov povprečnih, ponavljajočih se in površno označenih primerov. To je kot učenje kuhanja. Bi raje vadili pripravo 100 različnih jedi z dobrimi navodili ali 10.000-krat pripravljali isto povprečno testenino z nejasnimi navodili? Raznolikost in kakovost vaje sta pomembnejši od samega števila ponovitev.

Pet sestavin kakovostnih podatkov

Kaj naredi podatke dobre ali slabe? Pet ključnih dejavnikov. Razčlenimo jih s primeri, ki jih lahko razume vsak.

1 Natančne oznake (pravilni odgovori)
Predstavljajte si, da otroka učite o živalih s knjigo z napačnimi oznakami. Ob fotografiji mačke piše "To je pes". Ob fotografiji konja piše "To je krava". Otrok se nauči povsem narobe. Živali bo napačno prepoznaval vse življenje.

UI ima enak problem. Če jo učite prepoznavati mačke, mora biti vsaka fotografija z oznako "mačka" resnično mačka. Že 5 % napak povzroči resne težave. 10 % napak? UI se nauči smeti. Ne more ločiti signala od šuma, če so odgovori nezanesljivi.
2 Reprezentativnost (ujemanje z resničnim življenjem)
Vaš vnuk se je naučil prepoznavati ptice na vašem dvorišču v predmestju. Odlično prepozna kardinale, taščice in šoje. Potem ga peljete na plažo. Galebi, pelikani, deževniki. Izgubljen je. Nič ni podobno pticam, ki se jih je naučil.

Učni podatki morajo predstavljati okolje, kjer bo UI dejansko uporabljena. Usposabljate sistem za prepoznavanje obrazov na dobro osvetljenih studijskih fotografijah? V zatemnjeni nočni klubski razsvetljavi odpove. Usposabljate glasovnega asistenta na jasnem, tihem govoru? Težave ima z naglasi in hrupom v ozadju. Porazdelitev podatkov se mora ujemati s porazdelitvijo v resničnem svetu.
3 Zadostna raznolikost (pokrivanje vseh situacij)
Predstavljajte si, da se učite voziti, vendar samo v popolnem vremenu, na ravnih cestah in v lahkem prometu. Povsod drugje bi bili grozen voznik. Ovinki? Panika. Dež? Katastrofa. Prometna konica? Preobremenjeni.

UI potrebuje raznolikost učnih podatkov. Fotografije na močnem soncu in v globoki senci. Formalno pisanje in sproščeno besedilo. Mladi in stari glasovi. Običajni primeri in redki robni primeri. Brez raznolikosti se UI preveč prilagodi podatkom. Zapomni si posamezne primere, namesto da bi se naučila splošnih vzorcev. Če ji pokažete samo zlate prinašalce, ima težave s pudlji. Če ji pokažete mačke v vseh barvah, velikostih in položajih, mačke zanesljivo prepoznava.
4 Ustreznost in aktualnost (sledenje času)
Predstavljajte si, da nekoga učite modo iz šestdesetih let in od njega pričakujete, da bo prepoznal sodobne trende. Hlače z razširjenimi hlačnicami, pričeske beehive, škornji go-go. Potem mu pokažete sodobno modo. Zmeden je. Vse se je spremenilo.

Podatki se starajo. Jezik se razvija ("cool" danes pomeni nekaj drugega kot leta 1960). Taktike neželene pošte se spreminjajo (včerajšnji triki ne delujejo več). Modni trendi se premikajo. Tehnologija se posodablja. Če so vaši učni podatki stari pet let, so se vzorci že premaknili. Aktualni podatki zajamejo aktualne vzorce.
5 Brez pristranskosti (poštena zastopanost)
To je najpomembnejše. Nevarno. Tisto, kar v resničnem svetu povzroča resnično škodo. O tem bomo kmalu govorili veliko podrobneje, saj pristranskost v podatkih ni le tehnični problem. Je človeški problem z resnimi posledicami. Če vaši podatki odražajo zgodovinsko diskriminacijo, se UI nauči diskriminirati. Če vaši podatki nekatere skupine pretirano zastopajo, druge pa premalo, UI za nekatere ljudi deluje bolje kot za druge. Smeti noter, smeti ven. Pristranskost noter, pristranskost ven.

Predstavljajte si podatke kot sestavine za kuhanje. Lahko imate kuharskega mojstra z Michelinovo zvezdico (sofisticiran algoritem), a če mu daste gnilo zelenjavo, star kruh in pokvarjeno mleko (slabi podatki), bo jed neužitna. Po drugi strani bo domači kuhar (preprost algoritem) s svežimi, kakovostnimi sestavinami pripravil nekaj okusnega. Sestavine so pomembnejše od kuharjevih referenc. Pri umetni inteligenci so podatki sestavine.

Dobri učni podatki morajo hkrati vključevati pravilne oznake, pokritost iz resničnega sveta, raznolikost, čistost in aktualnost.

Nevpadljiva resničnost (kjer je pravo delo)

Tukaj je tisto, česar vam nihče ne pove, ko vam prodaja rešitve za umetno inteligenco ali poučuje tečaje o umetni inteligenci:

Večina dela ni izgradnja umetne inteligence. Je priprava podatkov.

Znanstveniki za podatke porabijo približno 80 % svojega časa za pripravo podatkov. Samo 20 % za dejansko izgradnjo in treniranje modelov. To razmerje vam pove vse o tem, kje je pravi izziv.

Kaj vključuje priprava podatkov? Štiri velika, dolgočasna in ključna opravila:

Zbiranje podatkov

Zbiranje ustreznih primerov, kjer koli že obstajajo. Stranjevanje spletnih strani, dostopanje do baz podatkov, beleženje senzorjev, združevanje več virov. Zamudno. Pogosto drago. Pogosto frustrirajoče, ko viri ne sodelujejo ali podatki ne obstajajo.

Čiščenje podatkov

Odstranjevanje dvojnikov. Popravljanje napak. Obdelava manjkajočih vrednosti. Poenotenje formatov. Filtriranje šuma. Kot bi se prebijali skozi desetletja papirjev v razmetani pisarniški omari. Samo to lahko pri velikih naborih podatkov traja tedne ali mesece.

Označevanje podatkov

Ročno označevanje primerov s pravilnimi odgovori. »Ta slika je mačka.« »Ta ocena je pozitivna.« »Ta transakcija je goljufiva.« Za milijone primerov. Neverjetno dolgočasno. Pogosto oddano slabo plačanim delavcem, ki zaradi dolgčasa in utrujenosti delajo napake.

Preverjanje podatkov

Preverjanje, ali so oznake pravilne. Ali je raznolikost zadostna. Ali so pristranskosti prepoznane in obravnavane. Ali nabor podatkov resnično odraža realnost. Nadzor kakovosti za milijone primerov. Izčrpavajoče, a povsem ključno.

Nič od tega ni glamurozno. Nič od tega ne prihaja na naslovnice. Nič od tega ne naredi vtisa na ljudi na zabavah. To je garanje. A prav tu projekti umetne inteligence uspejo ali propadejo.

Algoritem je razmeroma enostaven. Dobrih algoritmov je veliko. Večina je javno objavljenih. Lahko jih prenesete, uporabite, spremenite. Težki so podatki. Zbiranje, čiščenje, označevanje, preverjanje. Tu gre pravi trud. Tu se večina projektov zatakne. To ločuje delujočo umetno inteligenco od praznih obljub. Podjetja z boljšimi podatki premagajo podjetja z boljšimi algoritmi. Vedno. Podatki so jarek. Obrambna prednost. Prava konkurenčna prednost.

Problem pristranskosti (najnevarnejša pomanjkljivost umetne inteligence)

Zdaj pridemo do resnično neprijetnega dela. Dela, ki povzroča dejansko škodo resničnim ljudem. Dela, ki umetno inteligenco spremeni iz »rahlo nezanesljive« v »aktivno nevarno«.

Umetna inteligenca se iz podatkov ne le uči vzorcev. Te tudi okrepi.

Če imajo vaši podatki pristranskosti (in skoraj vsi podatki iz resničnega sveta jih imajo), jih umetna inteligenca ne izloči. Nauči se jih. Zakodira jih. Uporablja jih sistematično. Poslabša jih.

Naj razložim z zgodbo, ki jo lahko razume vsak.

Učenje iz pristranskih zgodovinskih podatkov

Predstavljajte si, da svojega vnuka učite, kdo se zaposli v vašem podjetju. Pokažete mu dokumentacijo o zaposlitvah iz zadnjih dvajsetih let. Tehnični oddelek: večinoma moški. Tajniška delovna mesta: večinoma ženske. Vodstvo: večinoma belci. Delavci: bolj raznoliki.

Nikoli mu izrecno ne rečete, da bi morali biti inženirji moški ali da bi morale biti tajnice ženske. Samo pokažete mu zgodovinske podatke.

Zdaj je on zadolžen za pregledovanje novih prijav. Kaj naredi? Iz podatkov se je naučil vzorec. Prijaviteljica za tehnično delovno mesto? To se zdi nenavadno, morda ni primerna. Moški, ki se prijavi za tajnika? Ne ustreza vzorcu. Diskriminira. Ne zato, ker bi bil slab človek. Zato, ker se je učil iz pristranskih zgodovinskih podatkov in te vzorce uporabil, kot da so pravilni.

Točno to se zgodi z umetno inteligenco. Zgodovinski podatki odražajo zgodovinsko diskriminacijo. Umetna inteligenca se te diskriminacije nauči, kot da je veljaven vzorec, ki ga je treba upoštevati. Nato ga sistematično uporablja pri milijonih odločitev.

Resnični primeri tega:

⚠️ Amazonov sistem umetne inteligence za zaposlovanje

Amazon je usposobil umetno inteligenco za pregledovanje življenjepisov z uporabo desetih let zgodovinskih podatkov o zaposlovanju. Podatki so pokazali, da so za tehnična delovna mesta večinoma zaposlovali moške. Umetna inteligenca se je naučila slabše ocenjevati življenjepise žensk. Opazila je namige, kot je ženski šahovski klub v življenjepisih, in jih kaznovala. Amazon je moral sistem opustiti. Algoritem je deloval popolno. Težava so bili podatki.

⚠️ Algoritmi v zdravstvu

Številni sistemi umetne inteligence v zdravstvu so pokazali rasno pristranskost. Belim pacientom so dajali prednost pred temnopoltimi z enakimi simptomi. Zakaj? Zgodovinski zdravstveni podatki so odražali zgodovinske razlike v oskrbi. Temnopolti pacienti so v preteklosti prejemali manj zdravljenja. Umetna inteligenca se je tega vzorca naučila in ga uporabila, kot da je manj oskrbe medicinsko ustrezno, ne pa kot dokaz diskriminacije.

⚠️ Sistemi za prepoznavanje obrazov

Večina naborov podatkov za prepoznavanje obrazov vsebuje preveč belih moških. Umetna inteligenca najbolje deluje pri belih moških. Precej slabše pri ženskah. Še slabše pri ljudeh s temnejšo poltjo. Ne zato, ker bi bil algoritem rasističen, ampak zato, ker so bili podatki za usposabljanje neuravnoteženi. Umetna inteligenca dobesedno ni videla dovolj raznolikih obrazov, da bi se jih naučila zanesljivo prepoznavati.

⚠️ Modeli kreditnega ocenjevanja

Ocenjevanje kreditne sposobnosti z umetno inteligenco se je učilo iz zgodovinskih podatkov o posojilih, ki so odražali desetletja diskriminatornih praks pri dajanju posojil. Redlining. Plenilska posojila v manjšinskih soseskah. UI je te vzorce kodirala kot »dobre posojilne odločitve« in jih ohranjala. Pravna diskriminacija, avtomatizirana in povečana.

V vsakem posameznem primeru je algoritem deloval pravilno. Naučil se je vzorcev v podatkih. Podatki so bili pristranski. Zato je postala pristranska tudi UI. Noter smet, ven smet. Noter diskriminacija, ven diskriminacija.

To ni manjša tehnična težava. To je temeljni izziv. Iz nepoštenih podatkov ne morete zgraditi poštene UI. Boljši algoritmi ne pomagajo. Pomagajo samo boljši podatki. Bolj raznoliki. Bolj reprezentativni. Namerno razpristranjeni.

Najbolj strašljivi del? Pristranska UI se zdi objektivna. »Rekel je računalnik« se zdi bolj legitimno kot »odločil se je človek.« Toda računalnik se je učil od pristranskih ljudi, ki so sprejemali pristranske odločitve. Vse, kar UI počne, je, da to pristranskost avtomatizira in poveča ter jo prikaže kot znanstveno in nevtralno, čeprav ni ne eno ne drugo. Pristranskost podatkov je točka, kjer UI preide iz uporabnega orodja v instrument škode.

Zgodovinska pristranskost postane avtomatizirana škoda, ko model obravnava staro diskriminacijo kot vzorec, ki ga je vredno ponavljati.

Katera vprašanja si zastaviti o katerem koli sistemu UI

Ne glede na to, ali UI gradite, jo kupujete ali jo samo uporabljate v vsakdanjem življenju, so tukaj vprašanja, ki si jih morate zastaviti. Odgovori vam povedo, ali ji lahko zaupate.

? Od kod izvirajo podatki za usposabljanje?
Pomembno je, kateri viri so uporabljeni. Javni podatki z interneta? Skrbno pripravljeni nabori podatkov? Podatki podjetja? Vsak vir ima svoje pristranskosti in omejitve. Če vam tega ne povedo, je to velik opozorilni znak.
? Koliko podatkov je bilo uporabljenih? Kako so bili označeni?
Številke so pomembne. Razlika med "tisoči" in "milijoni" je velika. Kdo jih je označil? Strokovnjaki ali naključni slabo plačani delavci? Kako je bila zagotovljena kakovost? Ti podatki določajo zanesljivost.
? Ali podatki za usposabljanje ustrezajo vašemu primeru uporabe?
Umetna inteligenca, usposobljena na uradnih poslovnih dokumentih, bo imela težave s sproščenimi besedilnimi sporočili. Tista, usposobljena na sončnih fotografijah Kalifornije, lahko odpove v deževnem Seattlu. Ujemanje je pomembno. Neujemanje pomeni napake.
? Katere skupine so zastopane v podatkih?
Vse starosti? Vsi spoli? Vse etnične skupine? Vsi jeziki? Ali večinoma ena demografska skupina? Neuravnoteženi podatki ustvarjajo sisteme, ki pri nekaterih delujejo odlično, pri drugih pa zelo slabo.
? Katere znane pristranskosti obstajajo? Kako so jih obravnavali?
Vsak nabor podatkov ima pristranskosti. Pošteni razvijalci jih priznajo in pojasnijo prizadevanja za njihovo ublažitev. Kdor trdi, da pristranskosti ni, bodisi laže bodisi se nevarno ne zaveda.
? Katere situacije bo ta umetna inteligenca slabo obravnavala?
Vsaka umetna inteligenca ima omejitve, ki izhajajo iz njenih podatkov za usposabljanje. Česa ni videla? Česa ne zmore? Če na to ne znajo odgovoriti, sistema ne poznajo dovolj dobro, da bi ga varno uvedli.

Če vam nekdo, ki prodaja umetno inteligenco, ne zna odgovoriti na ta vprašanja, se obrnite stran. Ali ne ve (nesposoben) ali vam ne želi povedati (prikriva težave). V vsakem primeru mu ne zaupajte.

Zaupanja vreden ponudnik umetne inteligence zna odgovoriti na konkretna vprašanja o virih, oznakah, ustreznosti, zastopanosti, pristranskosti in omejitvah.

Prihodnost podatkov v umetni inteligenci

Izzivi s podatki ne bodo izginili. Toda pristopi se razvijajo. Takole se stvari spreminjajo:

Sintetični podatki

Ustvarjanje umetnih učnih primerov s simulacijo. Uporabno za redke scenarije, nevarne situacije (na primer prometne nesreče za samovozeče avtomobile) in področja, občutljiva na zasebnost. Ni nadomestilo za resnične podatke, je pa dragocen dodatek, ki zapolnjuje vrzeli.

Razširitev podatkov

Ustvarjanje različic obstoječih primerov. Zavrtite slike, jih obrnite, prilagodite osvetlitev. Preoblikujte povedi. Dodajte ozadni šum zvoku. Umetno pomnoži vaš nabor podatkov in poveča raznolikost brez zbiranja novih primerov iz nič.

Učenje z malo primeri

Tehnike za učenje iz manj primerov s prenosom znanja iz prejšnjih nalog. Tako kot ko se naučiš več jezikov, se nov jezik naučiš lažje. Zmanjša potrebe po podatkih za nove naloge z uporabo obstoječega znanja.

Metode za ohranjanje zasebnosti

Učenje iz podatkov, ne da bi jih dejansko videli neposredno. Zvezno učenje (AI se uri na vašem telefonu, ne da bi pošiljal podatke na strežnike). Diferencialna zasebnost (dodajanje skrbnega šuma, da posameznih zapisov ni mogoče prepoznati). Omogoča učenje iz občutljivih medicinskih, finančnih in osebnih podatkov.

Aktivno učenje

AI zahteva oznake samo za primere, pri katerih ni prepričan. Namesto označevanja milijona naključnih primerov označite tisoč primerov, pri katerih je AI najbolj zmeden. Osredotoča človeški trud tam, kjer je najbolj pomemben, in dramatično zmanjša stroške označevanja.

Te tehnike pomagajo, vendar ne odpravijo temeljne resnice: kakovostni podatki so nenadomestljivi. Lahko zmanjšate, koliko jih potrebujete. Lahko ustvarite dodatke. Lahko se učite učinkoviteje. Toda enačbe smeti noter, smeti ven ne morete zaobiti.

Bistvo (Kar morate res vedeti)

Povzemimo bistvene resnice o podatkih v AI:

Podatki so pomembnejši od algoritmov. Vedno so bili. Vedno bodo. Najbolj dodelan in najnaprednejši AI na svetu, urjen na slabih podatkih, daje slabe rezultate. Preprost AI, urjen na kakovostnih podatkih, daje kakovostne rezultate. Vsakič. Brez izjem.

Kakovost premaga količino, a potrebujete oboje. Bolje je imeti 100.000 raznolikih, pravilno označenih in reprezentativnih primerov kot 10 milijonov ponavljajočih se, napačno označenih in pristranskih primerov. Toda idealno? Želite milijone kakovostnih in raznolikih primerov. Tako količino kot kakovost.

Pristranskost v podatkih postane pristranskost v umetni inteligenci. Zgodovinska diskriminacija postane algoritemska diskriminacija. Neuravnotežena zastopanost postane nezanesljiva zmogljivost za premalo zastopane skupine. Umetna inteligenca ne filtrira pristranskosti. Nauči se je, jo zakodira, okrepi in sistematično uporablja.

Večina dela pri umetni inteligenci je priprava podatkov, ne gradnja algoritmov. 80 % zbiranje, čiščenje, označevanje in validacija podatkov. 20 % modeliranje. To razmerje pove vse. Algoritem je lahek del. Podatki so težki del. In pomembni del.

Vsaka umetna inteligenca ima omejitve, ki jih določajo njeni učni podatki. Česa ni videla, tega ne more obravnavati. Kjer so bili podatki pristranski, bo pristranska tudi ona. Kjer so bili podatki nepopolni, bo odpovedala. Nobena umetna inteligenca ne preseže svojih učnih podatkov. Podatki določajo zgornjo mejo.

Se spomnite mamine kuharske knjige z začetka tega članka? Recept je le tako dober kot izkušnje, na katerih temelji. Ozek nabor izkušenj ustvari ozke recepte. Pristranske izkušnje ustvarijo pristranske recepte. Napačne informacije ustvarijo recepte, ki ne delujejo.

Enako velja za umetno inteligenco. Sistem je le tako dober kot podatki, iz katerih se je učil. Ozki podatki ustvarijo ozko umetno inteligenco. Pristranski podatki ustvarijo pristransko umetno inteligenco. Slabi podatki ustvarijo umetno inteligenco, ki preprosto ne deluje. »Noter smeti, ven smeti« ni le privlačen rek. To je temeljni zakon umetne inteligence. Če imate prave podatke, se lahko tudi preprosti algoritmi naučijo uporabnih vzorcev. Če imate napačne podatke, vas nobena algoritemska dovršenost ne more rešiti.

Zdaj veste, zakaj so podatki pri umetni inteligenci vse. In zakaj vsak, ki vam pravi drugače, bodisi nekaj prodaja bodisi ne razume, kako ta tehnologija dejansko deluje.

Pri Dweve smo glede zahtev po podatkih transparentni. Naši sistemi, ki temeljijo na omejitvah, potrebujejo kakovostne, reprezentativne primere za odkrivanje veljavnih logičnih razmerij. Brez bližnjic. Brez čarovnije. Samo pošteno inženirstvo, ki priznava preprosto resnico: zanesljive umetne inteligence ne morete zgraditi iz nezanesljivih podatkov. Ker »noter smeti« resnično pomeni »ven smeti«, in to vsakič znova.