Duomenys dirbtinio intelekto sistemose: kodėl įvesti šiukšlynai duomenys reiškia ir šiukšlynus rezultatus
Receptų knyga, kurios tavo mama taip ir nebaigė
Įsivaizduok savo mamos virtuvę 1990-aisiais. Ji visame kieme garsi savo obuolių pyragu. Visi nori to recepto. Tad ji nusprendžia jį užrašyti.
Bet čia ir yra problema. Per daugiau nei keturiasdešimt kepimo metų ji tą pyragą iškepė šimtus kartų. Kartais naudojo sviestą, kartais margariną (priklausomai nuo to, kas tą savaitę buvo pigiau). Kartais vienos rūšies obuolius, kartais kitos, kartais paprastus. Kartais kepė 150 laipsnių temperatūroje, kartais 250 (nes orkaitė buvo kaprizinga). Kartais įdėdavo papildomą kiaušinį, kai jie būdavo maži.
Patirties lankstumas
Kiekvienas pyragas iškepdavo skanus. Ji instinktyviai žinojo, kaip prisitaikyti. Šiek tiek daugiau miltų, kai drėgna. Šiek tiek mažiau cukraus, kai obuoliai ypač rūgštūs. Ilgametė patirtis padarė ją lanksčią.
Dabar įsivaizduok, kad ji užrašo receptą remdamasi tik paskutiniais penkiais kepimais. Visi vasarą. Visi su margarinu. Visi su ta partija ypač rūgščių obuolių, kuriuos nusipirko išpardavime. Visi su įkaitinta orkaite.
Siaurų pavyzdžių katastrofa
Kažkas bando tą receptą žiemą, su sviestu, su saldžiais obuoliais, įprastoje orkaitėje. Katastrofa. Sausas, trupus, gerokai per saldus. Receptas neveikia, nes pavyzdžiai, kuriais jis buvo paremtas, neatspindėjo viso situacijų spektro.
Būtent taip dirbtinis intelektas mokosi iš duomenų. „Receptas“ (dirbtinis intelektas) yra tik tiek geras, kiek geri pavyzdžiai, iš kurių jis mokėsi. Siauri pavyzdžiai sukuria siaurą dirbtinį intelektą. Šališki pavyzdžiai sukuria šališką dirbtinį intelektą. Neteisingi pavyzdžiai sukuria dirbtinį intelektą, kuris tiesiog neveikia.
Čia ne apie sudėtingas technologijas. Tai apie paprastą tiesą: gali išmokyti tik to, ką parodai. O jei tai, ką parodai, yra neišsamu, šališka ar tiesiog klaidinga, būtent tai ir bus išmokta.
Kodėl Niekas Nekalba apie Nuobodžiąją Dalis (Nors Turėtų)
Štai kas vyksta kiekvienoje dirbtinio intelekto konferencijoje, kiekviename technologijų straipsnyje, kiekviename rinkodaros pristatyme:
Kas sulaukia viso dėmesio
Daug jaudulio dėl algoritmų. Išradinga matematika. Įmantrios architektūros. Neuroniniai tinklai su milijardais parametrų. Mokymo metodai įspūdingais pavadinimais. Optimizavimo strategijos, skambančios kaip magija.
Kas yra ignoruojama
Beveik nieko apie duomenis. Iš kur jie atsirado. Kaip jie buvo surinkti. Ar jie apskritai geri. Ko trūksta. Kokių šališkumų jie turi.
Kodėl? Nes algoritmai yra patrauklūs. Duomenys yra nuobodūs. Algoritmai skamba protingai ir rafinuotai. Duomenys skamba kaip... popierizmas. Dokumentų spintos. Skaičiuoklės. Visai neįdomu.
Bet štai nemaloni tiesa, kurią kiekvienas sąžiningas dirbtinio intelekto tyrėjas jums pasakys privačiai:
Nemaloni tiesa
Puikus algoritmas, apmokytas su šiukšliniais duomenimis, duoda šiukšlinius rezultatus. Vidutiniškas algoritmas, apmokytas su puikiais duomenimis, duoda puikius rezultatus. Kiekvieną kartą. Be išimčių.
Įsivaizduokite, kad ruošiatės egzaminui
Algoritmas yra kaip studentas, besiruošiantis egzaminui. Duokite tam studentui netinkamą vadovėlį, ir nesvarbu, koks jis protingas ar kaip sunkiai mokosi. Jis neišlaikys egzamino, nes mokėsi iš neteisingos informacijos. O duokite vidutiniškam studentui tinkamą vadovėlį, daugybę pratimų ir gerų pavyzdžių? Jam seksis puikiai. Gal ne tobula, bet tikrai naudinga.
Tokia yra dirbtinio intelekto realybė. Duomenų kokybė svarbesnė nei algoritmo sudėtingumas. Gerokai svarbesnė. Ir vis dėlto beveik niekas nenori apie tai kalbėti.
Įsivaizduokite, kad mokote žmogų atpažinti nuodingus grybus naudodami tik vieno miško, vasarą ir tik ryškioje saulės šviesoje darytas nuotraukas. Jis gali puikiai pasirodyti būtent tame miške, vasarą, saulėtomis dienomis. Bet nuveskite jį į kitą mišką rudenį, debesuotą dieną? Jis tik spėlioja. Mokymas buvo per siauras. Ta pati problema ir su dirbtiniu intelektu: siauri duomenys sukuria siauras ir nepatikimas sistemas. Duomenys apibrėžia ribas, ką dirbtinis intelektas apskritai gali išmokti.
Ką iš tikrųjų reiškia „mokymasis iš duomenų“
Kai kas nors sako, kad „dirbtinis intelektas mokosi iš duomenų“, ką tai iš tikrųjų reiškia? Pasinaudokime pavyzdžiu, kurį supranta kiekvienas.
Mokote anūką atpažinti paukščius
Įsivaizduokite, kad mokote savo dešimties metų anūką atpažinti įvairių rūšių paukščius. Nusivežate jį į parką su paukščių pažinimo vadovu. Kiekvieną kartą, kai pamatote paukštį, kartu jį susirandate knygoje.
„Matai tą? Mėlynos plunksnos, raudona krūtinėlė, maždaug tokio dydžio. Tai mėlynasis paukštis.“ Jis atidžiai apžiūri. Įsimena spalvas, dydį, formą. Kitą savaitę vėl paukštis. „O tas? Visiškai juodas, didesnis, garsiai krankia. Tai varna.“ Jis stebi. Įsimena.
Tai darote penkiasdešimt kartų. Įvairūs paukščiai. Įvairios situacijos. Įvairus apšvietimas. Kartais skrendantys, kartais tupintys. Po penkiasdešimties paukščių jis pradeda teisingai spėti. „Seneli, ar tai strazdas?“ Ir jis teisus!
Jis mokėsi iš pavyzdžių. Daugybės pavyzdžių. Kiekvienas išmokė jį kažko apie dėsningumus: kas daro strazdą strazdu, o varną varna.
Dirbtinis intelektas mokosi lygiai taip pat
Parodykite jam pavyzdžių. Daugybę. Už kiekvieną pavyzdį pasakykite teisingą atsakymą. „Šis el. laiškas yra šlamštas.“ „Šioje nuotraukoje yra katė.“ „Ši apžvalga yra teigiama.“ Dirbtinis intelektas ieško dėsningumų, kurie susieja pavyzdžius su atsakymais.
Bet čia ir prasideda keblumai. Kas nutinka, jei anūkui rodote tik vasaros paukščius? Jis gali pamanyti, kad strazdai visada turi ryškiai raudoną krūtinę (žiemą ji blankesnė). O jei rodote tik savo kiemo paukščius? Jis gali nebeatpažinti tų pačių paukščių kitoje aplinkoje.
Mokymasis klaidingų modelių
O kas, jei netyčia suklystumėte atpažindami kelis paukščius? „Tai žvirblis", o iš tikrųjų tai kikilis. Jis išmoksta klaidingą modelį. Nuo šiol jis visada klaidingai atpažins kikilius, nebent kas nors jį pataisys.
Pavyzdžių kokybė ir įvairovė lemia, ko jis išmoksta. Tas pats ir su dirbtiniu intelektu. Duomenys yra pamoka. Jei pamoka neišsami, šališka ar klaidinga, mokymasis taip pat bus neišsamus, šališkas ar klaidingas.
Kiek duomenų iš tikrųjų reikia?
Šį klausimą užduoda visi. Atsakymas žmones erzina: priklauso.
Pagalvokite, kaip realiame gyvenime mokoma įgūdžių. Kiek kartų žmogui reikia pasipraktikuoti, kol išmoksta?
Mokant vaiką užsirišti batų raištelius
Galbūt dvidešimt praktikos kartų. Tai paprastas, pasikartojantis modelis. Kiekvieną kartą tie patys žingsniai. Mažai įvairovės. Dvidešimties pavyzdžių pakanka.
Mokant ką nors vairuoti
Šimtai valandų. Kodėl? Nes vairuojant yra begalė įvairovės. Miesto gatvės, greitkeliai, lietus, sniegas, kelio darbai, agresyvūs vairuotojai, pėstieji, dviratininkai, per kelią bėgantys gyvūnai. Kiekviena situacija šiek tiek skiriasi. Norint tapti kompetentingu vairuotoju, reikia patirti visas šias įvairoves.
Dirbtinis intelektas veikia taip pat. Paprastoms užduotims reikia mažiau pavyzdžių. Sudėtingoms užduotims reikia didžiulių kiekių.
Paprastas modelių atpažinimas (ar tai brukalas?)
Galbūt 10 000 pavyzdžių. Brukalas turi atpažįstamų modelių. Kai pamatote pakankamai pavyzdžių, tokių kaip „PIRK DABAR!!!" ar „Laimėjote prizą!", suprantate esmę.
Vidutinis sudėtingumas (veidų atpažinimas)
Dešimtys tūkstančių iki šimtų tūkstančių. Veidai labai skiriasi. Skirtingi kampai, apšvietimas, išraiškos, amžius. Reikia daug įvairovės, kad visa tai aprėptumėte.
Didelis sudėtingumas (atpažinti bet kokį objektą nuotraukose)
Milijonai vaizdų. Tūkstančiai objektų tipų. Kiekvienas objektas skirtinguose kontekstuose, kampais, apšvietime. Automobiliai gatvėse, automobiliai salonuose, automobiliai avarijose. Medžiai miškuose, medžiai kiemuose, medžiai paveiksluose. Didžiulė įvairovė reikalauja didžiulio duomenų kiekio.
Ypatingas sudėtingumas (suprasti kalbą)
Milijardai žodžių. Kalba turi begalinę įvairovę. Kiekviena tema, kiekvienas stilius, kiekvienas kontekstas. Oficialios ataskaitos, neformalūs pokalbiai, poezija, instrukcijos, anekdotai, sarkazmas. Kad visa tai aprėptum, reikia susidurti su didžiuliu tekstų kiekiu.
Bet štai esmė: vien kiekybės nepakanka. Verčiau turėti 100 000 puikių, įvairių, teisingai pažymėtų pavyzdžių nei 10 milijonų vidutiniškų, pasikartojančių, aplaidžiai pažymėtų pavyzdžių. Tai kaip mokytis gaminti. Ar verčiau praktikuotumėtės gamindami 100 skirtingų patiekalų su geromis instrukcijomis, ar gamintumėte tą pačią vidutinišką pastą 10 000 kartų su neaiškiais nurodymais? Praktikos įvairovė ir kokybė svarbesnė nei žalia pakartojimų skaičius.
Penki kokybiškų duomenų ingredientai
Kas lemia, ar duomenys geri, ar blogi? Penki pagrindiniai veiksniai. Išnagrinėkime juos pasitelkę pavyzdžius, kuriuos suprastų kiekvienas.
-
1
Tikslūs duomenų žymėjimai (teisingi atsakymai)
Įsivaizduokite, kad mokote vaiką apie gyvūnus naudodami neteisingai pažymėtą paveikslėlių knygą. „Tai šuo“ šalia katės nuotraukos. „Tai karvė“ šalia arklio. Vaikas išmoksta visiškai klaidingai. Jis amžinai neteisingai atpažins gyvūnus.
Dirbtinis intelektas turi tą pačią problemą. Jei mokote jį atpažinti kates, kiekviena nuotrauka, pažymėta „katė“, tikrai turi būti katė. Net 5 % klaidų sukelia rimtų problemų. O 10 % klaidų? DI išmoksta šiukšles. Jis negali atskirti signalo nuo triukšmo, kai atsakymai yra nepatikimi.
-
2
Reprezentatyvumas (atitikimas realiam gyvenimui)
Jūsų anūkas išmoko atpažinti paukščius jūsų priemiesčio kieme. Jis puikiai atpažįsta kardinolus, liepsneles, mėlynuosius kėkštus. Tada nuvežate jį į paplūdimį. Kirai, pelikanai, bėgikai. Jis pasimetęs. Niekas nepanašu į paukščius, kuriuos jis išmoko.
Mokymo duomenys turi atspindėti aplinką, kurioje DI iš tikrųjų bus naudojamas. Mokysite veidų atpažinimo sistemą gerai apšviestose studijos nuotraukose? Ji žlugs esant silpnam naktinio klubo apšvietimui. Mokysite balso asistentą aiškia, tylia kalba? Jis sunkiai susidoros su akcentais ir foniniu triukšmu. Duomenų pasiskirstymas turi atitikti realaus pasaulio pasiskirstymą.
-
3
Pakankama įvairovė (visų situacijų aprėpimas)
Įsivaizduokite, kad mokotės vairuoti tik esant puikiam orui, tiesiais keliais ir nedideliu eismu. Bet kur kitur būtumėte siaubingas vairuotojas. Posūkiai? Panika. Lietus? Katastrofa. Piko valanda? Priblokšta.
DI mokymo duomenims reikia įvairovės. Nuotraukos ryškioje saulėje ir silpname pavėsyje. Oficialus tekstas ir neformali kalba. Jauni balsai ir seni balsai. Įprasti atvejai ir reti kraštiniai atvejai. Be įvairovės DI persimokina. Jis įsimena konkrečius pavyzdžius, o ne išmoksta bendrų modelių. Rodykite jam tik auksaspalvius retriverius, ir jis sunkiai susidoros su pudeliais. Rodykite kates visų spalvų, dydžių ir padėčių, ir jis patikimai jas atpažins.
-
4
Aktualumas ir naujumas (neatsilikimas nuo laiko)
Įsivaizduokite, kad mokote ką nors septintojo dešimtmečio mados ir tikitės, kad jis atpažins dabartines tendencijas. Platėjantys džinsai, aukštos šukuosenos, go-go batai. Tada parodykite jam šiuolaikinę madą. Jis sutrikęs. Viskas pasikeitė.
Duomenys sensta. Kalba evoliucionuoja („cool“ dabar reiškia ką kita nei 1960-aisiais). Šiukšlių el. laiškų taktika keičiasi (vakarykščiai triukai nebeveikia). Mados tendencijos keičiasi. Technologijos atnaujinamos. Jei jūsų mokymo duomenys yra iš prieš penkerius metus, modeliai jau pasikeitė. Dabartiniai duomenys fiksuoja dabartinius modelius.
-
5
Nepriklausomumas nuo šališkumo (teisingas atstovavimas)
Tai pats svarbiausias. Pats pavojingiausias. Tas, kuris sukelia realią žalą realiame pasaulyje. Netrukus į tai pasinersime daug giliau, nes duomenų šališkumas nėra tik techninė problema. Tai žmogiška problema su rimtomis pasekmėmis. Jei jūsų duomenys atspindi istorinę diskriminaciją, jūsų DI išmoksta diskriminuoti. Jei jūsų duomenyse vienos grupės yra per daug atstovaujamos, o kitos per mažai, jūsų DI veikia geriau vieniems žmonėms nei kitiems. Šiukšlės į vidų, šiukšlės į išorę. Šališkumas į vidų, šališkumas į išorę.
Įsivaizduokite duomenis kaip ingredientus maistui. Galite turėti virėją su Michelin žvaigždute (sudėtingą algoritmą), bet jei duosite jam supuvusių daržovių, pasenusios duonos ir pasibaigusio pieno (blogų duomenų), patiekalas bus nevalgomas. Tuo tarpu namų virėjas (paprastas algoritmas) su šviežiais, kokybiškais ingredientais pagamins ką nors skanaus. Ingredientai svarbesni nei virėjo kvalifikacija. Dirbtinio intelekto srityje duomenys yra ingredientai.
Nepagražinta realybė (kur iš tikrųjų vyksta darbas)
Štai ko niekas nepasako, kai parduoda dirbtinio intelekto sprendimus ar dėsto dirbtinio intelekto kursus:
Didžioji darbo dalis yra ne dirbtinio intelekto kūrimas, o duomenų paruošimas.
Duomenų mokslininkai maždaug 80% savo laiko praleidžia ruošdami duomenis. Tik 20% skiria modelių kūrimui ir mokymui. Šis santykis viską pasako apie tai, kur slypi tikrasis iššūkis.
Ką apima duomenų paruošimas? Keturis didžiulius, varginančius, kritinius darbus:
Duomenų rinkimas
Tinkamų pavyzdžių surinkimas iš visur, kur jų yra. Tinklalapių nuskaitymas, duomenų bazių pasiekimas, jutiklių įrašų fiksavimas, kelių šaltinių sujungimas. Daug laiko reikalaujantis. Dažnai brangus. Neretai varginantis, kai šaltiniai nebendradarbiauja arba duomenų tiesiog nėra.
Duomenų valymas
Dublikatų šalinimas. Klaidų taisymas. Trūkstamų reikšmių tvarkymas. Formatų standartizavimas. Triukšmo filtravimas. Tai kaip rūšiuoti dešimtmečius susikaupusius popierius netvarkingoje dokumentų spintoje. Vien tai dideliems duomenų rinkiniams gali užtrukti savaites ar mėnesius.
Duomenų žymėjimas
Pavyzdžių žymėjimas ranka teisingais atsakymais. „Šiame paveikslėlyje yra katė.“ „Ši apžvalga yra teigiama.“ „Ši operacija yra sukčiavimas.“ Milijonams pavyzdžių. Neįtikėtinai nuobodu. Dažnai perduodama mažai apmokamiems darbuotojams, kurie dėl nuobodulio ir nuovargio daro klaidų.
Duomenų tikrinimas
Tikrinama, ar žymės teisingos. Ar įvairovės pakanka. Ar šališkumai yra nustatyti ir pašalinti. Ar duomenų rinkinys tikrai atspindi realybę. Milijonų pavyzdžių kokybės kontrolė. Varginantis, bet itin svarbus darbas.
Nė viena iš šių užduočių nėra įspūdinga. Nė viena nepapuola į antraštes. Nė viena nesudaro įspūdžio vakarėliuose. Tai juodas darbas. Tačiau būtent nuo jo priklauso, ar dirbtinio intelekto projektai pavyks, ar žlugs.
Algoritmas yra gana paprastas. Gerų algoritmų yra daug. Dauguma jų yra viešai paskelbti. Galite juos atsisiųsti, naudoti, keisti. Duomenys yra sunkioji dalis. Jų rinkimas, valymas, žymėjimas, tikrinimas. Būtent tam skiriamos didžiausios pastangos. Būtent čia dauguma projektų įstringa. Būtent tai skiria veikiantį dirbtinį intelektą nuo tuščių pažadų. Įmonės, turinčios geresnių duomenų, pranoksta įmones, turinčias geresnių algoritmų. Visada. Duomenys yra apsaugos griovys. Ginamas pranašumas. Tikrasis konkurencinis pranašumas.
Šališkumo problema (pavojingiausias dirbtinio intelekto trūkumas)
Dabar prieiname prie tikrai nemalonios dalies. Dalies, kuri daro realią žalą tikriems žmonėms. Dalies, kuri dirbtinį intelektą paverčia iš „šiek tiek nepatikimo“ į „aktyviai pavojingą“.
Dirbtinis intelektas ne tik mokosi modelių iš duomenų. Jis juos sustiprina.
Jei jūsų duomenyse yra šališkumų (o beveik visuose realaus pasaulio duomenyse jų yra), dirbtinis intelektas jų nepašalina. Jis jų išmoksta. Užkoduoja. Taiko sistemingai. Padaro juos dar didesnius.
Leiskite man tai paaiškinti istorija, kurią supranta kiekvienas.
Mokymasis iš šališkų istorinių duomenų
Įsivaizduokite, kad mokote savo anūką, kas jūsų įmonėje įdarbinamas. Parodote jam dvidešimties metų įdarbinimo bylas. Inžinerijos skyrius: daugiausia vyrai. Sekretorių pareigos: daugiausia moterys. Vadovybė: daugiausia baltieji. Darbininkai: įvairesnė grupė.
Niekada jam tiesiogiai nesakote „vyrai turėtų būti inžinieriais" ar „moterys turėtų būti sekretorėmis". Tiesiog parodote istorinius duomenis.
Dabar jis atsakingas už naujų prašymų vertinimą. Ką jis daro? Jis išmoko modelį iš duomenų. Inžinerijos pareigų kandidatė moteris? Atrodo neįprasta, galbūt netinka. Vyras pretenduoja į sekretoriaus vietą? Neatitinka modelio. Jis diskriminuoja. Ne todėl, kad jis blogas žmogus. O todėl, kad mokėsi iš šališkų istorinių duomenų ir taikė tuos modelius taip, lyg jie būtų teisingi.
Būtent taip atsitinka su dirbtiniu intelektu. Istoriniai duomenys atspindi istorinę diskriminaciją. DI išmoksta tą diskriminaciją taip, lyg tai būtų tinkamas modelis, kuriuo reikia vadovautis. Tada jis sistemingai taiko ją milijonams sprendimų.
Realūs to pavyzdžiai:
⚠️ „Amazon" įdarbinimo DI
„Amazon" išmokė DI atrinkti gyvenimo aprašymus naudodama dešimties metų istorinius įdarbinimo duomenis. Duomenys rodė, kad į technines pareigas daugiausia buvo įdarbinami vyrai. DI išmoko žeminti moterų gyvenimo aprašymus. Jis pastebėjo tokias užuominas kaip „moterų šachmatų klubas" ir už jas bausdavo. „Amazon" turėjo atsisakyti sistemos. Algoritmas veikė puikiai. Problema buvo duomenys.
⚠️ Sveikatos priežiūros algoritmai
Keli sveikatos priežiūros DI rodė rasinį šališkumą. Jie teikė pirmenybę baltiesiems pacientams, o ne juodaodžiams, turintiems identiškus simptomus. Kodėl? Istoriniai sveikatos priežiūros duomenys atspindėjo istorinius priežiūros skirtumus. Juodaodžiai pacientai istoriškai gaudavo mažiau gydymo. DI išmoko šį modelį ir taikė jį taip, lyg mažesnė priežiūra būtų mediciniškai tinkama, o ne diskriminacijos įrodymas.
⚠️ Veido atpažinimo sistemos
Daugumoje veido atpažinimo duomenų rinkinių vyrauja baltieji vyrai. DI geriausiai veikia su baltaisiais vyrais. Žymiai prasčiau su moterimis. Dar prasčiau su tamsesnės odos žmonėmis. Ne todėl, kad algoritmas rasistas, o todėl, kad mokymo duomenys buvo nesubalansuoti. DI tiesiog nematė pakankamai įvairių veidų, kad išmoktų juos patikimai atpažinti.
⚠️ Kredito rizikos vertinimo modeliai
Dirbtinio intelekto kredito rizikos vertinimas buvo išmokytas iš istorinių skolinimo duomenų, kurie atspindėjo dešimtmečius trukusią diskriminacinę skolinimo praktiką. Raudonosios zonos. Grobuoniškos paskolos mažumų rajonuose. Dirbtinis intelektas šiuos modelius užkodavo kaip „gerus skolinimo sprendimus“ ir juos įamžino. Teisinė diskriminacija, automatizuota ir išplėsta mastu.
Kiekvienu atveju algoritmas veikė teisingai. Jis išmoko duomenų modelius. Duomenys buvo šališki. Taigi dirbtinis intelektas tapo šališkas. Kas įdedama, tas ir gaunama. Diskriminacija įdedama, diskriminacija ir gaunama.
Tai ne smulkmeniška techninė problema. Tai esminis iššūkis. Iš šališkų duomenų negalima sukurti teisingo dirbtinio intelekto. Geresni algoritmai nepadeda. Padeda tik geresni duomenys. Įvairesni. Labiau reprezentatyvūs. Sąmoningai atšalinti nuo šališkumo.
Baisiausia dalis? Šališkas dirbtinis intelektas atrodo objektyvus. „Taip pasakė kompiuteris“ skamba patikimiau nei „taip nusprendė žmogus“. Tačiau kompiuteris mokėsi iš šališkų žmonių, priimančių šališkus sprendimus. Visas dirbtinio intelekto darbas yra automatizuoti ir išplėsti tą šališkumą, sudarant mokslinio ir neutralaus įspūdį, nors jis nėra nei vienas, nei kitas. Duomenų šališkumas yra ta riba, kurioje dirbtinis intelektas iš naudingos priemonės virsta žalos įrankiu.
Kokių klausimų klausti apie bet kurią dirbtinio intelekto sistemą
Nesvarbu, ar kuriate dirbtinį intelektą, perkate jį, ar tiesiog naudojatės juo kasdieniame gyvenime, štai klausimai, kuriuos turėtumėte užduoti. Atsakymai parodys, ar galite juo pasitikėti.
-
?
Iš kur atsirado mokymo duomenys?
Konkretūs šaltiniai svarbūs. Viešojo interneto duomenys? Kruopščiai atrinkti duomenų rinkiniai? Įmonės įrašai? Kiekvienas iš jų turi skirtingų šališkumų ir apribojimų. Jei jie jums to nepasakys, tai didžiulis įspėjamasis ženklas.
-
?
Kiek duomenų buvo panaudota? Kaip jie buvo pažymėti?
Skaičiai svarbūs. „Tūkstančiai“ ar „milijonai“ daro skirtumą. Kas juos pažymėjo? Ekspertai ar atsitiktiniai mažai apmokami darbuotojai? Kaip buvo kontroliuojama kokybė? Šios detalės lemia patikimumą.
-
?
Ar mokymo duomenys atitinka jūsų naudojimo atvejį?
Dirbtinis intelektas, išmokytas iš oficialių verslo dokumentų, sunkiai susidoros su neformaliais tekstiniais pranešimais. Tas, kuris išmokytas iš saulėtų Kalifornijos nuotraukų, gali žlugti lietingame Sietle. Atitikimas svarbus. Neatitikimas reiškia nesėkmes.
-
?
Kokios grupės atstovaujamos duomenyse?
Visos amžiaus grupės? Visos lytys? Visos etninės grupės? Visos kalbos? Ar daugiausia viena demografinė grupė? Nesubalansuoti duomenys sukuria sistemas, kurios puikiai veikia vieniems žmonėms ir siaubingai kitiems.
-
?
Kokie žinomi šališkumai egzistuoja? Kaip jie buvo sprendžiami?
Kiekvienas duomenų rinkinys turi šališkumų. Sąžiningi kūrėjai juos pripažįsta ir paaiškina mažinimo pastangas. Kiekvienas, teigiantis, kad šališkumo nėra, arba meluoja, arba pavojingai nesuvokia situacijos.
-
?
Kokiose situacijose šis DI veiks prastai?
Kiekvienas DI turi ribas, pagrįstas jo mokymo duomenimis. Ko jis nematė? Ko jis negali apdoroti? Jei jie negali atsakyti į šį klausimą, jie nepakankamai supranta savo pačių sistemą, kad galėtų saugiai ją diegti.
Jei kas nors, parduodantis jums DI, negali atsakyti į šiuos klausimus, eikite šalin. Jie arba nežino (nekompetentingi), arba nenori pasakyti (slepia problemas). Bet kuriuo atveju, nepasitikėkite.
DI duomenų ateitis
Duomenų iššūkiai nedingsta. Tačiau požiūriai keičiasi. Štai kas keičiasi:
Sintetiniai duomenys
Dirbtinių mokymo pavyzdžių kūrimas modeliuojant. Naudinga retiems scenarijams, pavojingoms situacijoms (pavyzdžiui, automobilių avarijoms savavaldžiams automobiliams) ir privatumui jautrioms sritims. Tai ne tikrų duomenų pakaitalas, o vertingas papildymas, užpildantis spragas.
Duomenų papildymas
Esamų pavyzdžių variantų kūrimas. Sukite vaizdus, apverskite juos, reguliuokite apšvietimą. Performuluokite sakinius. Pridėkite foninį triukšmą prie garso. Tai dirbtinai padidina duomenų rinkinį, didindamas įvairovę be naujų pavyzdžių rinkimo nuo nulio.
Mokymasis iš kelių pavyzdžių
Metodai, leidžiantys mokytis iš mažiau pavyzdžių, perkeliant žinias iš ankstesnių užduočių. Kaip išmokus kelias kalbas, naują išmokti tampa lengviau. Sumažina duomenų poreikį naujoms užduotims, pasitelkiant turimas žinias.
Privatumą išsaugantys metodai
Mokymasis iš duomenų jų tiesiogiai nematant. Federacinis mokymasis (dirbtinis intelektas mokosi jūsų telefone, nesiųsdamas duomenų į serverius). Diferencinis privatumas (pridedamas atsargus triukšmas, kad atskirų įrašų nebūtų galima identifikuoti). Leidžia mokytis iš jautrių medicinos, finansų ir asmens duomenų.
Aktyvusis mokymasis
Dirbtinis intelektas prašo žymėti tik tuos pavyzdžius, dėl kurių jis nėra tikras. Užuot žymėjus milijoną atsitiktinių pavyzdžių, žymima tūkstantis pavyzdžių, dėl kurių dirbtinis intelektas labiausiai abejoja. Žmogaus pastangos sutelkiamos ten, kur jos svarbiausios, smarkiai sumažinant žymėjimo išlaidas.
Šie metodai padeda, tačiau nepanaikina esminės tiesos: kokybiški duomenys yra nepakeičiami. Galite sumažinti, kiek jų reikia. Galite generuoti papildomų. Galite mokytis efektyviau. Tačiau negalite išvengti taisyklės „kas įdedama, tas ir gaunama“.
Esmė (ką tikrai reikia žinoti)
Apibendrinkime esmines tiesas apie duomenis dirbtiniame intelekte:
Duomenys svarbesni už algoritmus. Visada buvo. Visada bus. Pats įmantriausias ir sudėtingiausias dirbtinis intelektas pasaulyje, išmokytas iš prastų duomenų, duoda prastus rezultatus. Paprastas dirbtinis intelektas, išmokytas iš kokybiškų duomenų, duoda kokybiškus rezultatus. Kiekvieną kartą. Be išimčių.
Kokybė svarbesnė už kiekybę, bet reikia abiejų. Geriau turėti 100 000 įvairių, teisingai pažymėtų ir reprezentatyvių pavyzdžių nei 10 milijonų pasikartojančių, neteisingai pažymėtų ir šališkų pavyzdžių. O idealiu atveju? Norite milijonų aukštos kokybės ir įvairių pavyzdžių. Ir kiekybės, ir kokybės.
Šališkumas duomenyse tampa šališkumu dirbtiniame intelekte. Istorinė diskriminacija tampa algoritmine diskriminacija. Nesubalansuotas atstovavimas tampa nepatikimu veikimu nepakankamai atstovautoms grupėms. Dirbtinis intelektas nepašalina šališkumo. Jis jį išmoksta, užkoduoja, sustiprina ir taiko sistemingai.
Didžioji dalis darbo su dirbtiniu intelektu yra duomenų paruošimas, o ne algoritmų kūrimas. 80% duomenų rinkimas, valymas, žymėjimas, tikrinimas. 20% modeliavimas. Šis santykis pasako viską. Algoritmas yra lengvoji dalis. Duomenys yra sunkioji dalis. Ir svarbioji dalis.
Kiekvienas dirbtinis intelektas turi ribas, kurias nustato jo mokymo duomenys. Ko jis nematė, to negali apdoroti. Kur duomenys buvo šališki, ten jis bus šališkas. Kur duomenys buvo neišsamūs, ten jis žlugs. Joks dirbtinis intelektas neperžengia savo mokymo duomenų. Duomenys nustato lubas.
Prisimenate savo motinos receptų knygą iš šio straipsnio pradžios? Receptas yra tik tiek geras, kiek geros patirtys, kuriomis jis grindžiamas. Siauros patirtys sukuria siaurus receptus. Šališkos patirtys sukuria šališkus receptus. Neteisinga informacija sukuria receptus, kurie neveikia.
Tas pats ir su dirbtiniu intelektu. Sistema yra tik tiek gera, kiek geri duomenys, iš kurių ji mokėsi. Siauri duomenys sukuria siaurą dirbtinį intelektą. Šališki duomenys sukuria šališką dirbtinį intelektą. Blogi duomenys sukuria dirbtinį intelektą, kuris tiesiog neveikia. „Kas įdedama, tas ir gaunama“ nėra tik gražus posakis. Tai pagrindinis dirbtinio intelekto dėsnis. Jei duomenys teisingi, net paprasti algoritmai gali išmokti naudingų modelių. Jei duomenys neteisingi, jokia algoritminė įmantrybė jūsų neišgelbės.
Dabar žinote, kodėl duomenys yra viskas dirbtiniame intelekte. Ir kodėl kiekvienas, kuris sako kitaip, arba kažką parduoda, arba nesupranta, kaip ši technologija iš tikrųjų veikia.
„Dweve“ esame skaidrūs dėl duomenų reikalavimų. Mūsų apribojimais pagrįstos sistemos reikalauja kokybiškų, reprezentatyvių pavyzdžių, kad atrastų teisingus loginius ryšius. Jokių trumpųjų kelių. Jokios magijos. Tik sąžininga inžinerija, pripažįstanti paprastą tiesą: negalite sukurti patikimo dirbtinio intelekto iš nepatikimų duomenų. Nes tai, kas įdedama, tikrai reiškia tai, kas gaunama, kiekvieną kartą.