Roskaa sisään, roskaa ulos: miksi datan laatu ratkaisee tekoälyssä
Reseptikirja, jota äitisi ei koskaan saanut valmiiksi
Kuvittele äitisi keittiö vuonna 1990. Hän on tunnettu naapurustossa omenapiirakastaan. Kaikki haluavat reseptin. Niinpä hän päättää kirjoittaa sen ylös.
Mutta tässä on ongelma. Yli neljänkymmenen leivontavuoden aikana hän on tehnyt tuota kakkua satoja kertoja. Joskus hän käytti voita, joskus margariinia (riippuen siitä, kumpi oli sillä viikolla halvempaa). Joskus tätä omenaa, joskus tuota omenaa, joskus tavallista. Joskus hän paistoi 150 asteessa, joskus 250 asteessa (koska uuni oli oikukas). Joskus hän lisäsi ylimääräisen munan, kun ne olivat pieniä.
Kokemuksen tuoma joustavuus
Jokainen kakku onnistui täydellisesti. Hän tiesi vaistomaisesti, miten sopeutua. Hieman enemmän jauhoja, kun on kosteaa. Hieman vähemmän sokeria, kun omena on erityisen hapan. Vuosien kokemus teki hänestä joustavan.
Kuvittele nyt, että hän kirjoittaa reseptin ylös vain viimeisen viiden leivontakerran perusteella. Kaikki kesällä. Kaikki margariinilla. Kaikki sillä erityisen happamalla omenaerällä, jonka hän osti alennuksesta. Kaikki uunin ollessa kuumana.
Kapeiden esimerkkien katastrofi
Joku seuraa reseptiä talvella, voilla, makeilla omenilla, tavallisessa uunissa. Katastrofi. Kuiva, mureneva, aivan liian makea. Resepti ei toimi, koska esimerkit, joihin se perustui, eivät kattaneet kaikkia tilanteita.
Juuri näin tekoäly oppii datasta. "Resepti" (tekoäly) on vain yhtä hyvä kuin esimerkit, joista se oppi. Kapeat esimerkit luovat kapean tekoälyn. Vinoutuneet esimerkit luovat vinoutuneen tekoälyn. Väärät esimerkit luovat tekoälyn, joka yksinkertaisesti ei toimi.
Tässä ei ole kyse monimutkaisesta teknologiasta. Kyse on yksinkertaisesta totuudesta: voit opettaa vain sen, minkä näytät. Ja jos näyttämäsi on puutteellista, vinoutunutta tai yksinkertaisesti väärin, juuri se opitaan.
Miksi kukaan ei puhu tylsästä osasta (mutta pitäisi)
Näin tapahtuu jokaisessa tekoälykonferenssissa, jokaisessa teknologiakirjoituksessa, jokaisessa markkinointipuheessa:
Mikä saa kaiken huomion
Paljon jännitystä algoritmeista. Nerokas matematiikka. Hienot arkkitehtuurit. Neuroverkot, joissa on miljardeja parametreja. Harjoitustekniikat vaikuttavilla nimillä. Optimointistrategiat, jotka kuulostavat taikuudelta.
Mikä jätetään huomiotta
Lähes ei mitään datasta. Mistä se on peräisin. Miten se kerättiin. Onko se lainkaan hyvää. Mitä siitä puuttuu. Mitä vinoumia se sisältää.
Miksi? Koska algoritmit ovat seksikkäitä. Data on tylsää. Algoritmit kuulostavat älykkäiltä ja hienostuneilta. Data kuulostaa... paperityöltä. Arkistokaapeilta. Taulukkolaskennoilta. Ei lainkaan jännittävältä.
Mutta tässä on epämiellyttävä totuus, jonka jokainen rehellinen tekoälytutkija kertoo sinulle yksityisesti:
Epämiellyttävä totuus
Loistava algoritmi, joka on koulutettu roskadatalle, tuottaa roskatuloksia. Keskinkertainen algoritmi, joka on koulutettu erinomaiselle datalle, tuottaa erinomaisia tuloksia. Joka ikinen kerta. Poikkeuksetta.
Ajattele sitä kuin kokeeseen lukemista
Algoritmi on kuin oppilas, joka lukee kokeeseen. Anna sille väärä oppikirja, eikä sillä ole väliä, kuinka fiksu se on tai kuinka kovasti se opiskelee. Se reputtaa kokeen, koska se oppi väärästä tiedosta. Anna keskiverto-oppilaalle oikea oppikirja, runsaasti harjoitustehtäviä ja hyviä esimerkkejä? Se pärjää hyvin. Ehkä ei täydellisesti, mutta vakaasti hyödyllisesti.
Sellainen on tekoälyn todellisuus. Datan laatu on tärkeämpää kuin algoritmin hienostuneisuus. Paljon tärkeämpää. Ja silti melkein kukaan ei halua puhua siitä.
Kuvittele, että opetat jotakuta tunnistamaan myrkyllisiä sieniä pelkästään valokuvista, jotka on otettu yhdestä metsästä, kesällä, kirkkaassa auringonpaisteessa. Hän saattaa pärjätä loistavasti juuri siinä metsässä, kesällä, aurinkoisina päivinä. Mutta vie hänet toiseen metsään syksyllä pilvisenä päivänä? Hän arvailee. Harjoitusaineisto oli liian kapea. Sama ongelma tekoälyssä: kapea data luo kapeita ja epäluotettavia järjestelmiä. Data määrittää rajat sille, mitä tekoäly voi ylipäätään oppia.
Mitä "oppiminen datasta" oikeasti tarkoittaa
Kun joku sanoo, että "tekoäly oppii datasta", mitä se oikeasti tarkoittaa? Käytetään esimerkkiä, jonka kaikki ymmärtävät.
Opetat lapsenlapsellesi lintujen tunnistamista
Kuvittele, että opetat kymmenvuotiaalle lapsenlapsellesi eri lintulajien tunnistamista. Viedään hänet puistoon lintuoppaan kanssa. Aina kun näette linnun, etsitte sen yhdessä oppaasta.
"Näetkö tuon? Siniset höyhenet, punainen rinta, suunnilleen tämän kokoinen. Se on sinirinta." Hän katsoo tarkasti. Ottaa vastaan värit, koon, muodon. Seuraavalla viikolla toinen lintu. "Tuoko? Kokonaan musta, isompi, kova raakkuna. Se on varis." Hän tarkkailee. Muistaa.
Teet tämän viisikymmentä kertaa. Eri lintuja. Eri tilanteita. Eri valaistuksia. Joskus lentämässä, joskus istumassa. Viidenkymmenen linnun jälkeen hän alkaa arvata oikein. "Vaari, onko tuo punarinta?" Ja hän on oikeassa!
Hän oppi esimerkeistä. Paljon esimerkkejä. Jokainen opetti hänelle jotain kaavoista: mikä tekee punarinnasta punarinnan, mikä tekee variksesta variksen.
Tekoäly oppii täsmälleen samalla tavalla
Näytä sille esimerkkejä. Paljon niitä. Kerro jokaisesta esimerkistä oikea vastaus. "Tämä sähköposti on roskapostia." "Tämä valokuva sisältää kissan." "Tämä arvostelu on myönteinen." Tekoäly etsii kaavoja, jotka yhdistävät esimerkit vastauksiin.
Mutta tässä kohtaa asia mutkistuu. Mitä tapahtuu, jos näytät lapsenlapsellesi vain kesäisiä lintuja? Hän saattaa kuvitella, että punarinnalla on aina kirkkaanpunainen rinta (talvella se on himmeämpi). Entä jos näytät hänelle vain pihasi lintuja? Hän ei ehkä tunnista samoja lintuja toisessa ympäristössä.
Väärien mallien oppiminen
Entä jos tunnistat vahingossa väärin muutaman linnun? "Tuohan on varpunen", vaikka se onkin peippo. Hän oppii väärän mallin. Nyt hän tunnistaa peipot väärin lopun ikäänsä, ellei joku häntä korjaa.
Esimerkkien laatu ja monipuolisuus määräävät, mitä hän oppii. Sama pätee tekoälyyn. Data on oppitunti. Jos oppitunti on puutteellinen, vinoutunut tai väärä, myös oppiminen on puutteellista, vinoutunutta tai väärää.
Kuinka paljon dataa oikeasti tarvitset?
Kaikki kysyvät tätä. Vastaus turhauttaa: se riippuu.
Ajattele taitojen opettamista tosielämässä. Kuinka monta kertaa jonkun täytyy harjoitella ennen kuin hän oppii?
Kengännauhojen solmimisen opettaminen lapselle
Ehkä parikymmentä harjoituskertaa. Kyseessä on yksinkertainen, toistuva malli. Samat vaiheet joka kerta. Ei paljon vaihtelua. Kaksikymmentä esimerkkiä riittää.
Ajamaan opettaminen
Satoja tunteja. Miksi? Koska ajamiseen liittyy loputon määrä vaihtelua. Kaupunkikadut, moottoritiet, sade, lumi, tietyöt, aggressiiviset kuljettajat, jalankulkijat, pyöräilijät, eläimet tien yli. Jokainen tilanne on hieman erilainen. Tarvitset kokemusta kaikista näistä vaihteluista tullaksesi päteväksi kuljettajaksi.
Tekoäly on sama. Yksinkertaiset tehtävät vaativat vähemmän esimerkkejä. Monimutkaiset tehtävät vaativat valtavia määriä.
Yksinkertainen hahmontunnistus (onko tämä roskapostia?)
Ehkä 10 000 esimerkkiä. Roskapostissa on tunnistettavia kaavoja. Kun olet nähnyt tarpeeksi esimerkkejä "OSTA NYT!!!" ja "Olet voittanut palkinnon!" -viesteistä, ymmärrät idean.
Keskitasoinen monimutkaisuus (kasvojen tunnistus)
Kymmeniä tuhansia tai satoja tuhansia. Kasvot vaihtelevat valtavasti. Erilaiset kulmat, valaistus, ilmeet, iät. Tarvitset paljon vaihtelua, jotta kaikki tuo saadaan mukaan.
Suuri monimutkaisuus (minkä tahansa kohteen tunnistaminen valokuvista)
Miljoonia kuvia. Tuhansia kohdetyyppejä. Jokainen kohde erilaisissa yhteyksissä, kuvakulmissa ja valaistuksissa. Autoja kaduilla, autoja näyttelytiloissa, autoja onnettomuuksissa. Puita metsissä, puita pihoilla, puita maalauksissa. Valtava vaihtelu vaatii valtavan määrän dataa.
Äärimmäinen monimutkaisuus (kielen ymmärtäminen)
Miljardeja sanoja. Kieli on loputtoman monimuotoista. Jokainen aihe, jokainen tyyli, jokainen asiayhteys. Virallisia raportteja, rentoa jutustelua, runoutta, ohjeita, vitsejä, sarkasmia. Kaiken tämän hallitsemiseksi tarvitset altistumista valtaville määrille tekstiä.
Mutta tässä on ratkaiseva seikka: pelkkä määrä ei riitä. Mieluummin haluat 100 000 erinomaista, monipuolista ja oikein merkittyä esimerkkiä kuin 10 miljoonaa keskinkertaista, toisteista ja huolimattomasti merkittyä esimerkkiä. Se on kuin ruoanlaiton oppiminen. Harjoittelisitko mieluummin 100 eri ruokalajin valmistamista hyvien ohjeiden avulla vai tekisitkö samaa keskinkertaista pastaa 10 000 kertaa epäselvillä ohjeilla? Harjoittelun monipuolisuus ja laatu merkitsevät enemmän kuin pelkkä toistojen määrä.
Laadukkaan datan viisi ainesosaa
Mikä tekee datasta hyvää tai huonoa? Viisi keskeistä tekijää. Käydään ne läpi esimerkkien avulla, joita kuka tahansa ymmärtää.
-
1
Tarkat merkinnät (oikeiden vastausten saaminen)
Kuvittele, että opetat lapselle eläimiä väärin merkittyjen kuvien avulla. "Tämä on koira" kuvan vieressä, jossa on kissa. "Tämä on lehmä" hevosen vieressä. Lapsi oppii täysin väärin. Hän tunnistaa eläimet väärin aina.
Tekoälyllä on sama ongelma. Jos koulutat sen tunnistamaan kissoja, jokaisen "kissa"-merkityn kuvan on oltava oikeasti kissa. Jo 5 prosentin virheet aiheuttavat vakavia ongelmia. 10 prosentin virheet? Tekoäly oppii roskaa. Se ei pysty erottamaan signaalia kohinasta, kun vastaukset ovat epäluotettavia.
-
2
Edustavuus (vastaavuus todellisen elämän kanssa)
Lapsenlapsesi oppi tunnistamaan lintuja takapihallasi lähiössä. Hän on hyvä tunnistamaan kardinaaleja, punarinnat, sinitiaiset. Sitten viet hänet rannalle. Lokit, pelikaanit, sirrit. Hän on ymmällään. Mikään ei näytä niiltä linnuilta, joista hän oppi.
Koulutusdatan on vastattava sitä, missä tekoälyä todella käytetään. Koulutat kasvojentunnistusjärjestelmän hyvin valaistuilla studiokuvilla? Se epäonnistuu hämärässä yökerhon valaistuksessa. Koulutat ääniavustajan selkeällä, hiljaisella puheella? Se kamppailee aksenttien ja taustamelun kanssa. Datajakauman on vastattava todellisen maailman jakaumaa.
-
3
Riittävä monipuolisuus (kaikkien tilanteiden kattaminen)
Kuvittele oppivasi ajamaan autoa vain täydellisessä säässä suorilla teillä ja vähäisessä liikenteessä. Olisit kauhea kuljettaja kaikkialla muualla. Mutkat? Panikki. Sade? Katastrofi. Ruuhka-aika? Ylivoimaista.
Tekoäly tarvitsee monipuolisuutta koulutusdatassa. Kuvia kirkkaassa auringonpaisteessa ja hämärässä varjossa. Muodollista tekstiä ja arkista tekstiä. Nuoria ääniä ja vanhoja ääniä. Tavallisia tapauksia ja harvinaisia reunatapauksia. Ilman monipuolisuutta tekoäly ylisovittuu. Se opettelee ulkoa yksittäisiä esimerkkejä yleisten kaavojen oppimisen sijaan. Näytä sille vain kultaisia noutajia, ja se kamppailee villakoirien kanssa. Näytä sille kissoja joka värisinä, kokoisina ja asennoissa, ja se tunnistaa kissat luotettavasti.
-
4
Merkityksellisyys ja ajantasaisuus (ajan tasalla pysyminen)
Kuvittele opettavasi jollekulle 1960-luvun muotia ja odottavasi hänen tunnistavan nykytrendejä. Housupuvut, kampaukset, go-go-saappaat. Sitten näytät hänelle modernia muotia. Hän on hämmentynyt. Kaikki on muuttunut.
Data vanhenee. Kieli kehittyy ("cool" tarkoittaa nykyään eri asiaa kuin 1960-luvulla). Roskapostitaktiikat muuttuvat (eilisen temput lakkaavat toimimasta). Muotitrendit vaihtuvat. Teknologia päivittyy. Jos koulutusdatasi on viiden vuoden takaa, kaavat ovat ehtineet muuttua. Ajantasainen data vangitsee nykyiset kaavat.
-
5
Vapaus harhoista (oikeudenmukainen edustus)
Tämä on se iso asia. Se vaarallinen. Se, joka aiheuttaa todellista haittaa todellisessa maailmassa. Paneudumme tähän paljon syvemmin pian, koska harha datassa ei ole vain tekninen ongelma. Se on inhimillinen ongelma, jolla on vakavia seurauksia. Jos datasi heijastaa historiallista syrjintää, tekoälysi oppii syrjimään. Jos datasi yliedustaa joitakin ryhmiä ja aliedustaa toisia, tekoälysi toimii paremmin joidenkin ihmisten kohdalla kuin toisten. Roskaa sisään, roskaa ulos. Harhaa sisään, harhaa ulos.
Ajattele dataa kuin ruoanlaittoaineksia. Sinulla voi olla Michelin-tähdellä palkittu kokki (kehittynyt algoritmi), mutta jos annat hänelle mädäntyneitä vihanneksia, vanhentunutta leipää ja pilaantunutta maitoa (huonoa dataa), ateriasta tulee syömäkelvotonta. Sillä välin kotikokki (yksinkertainen algoritmi) tuoreista, laadukkaista raaka-aineista valmistaa jotain herkullista. Raaka-aineilla on enemmän merkitystä kuin kokin pätevyydellä. Tekoälyssä data on raaka-aine.
Epäglamouröösi todellisuus (missä työ todella tehdään)
Tässä on se, mitä kukaan ei kerro, kun he myyvät tekoälyratkaisuja tai opettavat tekoälykursseja:
Suurin osa työstä ei ole tekoälyn rakentamista. Se on datan valmistelua.
Data-analyytikot käyttävät noin 80 prosenttia ajastaan datan valmisteluun. Vain 20 prosenttia itse mallien rakentamiseen ja kouluttamiseen. Tämä suhdeluku kertoo kaiken siitä, missä todellinen haaste sijaitsee.
Mitä datan valmistelu pitää sisällään? Neljä valtavaa, tylsää ja kriittistä työtehtävää:
Datan kerääminen
Merkityksellisten esimerkkien kerääminen sieltä, missä niitä on. Verkkosivujen kaapiminen, tietokantojen käyttö, antureiden tallennus, useiden lähteiden yhdistäminen. Aikaa vievää. Usein kallista. Usein turhauttavaa, kun lähteet eivät yhteistyöhaluisesti toimi tai dataa ei ole olemassa.
Tietojen puhdistus
Kopioiden poistaminen. Virheiden korjaaminen. Puuttuvien arvojen käsittely. Muotojen yhdenmukaistaminen. Kohinan suodattaminen. Kuin vuosikymmenten paperisälän läpikäynti sekavassa arkistokaapissa. Tämä yksin voi viedä viikkoja tai kuukausia suurilla tietoaineistoilla.
Tietojen merkitseminen
Esimerkkien manuaalinen merkitseminen oikeilla vastauksilla. "Tämä kuva on kissa." "Tämä arvostelu on myönteinen." "Tämä tapahtuma on petollinen." Miljoonille esimerkeille. Äärimmäisen yksitoikkoista. Usein ulkoistettu matalapalkkaisille työntekijöille, jotka tekevät virheitä tylsyyden ja väsymyksen takia.
Tietojen validointi
Sen tarkistaminen, että merkinnät ovat oikein. Että monimuotoisuus on riittävää. Että vinoumat tunnistetaan ja käsitellään. Että tietoaineisto todella vastaa todellisuutta. Laadunvalvontaa miljoonille esimerkeille. Uuvuttavaa mutta täysin kriittistä.
Mikään tästä ei ole glamouria. Mikään tästä ei pääse otsikoihin. Mikään tästä ei tee vaikutusta juhlissa. Se on raakaa työtä. Mutta juuri siinä AI-projektit joko onnistuvat tai epäonnistuvat.
Algoritmi on suhteellisen helppo. Hyviä algoritmeja on paljon. Useimmat on julkaistu avoimesti. Voit ladata ne, käyttää niitä, muokata niitä. Data on vaikeaa. Sen kerääminen, puhdistaminen, merkitseminen ja validointi. Siihen todellinen vaiva menee. Siihen useimmat projektit jumiutuvat. Se erottaa toimivan AI:n tyhjistä lupauksista. Yritykset, joilla on parempi data, voittavat yritykset, joilla on parempi algoritmi. Joka kerta. Data on vallihauta. Puolustettava etu. Todellinen kilpailuetu.
Vinouman ongelma (AI:n vaarallisin heikkous)
Nyt tulemme todella epämukavaan osaan. Siihen osaan, joka aiheuttaa todellista haittaa oikeille ihmisille. Siihen osaan, joka muuttaa AI:n "hieman epäluotettavasta" "aktiivisesti vaaralliseksi".
AI ei vain opi malleja datasta. Se vahvistaa niitä.
Jos datassasi on vinoumia (ja lähes kaikessa todellisessa datassa on), AI ei suodata niitä pois. Se oppii ne. Koodaa ne. Soveltaa niitä järjestelmällisesti. Tekee niistä pahempia.
Selitän tämän tarinalla, jonka jokainen ymmärtää.
Oppiminen puolueellisesta historiallisesta datasta
Kuvittele, että opetat pojallesi, ketä yrityksessäsi palkataan. Näytät hänelle tiedostot viimeisen kahdenkymmenen vuoden palkkauksista. Tekninen osasto: enimmäkseen miehiä. Sihteerin tehtävät: enimmäkseen naisia. Johto: enimmäkseen valkoihoisia. Työväki: monimuotoisempaa.
Et koskaan sano hänelle suoraan, että "miesten pitäisi olla insinöörejä" tai "naisten pitäisi olla sihteereitä". Näytät vain historiallisen datan.
Nyt hän vastaa uusien hakemusten seulonnasta. Mitä hän tekee? Hän oppi kaavan datasta. Teknisen alan hakija, joka on nainen? Vaikuttaa epätavalliselta, ei ehkä sovi hyvin. Mies hakemassa sihteeriksi? Ei vastaa kaavaa. Hän syrjii. Ei siksi, että hän olisi huono ihminen. Siksi, että hän oppi puolueellisesta historiallisesta datasta ja sovelsi näitä kaavoja ikään kuin ne olisivat oikein.
Näin käy täsmälleen tekoälyn kanssa. Historiallinen data heijastaa historiallista syrjintää. Tekoäly oppii sen syrjinnän ikään kuin se olisi pätevä noudatettava kaava. Sitten se soveltaa sitä järjestelmällisesti miljooniin päätöksiin.
Todellisia esimerkkejä tästä:
⚠️ Amazonin palkkaava tekoäly
Amazon koulutti tekoälyn seulomaan ansioluetteloita käyttämällä kymmenen vuoden historiallista palkkausdataa. Data osoitti, että he olivat palkanneet enimmäkseen miehiä teknisiin tehtäviin. Tekoäly oppi alentamaan naisten ansioluetteloiden arvoa. Se huomasi vihjeitä, kuten "naisten shakkikerho" ansioluetteloissa, ja rankaisi niistä. Amazonin oli pakko hylätä järjestelmä. Algoritmi toimi täydellisesti. Data oli ongelma.
⚠️ Terveydenhuollon algoritmit
Useat terveydenhuollon tekoälyjärjestelmät osoittivat rodullista puolueellisuutta. Ne asettivat valkoihoiset potilaat etusijalle mustaihoisiin potilaisiin nähden, joilla oli samat oireet. Miksi? Historiallinen terveydenhuollon data heijasti historiallisia eroja hoidossa. Mustaihoiset potilaat olivat historiallisesti saaneet vähemmän hoitoa. Tekoäly oppi tämän kaavan ja sovelsi sitä ikään kuin vähäisempi hoito olisi lääketieteellisesti asianmukaista, ei merkki syrjinnästä.
⚠️ Kasvojentunnistusjärjestelmät
Useimmat kasvojentunnistuksen tietoaineistot edustavat liikaa valkoihoisia miehiä. Tekoäly toimii parhaiten valkoihoisilla miehillä. Huomattavasti huonommin naisilla. Vielä huonommin tummaihoisilla. Ei siksi, että algoritmi olisi rasistinen, vaan siksi, että koulutusdata oli epätasapainoista. Tekoäly ei yksinkertaisesti nähnyt tarpeeksi monimuotoisia kasvoja oppiakseen tunnistamaan ne luotettavasti.
⚠️ Luottopisteytysmallit
Tekoälyn luottopisteytys oppi historiallisista laina-aineistoista, jotka heijastivat vuosikymmenten syrjiviä lainakäytäntöjä. Redlining. Saalistusluotot vähemmistöjen asuinalueilla. Tekoäly koodasi nämä kaavat "hyviksi lainapäätöksiksi" ja jatkoi niiden toteuttamista. Laillista syrjintää, automatisoituna ja skaalattuna.
Jokaisessa yksittäisessä tapauksessa algoritmi toimi oikein. Se oppi aineiston kaavat. Aineisto oli puolueellinen. Niinpä tekoälystä tuli puolueellinen. Roskaa sisään, roskaa ulos. Syrjintää sisään, syrjintää ulos.
Tämä ei ole pieni tekninen ongelma. Se on perustavanlaatuinen haaste. Puolueellisesta aineistosta ei voi rakentaa reilua tekoälyä. Paremmat algoritmit eivät auta. Vain parempi aineisto auttaa. Monipuolisempi. Edustavampi. Tietoisesti vinouksista puhdistettu.
Pelottavin osuus? Puolueellinen tekoäly vaikuttaa objektiiviselta. "Tietokone sanoi niin" tuntuu uskottavammalta kuin "ihminen päätti". Mutta tietokone oppi puolueellisilta ihmisiltä, jotka tekivät puolueellisia päätöksiä. Kaikki mitä tekoäly tekee, on tämän vinouman automatisointi ja skaalaaminen, mikä saa sen näyttämään tieteelliseltä ja neutraalilta, vaikka se ei ole kumpaakaan. Aineiston vinouma on se kohta, jossa tekoäly muuttuu hyödyllisestä työkalusta vahingon välineeksi.
Mitä kysymyksiä mistä tahansa tekoälyjärjestelmästä kannattaa kysyä
Riippumatta siitä, rakennatko tekoälyä, ostatko sitä vai käytätkö sitä vain arjessasi, tässä ovat kysymykset, joita sinun kannattaa kysyä. Vastaukset kertovat, voitko luottaa siihen.
-
?
Mistä harjoitusdata on peräisin?
Lähteillä on merkitystä. Julkista internetdataa? Kuratoituja tietoaineistoja? Yrityksen tietoja? Jokaisella on omat vinoumansa ja rajoitteensa. Jos he eivät kerro, se on valtava varoitusmerkki.
-
?
Kuinka paljon dataa käytettiin? Miten se merkittiin?
Luvuilla on väliä. "Tuhannet" vs "miljoonat" tekee eron. Kuka merkitsi datan? Asiantuntijat vai satunnaiset matalapalkkaiset työntekijät? Miten laatua valvottiin? Nämä yksityiskohdat määräävät luotettavuuden.
-
?
Vastaako harjoitusdata käyttötarkoitustasi?
Muodollisilla yritysasiakirjoilla koulutettu tekoäly kamppailee epävirallisten tekstiviestien kanssa. Auringonpaisteisilla Kalifornian kuvilla koulutettu malli voi epäonnistua sateisessa Seattlessa. Vastaavuus on tärkeää. Epävastaavuus tarkoittaa epäonnistumisia.
-
?
Mitkä ryhmät ovat edustettuina datassa?
Kaikki ikäryhmät? Kaikki sukupuolet? Kaikki etnisyydet? Kaikki kielet? Vai enimmäkseen yksi väestöryhmä? Epätasapainoinen data luo järjestelmiä, jotka toimivat hyvin joillekin ja huonosti toisille.
-
?
Mitkä tunnetut vinoumat ovat olemassa? Miten ne on käsitelty?
Jokaisessa tietoaineistossa on vinoumia. Rehelliset kehittäjät tunnustavat ne ja selittävät lieventämistoimet. Jokainen, joka väittää ettei vinoumia ole, joko valehtelee tai on vaarallisen tietämätön.
-
?
Missä tilanteissa tämä tekoäly toimii huonosti?
Jokaisella tekoälyllä on rajansa harjoitusdatansa perusteella. Mitä se ei nähnyt? Mitä se ei pysty käsittelemään? Jos he eivät osaa vastata, he eivät ymmärrä omaa järjestelmäänsä tarpeeksi hyvin ottaakseen sen turvallisesti käyttöön.
Jos tekoälyä myyvä henkilö ei osaa vastata näihin kysymyksiin, kävele pois. Hän joko ei tiedä (epäpätevä) tai ei kerro (piilottelee ongelmia). Älä luota häneen kummassakaan tapauksessa.
Tiedon tulevaisuus tekoälyssä
Datahaasteet eivät ole katoamassa. Mutta lähestymistavat kehittyvät. Tässä mitä on muuttumassa:
Synteettinen data
Keinotekoisten harjoitusesimerkkien luominen simuloimalla. Hyödyllistä harvinaisiin tilanteisiin, vaarallisiin tapauksiin (kuten autokolareihin itseajaville autoille) ja yksityisyysherkille alueille. Ei korvaa oikeaa dataa, mutta arvokas lisä, joka täyttää aukkoja.
Datan augmentointi
Olemassa olevien esimerkkien muunnelmien luominen. Käännä kuvia, peilaa ne, säädä valaistusta. Muotoile lauseita uudelleen. Lisää taustamelua ääneen. Moninkertaistaa datajoukon keinotekoisesti, lisää monimuotoisuutta keräämättä uusia esimerkkejä alusta alkaen.
Vähäisen esimerkkimäärän oppiminen
Tekniikoita, joilla opitaan vähemmistä esimerkeistä siirtämällä tietoa aiemmista tehtävistä. Aivan kuten kun olet oppinut useita kieliä, uuden kielen oppiminen helpottuu. Vähentää uusien tehtävien datan tarvetta hyödyntämällä olemassa olevaa tietoa.
Yksityisyyttä säilyttävät menetelmät
Oppimista datasta ilman, että dataa varsinaisesti nähdään suoraan. Federated learning (tekoäly oppii puhelimellasi lähettämättä dataa palvelimille). Differentiaalinen yksityisyys (lisätään huolellisesti kohinaa, jotta yksittäisiä tietueita ei voida tunnistaa). Mahdollistaa oppimisen arkaluonteisesta lääketieteellisestä, taloudellisesta ja henkilökohtaisesta datasta.
Aktiivinen oppiminen
Tekoäly pyytää merkintöjä vain niistä esimerkeistä, joista se on epävarma. Sen sijaan, että merkitsisit miljoona satunnaista esimerkkiä, merkitse ne tuhat esimerkkiä, joissa tekoäly on eniten ymmällään. Keskittää ihmisen työn sinne, missä sillä on eniten merkitystä, ja vähentää merkintäkustannuksia huomattavasti.
Nämä tekniikat auttavat, mutta ne eivät poista perustotuutta: laadukas data on korvaamatonta. Voit vähentää tarvitsemasi datan määrää. Voit tuottaa täydennyksiä. Voit oppia tehokkaammin. Mutta et voi paeta roskaa sisään, roskaa ulos -periaatetta.
Lopputulos (Mitä sinun todella tarvitsee tietää)
Tuodaan tämä kotiin olennaisten totuuksien avulla datasta tekoälyssä:
Data merkitsee enemmän kuin algoritmit. Aina on merkinnyt. Aina tulee merkitsemään. Maailman hienoin ja kehittynein tekoäly, joka on koulutettu roskadatalla, tuottaa roskatuloksia. Yksinkertainen tekoäly, joka on koulutettu laadukkaalla datalla, tuottaa laadukkaita tuloksia. Joka kerta. Poikkeuksetta.
Laatu voittaa määrän, mutta tarvitset molempia. Parempi on 100 000 monipuolista, oikein merkittyä ja edustavaa esimerkkiä kuin 10 miljoonaa toisteista, väärin merkittyä ja vinoutunutta esimerkkiä. Mutta ihannetapauksessa? Haluat miljoonia laadukkaita ja monipuolisia esimerkkejä. Sekä määrää että laatua.
Aineiston vinouma muuttuu tekoälyn vinoumaksi. Historiallinen syrjintä muuttuu algoritmiseksi syrjinnäksi. Epätasapainoinen edustus muuttuu epäluotettavaksi suorituskyvyksi aliedustettujen ryhmien kohdalla. Tekoäly ei suodata vinoumaa pois. Se oppii sen, koodaa sen, vahvistaa sen ja soveltaa sitä järjestelmällisesti.
Suurin osa tekoälytyöstä on datan valmistelua, ei algoritmien rakentamista. 80 % datan keräämistä, puhdistamista, merkitsemistä ja validoimista. 20 % mallintamista. Tämä suhde kertoo kaiken. Algoritmi on helppo osa. Data on vaikea osa. Ja tärkeä osa.
Jokaisella tekoälyllä on rajat, jotka sen harjoitusdata määrittää. Sitä, mitä se ei nähnyt, se ei pysty käsittelemään. Jos data oli vinoutunutta, myös tekoäly on vinoutunutta. Jos data oli puutteellista, tekoäly epäonnistuu. Mikään tekoäly ei ylitä harjoitusdatansa rajoja. Data määrittää katon.
Muistatko äitisi reseptikirjan tämän artikkelin alusta? Resepti on vain niin hyvä kuin ne kokemukset, joihin se perustui. Kapeat kokemukset luovat kapeita reseptejä. Vinoutuneet kokemukset luovat vinoutuneita reseptejä. Väärä tieto luo reseptejä, jotka eivät toimi.
Sama pätee tekoälyyn. Järjestelmä on vain niin hyvä kuin data, josta se oppi. Kapea data luo kapean tekoälyn. Vinoutunut data luo vinoutuneen tekoälyn. Huono data luo tekoälyn, joka yksinkertaisesti ei toimi. Roskaa sisään, roskaa ulos ei ole vain iskevä sanonta. Se on tekoälyn peruslaki. Kun data on oikein, jopa yksinkertaiset algoritmit voivat oppia hyödyllisiä kaavoja. Kun data on väärin, mikään algoritminen hienostuneisuus ei pelasta sinua.
Nyt tiedät, miksi data on kaikki kaikessa tekoälyssä. Ja miksi jokainen, joka väittää toisin, joko myy sinulle jotain tai ei ymmärrä, miten tämä teknologia oikeasti toimii.
Dwevellä olemme läpinäkyviä datavaatimusten suhteen. Rajoitepohjaiset järjestelmämme tarvitsevat laadukkaita, edustavia esimerkkejä löytääkseen päteviä loogisia suhteita. Ei oikoteitä. Ei taikuutta. Vain rehellistä insinöörityötä, joka tunnustaa yksinkertaisen totuuden: luotettavaa tekoälyä ei voi rakentaa epäluotettavasta datasta. Koska roskaa sisään todella tarkoittaa roskaa ulos, joka ikinen kerta.