Andmeid AI-s: miks prügi sisse tõesti tähendab prügi välja
Retseptiraamat, mida su ema kunagi lõpuni ei kirjutanud
Kujutle oma ema kööki aastal 1990. Ta on naabruskonnas kuulus oma õunapiruka poolest. Kõik tahavad retsepti. Nii otsustab ta selle kirja panna.
Aga siin on probleem. Üle neljakümne aasta küpsetamist on ta seda kooki teinud sadu kordi. Vahel kasutas ta võid, vahel margariini (olenevalt sellest, kumb oli sel nädalal odavam). Vahel seda õuna, vahel teist, vahel tavalist. Vahel küpsetas ta 150 kraadi juures, vahel 250 (sest ahi oli tujukas). Vahel lisas ta ühe muna juurde, kui need olid väikesed.
Kogemuse paindlikkus
Iga üksik kook tuli maitsev. Ta teadis vaistlikult, kuidas kohandada. Natuke rohkem jahu, kui on niiske. Natuke vähem suhkrut, kui õun on eriti hapu. Aastatepikkune kogemus tegi ta paindlikuks.
Kujuta nüüd ette, et ta kirjutab retsepti üles ainult viimase viie küpsetamiskorra põhjal. Kõik suvel. Kõik margariiniga. Kõik selle eriti hapu õunte partiiga, mille ta soodukaga ostis. Kõik ahjuga, mis oli kuumem kui tavaliselt.
Kitsaste näidete katastroof
Keegi järgib seda retsepti talvel, võiga, magusate õuntega, tavalises ahjus. Katastroof. Kuiv, pudenev, liiga magus. Retsept ei tööta, sest näited, millele see tugines, ei esindanud kogu olukordade valikut.
Täpselt nii õpibki AI andmetest. "Retsept" (AI) on ainult nii hea kui näited, millelt ta õppis. Kitsad näited loovad kitsa AI. Kallutatud näited loovad kallutatud AI. Valed näited loovad AI, mis lihtsalt ei tööta.
See ei puuduta keerulist tehnoloogiat. See puudutab lihtsat tõde: sa saad õpetada ainult seda, mida sa näitad. Ja kui see, mida sa näitad, on puudulik, kallutatud või lihtsalt vale, siis õpitaksegi just seda.
Miks Keegi Ei Räägi Igavast Osast (Aga Peaks)
See juhtub igal tehisintellekti konverentsil, igas tehnikaartiklis, igas turunduspakkumises:
Mis saab kogu tähelepanu
Palju põnevust algoritmide ümber. Nutikas matemaatika. Uhked arhitektuurid. Närvivõrgud miljardite parameetritega. Treeningtehnikad muljetavaldavate nimedega. Optimeerimisstrateegiad, mis kõlavad nagu maagia.
Mida ignoreeritakse
Peaaegu mitte midagi andmete kohta. Kust need tulid. Kuidas need koguti. Kas need on üldse head. Mis puudub. Milliseid kallutatusi need sisaldavad.
Miks? Sest algoritmid on seksikad. Andmed on igavad. Algoritmid kõlavad targalt ja keerukalt. Andmed kõlavad nagu... paberimajandus. Kaustikud. Tabelid. Mitte üldse põnevad.
Aga siin on ebamugav tõde, mida iga aus tehisintellekti teadlane teile privaatselt ütleb:
Ebamugav tõde
Suurepärane algoritm, mida treenitakse prügiandmetel, annab prügitulemusi. Keskmine algoritm, mida treenitakse suurepärastel andmetel, annab suurepäraseid tulemusi. Iga kord. Eranditeta.
Mõtle sellele nagu eksamiks õppimisele
Algoritm on nagu õpilane, kes õpib eksamiks. Anna sellele õpilasele vale õpik ja pole vahet, kui tark ta on või kui kõvasti ta õpib. Ta kukub eksamil läbi, sest ta õppis vale info pealt. Anna keskmisele õpilasele õige õpik, palju harjutusi ja häid näiteid? Tal läheb hästi. Võib-olla mitte suurepäraselt, aga kindlalt kasulikult.
See on tehisintellekti tegelikkus. Andmete kvaliteet loeb rohkem kui algoritmi keerukus. Palju rohkem. Ja ometi ei taha peaaegu keegi sellest rääkida.
Kujuta ette, et õpetad kedagi mürgiseid seeni tundma ainult fotode järgi ühest metsast, mis on tehtud suvel ja eredas päikesevalguses. Tal võib minna väga hästi just selles metsas, suvel, päikeselistel päevadel. Aga pane ta sügisel pilves päeval teise metsa? Ta hakkab arvama. Treening oli liiga kitsas. Sama probleem on tehisintellektiga: kitsad andmed loovad kitsad ja ebausaldusväärsed süsteemid. Andmed määravad piirid sellele, mida tehisintellekt üldse suudab õppida.
Mida "andmetest õppimine" tegelikult tähendab
Kui keegi ütleb, et "tehisintellekt õpib andmetest", mida see tegelikult tähendab? Kasutame näidet, millest kõik aru saavad.
Õpetad oma lapselapsele linde tundma
Kujuta ette, et õpetad oma kümneaastasele lapselapsele erinevaid linnuliike tundma. Viid ta koos linnuraamatuga parki. Iga kord, kui näete lindu, vaatate selle koos üles.
"Näed seda? Sinised suled, punane rind, umbes nii suur. See on sinilind." Ta vaatab teda hoolega. Jätab meelde värvid, suuruse, kuju. Järgmisel nädalal jälle lind. "See? Täiesti must, suurem, vali kraaksumine. See on vares." Ta vaatleb. Jätab meelde.
Teed seda viiskümmend korda. Erinevad linnud. Erinevad olukorrad. Erinev valgustus. Vahel lendamas, vahel istumas. Pärast viitkümmend lindu hakkab ta õigesti arvama. "Vanaisa, kas see on punarind?" Ja tal on õigus!
Ta õppis näidete järgi. Paljude näidete järgi. Igaüks neist õpetas talle midagi mustrite kohta: mis teeb punarinnast punarinnu, mis teeb varesest varese.
Tehisintellekt õpib täpselt samamoodi
Näita talle näiteid. Palju näiteid. Iga näite juures ütle talle õige vastus. "See meil on rämpspost." "See foto sisaldab kassi." "See arvustus on positiivne." Tehisintellekt otsib mustreid, mis ühendavad näiteid vastustega.
Aga siin muutub asi keeruliseks. Mis juhtub, kui näitad oma lapselapsele linde ainult suvel? Ta võib arvata, et punarinnul on alati erepunane rind (talvel on see tuhmim). Mis siis, kui näitad talle ainult linde oma hoovis? Ta ei pruugi neid samu linde teises keskkonnas ära tunda.
Vigade õppimine
Mis juhtub, kui mõni lind kogemata valesti määratakse? "See on varblane", kui tegelikult on tegu leevikesega. Ta õpib vale mustri. Nüüd määrab ta leevikesi valesti igavesti, kui keegi teda ei paranda.
Näidete kvaliteet ja mitmekesisus määravad, mida ta õpib. Sama on tehisintellektiga. Andmed on õppetund. Kui õppetund on puudulik, kallutatud või vale, on ka õpitu puudulik, kallutatud või vale.
Kui Palju Andmeid Sul Tegelikult Vaja On?
Kõik küsivad seda küsimust. Vastus inimesi pettumust valmistab: see oleneb.
Mõtle oskuste õpetamisele päriselus. Mitu korda peab keegi harjutama, enne kui ta õpib?
Lapsele kingapaelte sidumise õpetamine
Võib-olla kakskümmend harjutuskorda. See on lihtne, korduv muster. Iga kord samad sammud. Palju variatsioone pole. Kakskümmend näidet涵ab selle ära.
Kellelegi autojuhtimise õpetamine
Sadu tunde. Miks? Sest autojuhtimine hõlmab lõputut variatsiooni. Linnatänavad, maanteed, vihm, lumi, teetööd, agressiivsed juhid, jalakäijad, jalgratturid, teed ületavad loomad. Iga olukord on veidi erinev. Et saada pädevaks juhiks, pead nägema kõiki neid variatsioone.
Tehisintellektiga on sama. Lihtsad ülesanded vajavad vähem näiteid. Keerulised ülesanded vajavad tohutul hulgal.
Lihtne mustrituvastus (kas see on rämpspost?)
Võib-olla 10 000 näidet. Rämpspostil on äratuntavad mustrid. Kui oled piisavalt näinud "OSTKE KOHE!!!" ja "Võitsite auhinna!" sõnumeid, saad asjast aru.
Keskmine keerukus (nägude tuvastamine)
Kümned tuhanded kuni sajad tuhanded. Näod varieeruvad tohutult. Erinevad nurgad, valgustus, näoilmed, vanused. Kõige selle hõlmamiseks on vaja palju mitmekesisust.
Suur keerukus (tuvasta fotodel mis tahes objekt)
Miljoneid pilte. Tuhandeid objektitüüpe. Iga objekt erinevates kontekstides, nurkade alt ja valgustuses. Autod tänavatel, autod näitusesaalides, autod õnnetustes. Puud metsades, puud hoovides, puud maalidel. Tohutu mitmekesisus nõuab tohutul hulgal andmeid.
Äärmuslik keerukus (mõista keelt)
Miljardeid sõnu. Keel on lõputult mitmekesine. Iga teema, iga stiil, iga kontekst. Ametlikud aruanded, vestlused, luule, juhised, naljad, sarkasm. Et selle kõigega toime tulla, on vaja kokkupuudet tohutute tekstihulkadega.
Kuid siin on kriitiline punkt: ainult hulgast ei piisa. Pigem tahaksid sa 100 000 suurepärast, mitmekesist ja õigesti märgendatud näidet kui 10 miljonit keskpärast, korduvat ja lohakalt märgendatud näidet. See on nagu toiduvalmistamise õppimine. Kas eelistaksid harjutada 100 erineva roa tegemist heade juhendite järgi või teha sama keskpärast pastat 10 000 korda ebaselgete juhiste järgi? Harjutamise mitmekesisus ja kvaliteet on tähtsamad kui tooraine korduste arv.
Kvaliteetse andmestiku viis koostisosa
Mis teeb andmed headeks või halbadeks? Viis peamist tegurit. Vaatame need läbi näidete abil, millest igaüks aru saab.
-
1
Täpsed märgendid (õigete vastuste saamine)
Kujutage ette, et õpetate lapsele loomi valede siltidega pildiraamatu abil. "See on koer" kassi foto kõrval. "See on lehm" hobuse kõrval. Laps õpib täiesti valesti. Ta määrab loomi valesti kogu elu.
AI-l on sama probleem. Kui treenite seda kasse ära tundma, peab iga "kassiks" märgistatud foto olema tõesti kass. Isegi 5% vigu põhjustab tõsiseid probleeme. 10% vigu? AI õpib prügi. See ei suuda eristada signaali mürast, kui vastused on ebausaldusväärsed.
-
2
Esinduslikkus (reaalse eluga vastavusse viimine)
Teie pojapoeg õppis teie äärelinna õues linde tundma. Ta tunneb suurepäraselt ära kardinalid, robinid ja sininäärud. Siis viite ta randa. Kajakad, pelikanid, rislad. Ta on segaduses. Miski ei sarnane lindudega, keda ta õppis.
Treenimisandmed peavad kajastama seda, kus AI-d tegelikult kasutatakse. Treenite näotuvastussüsteemi hästi valgustatud stuudiofotodega? See ebaõnnestub hämaras ööklubi valguses. Treenite hääleassistenti selge ja vaikse kõnega? Sellel on raskusi aktsentide ja taustamüraga. Andmejaotus peab vastama reaalse maailma jaotusele.
-
3
Piisav mitmekesisus (kõigi olukordade katmine)
Kujutage ette, et õpite autot juhtima, kuid ainult täiusliku ilmaga, sirgetel teedel ja hõreda liiklusega. Te oleksite kõikjal mujal kohutav juht. Kurvid? Paanika. Vihm? Katastroof. Tipptund? Ülekoormus.
AI vajab treeningandmetes mitmekesisust. Fotod eredas päikeses ja hämaras varjus. Ametlik kirjutis ja vestluslik tekst. Noored hääled ja vanad hääled. Tavalised juhtumid ja haruldased äärejuhtumid. Ilma mitmekesisuseta ülesobitub AI. See jätab meelde konkreetsed näited, selle asemel et õppida üldisi mustreid. Näidake talle ainult kuldseid retriivereid ja tal on probleeme puudlitega. Näidake talle kasse igas värvis, suuruses ja asendis ning ta tunneb kasse usaldusväärselt ära.
-
4
Asjakohasus ja ajakohasus (kursis püsimine)
Kujutage ette, et õpetate kellelegi 1960. aastate moodi ja ootate, et ta tunneks ära praegused trendid. Püksid, mesilasepesa soengud, go-go saapad. Siis näitate talle kaasaegset moodi. Ta on segaduses. Kõik on muutunud.
Andmed vananevad. Keel areneb ("lahe" tähendab nüüd midagi muud kui 1960. aastal). Rämpsposti taktikad muutuvad (eilsed nipid lakkavad töötamast). Moetrendid nihkuvad. Tehnoloogia uueneb. Kui teie treeningandmed on viie aasta tagused, on mustrid edasi liikunud. Praegused andmed hõlmavad praeguseid mustreid.
-
5
Eelarvamuste puudumine (õiglane esindatus)
See on see suur. See ohtlik. See, mis põhjustab reaalses maailmas tõelist kahju. Sukeldume sellesse varsti palju sügavamalt, sest eelarvamus andmetes pole lihtsalt tehniline probleem. See on inimlik probleem tõsiste tagajärgedega. Kui teie andmed kajastavad ajaloolist diskrimineerimist, õpib teie AI diskrimineerima. Kui teie andmed esindavad mõnda rühma üle ja teisi alaesindavad, töötab teie AI mõne inimese jaoks paremini kui teiste jaoks. Prügi sisse, prügi välja. Eelarvamus sisse, eelarvamus välja.
Mõtle andmetele nagu toiduainetele, millest süüa teed. Sul võib olla Michelini tärniga peakokk (keerukas algoritm), aga kui talle anda mädanenud köögivilju, vana leiba ja riknenud piima (halvad andmed), on tulemuseks söögikõlbmatu eine. Samal ajal teeb kodukokk (lihtne algoritm) värsketest ja kvaliteetsetest koostisosadest midagi maitsvat. Koostisosad on tähtsamad kui koka tunnistused. AI puhul on andmed need koostisosad.
Glamuuri-tu tegelikkus (kus tegelik töö toimub)
Siin on see, mida keegi ei räägi sulle, kui nad müüvad AI-lahendusi või õpetavad AI-kursuseid:
Suurem osa tööst ei ole AI ehitamine. See on andmete ettevalmistamine.
Andmeteadlased kulutavad umbes 80% oma ajast andmete ettevalmistamisele. Ainult 20% mudelite ehitamisele ja treenimisele. See suhe ütleb sulle kõik selle kohta, kus tegelik väljakutse peitub.
Mida andmete ettevalmistamine endast kujutab? Neli suurt, tüütut ja kriitilist tööülesannet:
Andmete kogumine
Asjakohaste näidete kogumine kõikjalt, kus need eksisteerivad. Veebilehtede kraapimine, andmebaasidele juurdepääs, andurite salvestused, mitme allika koondamine. Aeganõudev. Tihti kallis. Sage närvesööv, kui allikad ei tee koostööd või andmeid lihtsalt pole.
Andmete puhastamine
Dubleeritud kirjete eemaldamine. Vigade parandamine. Puuduvate väärtuste käsitlemine. Vormingute ühtlustamine. Müra filtreerimine. Nagu aastakümnete pikkuse paberimajanduse läbitöötamine segases arhiivikapis. Suurte andmehulkade puhul võib see üksi võtta nädalaid või kuid.
Andmete märgendamine
Näidete käsitsi märgendamine õigete vastustega. "See pilt on kass." "See arvustus on positiivne." "See tehing on petturlik." Miljonite näidete jaoks. Usutamatult tüütu. Sageli tellitakse see välja madalapalgalistelt töötajatelt, kes teevad igavusest ja väsimusest vigu.
Andmete valideerimine
Kontrollimine, et märgendid on õiged. Et mitmekesisus on piisav. Et eelarvamused on tuvastatud ja nendega tegeletud. Et andmestik kajastab tõeliselt tegelikkust. Kvaliteedikontroll miljonite näidete jaoks. Kurnav, kuid täiesti kriitilise tähtsusega.
Ükski sellest pole glamuurne. Ükski sellest ei jõua uudistesse. Ükski sellest ei avalda inimestele peol muljet. See on rügamine. Kuid just siin AI-projektid kas õnnestuvad või ebaõnnestuvad.
Algoritm on suhteliselt lihtne. Häid algoritme on palju. Enamik neist on avalikult avaldatud. Saate need alla laadida, kasutada ja muuta. Andmed on rasked. Nende kogumine, puhastamine, märgendamine ja valideerimine. Sinna läheb tegelik pingutus. Seal jäävad enamik projekte toppama. See eristab toimivat AI-d tühjast lubadusest. Paremate andmetega ettevõtted võidavad paremate algoritmidega ettevõtteid. Iga kord. Andmed on kaitsevall. Kaitstav eelis. Tegelik konkurentsieelis.
Eelarvamuste probleem (AI kõige ohtlikum viga)
Nüüd jõuame tõeliselt ebamugava osani. Osani, mis põhjustab tegelikku kahju päris inimestele. Osani, mis muudab AI "kergelt ebausaldusväärsest" "aktiivselt ohtlikuks".
AI ei õpi andmetest lihtsalt mustreid. Ta võimendab neid.
Kui teie andmetes on eelarvamusi (ja peaaegu kõigis reaalse maailma andmetes on), ei filtreeri AI neid välja. Ta õpib need selgeks. Kodeerib need. Rakendab neid süstemaatiliselt. Muudab need hullemaks.
Las ma selgitan seda looga, millest kõik aru saavad.
Õppimine kallutatud ajaloolistest andmetest
Kujutage ette, et õpetate oma pojapojale, keda teie ettevõttes tööle võetakse. Näitate talle viimase kahekümne aasta värbamisandmeid. Inseneriosakond: enamasti mehed. Sekretäriametid: enamasti naised. Juhtkond: enamasti valged. Töölised: mitmekesisemad.
Te ei ütle talle kunagi otseselt, et "mehed peaksid olema insenerid" või "naised peaksid olema sekretärid". Näitate talle lihtsalt ajaloolisi andmeid.
Nüüd vastutab tema uute avalduste läbivaatamise eest. Mida ta teeb? Ta õppis mustri andmetest. Naine inseneri ametikohale? Tundub ebatavaline, võib-olla ei sobi. Mees sekretäriks? Ei klapi mustriga. Ta diskrimineerib. Mitte sellepärast, et ta on halb inimene. Sest ta õppis kallutatud ajaloolistest andmetest ja rakendas neid mustreid nii, nagu oleksid need õiged.
Täpselt nii juhtub ka tehisintellektiga. Ajaloolised andmed peegeldavad ajaloolist diskrimineerimist. AI õpib selle diskrimineerimise selgeks nii, nagu oleks see kehtiv muster, mida järgida. Seejärel rakendab ta seda süstemaatiliselt miljonite otsuste puhul.
Reaalsed näited selle toimumisest:
⚠️ Amazoni värbamis-AI
Amazon treenis tehisintellekti CV-de sõelumiseks, kasutades kümne aasta ajaloolisi värbamisandmeid. Andmed näitasid, et nad olid tehnilistele ametikohtadele palganud enamasti mehi. AI õppis naiste CV-sid madalamalt hindama. See märkas vihjeid nagu "naiste maleklubi" CV-del ja karistas nende eest. Amazon pidi süsteemi maha kandma. Algoritm töötas suurepäraselt. Probleem oli andmetes.
⚠️ Tervishoiualgoritmid
Mitmed tervishoiu tehisintellektisüsteemid näitasid rassilist kallutatust. Need seadsid valged patsiendid mustanahalistest patsientidest ettepoole, kui sümptomid olid identsed. Miks? Ajaloolised tervishoiuandmed peegeldasid ajaloolisi erinevusi ravi osutamises. Mustanahalised patsiendid said ajalooliselt vähem ravi. AI õppis selle mustri ja rakendas seda nii, nagu oleks vähem ravi meditsiiniliselt asjakohane, mitte diskrimineerimise tõend.
⚠️ Näotuvastussüsteemid
Enamik näotuvastuse andmekogumeid esindab üle valgeid mehi. AI töötab kõige paremini valgete meeste puhul. Naiste puhul oluliselt halvemini. Tumedama nahatooniga inimeste puhul veelgi halvemini. Mitte sellepärast, et algoritm on rassistlik, vaid sellepärast, et treeningandmed olid tasakaalustamata. AI lihtsalt ei näinud piisavalt erinevaid nägusid, et õppida neid usaldusväärselt ära tundma.
⚠️ Krediidiskoorimise mudelid
AI-põhine krediidiskoorimine õppis ajaloolistest laenuandmetest, mis peegeldasid aastakümneid kestnud diskrimineerivaid laenutavasid. Redlining. Röövellikud laenud vähemuste linnaosades. AI kodeeris need mustrid „headeks laenuotsusteks" ja jätkab nende jõustamist. Seaduslik diskrimineerimine, automatiseerituna ja skaleerituna.
Igal üksikul juhul töötas algoritm õigesti. See õppis andmete mustrid. Andmed olid kallutatud. Nii muutus ka AI kallutatuks. Rämps sisse, rämps välja. Diskrimineerimine sisse, diskrimineerimine välja.
See ei ole väike tehniline probleem. See on põhimõtteline väljakutse. Ebaõiglaste andmete põhjal ei saa ehitada õiglast AI-d. Paremad algoritmid ei aita. Ainult paremad andmed aitavad. Mitmekesisemad. Esinduslikumad. Tahtlikult kallutatusest puhastatud.
Kõige hirmutavam osa? Kallutatud AI tundub objektiivne. „Arvuti ütles nii" tundub legitiimsem kui „inimene otsustas". Kuid arvuti õppis kallutatud inimestelt, kes tegid kallutatud otsuseid. Kogu AI teebki on selle kallutatuse automatiseerimine ja skaleerimine, muutes selle teaduslikuks ja neutraalseks, kuigi see ei ole kumbki. Andmete kallutatus on koht, kus AI muutub kasulikust tööriistast kahju tekitavaks vahendiks.
Milliseid küsimusi küsida iga AI-süsteemi kohta
Ükskõik, kas ehitate AI-d, ostate AI-d või kasutate AI-d lihtsalt igapäevaelus, on siin küsimused, mida peaksite küsima. Vastused näitavad, kas saate seda usaldada.
-
?
Kust pärinevad treeningandmed?
Konkreetsed allikad on olulised. Avaliku interneti andmed? Kureeritud andmekogumid? Ettevõtte dokumendid? Igal neist on erinevad kallutatused ja piirangud. Kui nad seda ei ütle, on see suur punane lipp.
-
?
Kui palju andmeid kasutati? Kuidas need märgistati?
Arvud loevad. "Tuhanded" vs "miljonid" teeb vahet. Kes need märgistas? Eksperdid või juhuslikud madalapalgalised töötajad? Kuidas kvaliteeti kontrolliti? Need üksikasjad määravad usaldusväärsuse.
-
?
Kas treeningandmed vastavad teie kasutusjuhule?
Ametlike äridokumentide peal treenitud tehisintellektil on raskusi vabas vormis sõnumitega. Päikeseliste California fotode peal treenitu võib vihmasel Seattle'il läbi kukkuda. Vastavus loeb. Mittevastavus tähendab ebaõnnestumisi.
-
?
Millised rühmad on andmetes esindatud?
Kõik vanused? Kõik sood? Kõik rahvused? Kõik keeled? Või enamasti üks demograafiline rühm? Tasakaalustamata andmed loovad süsteeme, mis töötavad suurepäraselt mõne jaoks ja halvasti teiste jaoks.
-
?
Millised teadaolevad kallutatused on olemas? Kuidas neid käsitleti?
Igas andmekogumis on kallutatusi. Ausad arendajad tunnistavad neid ja selgitavad leevendusmeetmeid. Igaüks, kes väidab, et kallutatusi pole üldse, kas valetab või on ohtlikult teadlik.
-
?
Milliste olukordadega see tehisintellekt halvasti toime tuleb?
Igal tehisintellektil on oma treeningandmetest tulenevad piirid. Mida see ei näinud? Millega ta hakkama ei saa? Kui nad sellele vastata ei oska, ei mõista nad oma süsteemi piisavalt hästi, et seda ohutult kasutusele võtta.
Kui keegi, kes sulle AI-d müüb, ei oska neile küsimustele vastata, pöördu ära. Nad kas ei tea (pädevuseta) või ei ütle sulle (peidavad probleeme). Kummalgi juhul ära usalda neid.
Andmete tulevik AI-s
Andmeprobleemid ei kao kuhugi. Kuid lähenemisviisid arenevad. Siin on, mis muutub:
Sünteetilised andmed
Simulatsiooni kaudu tehismärgendusnäidete loomine. Kasulik haruldaste stsenaariumite, ohtlike olukordade (nagu autokraanid isejuhtivatele autodele) ja privaatsustundlike valdkondade puhul. Ei asenda pärisandmeid, kuid on väärtuslik täiendus, mis täidab lüngad.
Andmete laiendamine
Olemasolevate näidete variantide loomine. Pööra pilte, peegelda neid, kohanda valgustust. Sõnasta lauseid ümber. Lisa helile taustamüra. Korrutab sinu andmestiku kunstlikult, suurendades mitmekesisust ilma uusi näiteid nullist kogumata.
Vähese näidete õppimine
Tehnikad, mille abil õppida vähemate näidete põhjal, kandes üle teadmisi varasematest ülesannetest. Nagu siis, kui oled õppinud mitu keelt ja uue keele omandamine muutub lihtsamaks. Vähendab andmevajadust uute ülesannete puhul, kasutades olemasolevaid teadmisi.
Privaatsust säilitavad meetodid
Andmetest õppimine ilma neid otseselt nägemata. Liitõpe (AI õpib sinu telefonis, saatmata andmeid serveritesse). Diferentsiaalne privaatsus (hoolikalt lisatud müra, nii et üksikuid kirjeid ei saa tuvastada). Võimaldab õppida tundlikest meditsiini-, rahandus- ja isikuandmetest.
Aktiivne õpe
AI küsib silte ainult nende näidete jaoks, milles ta pole kindel. Miljoni juhusliku näite märgendamise asemel märgenda need tuhat näidet, milles AI on kõige segaduses. Suunab inimese töö sinna, kus see on kõige olulisem, vähendades märgendamiskulusid märkimisväärselt.
Need tehnikad aitavad, kuid ei kaota põhitõde: kvaliteetsed andmed on asendamatud. Saad vähendada vajalikku hulka. Saad luua täiendusi. Saad õppida tõhusamalt. Kuid põhimõtet "pahn sisse, pahn välja" ei pääse.
Lõppkokkuvõte (Mida Sa Tegelikult Teadma Pead)
Toome selle kokku oluliste tõdedega andmete kohta tehisintellektis:
Andmed on tähtsamad kui algoritmid. Alati on olnud. Alati jäävad. Kõige uhkem ja keerukam AI maailmas, mis on treenitud halbadel andmetel, annab halbu tulemusi. Lihtne AI, mis on treenitud kvaliteetsetel andmetel, annab kvaliteetseid tulemusi. Iga kord. Eranditeta.
Kvaliteet võidab kvantiteedi, kuid vaja on mõlemat. Parem on 100 000 mitmekesist, õigesti märgendatud ja esinduslikku näidet kui 10 miljonit korduvat, valesti märgendatud ja kallutatud näidet. Aga ideaalis? Tahad miljoneid kvaliteetseid ja mitmekesiseid näiteid. Nii kvantiteeti kui ka kvaliteeti.
Eelarvamus andmetes muutub eelarvamuseks tehisintellektis. Ajalooline diskrimineerimine muutub algoritmiliseks diskrimineerimiseks. Tasakaalustamata esindatus muutub ebausaldusväärseks jõudluseks alaesindatud rühmade jaoks. AI ei filtreeri eelarvamust välja. Ta õpib selle selgeks, kodeerib selle, võimendab seda ja rakendab seda süstemaatiliselt.
Suurem osa AI-tööst on andmete ettevalmistamine, mitte algoritmide ehitamine. 80% andmete kogumine, puhastamine, märgendamine, valideerimine. 20% modelleerimine. See suhe ütleb sulle kõik. Algoritm on lihtne osa. Andmed on raske osa. Ja oluline osa.
Igal AI-l on piirid, mille määrab tema treeningandmete hulk. Mida ta ei näinud, sellega ta hakkama ei saa. Kus andmed olid eelarvamuslikud, seal on tema eelarvamuslik. Kus andmed olid puudulikud, seal ta ebaõnnestub. Ükski AI ei ületa oma treeningandmeid. Andmed määravad lae.
Mäletad oma ema retseptiraamatut selle artikli algusest? Retsept on ainult nii hea kui kogemused, millel see põhineb. Kitsad kogemused loovad kitsad retseptid. Eelarvamuslikud kogemused loovad eelarvamuslikud retseptid. Vale informatsioon loob retsepte, mis ei tööta.
Sama on AI-ga. Süsteem on ainult nii hea kui andmed, millelt ta õppis. Kitsad andmed loovad kitsa AI. Eelarvamuslikud andmed loovad eelarvamusliku AI. Halvad andmed loovad AI, mis lihtsalt ei tööta. "Sisse prügi, välja prügi" ei ole lihtsalt kõlav ütlus. See on AI põhiseadus. Kui saad andmed õigeks, suudavad isegi lihtsad algoritmid õppida kasulikke mustreid. Kui saad andmed valeks, ei päästa sind mingi algoritmiline keerukus.
Nüüd tead, miks on andmed AI-s kõik. Ja miks igaüks, kes sulle vastupidist räägib, kas müüb midagi või ei mõista, kuidas see tehnoloogia tegelikult töötab.
Dweve'is oleme andmenõuete osas läbipaistvad. Meie piirangupõhised süsteemid vajavad kvaliteetseid, esinduslikke näiteid, et avastada kehtivaid loogilisi seoseid. Ei mingeid otseteid. Ei mingit maagiat. Lihtsalt aus inseneritöö, mis tunnistab lihtsat tõde: usaldusväärset AI-d ei saa ehitada ebausaldusväärsetest andmetest. Sest prügi sisse tähendab tõesti prügi välja, iga kord.