Dati mākslīgajā intelektā: kāpēc nekvalitatīvi dati patiešām nozīmē nekvalitatīvu rezultātu
Pavārgrāmata, kuru tava mamma nekad nepabeidza
Iedomājies savas mammas virtuvi 1990. gadā. Viņa ir slavena apkārtnē ar savu ābolu pīrāgu. Visi grib šo recepti. Tāpēc viņa nolemj to pierakstīt.
Bet te ir problēma. Vairāk nekā četrdesmit gadu cepšanas laikā viņa šo kūku ir cepusi simtiem reižu. Dažreiz viņa lietoja sviestu, dažreiz margarīnu (atkarībā no tā, kas tajā nedēļā bija lētāks). Dažreiz šo ābolu, dažreiz citu, dažreiz parasto. Dažreiz viņa cepa 150 grādos, dažreiz 250 (jo cepeškrāsns bija kaprīza). Dažreiz viņa pielika papildu olu, kad tās bija mazas.
Pieredzes elastīgums
Katra kūka izdevās garda. Viņa instinktīvi zināja, kā pielāgoties. Mazliet vairāk miltu, kad ir mitrs. Mazliet mazāk cukura, kad ābols ir īpaši skābs. Gadu pieredze padarīja viņu elastīgu.
Tagad iedomājies, ka viņa pieraksta recepti, balstoties tikai uz pēdējām piecām reizēm, kad tā cepa. Visas vasarā. Visas ar margarīnu. Visas ar to īpaši skābo ābolu partiju, ko viņa nopirka atlaidē. Visas ar cepeškrāsni, kas strādāja karstāk.
Šauru piemēru katastrofa
Kāds seko šai receptei ziemā, ar sviestu, ar saldiem āboliem, parastā cepeškrāsnī. Katastrofa. Sausa, drupanīga, daudz par saldu. Recepte nedarbojas, jo piemēri, uz kuriem tā balstījās, neatspoguļoja visu situāciju klāstu.
Tieši tā mākslīgais intelekts mācās no datiem. "Recepte" (jeb MI) ir tik laba, cik labi ir piemēri, no kuriem tā mācījās. Šauri piemēri rada šauru MI. Neobjektīvi piemēri rada neobjektīvu MI. Nepareizi piemēri rada MI, kas vienkārši nedarbojas.
Šeit nav runa par sarežģītu tehnoloģiju. Tā ir vienkārša patiesība: tu vari iemācīt tikai to, ko parādi. Un, ja tas, ko tu parādi, ir nepilnīgs, neobjektīvs vai vienkārši nepareizs, tieši to arī iemācās.
Kāpēc Neviens Nerunā par Garlaicīgo Daļu (Bet Vajadzētu)
Lūk, kas notiek katrā mākslīgā intelekta konferencē, katrā tehnoloģiju rakstā, katrā mārketinga piedāvājumā:
Kam tiek pievērsta visa uzmanība
Daudz sajūsmas par algoritmiem. Atjautīgā matemātika. Sarežģītās arhitektūras. Neironu tīkli ar miljardiem parametru. Apmācības metodes ar iespaidīgiem nosaukumiem. Optimizācijas stratēģijas, kas izklausās pēc maģijas.
Kas tiek ignorēts
Gandrīz nekas par datiem. No kurienes tie nāk. Kā tie tika apkopoti. Vai tie vispār ir derīgi. Kas trūkst. Kādas neobjektivitātes tie satur.
Kāpēc? Tāpēc, ka algoritmi ir pievilcīgi. Dati ir garlaicīgi. Algoritmi izklausās gudri un sarežģīti. Dati izklausās kā... papīru kārtošana. Dokumentu skapji. Izklājlapas. Nebūt ne aizraujoši.
Bet lūk, neērtā patiesība, ko katrs godīgs mākslīgā intelekta pētnieks jums pateiks privāti:
Neērtā patiesība
Izcils algoritms, kas apmācīts ar nekvalitatīviem datiem, rada nekvalitatīvus rezultātus. Viduvējs algoritms, kas apmācīts ar izciliem datiem, rada izcilus rezultātus. Katru reizi. Bez izņēmumiem.
Domā par to kā par gatavošanos pārbaudījumam
Algoritms ir kā skolēns, kas gatavojas pārbaudījumam. Ja šim skolēnam iedod nepareizu mācību grāmatu, tad nav svarīgi, cik gudrs viņš ir vai cik cītīgi mācās. Viņš pārbaudījumā izgāzīsies, jo mācījās no nepareizas informācijas. Bet viduvējam skolēnam iedod pareizu mācību grāmatu, daudz uzdevumu un labus piemērus? Viņam veiksies labi. Varbūt ne perfekti, bet stabili un lietderīgi.
Tāda ir mākslīgā intelekta realitāte. Datu kvalitāte ir svarīgāka par algoritma sarežģītību. Daudz svarīgāka. Un tomēr gandrīz neviens par to nevēlas runāt.
Iedomājies, ka māci kādam atpazīt indīgās sēnes, izmantojot tikai fotogrāfijas no viena meža, uzņemtas vasarā, visās spožā saules gaismā. Šis cilvēks, iespējams, lieliski veiktos tieši tajā mežā, vasarā, saulainās dienās. Bet ieliec viņu citā mežā rudenī, mākoņainā dienā? Viņš minēs. Apmācība bija pārāk šaura. Tāda pati problēma ir ar mākslīgo intelektu: šauri dati rada šauras, neuzticamas sistēmas. Dati nosaka robežas tam, ko mākslīgais intelekts vispār spēj iemācīties.
Ko "Mācīšanās no Datiem" Patiesībā Nozīmē
Kad kāds saka, ka "mākslīgais intelekts mācās no datiem", ko tas īsti nozīmē? Izmantosim piemēru, ko saprot ikviens.
Māci mazdēlam atpazīt putnus
Iedomājies, ka māci savam desmitgadīgajam mazdēlam atpazīt dažādus putnus. Ņem viņu līdzi uz parku ar putnu noteicēju. Katru reizi, kad ieraugāt putnu, kopā to uzmeklējat.
"Redzi to? Zilas spalvas, sarkanas krūtis, apmēram tik liels. Tas ir zilputniņš." Viņš to rūpīgi aplūko. Ievēro krāsas, izmēru, formu. Nākamnedēļ vēl viens putns. "Un tas? Viss melns, lielāks, skaļa ķērkšana. Tā ir vārna." Viņš vēro. Atceras.
Tu to dari piecdesmit reizes. Dažādi putni. Dažādas situācijas. Dažāds apgaismojums. Dažreiz lidojumā, dažreiz sēžot. Pēc piecdesmit putniem viņš sāk pareizi minēt. "Vectēv, vai tas ir sarkanrīklītis?" Un viņam ir taisnība!
Viņš mācījās no piemēriem. Daudziem piemēriem. Katrs no tiem iemācīja viņam kaut ko par modeļiem: kas padara sarkanrīklīti par sarkanrīklīti, kas padara vārnu par vārnu.
Mākslīgais intelekts mācās tieši tāpat
Parādi tam piemērus. Daudz piemēru. Par katru piemēru pasaki pareizo atbildi. "Šis e-pasts ir mēstule." "Šajā fotoattēlā ir kaķis." "Šis atsauksmes teksts ir pozitīvs." Mākslīgais intelekts meklē modeļus, kas savieno piemērus ar atbildēm.
Bet te kļūst sarežģīti. Kas notiek, ja mazdēlam rādi putnus tikai vasarā? Viņš varētu domāt, ka sarkanrīklišiem vienmēr ir koši sarkanas krūtis (ziemā tās ir blāvākas). Ko darīt, ja rādi viņam tikai tos putnus, kas ir tavā pagalmā? Viņš, iespējams, neatpazīs tos pašus putnus citā vidē.
Nepareizu modeļu apgūšana
Kā būtu, ja nejauši nepareizi atpazītu dažus putnus? "Tā ir zvirbule", bet patiesībā tā ir žubīte. Viņš apgūst nepareizo modeli. Tagad viņš žubītes vienmēr atpazīs nepareizi, ja vien kāds viņu neizlabos.
Piemēru kvalitāte un daudzveidība nosaka to, ko viņš apgūst. Tāpat ir ar mākslīgo intelektu. Dati ir mācība. Ja mācība ir nepilnīga, neobjektīva vai nepareiza, arī apgūtais būs nepilnīgs, neobjektīvs vai nepareizs.
Cik daudz datu patiesībā ir nepieciešams?
Šo jautājumu uzdod visi. Atbilde cilvēkus kaitina: tas ir atkarīgs.
Padomājiet par prasmju mācīšanu reālajā dzīvē. Cik reižu kādam ir jātrenējas, pirms viņš iemācās?
Mācīt bērnam siet kurpju šņores
Varbūt divdesmit treniņreizes. Tas ir vienkāršs, atkārtojams modelis. Katru reizi tie paši soļi. Lielas daudzveidības nav. Divdesmit piemēru ir pietiekami.
Mācīt kādam vadīt automašīnu
Simtiem stundu. Kāpēc? Tāpēc, ka braukšana ietver bezgalīgu daudzveidību. Pilsētas ielas, šosejas, lietus, sniegs, ceļu būvdarbi, agresīvi autovadītāji, gājēji, velosipēdisti, pāri ceļam skrienoši dzīvnieki. Katra situācija ir nedaudz atšķirīga. Lai kļūtu par kompetentu autovadītāju, ir jāsaskaras ar visām šīm dažādībām.
Ar mākslīgo intelektu ir tāpat. Vienkāršiem uzdevumiem ir vajadzīgs mazāk piemēru. Sarežģītiem uzdevumiem ir vajadzīgs milzīgs daudzums.
Vienkārša modeļa atpazīšana (vai tas ir mēstulis?)
Varbūt 10 000 piemēru. Mēstuļiem ir atpazīstami modeļi. Kad esat redzējis pietiekami daudz piemēru ar "PĒR TŪLĪT!!!" un "Jūs esat laimējis balvu!", jūs saprotat būtību.
Vidēja sarežģītība (seju atpazīšana)
No desmitiem tūkstošu līdz simtiem tūkstošu. Sejas atšķiras ārkārtīgi daudz. Dažādi leņķi, apgaismojums, sejas izteiksmes, vecumi. Lai to visu aptvertu, ir vajadzīga liela daudzveidība.
Augsta sarežģītība (atpazīt jebkuru objektu fotogrāfijās)
Miljoniem attēlu. Tūkstošiem objektu veidu. Katrs objekts dažādos kontekstos, leņķos, apgaismojumā. Automašīnas uz ielām, automašīnas salonos, automašīnas avārijās. Koki mežos, koki pagalmos, koki gleznās. Milzīga daudzveidība prasa milzīgu datu apjomu.
Īpaši augsta sarežģītība (saprast valodu)
Miljardiem vārdu. Valodai ir neierobežota daudzveidība. Katra tēma, katrs stils, katrs konteksts. Oficiāli ziņojumi, ikdienišķas sarunas, dzeja, norādījumi, joki, sarkasms. Lai ar to visu tiktu galā, ir nepieciešams saskarties ar ārkārtīgi lielu teksta apjomu.
Bet šeit ir galvenais: ar kvantitāti vien nepietiek. Labāk ir 100 000 izcilu, daudzveidīgu un pareizi iezīmētu piemēru nekā 10 miljoni viduvēju, atkārtotu un pavirši iezīmētu piemēru. Tas ir kā mācīšanās gatavot ēst. Vai labāk praktizēties gatavot 100 dažādus ēdienus ar labiem norādījumiem, vai 10 000 reižu gatavot vienus un tos pašus viduvējus makaronus ar neskaidriem norādījumiem? Prakses daudzveidība un kvalitāte ir svarīgāka par izejvielu atkārtojumu skaitu.
Piecas kvalitatīvu datu sastāvdaļas
Kas padara datus labus vai sliktus? Pieci galvenie faktori. Apskatīsim tos, izmantojot piemērus, kurus saprot ikviens.
-
1
Precīzi marķējumi (pareizu atbilžu iegūšana)
Iedomājieties, ka mācāt bērnam par dzīvniekiem, izmantojot grāmatu ar nepareiziem attēlu parakstiem. "Šis ir suns" blakus kaķa fotoattēlam. "Šī ir govs" blakus zirgam. Bērns iemācās pilnīgi nepareizi. Viņš visu mūžu nepareizi atpazīs dzīvniekus.
Mākslīgajam intelektam ir tā pati problēma. Ja jūs to apmācāt atpazīt kaķus, katram fotoattēlam ar marķējumu "kaķis" patiešām jābūt kaķim. Pat 5% kļūdu rada nopietnas problēmas. 10% kļūdu? Mākslīgais intelekts mācās no muļķībām. Tas nespēj atšķirt signālu no trokšņa, ja atbildes nav ticamas.
-
2
Reprezentativitāte (atbilstība reālajai dzīvei)
Jūsu mazdēls iemācījās atpazīt putnus jūsu piepilsētas pagalmā. Viņš lieliski atpazīst kardinālus, sarkanos strazdus, zilos sīļus. Tad jūs viņu vedat uz pludmali. Kaijas, pelikāni, smilšu slokas. Viņš ir apmaldījies. Nekas nelīdzinās putniem, kurus viņš bija iemācījies.
Apmācības datiem jāatspoguļo vide, kurā mākslīgais intelekts patiešām tiks izmantots. Apmācīt sejas atpazīšanas sistēmu uz labi apgaismotām studijas fotogrāfijām? Tā neizdodas vājā naktskluba apgaismojumā. Apmācīt balss palīgu uz skaidras, klusas runas? Tam ir grūtības ar akcentiem un fona troksni. Datu sadalījumam jāatbilst reālās pasaules sadalījumam.
-
3
Pietiekama daudzveidība (visu situāciju aptveršana)
Iedomājieties, ka mācāties braukt, bet tikai ideālos laikapstākļos pa taisniem ceļiem nelielā satiksmē. Jūs būtu briesmīgs autovadītājs jebkur citur. Līkumi? Panika. Lietus? Katastrofa. Sastrēgumstunda? Pārslodze.
Mākslīgajam intelektam apmācības datos ir nepieciešama daudzveidība. Fotogrāfijas spožā saulē un dziļā ēnā. Formāla rakstīšana un neformāls teksts. Jaunas balsis un vecas balsis. Bieži sastopami gadījumi un reti malējie gadījumi. Bez daudzveidības mākslīgais intelekts pārmācās. Tas iegaumē konkrētus piemērus, nevis apgūst vispārīgus modeļus. Parādiet tam tikai zelta retrīverus, un tam būs grūtības ar pūdeļiem. Parādiet tam kaķus visās krāsās, izmēros un pozās, un tas ticami atpazīs kaķus.
-
4
Atbilstība un aktualitāte (saglabājot jaunāko informāciju)
Iedomājieties, ka mācāt kādam 1960. gadu modi un sagaidāt, ka viņš atpazīs pašreizējās tendences. Plašie bikšu gali, bišu stropu frizūras, go-go zābaki. Tad parādiet viņiem mūsdienu modi. Viņi ir neizpratnē. Viss ir mainījies.
Dati noveco. Valoda attīstās ("forši" tagad nozīmē kaut ko citu nekā 1960. gadā). Spamu taktika mainās (vakardienas triki vairs nedarbojas). Modes tendences mainās. Tehnoloģijas atjauninās. Ja jūsu apmācības dati ir no pirms pieciem gadiem, modeļi jau ir mainījušies. Aktuāli dati uztver pašreizējos modeļus.
-
5
Brīvība no aizspriedumiem (taisnīga pārstāvība)
Šis ir lielais. Bīstamais. Tas, kas reālajā pasaulē nodara reālu kaitējumu. Mēs drīzumā iedziļināsimies šajā jautājumā daudz vairāk, jo aizspriedumi datos nav tikai tehniska problēma. Tā ir cilvēciska problēma ar nopietnām sekām. Ja jūsu dati atspoguļo vēsturisku diskrimināciju, jūsu mākslīgais intelekts mācās diskriminēt. Ja jūsu datos dažas grupas ir pārstāvētas pārāk daudz, bet citas pārāk maz, jūsu mākslīgais intelekts dažiem cilvēkiem darbojas labāk nekā citiem. Muļķības iekšā, muļķības ārā. Aizspriedumi iekšā, aizspriedumi ārā.
Dati ir kā sastāvdaļas ēdiena gatavošanā. Tev var būt šefpavārs ar Michelin zvaigzni (sarežģīts algoritms), bet, ja iedosi viņam sapuvušus dārzeņus, novecojušu maizi un sabojātu pienu (slikti dati), ēdiens būs neēdams. Tikmēr mājas pavārs (vienkāršs algoritms) ar svaigām, kvalitatīvām sastāvdaļām pagatavos kaut ko gardu. Sastāvdaļas ir svarīgākas par pavāra kvalifikāciju. Mākslīgā intelekta jomā dati ir sastāvdaļas.
Nepievilcīgā realitāte (kur patiesībā notiek darbs)
Lūk, ko neviens tev nestāsta, kad pārdod mākslīgā intelekta risinājumus vai māca mākslīgā intelekta kursus:
Lielākā daļa darba nav mākslīgā intelekta izveide. Tā ir datu sagatavošana.
Datu zinātnieki aptuveni 80% sava laika pavada datu sagatavošanā. Tikai 20% atvēl pašai modeļu izveidei un apmācībai. Šī attiecība tev pasaka visu par to, kur slēpjas īstais izaicinājums.
Ko ietver datu sagatavošana? Četrus lielus, garlaicīgus un izšķiroši svarīgus darbus:
Datu vākšana
Atbilstošu piemēru apkopošana no visur, kur tie atrodami. Tīmekļa vietņu skrāpēšana, datubāžu izmantošana, sensoru datu ierakstīšana, vairāku avotu apvienošana. Laikietilpīgi. Bieži vien dārgi. Nereti kaitinoši, ja avoti nesadarbojas vai datu vienkārši nav.
Datu tīrīšana
Dublētu ierakstu noņemšana. Kļūdu labošana. Trūkstošo vērtību apstrāde. Formātu standartizēšana. Trokšņa filtrēšana. Tas ir kā šķirot gadu desmitiem uzkrātus dokumentus nekārtīgā mapju skapī. Lielām datu kopām vien šis process var aizņemt nedēļas vai mēnešus.
Datu marķēšana
Manuāla piemēru apzīmēšana ar pareizajām atbildēm. "Šis attēlā ir kaķis." "Šis atsauksme ir pozitīva." "Šis darījums ir krāpniecisks." Miljoniem piemēru. Ārkārtīgi nogurdinoši. Bieži vien šo darbu veic zemu atalgoti darbinieki, kuri garlaicības un noguruma dēļ pieļauj kļūdas.
Datu validācija
Pārbaude, vai marķējumi ir pareizi. Vai daudzveidība ir pietiekama. Vai novirzes ir identificētas un novērstas. Vai datu kopa patiešām atspoguļo realitāti. Kvalitātes kontrole miljoniem piemēru. Nogurdinoši, bet absolūti būtiski.
Nekas no tā nav glamūrīgs. Nekas no tā nenonāk virsrakstos. Nekas no tā neatstāj iespaidu uz cilvēkiem ballītēs. Tas ir melnais darbs. Bet tieši tajā AI projekti gūst panākumus vai cieš neveiksmi.
Algoritms ir salīdzinoši vienkāršs. Ir daudz labu algoritmu. Lielākā daļa ir publiski pieejami. Jūs varat tos lejupielādēt, izmantot, modificēt. Dati ir grūtā daļa. To vākšana, tīrīšana, marķēšana, validācija. Tieši tur tiek ieguldīts īstais darbs. Tieši tur lielākā daļa projektu iestrēgst. Tieši tas atšķir strādājošu AI no tukšas solījumu pūšļa. Uzņēmumi ar labākiem datiem pārspēj uzņēmumus ar labākiem algoritmiem. Vienmēr. Dati ir aizsarggrāvis. Aizstāvamā priekšrocība. Īstā konkurences priekšrocība.
Noviržu problēma (AI visbīstamākais trūkums)
Tagad nonākam pie patiesi neērtās daļas. Daļas, kas nodara reālu kaitējumu reāliem cilvēkiem. Daļas, kas pārvērš AI no "nedaudz neuzticama" uz "aktīvi bīstamu".
AI ne tikai mācās modeļus no datiem. Tas tos pastiprina.
Ja jūsu datos ir novirzes (un gandrīz visos reālās pasaules datos tās ir), AI tās nefiltrē. Tas tās apgūst. Iekodē. Piemēro sistemātiski. Padara tās sliktākas.
Ļaujiet man to izskaidrot ar stāstu, ko ikviens var saprast.
Mācīšanās no neobjektīviem vēsturiskiem datiem
Iedomājieties, ka mācāt savam mazdēlam, kurš tiek pieņemts darbā jūsu uzņēmumā. Jūs viņam rādāt lietas no pēdējo divdesmit gadu pieņemšanām darbā. Inženieru nodaļa: pārsvarā vīrieši. Sekretāru amati: pārsvarā sievietes. Vadība: pārsvarā baltādainie. Strādnieki: daudzveidīgāki.
Jūs nekad tieši nesakāt viņam "vīriešiem jābūt inženieriem" vai "sievietēm jābūt sekretārēm." Jūs vienkārši rādāt viņam vēsturiskos datus.
Tagad viņš ir atbildīgs par jaunu pieteikumu izvērtēšanu. Ko viņš dara? Viņš ir iemācījies modeli no datiem. Pieteikums no sievietes inženiera amatam? Šķiet neparasti, varbūt nederēs. Vīrietis piesakās sekretāra amatam? Neatbilst modelim. Viņš diskriminē. Ne tāpēc, ka viņš būtu slikts cilvēks. Bet tāpēc, ka viņš mācījās no neobjektīviem vēsturiskiem datiem un piemēroja šos modeļus tā, it kā tie būtu pareizi.
Tieši tas pats notiek ar mākslīgo intelektu. Vēsturiskie dati atspoguļo vēsturisku diskrimināciju. MI apgūst šo diskrimināciju tā, it kā tas būtu derīgs modelis, kam sekot. Pēc tam tas to sistemātiski piemēro miljoniem lēmumu.
Reāli piemēri tam, kā tas notiek:
⚠️ Amazon nodarbinātības MI
Amazon apmācīja MI atlases sistēmu, izmantojot desmit gadu vēsturiskos nodarbinātības datus. Dati liecināja, ka tehniskajos amatos pārsvarā tika pieņemti vīrieši. MI iemācījās pazemināt sieviešu CV vērtējumu. Tas atpazina pavedienus, piemēram, "sieviešu šaha klubs" CV, un sodīja par tiem. Amazon bija jāatsakās no sistēmas. Algoritms darbojās nevainojami. Problēma bija datos.
⚠️ Veselības aprūpes algoritmi
Vairākas veselības aprūpes MI sistēmas uzrādīja rasu neobjektivitāti. Tās prioritizēja baltādainos pacientus pār melnādainajiem pacientiem ar identiskiem simptomiem. Kāpēc? Vēsturiskie veselības aprūpes dati atspoguļoja vēsturiskās aprūpes atšķirības. Melnādainie pacienti vēsturiski saņēma mazāk ārstēšanas. MI apguva šo modeli un piemēroja to tā, it kā mazāka aprūpe būtu medicīniski pamatota, nevis diskriminācijas pierādījums.
⚠️ Sejas atpazīšanas sistēmas
Lielākajā daļā sejas atpazīšanas datu kopu ir pārāk daudz baltādaino vīriešu. MI vislabāk darbojas ar baltādainajiem vīriešiem. Ievērojami sliktāk ar sievietēm. Vēl sliktāk ar cilvēkiem ar tumšāku ādu. Ne tāpēc, ka algoritms būtu rasistisks, bet tāpēc, ka apmācības dati bija nelīdzsvaroti. MI burtiski neredzēja pietiekami daudz dažādu seju, lai iemācītos tās droši atpazīt.
⚠️ Kredītspējas novērtēšanas modeļi
Mākslīgā intelekta kredītspējas novērtēšana tika apgūta no vēsturiskiem aizdevumu datiem, kas atspoguļoja gadu desmitiem ilgu diskriminējošu aizdevumu praksi. Sarkanās līnijas. Plēsonīgi aizdevumi minoritāšu apkaimēs. MI iekodēja šos modeļus kā "labus aizdevumu lēmumus" un turpināja tos uzturēt. Legalizēta diskriminācija, automatizēta un mērogota.
Katrā atsevišķā gadījumā algoritms darbojās pareizi. Tas apguva datu modeļus. Dati bija neobjektīvi. Tātad MI kļuva neobjektīvs. Atkritumi iekšā, atkritumi ārā. Diskriminācija iekšā, diskriminācija ārā.
Tā nav neliela tehniska problēma. Tas ir fundamentāls izaicinājums. No neobjektīviem datiem nevar izveidot taisnīgu MI. Labāki algoritmi nepalīdz. Palīdz tikai labāki dati. Dažādāki. Reprezentatīvāki. Apzināti atbrīvoti no neobjektivitātes.
Baisākā daļa? Neobjektīvs MI šķiet objektīvs. "Tā teica dators" izklausās leģitīmāk nekā "tā nolēma cilvēks." Bet dators mācījās no neobjektīviem cilvēkiem, kuri pieņēma neobjektīvus lēmumus. Viss, ko MI dara, ir automatizēt un mērogot šo neobjektivitāti, liekot tai šķist zinātniskai un neitrālai, lai gan tā nav ne viena, ne otra. Datu neobjektivitāte ir vieta, kur MI no noderīga rīka pārvēršas par kaitējuma instrumentu.
Kādi jautājumi jāuzdod par jebkuru MI sistēmu
Neatkarīgi no tā, vai veidojat MI, pērkat MI vai vienkārši lietojat MI ikdienā, šeit ir jautājumi, kas jums būtu jāuzdod. Atbildes parādīs, vai tam varat uzticēties.
-
?
No kurienes nāca apmācības dati?
Konkrēti avoti ir svarīgi. Publiski interneta dati? Atlasītas datu kopas? Uzņēmuma ieraksti? Katram ir savas novirzes un ierobežojumi. Ja viņi jums to nepateiks, tā ir milzīga brīdinājuma zīme.
-
?
Cik daudz datu tika izmantots? Kā tie tika marķēti?
Skaitļiem ir nozīme. "Tūkstošiem" pret "miljoniem" rada atšķirību. Kas tos marķēja? Eksperti vai nejauši zemu apmaksāti darbinieki? Kā tika kontrolēta kvalitāte? Šīs detaļas nosaka uzticamību.
-
?
Vai apmācības dati atbilst jūsu lietošanas gadījumam?
Mākslīgais intelekts, kas apmācīts uz formāliem biznesa dokumentiem, cīnīsies ar neformāliem īsziņu tekstiem. Tas, kurš apmācīts uz saulainām Kalifornijas fotogrāfijām, var neizdoties lietainā Sietlā. Atbilstībai ir nozīme. Neatbilstība nozīmē neveiksmes.
-
?
Kādas grupas ir pārstāvētas datos?
Visi vecumi? Visi dzimumi? Visas etniskās piederības? Visas valodas? Vai galvenokārt viena demogrāfiskā grupa? Nelīdzsvaroti dati rada sistēmas, kas dažiem cilvēkiem darbojas lieliski, bet citiem šausmīgi.
-
?
Kādas zināmas novirzes pastāv? Kā tās tika risinātas?
Katrai datu kopai ir novirzes. Godīgi izstrādātāji tās atzīst un izskaidro mazināšanas pasākumus. Ikviens, kurš apgalvo, ka noviržu nav vispār, vai nu melo, vai arī ir bīstami neapzinīgs.
-
?
Kādās situācijās šis mākslīgais intelekts darbosies slikti?
Katram mākslīgajam intelektam ir ierobežojumi, kas balstīti tā apmācības datos. Ko tas nav redzējis? Ko tas nevar apstrādāt? Ja viņi nevar atbildēt uz šo jautājumu, viņi nepietiekami izprot savu sistēmu, lai to droši ieviestu.
Ja kāds, kas jums pārdod mākslīgo intelektu, nevar atbildēt uz šiem jautājumiem, ejiet prom. Viņš vai nu nezina (nekompetents) vai arī nevēlas jums pateikt (slēpj problēmas). Jebkurā gadījumā neuzticieties tam.
Datu nākotne mākslīgajā intelektā
Datu problēmas nepazudīs. Bet pieejas attīstās. Lūk, kas mainās:
Sintētiskie dati
Mākslīgu apmācības piemēru izveide, izmantojot simulāciju. Noderīgi retām situācijām, bīstamām situācijām (piemēram, autoavārijām pašbraucošām automašīnām) un privātumam jutīgām jomām. Tas neaizstāj reālus datus, bet ir vērtīgs papildinājums, kas aizpilda nepilnības.
Datu papildināšana
Esošo piemēru variāciju izveide. Pagrieziet attēlus, apgrieziet tos, pielāgojiet apgaismojumu. Pārfrāzējiet teikumus. Pievienojiet fona troksni audio. Tas mākslīgi reizina jūsu datu kopu, palielinot daudzveidību bez jaunu piemēru vākšanas no nulles.
Mācīšanās no dažiem piemēriem
Paņēmieni, kā mācīties no mazāka piemēru skaita, pārnesot zināšanas no iepriekšējiem uzdevumiem. Tāpat kā tad, kad esi apguvis vairākas valodas, jaunas apguve kļūst vieglāka. Samazina datu nepieciešamību jauniem uzdevumiem, izmantojot esošās zināšanas.
Privātumu aizsargājošas metodes
Mācīšanās no datiem, tos tieši neredzot. Federatīvā mācīšanās (AI trenējas tavā tālrunī, nesūtot datus uz serveriem). Diferenciālā privātums (pievienojot rūpīgi izvēlētu troksni, lai atsevišķus ierakstus nevarētu identificēt). Ļauj mācīties no sensitīviem medicīnas, finanšu un personas datiem.
Aktīvā mācīšanās
AI pieprasa iezīmes tikai tiem piemēriem, par kuriem tā nav pārliecināta. Tā vietā, lai iezīmētu miljonu nejaušu piemēru, iezīmē tos tūkstoš piemērus, kuros AI visvairāk apjūk. Koncentrē cilvēku pūles tur, kur tās visvairāk nepieciešamas, ievērojami samazinot iezīmēšanas izmaksas.
Šie paņēmieni palīdz, bet tie nenovērš pamata patiesību: kvalitatīvi dati ir neaizvietojami. Vari samazināt nepieciešamo daudzumu. Vari ģenerēt papildinājumus. Vari mācīties efektīvāk. Bet nevari izbēgt no vienādojuma "atkritumi iekšā, atkritumi ārā".
Būtība (Tas, kas Tev patiešām jāzina)
Nobeigsim ar būtiskākajām patiesībām par datiem AI jomā:
Dati ir svarīgāki par algoritmiem. Vienmēr ir bijuši. Vienmēr būs. Pasaulē izsmalcinātākais un sarežģītākais AI, kas trenēts uz nekvalitatīviem datiem, sniedz nekvalitatīvus rezultātus. Vienkāršs AI, kas trenēts uz kvalitatīviem datiem, sniedz kvalitatīvus rezultātus. Vienmēr. Bez izņēmumiem.
Kvalitāte pārspēj kvantitāti, bet vajag abus. Labāk ir 100 000 daudzveidīgu, pareizi iezīmētu, reprezentatīvu piemēru nekā 10 miljoni atkārtotu, nepareizi iezīmētu, neobjektīvu piemēru. Bet ideālā gadījumā? Gribi miljoniem augstas kvalitātes, daudzveidīgu piemēru. Gan kvantitāti, gan kvalitāti.
Neobjektivitāte datos kļūst par neobjektivitāti mākslīgajā intelektā. Vēsturiska diskriminācija kļūst par algoritmisku diskrimināciju. Nelīdzsvarots pārstāvētības līmenis kļūst par neuzticamu veiktspēju mazāk pārstāvētām grupām. Mākslīgais intelekts nefiltrē neobjektivitāti. Tas to apgūst, iekodē, pastiprina un piemēro sistemātiski.
Lielākā daļa mākslīgā intelekta darba ir datu sagatavošana, nevis algoritmu veidošana. 80% datu vākšana, tīrīšana, marķēšana, validācija. 20% modelēšana. Šī attiecība pasaka visu. Algoritms ir vieglā daļa. Dati ir grūtā daļa. Un svarīgākā daļa.
Katram mākslīgajam intelektam ir ierobežojumi, ko nosaka tā apmācības dati. To, ko tas nav redzējis, tas nevar apstrādāt. Ja dati bija neobjektīvi, tas būs neobjektīvs. Ja dati bija nepilnīgi, tas cietīs neveiksmi. Neviens mākslīgais intelekts nepārspēj savus apmācības datus. Dati nosaka griestus.
Atcerieties savas mātes recepšu grāmatu no šī raksta sākuma? Recepte ir tikai tik laba, cik laba ir pieredze, uz kuras tā balstīta. Šaura pieredze rada šauras receptes. Neobjektīva pieredze rada neobjektīvas receptes. Nepareiza informācija rada receptes, kas nedarbojas.
Tāpat ir ar mākslīgo intelektu. Sistēma ir tikai tik laba, cik labi ir dati, no kuriem tā mācījās. Šauri dati rada šauru mākslīgo intelektu. Neobjektīvi dati rada neobjektīvu mākslīgo intelektu. Slikti dati rada mākslīgo intelektu, kas vienkārši nedarbojas. "Garbage in, garbage out" nav tikai āķīgs teiciens. Tas ir mākslīgā intelekta pamatlikums. Iegūstiet pareizus datus, un pat vienkārši algoritmi var apgūt noderīgus modeļus. Iegūstiet nepareizus datus, un nekāda algoritmiskā sarežģītība jūs neglābs.
Tagad jūs zināt, kāpēc dati ir viss mākslīgajā intelektā. Un kāpēc ikviens, kurš saka citādi, vai nu kaut ko pārdod, vai nesaprot, kā šī tehnoloģija patiesībā darbojas.
Uzņēmumā Dweve mēs esam caurskatāmi attiecībā uz datu prasībām. Mūsu uz ierobežojumiem balstītajām sistēmām ir nepieciešami kvalitatīvi, reprezentatīvi piemēri, lai atklātu derīgas loģiskās attiecības. Nekādu īsceļu. Nekādas maģijas. Tikai godīga inženierija, kas atzīst vienkāršu patiesību: jūs nevarat izveidot uzticamu mākslīgo intelektu no neuzticamiem datiem. Jo "garbage in" patiešām nozīmē "garbage out", katru reizi.