Dejta fl-AI: għaliex skart ġewwa verament ifisser skart barra
Il-Ktieb tar-Riċetti li Ommok Qatt Ma Spiċċat
Immaġina l-kċina ta' ommok fl-1990. Hija famuża fil-viċinat għat-torta tat-tuffieħ tagħha. Kulħadd irid ir-riċetta. Allura tiddeċiedi li tiktebha.
Imma hawn il-problema. Fuq aktar minn erbgħin sena ta' ħami, hija għamlet dik il-kejk mijiet ta' drabi. Kultant użat il-butir, kultant il-marġerina (skont x'kien irħas dik il-ġimgħa). Kultant dan it-tuffieħ, kultant dak it-tuffieħ, kultant wieħed normali. Kultant ħamiet f'150 grad, kultant f'250 (għax il-forn kien imprevedibbli). Kultant żiedet bajda żejda meta kienu żgħar.
Il-flessibbiltà tal-esperjenza
Kull kejk ħareġ delizzjuż. Hija kienet taf istintivament kif taġġusta. Ftit aktar dqiq meta jkun umdu. Ftit inqas zokkor meta t-tuffieħ ikun partikolarment qares. Snin ta' esperjenza għamluha flessibbli.
Issa immaġina li tikteb ir-riċetta bbażata biss fuq l-aħħar ħames drabi li għamlet. Kollha fis-sajf. Kollha bil-marġerina. Kollha b'dik il-lott ta' tuffieħ qares żejjed li xtrat fis-sconto. Kollha bil-forn jaħdem jaħraq.
Id-diżastru tal-eżempji dejjaq
Xi ħadd isegwi dik ir-riċetta fix-xitwa, bil-butir, bit-tuffieħ ħelu, f'forn normali. Diżastru. Niexef, jitfarrak, ħelu wisq. Ir-riċetta ma taħdimx għax l-eżempji li kienet ibbażata fuqhom ma kinux jirrappreżentaw il-firxa sħiħa tas-sitwazzjonijiet.
Dak eżattament kif l-AI titgħallem mid-dejta. Ir-"riċetta" (l-AI) hija tajba daqs l-eżempji li tgħallmet minnhom. Eżempji dejjaq joħolqu AI dejqa. Eżempji preġudikati joħolqu AI preġudikata. Eżempji ħżiena joħolqu AI li sempliċement ma taħdimx.
Dan mhuwiex dwar teknoloġija kumplikata. Huwa dwar verità sempliċi: tista' tgħallem biss dak li turi. U jekk dak li turi huwa inkomplet, preġudikat, jew sempliċement żbaljat, dak eżattament huwa dak li jitgħallem.
Għaliex Ħadd Ma Jitkellem Dwar il-Parti Tawwalija (Iżda Għandu)
Hawn x'jiġri f'kull konferenza tal-AI, f'kull artiklu teknoloġiku, f'kull bejgħ ta' kummerċjalizzazzjoni:
Dak li jieħu l-attenzjoni kollha
Ħafna eċċitament dwar l-algoritmi. Il-matematika intelliġenti. L-arkitetturi fancy. Netwerks newrali b'biljuni ta' parametri. Tekniki ta' taħriġ b'ismijiet impressjonanti. Strateġiji ta' ottimizzazzjoni li jinstemgħu bħall-maġija.
Dak li jiġi injorat
Kważi xejn dwar id-dejta. Minn fejn ġiet. Kif inġabret. Jekk hijiex tajba. X'qed jonqos. Liema preġudizzji fiha.
Għaliex? Għaliex l-algoritmi huma attraenti. Id-dejta hija boring. L-algoritmi jinstemgħu intelliġenti u sofistikati. Id-dejta tinstema' bħal... xogħol ta' karti. Arkivji. Spreadsheets. Mhux eċċitanti xejn.
Iżda hawn il-verità skomda li kull riċerkatur onest tal-AI jgħidlek privatament:
Il-verità skomda
Algoritmu brillanti mħarreġ fuq dejta ta' skart jipproduċi riżultati ta' skart. Algoritmu medjokri mħarreġ fuq dejta eċċellenti jipproduċi riżultati eċċellenti. Kull darba. Mingħajr eċċezzjonijiet.
Aħsibha bħal meta tistudja għal eżami
L-algoritmu huwa bħal student li qed jistudja għal eżami. Agħti lil dak l-istudent il-ktieb tal-iskola ħażin, u ma jimpurtax kemm hu intelliġenti jew kemm jistudja iebes. Huwa se jfalli l-eżami għax tgħallem minn informazzjoni ħażina. Agħti lil student medju l-ktieb it-tajjeb, ħafna problemi ta' prattika, u eżempji tajbin? Huwa se jmur tajjeb. Forsi mhux perfett, imma solidament utli.
Dik hija r-realtà tal-AI. Il-kwalità tad-dejta tiswa aktar mis-sofistikazzjoni tal-algoritmu. Ħafna aktar. U madankollu, kważi ħadd ma jrid jitkellem dwarha.
Immaġina li tgħallem lil xi ħadd jidentifika faqqiegħ velenuż billi tuża biss ritratti minn foresta waħda, meħudin fis-sajf, kollha bid-dawl tax-xemx qawwi. Jista' jmur tajjeb ħafna f'dik il-foresta eżatta, fis-sajf, fi ġranet xemxin. Imma poġġih fi foresta differenti fil-ħarifa f'jum imsaħħab? Huwa qed jaħseb bl-addoċċ. It-taħriġ kien dejjaq wisq. L-istess problema bl-AI: dejta dejqa toħloq sistemi dejqa u mhux affidabbli. Id-dejta tiddefinixxi l-limiti ta' dak li l-AI tista' possibbilment titgħallem.
Xi Jfisser Verament "Nitgħallem mid-Dejta"
Meta xi ħadd jgħid "l-AI titgħallem mid-dejta," xi jfisser verament? Ejja nużaw eżempju li kulħadd jista' jifhem.
Tgħallem lin-neputi tiegħek jagħraf l-għasafar
Immaġina li qed tgħallem lin-neputi tiegħek ta' għaxar snin jagħraf tipi differenti ta' għasafar. Teħodlu l-park b'ktieb ta' gwida dwar l-għasafar. Kull darba li taraw għasfur, tfittxuh flimkien.
"Tarah dak? Rix blu, sidru aħmar, daqs hekk. Dak hu bluebird." Huwa jħarsu sew. Jinnota l-kuluri, id-daqs, il-forma. Il-ġimgħa d-dieħla, għasfur ieħor. "Dak? Iswed kollu, akbar, ħoss qawwi ta' qagħaq. Dak hu crow." Huwa josserva. Jiftakar.
Tagħmel dan ħamsin darba. Għasafar differenti. Sitwazzjonijiet differenti. Dawl differenti. Kultant itir, kultant bilqiegħda. Wara ħamsin għasfur, jibda jaħseb sew. "Nannu, dak robin?" U jkollu raġun!
Huwa tgħallem mill-eżempji. Ħafna eżempji. Kull wieħed għallmu xi ħaġa dwar il-mudelli: x'jagħmel robin robin, x'jagħmel crow crow.
L-AI titgħallem eżattament bl-istess mod
Urilha eżempji. Ħafna minnhom. Għal kull eżempju, għidilha t-tweġiba t-tajba. "Din l-email hija spam." "Din ir-ritratt fiha qattus." "Din ir-reviżjoni hija pożittiva." L-AI tfittex mudelli li jgħaqqdu l-eżempji mat-tweġibiet.
Imma hawnhekk issir delikata. X'jiġri jekk turi lin-neputi tiegħek biss għasafar fis-sajf? Jista' jaħseb li r-robins dejjem ikollhom sidru aħmar jgħajjat (huma aktar matt fix-xitwa). X'jiġri jekk turih biss għasafar fil-bitħa tiegħek? Jista' ma jagħrafx dawk l-istess għasafar f'ambjent differenti.
Jitgħallem mudelli żbaljati
X'jiġri jekk b'kumbinazzjoni tidentifika xi għasafar ħażin? "Dak għasfur tal-bejt" meta fil-fatt ikun sponsun. Hu jitgħallem il-mudell żbaljat. Issa se jibqa' jidentifika l-isponsuni ħażin għal dejjem sakemm ma jkunx hemm min jikkoreġih.
Il-kwalità u l-varjetà tal-eżempji jiddeterminaw dak li jitgħallem. L-istess mal-AI. Id-dejta hija l-lezzjoni. Jekk il-lezzjoni tkun mhux kompluta, preġudikata, jew ħażina, it-tagħlim ikun mhux komplut, preġudikat, jew ħażin.
Kemm Tassew Għandek Bżonn Dejta?
Kulħadd jistaqsi din il-mistoqsija. It-tweġiba tdejjaq lin-nies: jiddependi.
Aħseb dwar kif ngħallmu l-ħiliet fil-ħajja reali. Kemm-il darba jkollu bżonn jipprattika persuna qabel ma titgħallem?
Tgħallem lil tifel jorbtu ż-żarbun
Forsi għoxrin sessjoni ta' prattika. Huwa mudell sempliċi u li jirrepeti ruħu. L-istess passi kull darba. Mhux ħafna varjazzjoni. Għoxrin eżempju jkopruh.
Tgħallem lil xi ħadd isuq
Mijiet ta' sigħat. Għaliex? Għaliex is-sewqan jinvolvi varjazzjoni bla limitu. Toroq tal-belt, awtostradi, xita, borra, xogħlijiet fit-triq, sewwieqa aggressivi, persuni mexjin, ċiklisti, annimali jaqsmu t-triq. Kull sitwazzjoni hija ftit differenti. Għandek bżonn tesponi ruħek għal dawn il-varjazzjonijiet kollha biex issir sewwieq kompetenti.
L-AI hija l-istess. Il-kompiti sempliċi jeħtieġu inqas eżempji. Il-kompiti kumplessi jeħtieġu ammonti kbar.
Rikonoxximent ta' mudelli sempliċi (din hija spam?)
Forsi 10,000 eżempju. L-ispam għandu mudelli rikonoxxibbli. Ladarba tkun rajt biżżejjed eżempji ta' "IXTRI ISSA!!!" u "Irbaħt premju!" tifhem il-kunċett.
Kumplessità moderata (rikonoxximent tal-uċuħ)
Għexieren ta' eluf sa mijiet ta' eluf. L-uċuħ ivarjaw bil-kbir. Angoli differenti, dawl, espressjonijiet, etajiet. Għandek bżonn ħafna varjetà biex taqbad dan kollu.
Kumplessità għolja (identifika kwalunkwe oġġett fir-ritratti)
Miljuni ta' stampi. Eluf ta' tipi ta' oġġetti. Kull oġġett f'kuntesti, angoli u dawl differenti. Karozzi fit-toroq, karozzi fil-wirjiet, karozzi f'inċidenti. Siġar fil-foresti, siġar fil-bitħa, siġar fil-pitturi. Varjetà kbira teħtieġ ammont kbir ta' dejta.
Kumplessità estrema (ifhem il-lingwa)
Biljuni ta' kliem. Il-lingwa għandha varjetà bla tarf. Kull suġġett, kull stil, kull kuntest. Rapporti formali, konversazzjoni każwali, poeżija, struzzjonijiet, ċajt, sarkażmu. Biex timmaniġġja dan kollu, għandek bżonn espożizzjoni għal ammonti kbar ta' test.
Imma hawn il-punt kruċjali: il-kwantità waħedha mhix biżżejjed. Tippreferi jkollok 100,000 eżempju eċċellenti, varjati u ttikkettjati b'mod korrett milli 10 miljun eżempju medjokri, ripetittivi u ttikkettjati bl-indolenza. Huwa bħal meta titgħallem issajjar. Tippreferi tipprattika tagħmel 100 dixx differenti b'istruzzjonijiet tajbin, jew tagħmel l-istess pastizzi medjokri 10,000 darba b'struzzjonijiet mhux ċari? Il-varjetà u l-kwalità tal-prattika jiswew aktar min-numru mhux ipproċessat tar-repetizzjonijiet.
Il-Ħames Ingredjenti tad-Dejta ta' Kwalità
X'jagħmel id-dejta tajba jew ħażina? Ħames fatturi ewlenin. Ejja nkissruhom permezz ta' eżempji li kulħadd jista' jifhem.
-
1
Tikketti Preċiżi (Tweġibiet Korretti)
Immaġina li tgħallem lil tifel dwar l-annimali billi tuża ktieb ta' stampi b'tikketti żbaljati. "Dan hu kelb" ħdejn ritratt ta' qattus. "Din hija baqra" ħdejn żiemel. It-tifel jitgħallem kollox ħażin. Jibqa' jidentifika l-annimali b'mod żbaljat għal dejjem.
L-AI għandha l-istess problema. Jekk qed tħarreġha biex tagħraf il-qtates, kull ritratt bit-tikketta "qattus" irid ikun tassew qattus. Anke 5% żbalji jikkawżaw problemi serji. 10% żbalji? L-AI titgħallem iż-żibel. Ma tistax tiddistingwi s-sinjal mill-istorbju meta t-tweġibiet ma jkunux affidabbli.
-
2
Rappreżentanza (Tqabbil mal-Ħajja Reali)
In-neputi tiegħek tgħallem jidentifika l-għasafar fil-bitħa tiegħek fis-subborgi. Huwa bravu ħafna jagħraf il-kardinali, ir-russetti, u l-blue jays. Imbagħad teħodlu l-bajja. Il-gawwi, il-pellikani, is-sandpipers. Huwa mitluf. Xejn ma jixbah lill-għasafar li tgħallem minnhom.
Id-dejta tat-taħriġ trid tirrappreżenta fejn l-AI se tintuża fil-fatt. Tħarreġ sistema ta' għarfien tal-wiċċ b'ritratti ta' studio b'dawl tajjeb? Tfalli fid-dawl baxx ta' nightclub. Tħarreġ assistent tal-vuċi b'diskors ċar u kwiet? Ibati mal-aċċenti u l-istorbju fl-isfond. Id-distribuzzjoni tad-dejta trid taqbel mad-distribuzzjoni tad-dinja reali.
-
3
Diversità Biżżejjed (Li Jkopri s-Sitwazzjonijiet Kollha)
Immaġina li titgħallem issuq, imma biss fi temp perfett fi triqat dritti u b'traffiku ħafif. Tkun sewwieq terribbli kullimkien ieħor. Kurvi? Paniku. Xita? Diżastru. Ħin ta' ħafna traffiku? Imgħarraq.
L-AI teħtieġ diversità fid-dejta tat-taħriġ. Ritratti fix-xemx qawwija u fid-dell skur. Kitba formali u test każwali. Leħen ta' żgħażagħ u leħen ta' xjuħ. Każijiet komuni u każijiet rari. Mingħajr diversità, l-AI toverfit. Tiftakar eżempji speċifiċi minflok titgħallem mudelli ġenerali. Uriha biss golden retrievers, u tbati mal-poodles. Uriha qtates f'kull kulur, daqs, u pożizzjoni, u tagħraf il-qtates b'mod affidabbli.
-
4
Rilevanza u Aġġornament (Li Tibqa' Kurrenti)
Immaġina li tgħallem lil xi ħadd il-moda tas-sittinijiet u tistenna li jidentifika t-tendenzi attwali. Qliezet bell-bottom, xagħar beehive, stivali go-go. Imbagħad urih il-moda moderna. Huwa konfuż. Kollox inbidel.
Id-dejta tixjieħ. Il-lingwa tevolvi ("cool" illum ifisser ħaġa differenti minn dak li kienet tfisser fl-1960). It-tattiċi tal-ispam jinbidlu (il-tricks tal-bieraħ ma jaħdmux aktar). It-tendenzi tal-moda jinbidlu. It-teknoloġija taġġorna. Jekk id-dejta tat-taħriġ tiegħek hija minn ħames snin ilu, il-mudelli mxew 'il quddiem. Id-dejta attwali taqbad il-mudelli attwali.
-
5
Ħieles mill-Biża (Rappreżentanza Ġusta)
Din hija l-kbira. Il-perikoluża. Dik li tikkawża ħsara reali fid-dinja reali. Se nidħlu ħafna aktar fil-fond f'dan dalwaqt, għax il-bias fid-dejta mhijiex biss problema teknika. Hija problema umana b'konsegwenzi serji. Jekk id-dejta tiegħek tirrifletti diskriminazzjoni storika, l-AI tiegħek titgħallem tiddiskrimina. Jekk id-dejta tiegħek tirrappreżenta żżejjed lil xi gruppi u inqas lil oħrajn, l-AI tiegħek taħdem aħjar għal xi nies milli għal oħrajn. Żibel ġewwa, żibel barra. Bias ġewwa, bias barra.
Aħseb fid-dejta bħall-ingredjenti għat-tisjir. Jista' jkollok kok bi stilla Michelin (algoritmu sofistikat), imma jekk tagħtih ħaxix immuffat, ħobż iebes, u ħalib qares (dejta ħażina), l-ikla ma tkunx tittiekel. Sadanittant, kok tad-dar (algoritmu sempliċi) b'ingredjenti friski u ta' kwalità se jagħmel xi ħaġa delizzjuża. L-ingredjenti jiswew aktar mill-kredenzjali tal-kok. Fl-AI, id-dejta hija l-ingredjenti.
Ir-Realtà Mhux Glamoruża (Fejn Tinsab Verament ix-Xogħol)
Hawn dak li ħadd ma jgħidlek meta jkunu qed ibigħulek soluzzjonijiet tal-AI jew jgħallmuk korsijiet tal-AI:
Il-biċċa l-kbira tax-xogħol mhix il-bini tal-AI. Hija l-preparazzjoni tad-dejta.
Ix-xjentisti tad-dejta iqattgħu madwar 80% tal-ħin tagħhom fuq il-preparazzjoni tad-dejta. Biss 20% fuq il-bini u t-taħriġ tal-mudelli. Dik il-proporzjon jgħidlek kollox dwar fejn tinsab l-isfida vera.
X'tinvolvi l-preparazzjoni tad-dejta? Erba' impjiegi kbar, tedjanti, u kritiċi:
Ġbir tad-Dejta
Il-ġbir ta' eżempji rilevanti minn kull fejn jeżistu. L-iscraping ta' websajts, l-aċċess għal databases, ir-reġistrazzjoni ta' sensors, l-aggregazzjoni ta' sorsi multipli. Jieħu ħafna ħin. Spiss jiswa ħafna flus. Ta' spiss jiddiżappunta meta s-sorsi ma jikkooperawx jew id-dejta ma teżistix.
Tindif tad-Data
Tneħħi d-duplikati. Tissewwa l-iżbalji. Tittratta l-valuri nieqsa. Tistandardizza l-formati. Tiffiltra l-istorbju. Bħal meta tirranġa għexieren ta' snin ta' karti f'armarju mimli taħwid. Dan waħdu jista' jieħu ġimgħat jew xhur għal settijiet ta' data kbar.
Tikkettjar tad-Data
Tittikkettja l-eżempji bl-idejn bit-tweġibiet it-tajba. "Din l-immaġni hija qattus." "Din ir-reċensjoni hija pożittiva." "Din it-tranżazzjoni hija frodulenti." Għal miljuni ta' eżempji. Tedjanti b'mod inkredibbli. Spiss jiġi esternalizzat lil ħaddiema b'paga baxxa li jagħmlu żbalji minħabba d-dwejjaq u l-għeja.
Validazzjoni tad-Data
Tiċċekkja li t-tikketti huma korretti. Li d-diversità hija suffiċjenti. Li l-preġudizzji huma identifikati u indirizzati. Li s-sett tad-data verament jirrappreżenta r-realtà. Kontroll tal-kwalità għal miljuni ta' eżempji. Eżawrjenti iżda assolutament kruċjali.
Ħadd minn dan mhuwa glamorous. Ħadd minnu ma jagħmel l-aħbarijiet. Ħadd minnu ma jimpressjona lin-nies fil-festi. Huwa xogħol iebes u tedjanti. Iżda huwa fejn il-proġetti tal-AI jirnexxu jew ifallu.
L-algoritmu huwa relattivament faċli. Jeżistu ħafna algoritmi tajbin. Ħafna minnhom huma ppubblikati b'mod miftuħ. Tista' tniżżilhom, tużahom, timmodifikahom. Id-data hija l-parti diffiċli. Tiġborha, tnaddafha, tittikkettjaha, tivvalidaha. Hemmhekk imur l-isforz veru. Hemmhekk jibqgħu mwaħħlin ħafna mill-proġetti. Dak huwa li jifred l-AI li taħdem mill-vaporware. Kumpaniji b'data aħjar jegħlbu kumpaniji b'algoritmi aħjar. Kull darba. Id-data hija l-foss. Il-vantaġġ difendibbli. It-tarf kompetittiv veru.
Il-Problema tal-Preġudizzju (Id-Difett l-Aktar Perikoluż tal-AI)
Issa naslu għall-parti verament skomda. Il-parti li tikkawża ħsara attwali lil nies reali. Il-parti li tbiddel l-AI minn "ftit mhux affidabbli" għal "attivament perikoluża."
L-AI mhux biss titgħallem il-mudelli mid-data. Hi tkabbarhom.
Jekk id-data tiegħek għandha preġudizzji (u kważi d-data kollha tad-dinja reali għandhom), l-AI ma tiffiltrahomx. Titgħallimhom. Tikkodifikahom. Tapplikahom b'mod sistematiku. Tagħmilhom agħar.
Ħallini nispjega b'storja li kulħadd jista' jifhem.
Nitgħallmu minn dejta storika preġudikata
Immaġina li qed tgħallem lil neputik dwar min jinkiteb biex jaħdem fil-kumpanija tiegħek. Turih il-fajls tal-aħħar għoxrin sena ta' reklutaġġ. Id-Dipartiment tal-Inġinerija: l-aktar irġiel. Il-pożizzjonijiet ta' segretarja: l-aktar nisa. Il-ġestjoni: l-aktar bojod. Ix-xogħol manwali: aktar divers.
Qatt ma tgħidlu b'mod espliċitu "l-irġiel għandhom ikunu inġiniera" jew "in-nisa għandhom ikunu segretarji." Int biss turih id-dejta storika.
Issa huwa responsabbli mill-iskrinjar ta' applikazzjonijiet ġodda. X'jagħmel? Huwa tgħallem il-mudell mid-dejta. Applikant għall-inġinerija li tkun mara? Jidher mhux tas-soltu, forsi ma tkunx tajba għall-pożizzjoni. Raġel li japplika għal segretarja? Ma jaqbilx mal-mudell. Huwa qed jiddiskrimina. Mhux għax huwa persuna ħażina. Għax tgħallem minn dejta storika preġudikata u applika dawk il-mudelli bħallikieku kienu korretti.
Dan huwa eżattament dak li jiġri bl-AI. Id-dejta storika tirrifletti diskriminazzjoni storika. L-AI titgħallem dik id-diskriminazzjoni bħallikieku hija mudell validu li għandha ssegwi. Imbagħad tapplikaha b'mod sistematiku għal miljuni ta' deċiżjonijiet.
Eżempji reali ta' dan li qed jiġri:
⚠️ L-AI tar-Reklutaġġ ta' Amazon
Amazon ħarrġet AI biex tiskrinja l-CVs billi użat għaxar snin ta' dejta storika dwar ir-reklutaġġ. Id-dejta wriet li kienu jimpjegaw l-aktar irġiel għal pożizzjonijiet tekniċi. L-AI tgħallmet tnaqqas il-valur tal-CVs tan-nisa. Indunat b'indikazzjonijiet bħal "klabb taċ-ċess tan-nisa" fuq il-CVs u kkastigathom. Amazon kellha tneħħi s-sistema. L-algoritmu ħadem perfettament. Id-dejta kienet il-problema.
⚠️ L-Algoritmi tal-Kura tas-Saħħa
Diversi sistemi tal-AI fil-kura tas-saħħa wrew preġudizzju razzjali. Kienu jagħtu prijorità lill-pazjenti bojod fuq pazjenti suwed bl-istess sintomi. Għaliex? Id-dejta storika tal-kura tas-saħħa kienet tirrifletti disparitajiet storiċi fil-kura. Storikament, il-pazjenti suwed irċevew inqas trattament. L-AI tgħallmet dan il-mudell u applikatu bħallikieku inqas kura kienet xierqa medikament, mhux evidenza ta' diskriminazzjoni.
⚠️ Is-Sistemi ta' Rikonoxximent tal-Wiċċ
Il-biċċa l-kbira tas-settijiet tad-dejta għar-rikonoxximent tal-wiċċ jirrappreżentaw iżżejjed lill-irġiel bojod. L-AI taħdem l-aħjar fuq l-irġiel bojod. Ferm agħar fuq in-nisa. Saħansitra agħar fuq nies b'ġilda aktar skura. Mhux għax l-algoritmu huwa razzista, iżda għax id-dejta tat-taħriġ kienet żbilanċjata. L-AI litteralment ma ratx biżżejjed uċuħ diversi biex titgħallem tirrikonoxxihom b'mod affidabbli.
⚠️ Mudelli ta' Skor ta' Kreditu
L-iskor tal-kreditu bl-AI tgħallem minn dejta storika tas-self li kienet tirrifletti għexieren ta' snin ta' prattiċi diskriminatorji fis-self. Redlining. Self predatarju f'lokalitajiet ta' minoranzi. L-AI ikkodifikat dawn il-mudelli bħala "deċiżjonijiet tajbin ta' self" u kompliet iżżommhom. Diskriminazzjoni legali, awtomatizzata u mkabbra fuq skala kbira.
F'kull każ, l-algoritmu ħadem sew. Tgħallem il-mudelli fid-dejta. Id-dejta kienet preġudikata. Għalhekk l-AI saret preġudikata. Skart ġewwa, skart barra. Diskriminazzjoni ġewwa, diskriminazzjoni barra.
Dan mhux problema teknika żgħira. Din sfida fundamentali. Ma tistax tibni AI ġusta minn dejta mhux ġusta. Algoritmi aħjar ma jgħinux. Jgħin biss dejta aħjar. Aktar diversa. Aktar rappreżentattiva. Dejta li tneħħielha l-preġudizzju b'mod deliberat.
L-iktar parti tal-biża'? L-AI preġudikata tidher oġġettiva. "Il-kompjuter qal hekk" jinstema' aktar leġittimu minn "persuna ddeċidiet." Imma l-kompjuter tgħallem minn bnedmin preġudikati li kienu jieħdu deċiżjonijiet preġudikati. Kulma tagħmel l-AI huwa li tawtomatizza u tiskala dak il-preġudizzju, u tagħmlu jidher xjentifiku u newtrali meta ma jkunx la wieħed u lanqas l-ieħor. Il-preġudizzju fid-dejta huwa fejn l-AI tinbidel minn għodda utli għal strument ta' ħsara.
Liema Mistoqsijiet Tagħmel Dwar Kwalunkwe Sistema tal-AI
Kemm jekk qed tibni AI, tixtri AI, jew sempliċement tuża l-AI fil-ħajja tiegħek ta' kuljum, dawn huma l-mistoqsijiet li għandek tagħmel. It-tweġibiet jgħidulek jekk tistax tafdaha.
-
?
Minn fejn ġiet id-dejta tat-taħriġ?
Is-sorsi speċifiċi jgħoddu. Dejta mill-internet pubbliku? Settijiet ta' dejta kkurati? Rekords tal-kumpanija? Kull wieħed għandu preġudizzji u limitazzjonijiet differenti. Jekk ma jgħidulkx, dik hija sinjal ta' periklu kbir.
-
?
Kemm intużat dejta? Kif ġiet ittikkettata?
In-numri jgħoddu. "Eluf" versus "miljuni" jagħmel differenza. Min ittikkettaha? Esperti jew ħaddiema b'paga baxxa li mhumiex kwalifikati? Kif ġiet ikkontrollata l-kwalità? Dawn id-dettalji jiddeterminaw l-affidabbiltà.
-
?
Id-dejta tat-taħriġ taqbel mal-każ ta' użu tiegħek?
AI mħarrġa fuq dokumenti tan-negozju formali se jkollha diffikultà b'messaġġi informali. Waħda mħarrġa fuq ritratti tax-xemx ta' California tista' tonqos f'Seattle bix-xita. It-tqabbil jgħodd. In-nuqqas ta' tqabbil ifisser fallimenti.
-
?
Liema gruppi huma rappreżentati fid-dejta?
Ilkoll etajiet? Iż-żewġ sessi? L-etniċitajiet kollha? Il-lingwi kollha? Jew l-aktar demografija waħda? Dejta żbilanċjata toħloq sistemi li jaħdmu tajjeb għal xi nies u ħażin ħafna għal oħrajn.
-
?
Liema preġudizzji magħrufa jeżistu? Kif ġew indirizzati?
Kull sett ta' dejta għandu preġudizzji. Żviluppaturi onesti jirrikonoxxuhom u jispjegaw l-isforzi ta' mitigazzjoni. Kull min jgħid li m'hemm l-ebda preġudizzju jew qed jigdeb jew mhux konxju tal-periklu.
-
?
F'liema sitwazzjonijiet din l-AI se taħdem ħażin?
Kull AI għandha limiti bbażati fuq id-dejta tat-taħriġ tagħha. X'ma ratx? X'ma tistax timmaniġġa? Jekk ma jistgħux iwieġbu, ma jifhmux is-sistema tagħhom stess biżżejjed biex jużawha b'mod sigur.
Jekk min qed ibiegħlek l-AI ma jistax iwieġeb dawn il-mistoqsijiet, itlaq. Jew ma jafhomx (inkompetenti) jew ma jridx jgħidhomlek (jaħbi l-problemi). Fi kwalunkwe każ, tafdahx.
Il-Futur tad-Data fl-AI
L-isfidi tad-data mhux se jisparixxu. Iżda l-approċċi qed jevolvu. Hawn x'inhu qed jinbidel:
Data Sintetika
Il-ħolqien ta' eżempji ta' taħriġ artifiċjali permezz ta' simulazzjoni. Utli għal xenarji rari, sitwazzjonijiet perikolużi (bħal ħabtiet tal-karozzi għal karozzi li jsuqu waħedhom), u oqsma sensittivi għall-privatezza. Mhux sostitut għad-data reali, iżda suppliment siewi li jimla l-lakuni.
Augmentazzjoni tad-Data
Il-ħolqien ta' varjazzjonijiet ta' eżempji eżistenti. Dawwar l-immaġini, aqlebhom, aġġusta d-dawl. Ifformula mill-ġdid is-sentenzi. Żid ħoss fl-isfond mal-awdjo. Immultiplika d-dataset tiegħek b'mod artifiċjali, u żżid id-diversità mingħajr ma tiġbor eżempji ġodda mill-bidu.
Tagħlim b'Ftit Eżempji
Tekniki biex titgħallem minn inqas eżempji billi tittrasferixxi l-għarfien minn kompiti preċedenti. Bħal meta tkun tgħallimt diversi lingwi, li titgħallem waħda ġdida jsir aktar faċli. Inaqqas il-ħtieġa ta' dejta għal kompiti ġodda billi juża l-għarfien eżistenti.
Metodi li Jipproteġu l-Privatezza
Titgħallem mid-dejta mingħajr ma taraha direttament. Tagħlim federat (l-AI titħarreġ fuq il-mowbajl tiegħek mingħajr ma tibgħat id-dejta lill- servers). Privatezza differenzjali (iżżid ħoss bir-reqqa biex ma jkunx jista' jintgħarfu rekords individwali). Jippermetti tagħlim minn dejta sensittiva medika, finanzjarja u personali.
Tagħlim Attiv
L-AI titlob tikketti biss għall-eżempji li mhix ċerta dwarhom. Minflok tittikkettja miljun eżempju każwali, ittikkettja l-elf eżempju fejn l-AI hija l-aktar konfuża. Tiffoka l-isforz uman fejn l-aktar jimporta, u tnaqqas b'mod drammatiku l-ispejjeż tat-tikkettar.
Dawn it-tekniki jgħinu, imma ma jeliminawx il-verità fundamentali: dejta ta' kwalità ma tistax tinbidel. Tista' tnaqqas kemm għandek bżonn. Tista' tiġġenera supplimenti. Tista' titgħallem b'mod aktar effiċjenti. Imma ma tistax taħrab mill-ekwazzjoni ta' skart ġewwa, skart barra.
Il-Konklużjoni (Dak li Tassew Għandek Bżonn Taf)
Ejja nġibu dan id-dar bil-veritajiet essenzjali dwar id-dejta fl-AI:
Id-dejta timporta aktar mill-algoritmi. Dejjem importat. Dejjem se timporta. L-aktar AI fancy u sofistikata fid-dinja, imħarrġa fuq dejta ta' skart, tipproduċi riżultati ta' skart. AI sempliċi mħarrġa fuq dejta ta' kwalità tipproduċi riżultati ta' kwalità. Kull darba. Ebda eċċezzjoni.
Il-kwalità tegħleb il-kwantità, imma għandek bżonn it-tnejn. Aħjar li jkollok 100,000 eżempju diversi, ittikkettjati b'mod korrett u rappreżentattivi minn 10 miljun eżempju ripetittivi, ittikkettjati ħażin u preġudikati. Imma idealment? Trid miljuni ta' eżempji ta' kwalità għolja u diversi. Kemm il-kwantità kif ukoll il-kwalità.
Il-preġudizzju fid-dejta jsir preġudizzju fl-AI. Id-diskriminazzjoni storika ssir diskriminazzjoni algoritmika. Rappreżentanza żbilanċjata ssir prestazzjoni mhux affidabbli għal gruppi mhux rappreżentati biżżejjed. L-AI ma tiffiltrax il-preġudizzju. Titgħallmu, tikkodifikah, tamplifikah, u tapplikah b'mod sistematiku.
Il-biċċa l-kbira tax-xogħol tal-AI hija preparazzjoni tad-dejta, mhux bini ta' algoritmi. 80% ġbir tad-dejta, tindif, tikkettar, validazzjoni. 20% immudellar. Dik il-proporzjon jgħidlek kollox. L-algoritmu huwa l-parti faċli. Id-dejta hija l-parti diffiċli. U l-parti importanti.
Kull AI għandha limiti definiti mid-dejta tat-taħriġ tagħha. Dak li ma ratx, ma tistax timmaniġġah. Fejn id-dejta kienet preġudikata, tkun preġudikata. Fejn id-dejta kienet mhux kompluta, tfalli. L-ebda AI ma tmur lil hinn mid-dejta tat-taħriġ tagħha. Id-dejta tiddefinixxi s-saqaf.
Tiftakar il-ktieb tar-riċetti ta' ommok mill-bidu ta' dan l-artiklu? Ir-riċetta hija tajba daqs l-esperjenzi li kienet ibbażata fuqhom. Esperjenzi dojoq joħolqu riċetti dojoq. Esperjenzi preġudikati joħolqu riċetti preġudikati. Informazzjoni ħażina toħloq riċetti li ma jaħdmux.
L-istess mal-AI. Is-sistema hija tajba daqs id-dejta li tgħallmet minnha. Dejta dojoq toħloq AI dojoq. Dejta preġudikata toħloq AI preġudikata. Dejta ħażina toħloq AI li sempliċement ma taħdimx. "Ħmieġ ġewwa, ħmieġ barra" mhux biss qawl sabiħ. Huwa l-liġi fundamentali tal-AI. Ġib id-dejta sew, u anki algoritmi sempliċi jistgħu jitgħallmu mudelli utli. Ġib id-dejta ħażin, u l-ebda sofistikazzjoni algoritmika ma tista' ssalvak.
Issa taf għaliex id-dejta hija kollox fl-AI. U għaliex kull min jgħidlek mod ieħor jew qed ibigħlek xi ħaġa jew ma jifhimx kif din it-teknoloġija fil-fatt taħdem.
F'Dweve, aħna trasparenti dwar ir-rekwiżiti tad-dejta. Is-sistemi tagħna bbażati fuq il-vinkoli jeħtieġu eżempji ta' kwalità u rappreżentattivi biex jiskopru relazzjonijiet loġiċi validi. L-ebda shortcuts. L-ebda maġija. Biss inġinerija onesta li tirrikonoxxi verità sempliċi: ma tistax tibni AI affidabbli minn dejta mhux affidabbli. Għax "ħmieġ ġewwa" verament ifisser "ħmieġ barra", kull darba.