Dane w AI: naprawdę śmieci na wejściu to śmieci

Jakość danych decyduje o jakości AI. Dlaczego liczy się bardziej niż zaawansowanie algorytmów i jak dostrzec różnicę.

Dane w AI: naprawdę śmieci na wejściu to śmieci na wyjściu

Książka kucharska, której Twoja mama nigdy nie dokończyła

Wyobraź sobie kuchnię Twojej mamy w 1990 roku. Jest znana w całej okolicy ze swojego szarlotki. Wszyscy chcą ten przepis. Więc postanawia go zapisać.

Ale tu jest problem. Przez ponad czterdzieści lat pieczenia robiła to ciasto setki razy. Czasami używała masła, czasami margaryny (w zależności od tego, co było tańsze w danym tygodniu). Czasami te jabłka, czasami tamte, czasami zwykłe. Czasami piekła w temperaturze 150 stopni, czasami 250 (bo piekarnik był kapryśny). Czasami dodawała dodatkowe jajko, gdy były małe.

Elastyczność doświadczenia

Każde ciasto wychodziło pyszne. Wiedziała instynktownie, jak dostosować przepis. Trochę więcej mąki, gdy jest wilgotno. Trochę mniej cukru, gdy jabłka są wyjątkowo kwaśne. Lata doświadczenia uczyniły ją elastyczną.

Teraz wyobraź sobie, że zapisuje przepis na podstawie tylko ostatnich pięciu razy, gdy go robiła. Wszystkie latem. Wszystkie z margaryną. Wszystkie z tą partią wyjątkowo kwaśnych jabłek, które kupiła na wyprzedaży. Wszystkie z rozgrzanym piekarnikiem.

Katastrofa wąskich przykładów

Ktoś robi to ciasto zimą, z masłem, ze słodkimi jabłkami, w normalnym piekarniku. Katastrofa. Suche, kruche, o wiele za słodkie. Przepis nie działa, bo przykłady, na których się opierał, nie odzwierciedlały pełnego zakresu sytuacji.

Dokładnie tak AI uczy się z danych. „Przepis" (czyli AI) jest tylko tak dobry, jak przykłady, z których się uczył. Wąskie przykłady tworzą wąskie AI. Stronnicze przykłady tworzą stronnicze AI. Błędne przykłady tworzą AI, które po prostu nie działa.

To nie chodzi o skomplikowaną technologię. Chodzi o prostą prawdę: możesz nauczyć tylko tego, co pokazujesz. A jeśli to, co pokazujesz, jest niekompletne, stronnicze lub po prostu błędne, dokładnie to zostanie przyswojone.

Przepis zawodzi, bo pięć letnich przykładów nie zastąpi czterdziestu lat kuchennych wariantów.

Dlaczego nikt nie mówi o nudnej części (a powinien)

Tak to wygląda na każdej konferencji o AI, w każdym artykule technologicznym, w każdej prezentacji marketingowej:

Co przyciąga całą uwagę

Mnóstwo ekscytacji wokół algorytmów. Sprytna matematyka. Wymyślne architektury. Sieci neuronowe z miliardami parametrów. Techniki treningowe z imponującymi nazwami. Strategie optymalizacji, które brzmią jak magia.

Co jest ignorowane

Prawie nic o danych. Skąd pochodzą. Jak zostały zebrane. Czy w ogóle są dobre. Czego w nich brakuje. Jakie zawierają uprzedzenia.

Dlaczego? Bo algorytmy są seksowne. Dane są nudne. Algorytmy brzmią mądrze i wyrafinowanie. Dane brzmią jak... papierkowa robota. Segregatory. Arkusze kalkulacyjne. Wcale nie ekscytujące.

Ale oto niewygodna prawda, którą każdy uczciwy badacz AI powie ci w cztery oczy:

Niewygodna prawda

Genialny algorytm trenowany na beznadziejnych danych daje beznadziejne wyniki. Przeciętny algorytm trenowany na znakomitych danych daje znakomite wyniki. Za każdym razem. Bez wyjątków.

Pomyśl o tym jak o nauce do testu

Algorytm jest jak uczeń przygotowujący się do testu. Daj temu uczniowi zły podręcznik, a nie ma znaczenia, jak jest bystry ani jak ciężko się uczy. Oblała test, bo uczył się z błędnych informacji. Daj przeciętnemu uczniowi właściwy podręcznik, mnóstwo zadań do przećwiczenia i dobre przykłady? Poradzi sobie. Może nie idealnie, ale solidnie i pożytecznie.

Taka jest rzeczywistość AI. Jakość danych znaczy więcej niż wyrafinowanie algorytmu. Znacznie więcej. A jednak prawie nikt nie chce o tym rozmawiać.

Wyobraź sobie, że uczysz kogoś rozpoznawać trujące grzyby, pokazując mu tylko zdjęcia z jednego lasu, zrobione latem, w pełnym słońcu. Ta osoba może świetnie sobie radzić w tym konkretnym lesie, latem, w słoneczne dni. Ale przenieś ją do innego lasu, jesienią, w pochmurny dzień? Zgaduje. Trening był zbyt wąski. Ten sam problem ma AI: wąskie dane tworzą wąskie, zawodne systemy. To dane wyznaczają granice tego, czego AI w ogóle może się nauczyć.

Co właściwie znaczy „uczenie się z danych”

Kiedy ktoś mówi, że „AI uczy się z danych”, co to naprawdę oznacza? Posłużmy się przykładem, który każdy zrozumie.

Uczysz wnuka rozpoznawać ptaki

Wyobraź sobie, że uczysz swojego dziesięcioletniego wnuka rozpoznawać różne gatunki ptaków. Zabierasz go do parku z atlasem ptaków. Za każdym razem, gdy widzicie ptaka, sprawdzacie go razem.

„Widzisz tego? Niebieskie pióra, czerwona pierś, mniej więcej taki rozmiar. To błękitnik.” Chłopiec przygląda się uważnie. Zapamiętuje kolory, rozmiar, kształt. W następnym tygodniu kolejny ptak. „A ten? Cały czarny, większy, głośno kraka. To wrona.” Obserwuje. Zapamiętuje.

Robisz to pięćdziesiąt razy. Różne ptaki. Różne sytuacje. Różne oświetlenie. Czasem w locie, czasem siedzące. Po pięćdziesięciu ptakach zaczyna zgadywać poprawnie. „Dziadku, czy to rudzik?” I ma rację!

Nauczył się na przykładach. Na wielu przykładach. Każdy z nich czegoś go nauczył o wzorcach: co sprawia, że rudzik jest rudzikiem, a wrona wroną.

AI uczy się dokładnie w ten sam sposób

Pokaż mu przykłady. Mnóstwo przykładów. Dla każdego przykładu podaj właściwą odpowiedź. „Ten e-mail to spam.” „To zdjęcie zawiera kota.” „Ta opinia jest pozytywna.” AI szuka wzorców, które łączą przykłady z odpowiedziami.

Ale tutaj robi się trudniej. Co się stanie, jeśli pokażesz wnukowi tylko ptaki latem? Może dojść do wniosku, że rudziki zawsze mają jaskrawoczerwoną pierś (zimą są bardziej matowe). A co, jeśli pokażesz mu tylko ptaki z przydomowego ogródka? Może nie rozpoznać tych samych ptaków w innym otoczeniu.

Uczenie się błędnych wzorców

A co, jeśli przypadkiem błędnie rozpoznasz kilka ptaków? „To wróbel", a to jest zięba. On uczy się błędnego wzorca. Teraz będzie błędnie rozpoznawał zięby już zawsze, chyba że ktoś go poprawi.

Jakość i różnorodność przykładów decyduje o tym, czego się nauczy. Tak samo jest z AI. Dane są lekcją. Jeśli lekcja jest niekompletna, tendencyjna lub błędna, to i nauka będzie niekompletna, tendencyjna lub błędna.

Ile Danych Tak Naprawdę Potrzebujesz?

Każdy zadaje to pytanie. Odpowiedź frustruje ludzi: to zależy.

Pomyśl o uczeniu umiejętności w prawdziwym życiu. Ile razy ktoś musi ćwiczyć, zanim się nauczy?

Nauka dziecka wiązania butów

Może dwadzieścia sesji ćwiczeń. To prosty, powtarzalny wzorzec. Te same kroki za każdym razem. Niewiele różnorodności. Dwadzieścia przykładów wystarczy.

Nauka kogoś prowadzenia samochodu

Setki godzin. Dlaczego? Ponieważ prowadzenie samochodu wiąże się z nieskończoną liczbą wariantów. Ulice miejskie, autostrady, deszcz, śnieg, roboty drogowe, agresywni kierowcy, piesi, rowerzyści, zwierzęta przechodzące przez jezdnię. Każda sytuacja jest nieco inna. Musisz zetknąć się ze wszystkimi tymi wariantami, aby stać się kompetentnym kierowcą.

Z AI jest tak samo. Proste zadania wymagają mniej przykładów. Złożone zadania wymagają ogromnych ilości.

Proste rozpoznawanie wzorców (czy to spam?)

Może 10 000 przykładów. Spam ma rozpoznawalne wzorce. Gdy zobaczysz wystarczająco dużo przykładów „KUP TERAZ!!!" i „Wygrałeś nagrodę!", załapiesz, o co chodzi.

Umiarkowana złożoność (rozpoznawanie twarzy)

Dziesiątki tysięcy do setek tysięcy. Twarze różnią się ogromnie. Różne kąty, oświetlenie, wyrazy twarzy, wiek. Potrzebujesz dużej różnorodności, aby to wszystko uchwycić.

Wysoka złożoność (rozpoznawanie dowolnych obiektów na zdjęciach)

Miliony obrazów. Tysiące typów obiektów. Każdy obiekt w różnych kontekstach, ujęciach i oświetleniu. Samochody na ulicach, samochody w salonach, samochody po wypadkach. Drzewa w lasach, drzewa w ogrodach, drzewa na obrazach. Ogromna różnorodność wymaga ogromnych danych.

Ekstremalna złożoność (rozumienie języka)

Miliardy słów. Język ma nieskończoną różnorodność. Każdy temat, każdy styl, każdy kontekst. Formalne raporty, swobodne rozmowy, poezja, instrukcje, żarty, sarkazm. Żeby sobie z tym wszystkim poradzić, trzeba mieć kontakt z ogromnymi ilościami tekstu.

Ale tu jest kluczowa kwestia: sama ilość nie wystarczy. Lepiej mieć 100 000 doskonałych, różnorodnych i poprawnie oznaczonych przykładów niż 10 milionów przeciętnych, powtarzalnych i niedbale oznaczonych. To jak nauka gotowania. Wolisz ćwiczyć przyrządzanie 100 różnych potraw z dobrymi wskazówkami, czy robić tę samą przeciętną pastę 10 000 razy z niejasnymi instrukcjami? Różnorodność i jakość ćwiczeń liczą się bardziej niż sama liczba powtórzeń.

Pięć składników danych dobrej jakości

Co sprawia, że dane są dobre albo złe? Pięć kluczowych czynników. Rozłóżmy je na czynniki pierwsze na przykładach zrozumiałych dla każdego.

1 Dokładne etykiety (Uzyskiwanie poprawnych odpowiedzi)
Wyobraź sobie, że uczysz dziecko zwierząt, używając książeczki z błędnymi podpisami. „To jest pies" obok zdjęcia kota. „To jest krowa" obok konia. Dziecko uczy się całkowicie błędnie. Będzie źle rozpoznawać zwierzęta przez całe życie.

AI ma ten sam problem. Jeśli trenujesz je do rozpoznawania kotów, każde zdjęcie oznaczone jako „kot" musi faktycznie przedstawiać kota. Nawet 5% błędów powoduje poważne problemy. 10% błędów? AI uczy się śmieci. Nie potrafi odróżnić sygnału od szumu, gdy odpowiedzi są niewiarygodne.
2 Reprezentatywność (Dopasowanie do rzeczywistości)
Twój wnuk nauczył się rozpoznawać ptaki na podmiejskim podwórku. Świetnie radzi sobie z kardynałami, rudzikami i sójkami błękitnymi. Potem zabierasz go na plażę. Mewy, pelikany, brodźce. Jest zagubiony. Nic nie przypomina ptaków, których się nauczył.

Dane treningowe muszą odzwierciedlać środowisko, w którym AI będzie faktycznie używane. Trenujesz system rozpoznawania twarzy na dobrze oświetlonych zdjęciach studyjnych? Zawodzi w słabym oświetleniu klubu nocnego. Trenujesz asystenta głosowego na czystej, cichej mowie? Ma problemy z akcentami i hałasem w tle. Rozkład danych musi odpowiadać rozkładowi w świecie rzeczywistym.
3 Wystarczająca różnorodność (Pokrycie wszystkich sytuacji)
Wyobraź sobie naukę jazdy samochodem tylko przy idealnej pogodzie, na prostych drogach i w niewielkim ruchu. Byłbyś okropnym kierowcą wszędzie indziej. Zakręty? Panika. Deszcz? Katastrofa. Godziny szczytu? Przytłoczenie.

AI potrzebuje różnorodności w danych treningowych. Zdjęcia w jasnym słońcu i głębokim cieniu. Formalne teksty i swobodne wiadomości. Młode głosy i stare głosy. Typowe przypadki i rzadkie przypadki skrajne. Bez różnorodności AI się przeucza. Zapamiętuje konkretne przykłady zamiast uczyć się ogólnych wzorców. Pokaż mu tylko golden retrievery, a będzie miało problemy z pudlami. Pokaż mu koty w każdym kolorze, rozmiarze i pozycji, a będzie je niezawodnie rozpoznawać.
4 Aktualność i świeżość (Nadążanie za zmianami)
Wyobraź sobie, że uczysz kogoś mody z lat 60. i oczekujesz, że rozpozna obecne trendy. Dzwony, wysoko zaczesane fryzury, buty go-go. Potem pokazujesz mu współczesną modę. Jest zdezorientowany. Wszystko się zmieniło.

Dane się starzeją. Język ewoluuje („cool" znaczy dziś co innego niż w latach 60.). Taktyki spamu się zmieniają (wczorajsze sztuczki przestają działać). Trendy w modzie się przesuwają. Technologia się aktualizuje. Jeśli twoje dane treningowe pochodzą sprzed pięciu lat, wzorce już się zmieniły. Aktualne dane oddają aktualne wzorce.
5 Wolność od uprzedzeń (Uczciwa reprezentacja)
To jest ten najważniejszy. Ten niebezpieczny. Ten, który wyrządza realną szkodę w prawdziwym świecie. Zagłębimy się w to wkrótce znacznie bardziej, ponieważ uprzedzenia w danych to nie tylko problem techniczny. To problem ludzki z poważnymi konsekwencjami. Jeśli twoje dane odzwierciedlają historyczną dyskryminację, twoje AI nauczy się dyskryminować. Jeśli twoje dane nadreprezentują jedne grupy i niedoreprezentują inne, twoje AI będzie działać lepiej dla jednych ludzi niż dla innych. Śmieci na wejściu, śmieci na wyjściu. Uprzedzenia na wejściu, uprzedzenia na wyjściu.

Pomyśl o danych jak o składnikach do gotowania. Możesz mieć szefa kuchni z gwiazdką Michelin (wyrafinowany algorytm), ale jeśli dasz mu zgniłe warzywa, czerstwy chleb i zepsute mleko (złe dane), posiłek będzie niejadalny. Tymczasem domowy kucharz (prosty algorytm) ze świeżymi, wysokiej jakości składnikami przygotuje coś pysznego. Składniki mają większe znaczenie niż kwalifikacje szefa kuchni. W AI dane są składnikami.

Dobre dane treningowe wymagają jednocześnie poprawnych etykiet, rzeczywistego pokrycia, różnorodności, czystości i aktualności.

Niewdzięczna rzeczywistość (gdzie naprawdę jest praca)

Oto, czego nikt ci nie mówi, gdy sprzedaje rozwiązania AI lub prowadzi kursy AI:

Większość pracy to nie budowanie AI. To przygotowanie danych.

Specjaliści od danych spędzają około 80% czasu na przygotowaniu danych. Tylko 20% na faktycznym budowaniu i trenowaniu modeli. Ten stosunek mówi ci wszystko o tym, gdzie leży prawdziwe wyzwanie.

Na czym polega przygotowanie danych? Na czterech ogromnych, żmudnych i kluczowych zadaniach:

Gromadzenie danych

Zbieranie odpowiednich przykładów, gdziekolwiek istnieją. Skrobanie stron internetowych, dostęp do baz danych, rejestrowanie danych z czujników, agregowanie wielu źródeł. Czasochłonne. Często kosztowne. Nierzadko frustrujące, gdy źródła nie współpracują lub dane nie istnieją.

Czyszczenie danych

Usuwanie duplikatów. Poprawianie błędów. Obsługa brakujących wartości. Ujednolicanie formatów. Odfiltrowywanie szumu. Jak porządkowanie dziesięcioleci papierkowej roboty w zagraconym archiwum. W przypadku dużych zbiorów danych samo to może zająć tygodnie lub miesiące.

Adnotowanie danych

Ręczne oznaczanie przykładów poprawnymi odpowiedziami. „Ten obraz przedstawia kota.” „Ta opinia jest pozytywna.” „Ta transakcja jest oszukańcza.” Dla milionów przykładów. Niewiarygodnie żmudne. Często zlecane na zewnątrz nisko opłacanym pracownikom, którzy z powodu nudy i zmęczenia popełniają błędy.

Walidacja danych

Sprawdzanie, czy adnotacje są poprawne. Czy różnorodność jest wystarczająca. Czy uprzedzenia są zidentyfikowane i rozwiązane. Czy zbiór danych rzeczywiście odzwierciedla rzeczywistość. Kontrola jakości dla milionów przykładów. Wyczerpujące, ale absolutnie kluczowe.

Nic z tego nie jest efektowne. Nic z tego nie trafia na pierwsze strony gazet. Nic z tego nie robi wrażenia na ludziach na przyjęciach. To zwykła, ciężka praca. Ale to od niej zależy, czy projekty AI odniosą sukces, czy poniosą porażkę.

Algorytm jest stosunkowo prosty. Istnieje mnóstwo dobrych algorytmów. Większość jest publikowana otwarcie. Można je pobrać, używać, modyfikować. Trudne są dane. Ich gromadzenie, czyszczenie, adnotowanie, walidacja. To tutaj wkładany jest prawdziwy wysiłek. To tutaj większość projektów utyka. To właśnie odróżnia działające AI od pustych obietnic. Firmy z lepszymi danymi pokonują firmy z lepszymi algorytmami. Za każdym razem. Dane są fosą obronną. Trwałą przewagą. Prawdziwą przewagą konkurencyjną.

Problem uprzedzeń (najgroźniejsza wada AI)

Teraz przechodzimy do naprawdę niewygodnej części. Tej, która wyrządza realną krzywdę prawdziwym ludziom. Tej, która zmienia AI z „lekko zawodnego” w „aktywnie niebezpieczne”.

AI nie tylko uczy się wzorców z danych. Ona je wzmacnia.

Jeśli Twoje dane zawierają uprzedzenia (a zawiera je prawie każdy zbiór danych ze świata rzeczywistego), AI ich nie odfiltrowuje. Ona się ich uczy. Koduje je. Stosuje je systematycznie. Pogarsza je.

Wyjaśnię to historią, którą każdy zrozumie.

Uczenie się na podstawie tendencyjnych danych historycznych

Wyobraź sobie, że uczysz swojego wnuka, kto jest zatrudniany w Twojej firmie. Pokazujesz mu akta z ostatnich dwudziestu lat zatrudnień. Dział inżynieryjny: głównie mężczyźni. Stanowiska sekretarskie: głównie kobiety. Kierownictwo: głównie biali. Praca fizyczna: bardziej zróżnicowana.

Nigdy wprost nie mówisz mu „mężczyźni powinni być inżynierami” ani „kobiety powinny być sekretarkami”. Po prostu pokazujesz mu dane historyczne.

Teraz to on odpowiada za wstępną selekcję nowych podań. Co robi? Nauczył się wzorca z danych. Kandydatka na inżyniera? Wydaje się nietypowa, może nie będzie pasować. Mężczyzna ubiegający się o stanowisko sekretarskie? Nie pasuje do wzorca. Dyskryminuje. Nie dlatego, że jest złym człowiekiem. Dlatego, że nauczył się z tendencyjnych danych historycznych i zastosował te wzorce tak, jakby były poprawne.

Dokładnie to samo dzieje się ze sztuczną inteligencją. Dane historyczne odzwierciedlają historyczną dyskryminację. Sztuczna inteligencja uczy się tej dyskryminacji tak, jakby był to prawidłowy wzorzec do naśladowania. Następnie stosuje go systematycznie do milionów decyzji.

Realne przykłady takiego działania:

⚠️ Sztuczna inteligencja rekrutacyjna Amazona

Amazon wyszkolił sztuczną inteligencję do wstępnej selekcji CV na podstawie dziesięciu lat danych historycznych dotyczących zatrudnień. Dane pokazały, że na stanowiska techniczne zatrudniano głównie mężczyzn. Sztuczna inteligencja nauczyła się obniżać ocenę CV kobiet. Wykrywała wskazówki takie jak „klub szachowy kobiet” w CV i karała za nie. Amazon musiał wycofać ten system. Algorytm działał doskonale. Problemem były dane.

⚠️ Algorytmy opieki zdrowotnej

Wiele systemów sztucznej inteligencji w opiece zdrowotnej wykazywało uprzedzenia rasowe. Przedkładały pacjentów białych nad czarnoskórych z identycznymi objawami. Dlaczego? Historyczne dane dotyczące opieki zdrowotnej odzwierciedlały historyczne nierówności w opiece. Czarnoskórzy pacjenci historycznie otrzymywali mniej leczenia. Sztuczna inteligencja nauczyła się tego wzorca i stosowała go tak, jakby mniejsza opieka była medycznie właściwa, a nie dowodem dyskryminacji.

⚠️ Systemy rozpoznawania twarzy

Większość zbiorów danych do rozpoznawania twarzy nadreprezentuje białych mężczyzn. Sztuczna inteligencja osiąga najlepsze wyniki na białych mężczyznach. Znacznie gorsze na kobietach. Jeszcze gorsze na osobach o ciemniejszej skórze. Nie dlatego, że algorytm jest rasistowski, ale dlatego, że dane treningowe były niezrównoważone. Sztuczna inteligencja dosłownie nie widziała wystarczająco różnorodnych twarzy, aby nauczyć się je niezawodnie rozpoznawać.

⚠️ Modele scoringu kredytowego

AI do scoringu kredytowego uczyła się na historycznych danych pożyczkowych, które odzwierciedlały dziesięciolecia dyskryminacyjnych praktyk kredytowych. Redlining. Drapieżne pożyczki w dzielnicach mniejszościowych. AI zakodowała te wzorce jako „dobre decyzje kredytowe” i je utrwalała. Dyskryminacja zalegalizowana, zautomatyzowana i skalowana.

W każdym pojedynczym przypadku algorytm działał poprawnie. Nauczył się wzorców w danych. Dane były obciążone. Więc AI stało się obciążone. Śmieci na wejściu, śmieci na wyjściu. Dyskryminacja na wejściu, dyskryminacja na wyjściu.

To nie jest drobny problem techniczny. To fundamentalne wyzwanie. Nie da się zbudować uczciwej AI z nieuczciwych danych. Lepsze algorytmy nie pomogą. Pomogą tylko lepsze dane. Bardziej zróżnicowane. Bardziej reprezentatywne. Świadomie pozbawione obciążeń.

Najbardziej przerażająca część? Obciążona AI wydaje się obiektywna. „Tak powiedział komputer” brzmi bardziej wiarygodnie niż „tak zdecydował człowiek”. Ale komputer uczył się od obciążonych ludzi podejmujących obciążone decyzje. Cała rola AI sprowadza się do automatyzacji i skalowania tego obciążenia, nadając mu pozór naukowości i neutralności, których wcale nie ma. Obciążenie danych to moment, w którym AI zmienia się z pomocnego narzędzia w narzędzie szkody.

Historyczne obciążenie zamienia się w zautomatyzowaną szkodę, gdy model traktuje dawną dyskryminację jako wzorzec wart powtarzania.

Jakie pytania zadawać o każdy system AI

Niezależnie od tego, czy budujesz AI, kupujesz AI, czy po prostu używasz AI w codziennym życiu, oto pytania, które powinieneś zadać. Odpowiedzi powiedzą ci, czy możesz mu zaufać.

? Skąd pochodzą dane treningowe?
Konkretne źródła mają znaczenie. Dane z publicznego internetu? Kuratorowane zbiory? Rekordy firmowe? Każde z nich ma inne uprzedzenia i ograniczenia. Jeśli nie chcą ci o tym powiedzieć, to ogromna czerwona flaga.
? Ile danych użyto? Jak je oznaczono?
Liczby mają znaczenie. „Tysiące” a „miliony” to duża różnica. Kto je oznaczał? Eksperci czy przypadkowi nisko opłacani pracownicy? Jak kontrolowano jakość? Te szczegóły decydują o wiarygodności.
? Czy dane treningowe pasują do twojego przypadku użycia?
AI wytrenowane na formalnych dokumentach biznesowych będzie miało problem z luźnymi wiadomościami tekstowymi. To wytrenowane na słonecznych zdjęciach z Kalifornii może zawieść w deszczowym Seattle. Dopasowanie ma znaczenie. Niedopasowanie oznacza porażki.
? Jakie grupy są reprezentowane w danych?
Wszystkie grupy wiekowe? Wszystkie płcie? Wszystkie grupy etniczne? Wszystkie języki? Czy może głównie jedna grupa demograficzna? Niezbalansowane dane tworzą systemy, które działają świetnie dla jednych i fatalnie dla innych.
? Jakie znane uprzedzenia istnieją? Jak je rozwiązano?
Każdy zbiór danych ma uprzedzenia. Uczciwi deweloperzy przyznają się do nich i wyjaśniają działania naprawcze. Każdy, kto twierdzi, że nie ma żadnych uprzedzeń, albo kłamie, albo jest niebezpiecznie nieświadomy.
? W jakich sytuacjach to AI będzie sobie radzić słabo?
Każde AI ma ograniczenia wynikające z danych treningowych. Czego nie widziało? Z czym sobie nie poradzi? Jeśli nie potrafią odpowiedzieć na to pytanie, to nie rozumieją własnego systemu na tyle dobrze, aby bezpiecznie go wdrożyć.

Jeśli ktoś sprzedaje Ci AI i nie potrafi odpowiedzieć na te pytania, odejdź. Albo nie wie (niekompetencja), albo nie chce powiedzieć (ukrywanie problemów). W obu przypadkach nie ufaj takiej osobie.

Godny zaufania dostawca AI potrafi odpowiedzieć na konkretne pytania dotyczące źródeł, etykiet, dopasowania, reprezentatywności, obciążeń i ograniczeń.

Przyszłość danych w AI

Wyzwania związane z danymi nie znikną. Ale podejścia ewoluują. Oto, co się zmienia:

Dane syntetyczne

Tworzenie sztucznych przykładów treningowych poprzez symulację. Przydatne w rzadkich scenariuszach, niebezpiecznych sytuacjach (takich jak wypadki samochodowe dla pojazdów autonomicznych) oraz w dziedzinach wrażliwych na prywatność. To nie zamiennik prawdziwych danych, ale cenne uzupełnienie, które wypełnia luki.

Augmentacja danych

Tworzenie wariantów istniejących przykładów. Obracaj obrazy, odwracaj je, dostosowuj oświetlenie. Parafrazuj zdania. Dodawaj szum tła do nagrań audio. To zwielokrotnia Twój zbiór danych, zwiększając różnorodność bez zbierania nowych przykładów od podstaw.

Uczenie na kilku przykładach

Techniki pozwalające uczyć się na mniejszej liczbie przykładów dzięki przenoszeniu wiedzy z wcześniejszych zadań. Tak jak po opanowaniu kilku języków łatwiej przychodzi nauka kolejnego. Zmniejszają zapotrzebowanie na dane w nowych zadaniach dzięki wykorzystaniu istniejącej wiedzy.

Metody chroniące prywatność

Uczenie się z danych bez bezpośredniego ich oglądania. Uczenie federacyjne (AI trenuje na Twoim telefonie bez wysyłania danych na serwery). Prywatność różnicowa (dodawanie starannie dobranego szumu, aby nie można było zidentyfikować pojedynczych rekordów). Umożliwia uczenie się na wrażliwych danych medycznych, finansowych i osobowych.

Uczenie aktywne

AI prosi o etykiety tylko dla przykładów, co do których ma wątpliwości. Zamiast etykietować milion losowych przykładów, etykietujesz tysiąc przykładów, które najbardziej dezorientują AI. Skupia ludzki wysiłek tam, gdzie jest najbardziej potrzebny, drastycznie obniżając koszty etykietowania.

Te techniki pomagają, ale nie eliminują fundamentalnej prawdy: jakość danych jest niezastąpiona. Możesz zmniejszyć ich potrzebną ilość. Możesz generować uzupełnienia. Możesz uczyć się wydajniej. Ale nie uciekniesz od zasady: śmieci na wejściu, śmieci na wyjściu.

Sedno sprawy (co naprawdę musisz wiedzieć)

Podsumujmy najważniejsze prawdy o danych w AI:

Dane znaczą więcej niż algorytmy. Zawsze znaczyły. Zawsze będą znaczyć. Najbardziej wymyślna i zaawansowana AI na świecie, wytrenowana na śmieciowych danych, daje śmieciowe wyniki. Prosta AI wytrenowana na danych wysokiej jakości daje wyniki wysokiej jakości. Za każdym razem. Bez wyjątków.

Jakość przewyższa ilość, ale potrzebujesz obu. Lepiej mieć 100 000 różnorodnych, poprawnie oznaczonych i reprezentatywnych przykładów niż 10 milionów powtarzalnych, błędnie oznaczonych i tendencyjnych przykładów. Ale idealnie? Chcesz milionów wysokiej jakości, różnorodnych przykładów. Zarówno ilości, jak i jakości.

Stronniczość danych staje się stronniczością AI. Historyczna dyskryminacja staje się algorytmiczną dyskryminacją. Niezrównoważona reprezentacja staje się zawodnym działaniem dla grup niedoreprezentowanych. AI nie odfiltrowuje stronniczości. Ona się jej uczy, koduje ją, wzmacnia i stosuje systematycznie.

Większość pracy nad AI to przygotowanie danych, nie budowanie algorytmów. 80% to zbieranie, czyszczenie, etykietowanie i walidacja danych. 20% to modelowanie. Ten stosunek mówi wszystko. Algorytm to łatwa część. Dane to trudna część. I najważniejsza.

Każda AI ma ograniczenia wyznaczone przez dane treningowe. Tego, czego nie widziała, nie potrafi obsłużyć. Tam, gdzie dane były stronnicze, będzie stronnicza. Tam, gdzie dane były niekompletne, zawiedzie. Żadna AI nie wykracza poza swoje dane treningowe. To dane wyznaczają sufit.

Pamiętasz książkę kucharską swojej mamy z początku tego artykułu? Przepis jest tylko tak dobry, jak doświadczenia, na których się opierał. Wąskie doświadczenia tworzą wąskie przepisy. Stronnicze doświadczenia tworzą stronnicze przepisy. Błędne informacje tworzą przepisy, które nie działają.

Tak samo jest z AI. System jest tylko tak dobry, jak dane, z których się uczył. Wąskie dane tworzą wąską AI. Stronnicze dane tworzą stronniczą AI. Złe dane tworzą AI, która po prostu nie działa. „Śmieci na wejściu, śmieci na wyjściu" to nie tylko chwytliwe powiedzenie. To fundamentalne prawo AI. Jeśli dane są właściwe, nawet proste algorytmy mogą nauczyć się użytecznych wzorców. Jeśli dane są złe, żadna wyrafinowana algorytmika cię nie uratuje.

Teraz wiesz, dlaczego dane są w AI wszystkim. I dlaczego każdy, kto twierdzi inaczej, albo coś sprzedaje, albo nie rozumie, jak ta technologia naprawdę działa.

W Dweve jesteśmy transparentni co do wymagań dotyczących danych. Nasze systemy oparte na ograniczeniach potrzebują wysokiej jakości, reprezentatywnych przykładów, aby odkrywać prawidłowe zależności logiczne. Żadnych skrótów. Żadnej magii. Tylko uczciwa inżynieria, która uznaje prostą prawdę: nie można zbudować niezawodnej AI z zawodnych danych. Bo śmieci na wejściu naprawdę oznaczają śmieci na wyjściu, za każdym razem.