Znanstveni grafi: kako AI organizira svoje znanje

Znanstveni grafi: kako AI organizira svoje znanje

Problem znanja

AI ve veliko. Res, veliko. Dejstva. Odnose. Vzorce. Terabajte informacij.

Toda vedeti ni dovolj. Organizacija je pomembna. Kako strukturirate znanje, določa, kaj lahko z njim počnete. Najdete ga. Povežete ga. Razmišljate o njem.

Grafi znanja to rešujejo. Tako najpametnejši sistemi AI organizirajo, kar vedo. Razumevanje le-teh vam pomaga razumeti sodobni AI.

Kaj grafi znanja dejansko so

Graf znanja je omrežje entitet in odnosov. Ne tradicionalna podatkovna baza. Ne hierarhično drevo. Graf. Vozlišča, povezana z robovi. Odnosi so eksplicitni.

Struktura:

Entitete (vozlišča): Stvari. Ljudje. Koncepti. Karkoli, kar obstaja ali je mogoče opisati.

Primeri: "Albert Einstein", "Teorija relativnosti", "Nobelova nagrada", "1921"

Odnosi (robovi): Kako se entitete povezujejo. Pomen izhaja iz povezav, ne iz izolacije.

Primeri: "Einstein" → (razvil) → "Teorija relativnosti"

"Einstein" → (prejel) → "Nobelova nagrada"

"Nobelova nagrada" → (leto) → "1921"

Lastnosti: Atributi entitet ali odnosov. Dodatne podrobnosti.

Primeri: Einstein.birthdate = "1879-03-14"

Nobelova nagrada.field = "Fizika"

To je vse. Entitete, odnosi, lastnosti. Preprosta struktura. Zmogljiva predstavitev.

Tukaj je vizualni primer:

Zakaj grafi premagajo tradicionalne podatkovne baze

Tradicionalne podatkovne baze: tabele in vrstice. Fiksna shema. Toga struktura. Relacije so okorne.

Znanstveni grafi: prilagodljivi, najprej relacije, naravno obvladujejo kompleksnost.

Naravna predstavitev relacij:

V relacijski podatkovni bazi iskanje »Kdo so Einsteinovi sodelavci, ki so prav tako dobili Nobelovo nagrado?« zahteva več JOIN-ov. Kompleksna poizvedba. Počasna.

V znanstvenem grafu: sledite relacijam. Einstein → (sodelavec) → Oseba → (dobil) → Nobelova nagrada. Naravno prehajanje. Hitro.

Prilagodljiva shema:

Relacijske podatkovne baze: shemo določite vnaprej. Dodajanje novih vrst entitet ali relacij pomeni spremembe sheme. Migracije. Bolečina.

Znanstveni grafi: vozlišča in povezave dodajte kadarkoli. Shema se razvija naravno. Nove vrste relacij? Samo dodajte jih. Migracija ni potrebna.

Semantični pomen:

Tabele ne kodirajo pomena. Tuji ključ je le številka. Pomen izhaja iz kode aplikacije.

Povezave v grafu imajo semantične oznake. »worked_with«, »inspired_by«, »contradicts«. Relacija sama nosi pomen. Poizvedljiva. Razumljiva.

Boljše za kompleksne poizvedbe:

»Poišči vse ljudi, ki so sodelovali z nekom, s katerim je sodeloval Einstein« (dvostopenjska relacija sodelavcev). V grafu trivialno. V SQL-u mora.

Vsak skrbnik podatkovnih baz, ki je napisal JOIN čez sedem tabel, da bi odgovoril na preprosto vprašanje o relacijah, razume to bolečino. SQL je bil zasnovan za računovodstvo, ne za »pokaži mi vse, ki so od te osebe oddaljeni največ tri stopnje«. Ta poizvedba postane rekurzivna mora z začasnimi tabelami in ustvarjalnim preklinjanjem.

Grafi blestijo pri poizvedbah, bogatih z relacijami. Podatkovne baze blestijo pri agregacijah in transakcijah. Različna orodja za različna opravila.

Kako AI uporablja znanstvene grafe

Znanstveni grafi poganjajo številne zmogljivosti AI:

Odgovarjanje na vprašanja:

Uporabnik vpraša: »Kdo je leta 1921 dobil Nobelovo nagrado za fiziko?«

AI poizveduje znanstveni graf: Nobelova nagrada → (leto) → 1921 → (področje) → Fizika → (dobil) → Einstein

Odgovor: »Albert Einstein«

Neposredno iskanje skozi relacije. Ni treba obdelati vsakega dokumenta o Einsteinu. Graf kodira odgovor.

Priporočilni sistemi:

"Ljudje, ki so jim bil všeč X, so jim bili všeč tudi Y" postane prehod po grafu. Uporabnik → (všeč) → Element → (všeč tudi) → Drugi uporabniki → (všeč) → Drugi elementi

Amazon, Netflix in Spotify uporabljajo grafe znanja. Izdelki, uporabniki in preference so vozlišča. Nakupi, ogledi in ocene so povezave. Priporočila so poizvedbe po grafu.

Izboljšanje iskanja:

Googlov graf znanja poganja tiste informacijske okvirje. Ko poiščete "Einstein", vidite datum rojstva, dosežke in povezane osebe. To ni strgan tekst. To je strukturirano znanje.

Graf omogoča pomensko iskanje. Ne le ujemanje ključnih besed. Razumevanje entitet in odnosov. "Kdo je Einsteinova žena?" razume, da je "žena" odnos, Einstein pa entiteta. Prehod po grafu najde odgovor.

Sklepanje in izpeljava:

Grafi znanja omogočajo logično sklepanje. Če je A → (podrazred) → B in B → (podrazred) → C, potem je A → (podrazred) → C. Tranzitivno sklepanje. Samodejna izpeljava novega znanja iz obstoječega.

Medicinski grafi znanja: simptom → (kaže na) → bolezen → (zdravljena z) → zdravilo. Diagnostično sklepanje s prehodom po grafu.

Razložljivost:

Zakaj se je umetna inteligenca odločila tako? Sledite poti skozi graf znanja. Katera dejstva so bila uporabljena? Kateri odnosi? Pot skozi graf prikazuje sklepanje. Razložljiva umetna inteligenca skozi vidno strukturo znanja.

To še posebej cenijo evropski regulatorji. Akt EU o umetni inteligenci zahteva razložljivost sistemov z visokim tveganjem. "Naš model se je odločil tako, ker ..." z verjetnostno porazdelitvijo ne bo zadovoljilo regulativnih zahtev. "Tukaj je natančna pot skozi naš graf znanja, ki prikazuje, katera dejstva so vodila do tega zaključka" pa jih. Prehod po grafu zagotavlja revizijske sledi. 22. člen GDPR zahteva smiselne informacije o logiki samodejnega odločanja: grafi znanja to naredijo preprosto.

Gradnja grafov znanja

Ustvarjanje grafa znanja ni preprosto:

• Izločanje entitet: Prepoznavanje entitet v besedilu. Prepoznavanje imenovanih entitet (NER). "Albert Einstein" je oseba. "Nobelova nagrada" je nagrada. "1921" je leto. Izločanje entitet iz nestrukturiranih podatkov.
• Izločanje odnosov: Prepoznavanje, kako so entitete povezane. "Einstein je dobil Nobelovo nagrado" → Einstein → (dobil) → Nobelova nagrada. Obdelava naravnega jezika določa odnose. Ni vedno popolna. Dvoumnost obstaja.
• Razreševanje entitet: Ista entiteta, različna imena. "Einstein", "A. Einstein", "Albert Einstein". Vse ista oseba. Združevanje vozlišč. Odstranjevanje dvojnikov. Razreševanje entitet je ključno in težko.
• Integracija znanja: Več virov, iste entitete. Wikipedija pravi eno. Enciklopedija pravi drugo. Razreševanje sporov. Določanje resnice. Dodeljevanje ocen zaupanja. Integracija je stalna.
• Oblikovanje sheme: Katere vrste entitet obstajajo? Katere vrste odnosov? Lastnosti? Neka struktura je potrebna. Ontologije to opredeljujejo. A dovolj prilagodljive za razvoj.

Gradnja velikih grafov znanja (milijarde vozlišč) je resen inženirski podvig. Googlov graf znanja vsebuje več sto milijard dejstev o milijardah entitet. Tak obseg zahteva porazdeljene sisteme.

Evropski projekt DBpedia, ki izvira iz nemških univerz, prikazuje večjezično zapletenost. Ista entiteta, štiriindvajset uradnih jezikov EU. "Albert Einstein" postane "Albert Einstein" (nemško), "Albert Einstein" (francosko, enako črkovanje, drugačna izgovorjava), "Άλμπερτ Αϊνστάιν" (grško). Razreševanje entitet med jeziki je težje, kot si Američani, ki gradijo samo angleške sisteme, predstavljajo. Evropski grafi znanja to zapletenost obravnavajo privzeto: ni izbirno, je operativna resničnost.

Poizvedovanje po grafih znanja

Posebni poizvedovalni jeziki za grafe:

Cypher (Neo4j):

Sintaksa za ujemanje vzorcev. ASCII umetnost za vzorce grafov.

Primer: MATCH (einstein:Person {name: "Albert Einstein"})-[:WON]->(prize:Award)

RETURN prize.name

Poišče vse nagrade, ki jih je Einstein prejel. Vzorec opisuje strukturo grafa. Poizvedba se ujema z vzorcem.

SPARQL (RDF grafi):

Standard za semantični splet. Vzorci trojic.

Primer: SELECT ?prize WHERE { :Einstein :won ?prize . ?prize :type :NobelPrize }

Podoben koncept. Drugačna sintaksa. Poizveduje po podatkih semantičnega spleta.

Prehod po grafu:

Programsko sprehajanje po grafu. Začni pri vozlišču. Sledi povezavam. Zbiraj rezultate. Bolj prilagodljivo kot poizvedovalni jeziki. Popoln algoritemski nadzor.

Grafne podatkovne baze optimizirajo te poizvedbe. Indeksiranje. Predpomnjenje. Porazdeljeno izvajanje. Milijarde vozlišč, poizvedbe v delčku sekunde. Če je narejeno pravilno.

Grafi znanja v Dweve

Grafi znanja uporabljamo obsežno:

• Semantično omrežje znanja: Dejstva so shranjena kot vozlišča grafa. Relacije so eksplicitne. Ocene zaupanja na povezavah. Reševanje protislovij z analizo grafa. Več virov, nasprotujoča dejstva? Struktura grafa pomaga pri razreševanju.
• Porazdeljeni graf znanja (Loom): Preslikava relacij v merilu petabajtov. Ozadje Neo4j. Porazdeljeno po vozliščih. Zmogljivost obdelave trilijonov vozlišč. Optimizacija prehoda po grafu. Inteligentno vnaprejšnje nalaganje. To ni igračka. To je produkcijska infrastruktura.
• Navzkrižno-modalna fuzija znanja: Znanje iz različnih modalitet (besedilo, slike, strukturirani podatki) je integrirano v skupnem grafu. Isti entiteti se pojavita na sliki in v besedilu? Združi vozlišči. Zlij znanje. Heterogeni viri, poenotena predstavitev.
• Pogon grafov znanja (Nexus): Dinamična predstavitev znanja na podlagi grafov. Agenti poizvedujejo po grafu za informacije. Sklepanje s prehodom po grafu. Relacije usmerjajo odločanje. Graf znanja je spominski sistem.

Ni le shranjevanje. Je aktivna podlaga za sklepanje. Struktura grafa JE organizacija znanja.

Izzivi z grafi znanja

Zmogljivi, a ne popolni:

• Popolnost: Grafi znanja niso nikoli popolni. Vedno manjkajo entitete. Manjkajo odnosi. Vrzeli obstajajo. Neznano je treba obravnavati elegantno.
• Kakovost: Pridobljeno znanje vsebuje napake. Napačne entitete. Napačni odnosi. Ocene zaupanja pomagajo. A šum ostaja. Validacija je stalna.
• Obseg: Milijarde vozlišč. Bilijoni povezav. Shranjevanje je obvladljivo. Poizvedovanje v tem obsegu je zahtevno. Potrebni so porazdeljeni sistemi. Kompleksnost narašča.
• Časovna dinamika: Znanje se spreminja. Dejstva zastarajo. Odnosi se razvijajo. Različično upravljanje znanja je zapleteno. Časovno ozaveščeni grafi pomagajo, a dodajajo kompleksnost.
• Dvoumnost: Je »Merkur« planet ali element? Kontekst razreši dvoumnost. A grafom pogosto manjka kontekst. Razreševanje entitet ni nikoli popolno.
• Omejitve sklepanja: Struktura grafa omogoča nekaj sklepanja. A logika je omejena. Verjetnostno sklepanje je zahtevno. Vzročno sklepanje je še zahtevnejše. Grafi predstavljajo, ne sklepajo poglobljeno.
• Podatkovna suverenost: Evropske organizacije se soočajo z edinstvenimi izzivi. GDPR prepoveduje določene prenose podatkov izven EU. Grafi znanja z vozlišči osebnih podatkov morajo spoštovati jurisdikcijske meje. Ni jih mogoče preprosto podvojiti v globalni oblak. Zahtevano je gostovanje na lastni infrastrukturi ali izključno v EU. Ameriška podjetja, ki gradijo centralizirane grafe znanja, to odkrijejo na drag način, z regulativnimi kaznimi.

Kljub izzivom ostajajo grafi znanja najboljša struktura za organizirano znanje v obsegu.

Prihodnost grafov znanja

Kam to pelje?

• Samodejna izgradnja: Boljše prepoznavanje entitet in odnosov. Natančnejše. Večja pokritost. Manj človeškega posredovanja. AI sam gradi svoje grafe znanja iz surovih podatkov.
• Dinamično posodabljanje: Posodobitve grafa znanja v realnem času. Zgodijo se novice. Graf se posodobi. Nenehno osveževanje znanja. Vedno aktualno.
• Verjetnostni grafi: Povezave z verjetnostmi. Negotovi odnosi. Širjenje zaupanja. Bayesovo sklepanje nad strukturo grafa.
• Časovni grafi: Znanje, ozaveščeno o času. »Takrat je bilo res. Zdaj ni več.« Zgodovinsko sklepanje. Napovedovanje prihodnosti. Sledenje razvoju grafa.
• Večmodalni grafi: Vozlišča so slike, zvok, video, besedilo. Odnosi prečkajo modalnosti. Enotno znanje ne glede na obliko vira.
• Zvezni grafi: Več organizacij, ločeni grafi. Poizvedovanje čez organizacijske meje. Spoštovanje zasebnosti. Porazdeljeno znanje brez centralizacije. Evropska pobuda Gaia-X ponazarja ta pristop: zvezna podatkovna infrastruktura, kjer organizacije ohranjajo suverenost nad svojim znanjem, hkrati pa omogočajo čezmejne poizvedbe. Ameriški tehnološki velikani imajo raje centralizirane grafe, ki jih nadzorujejo. Evropejci imajo raje zvezne grafe, ki ohranjajo neodvisnost. Različne filozofije o lastništvu znanja.

Grafi znanja so infrastruktura za razumevanje AI. Boljši kot je graf, pametnejši je AI.

Kaj si morate zapomniti

• 1. Grafi so entitete in relacije. Vozlišča in povezave. Struktura nosi pomen. Relacije so prvovrstne.
• 2. Boljši od baz podatkov za relacije. Naravno prečkanje. Prilagodljiva shema. Semantične povezave. Odlični pri povezanih podatkih.
• 3. Poganjajo številne zmogljivosti UI. Odgovarjanje na vprašanja, priporočila, iskanje, sklepanje, razložljivost. Grafi omogočajo vse.
• 4. Gradnja zahteva ekstrakcijo entitet, razreševanje, integracijo. Ni samodejno. Inženirski izziv. A se splača.
• 5. Posebni poizvedovalni jeziki za grafe. Cypher, SPARQL, programsko prečkanje. Ujemanje vzorcev, ne SQL.
• 6. Izzivi obstajajo. Popolnost, kakovost, obseg, časovna dinamika, dvoumnost. Kompromisi, ne popolnost.
• 7. Prihodnost je samodejna, dinamična, verjetnostna. Boljša gradnja. Posodobitve v realnem času. Obvladovanje negotovosti. Razvoj se nadaljuje.

Bistvo

Znanstveni grafi so način, kako UI organizira tisto, kar ve. Ne ravne datoteke. Ne relacijske tabele. Struktura grafa, ki odraža, kako se znanje dejansko povezuje.

Prednosti so jasne: naravna predstavitev relacij, prilagodljiva shema, semantični pomen, zmogljive poizvedbe. Znanje kot povezano omrežje, ne izolirana dejstva.

Resnični sistemi UI jih uporabljajo. Googlov znanstveni graf. Amazonov graf izdelkov. Facebookov družbeni graf. Netflixov graf priporočil. Ne akademske zanimivosti. Produkcijska infrastruktura.

Gradnja je zahtevna. Ekstrakcija entitet. Prepoznavanje relacij. Odstranjevanje podvojenih zapisov. Integracija. Nadzor kakovosti. Izzivi obsega. A vrednost upravičuje trud.

Prihodnost UI je odvisna od boljše organizacije znanja. Ne le več podatkov. Bolje strukturirani podatki. Znanstveni grafi zagotavljajo to strukturo. Graf JE znanje.

Razumevanje znanstvenih grafov pomeni razumevanje, kako UI razmišlja. Ne nevronske aktivacije. Strukturirano znanje. Eksplicitne relacije. Sklepanje skozi povezave. To je inteligentna organizacija informacij.

Potrebujete infrastrukturo za znanstvene grafe? Raziščite Dwevejevo semantično znanstveno omrežje. Obdelava bilijonov vozlišč. Porazdeljeno shranjevanje grafov. Večmodalna fuzija znanja. Relacije z oceno zaupanja. Vrsta znanstvenega grafa, ki se prilagodi resničnim aplikacijam UI.