Teadmusgraafid: kuidas tehisintellekt oma teadmisi korrastab

Teadmusgraafid: kuidas tehisintellekt oma teadmisi korrastab

Teadmiste probleem

AI teab palju. Tõesti, palju. Fakte. Seoseid. Mustreid. Terabaitide kaupa infot.

Kuid teadmine ei piisa. Korraldus loeb. See, kuidas teadmisi struktureerid, määrab, mida sa nendega teha saad. Leida. Ühendada. Põhjendada.

Teadmusgraafid lahendavad selle. Nii korraldavad kõige targemad AI-süsteemid seda, mida nad teavad. Nende mõistmine aitab sul mõista kaasaegset AI-d.

Mis teadmusgraafid tegelikult on

Teadmusgraaf on üksuste ja seoste võrgustik. Mitte traditsiooniline andmebaas. Mitte hierarhiline puu. Graaf. Sõlmed, mida ühendavad servad. Seosed on selgesõnalised.

Struktuur:

Üksused (sõlmed): Asjad. Inimesed. Mõisted. Kõik, mis eksisteerib või mida saab kirjeldada.

Näited: "Albert Einstein", "Relatiivsusteooria", "Nobeli preemia", "1921"

Seosed (servad): Kuidas üksused ühenduvad. Tähendus tuleb seostest, mitte eraldatusest.

Näited: "Einstein" → (arendas) → "Relatiivsusteooria"

"Einstein" → (võitis) → "Nobeli preemia"

"Nobeli preemia" → (aasta) → "1921"

Omadused: Üksuste või seoste atribuudid. Täiendavad üksikasjad.

Näited: Einstein.birthdate = "1879-03-14"

Nobeli preemia.field = "Füüsika"

See on kõik. Üksused, seosed, omadused. Lihtne struktuur. Võimas esitus.

Siin on visuaalne näide:

Miks graafid võidavad traditsioonilisi andmebaase

Traditsioonilised andmebaasid: tabelid ja read. Fikseeritud skeem. Jäik struktuur. Suhted on kohmakad.

Teadmusgraafid: paindlikud, suhtepõhised, tulevad loomulikult toime keerukusega.

Loomulik suhete esitus:

Relatsioonilises andmebaasis nõuab küsimus "Kes on Einsteini kolleegid, kes on samuti Nobeli preemia võitnud?" mitut JOIN-i. Keeruline päring. Aeglane.

Teadmusgraafis: järgi suhteid. Einstein → (kolleeg) → isik → (võitis) → Nobeli preemia. Loomulik liikumine. Kiire.

Paindlik skeem:

Relatsioonilised andmebaasid: määra skeem eelnevalt. Uute üksusetüüpide või suhete lisamine tähendab skeemi muutmist. Migratsioonid. Vaev.

Teadmusgraafid: lisa sõlmi ja servi igal ajal. Skeem areneb loomulikult. Uued suhtetüübid? Lihtsalt lisa need. Migratsiooni pole vaja.

Semantiline tähendus:

Tabelid ei kodeeri tähendust. Võõrvõti on lihtsalt number. Tähendus tuleb rakenduse koodist.

Graafi servadel on semantilised sildid. "worked_with", "inspired_by", "contradicts". Suhe ise kannab tähendust. Päringutav. Arusaadav.

Parem keerukate päringute jaoks:

"Leia kõik inimesed, kes töötasid koos kellegagi, kellega Einstein töötas" (2-astmeline kolleegisuhe). Tühine graafis. Õudne JOIN-ide jada SQL-is.

Iga andmebaasiadministraator, kes on kirjutanud seitsme tabeli JOIN-i, et vastata lihtsale suhteküsimusele, mõistab seda vaeva. SQL loodi raamatupidamiseks, mitte selleks, et "näita mulle kõiki, kes on sellest inimesest kolme eraldusastme kaugusel". Sellest päringust saab rekursiivne õudusunenägu, mis hõlmab ajutisi tabeleid ja loovat needmist.

Graafid paistavad silma suhtepõhiste päringute juures. Andmebaasid paistavad silma agregeerimise ja tehingute juures. Erinevad tööriistad erinevateks töödeks.

Kuidas AI kasutab teadmusgraafe

Teadmusgraafid toidavad paljusid AI võimekusi:

Küsimustele vastamine:

Kasutaja küsib: "Kes võitis 1921. aastal füüsika Nobeli preemia?"

AI pärib teadmusgraafi: Nobeli preemia → (aasta) → 1921 → (valdkond) → füüsika → (võitis) → Einstein

Vastus: "Albert Einstein"

Otsene otsing läbi suhete. Pole vaja töödelda iga dokumenti Einsteinist. Graaf kodeerib vastuse.

Soovitussüsteemid:

"Inimesed, kellele meeldis X, meeldis ka Y" muutub graafi läbimiseks. Kasutaja → (meeldis) → Objekt → (meeldis ka) → Teised kasutajad → (meeldis) → Teised objektid

Amazon, Netflix, Spotify kasutavad kõik teadmusgraafe. Tooted, kasutajad, eelistused sõlmedena. Ostud, vaatamised, hinnangud servadena. Soovitused on graafipäringud.

Otsingu täiustamine:

Google'i teadmusgraaf toidab neid infokaste. Otsi "Einstein" ja näed sünniaega, saavutusi, seotud inimesi. See pole kraabitud tekst. See on struktureeritud teadmus.

Graaf võimaldab semantilist otsingut. Mitte ainult märksõnade vastendamist. Üksuste ja seoste mõistmist. "Kes on Einsteini naine?" mõistab, et "naine" on seos ja Einstein on üksus. Graafi läbimine leiab vastuse.

Põhjendamine ja järeldamine:

Teadmusgraafid võimaldavad loogilist põhjendamist. Kui A → (alamklass) → B ja B → (alamklass) → C, siis A → (alamklass) → C. Transitiivne põhjendamine. Uue teadmuse automaatne tuletamine olemasolevast.

Meditsiinilised teadmusgraafid: sümptom → (viitab) → haigus → (ravitakse) → ravim. Diagnostiline põhjendamine graafi läbimise kaudu.

Selgitatavus:

Miks tegi AI selle otsuse? Jälgi teed läbi teadmusgraafi. Milliseid fakte kasutati? Milliseid seoseid? Tee läbi graafi näitab põhjenduskäiku. Selgitatav AI nähtava teadmusstruktuuri kaudu.

Euroopa regulaatorid hindavad seda eriti. ELi AI-määrus nõuab kõrge riskiga süsteemide selgitatavust. "Meie mudel tegi selle otsuse, sest..." millele järgneb tõenäosusjaotus, ei rahulda regulatiivseid nõudeid. "Siin on täpne tee läbi meie teadmusgraafi, mis näitab, millised faktid selle järelduseni viisid" rahuldab. Graafi läbimine tagab auditijäljed. ELi isikuandmete kaitse üldmääruse artikkel 22 nõuab sisulist teavet automatiseeritud otsustusloogika kohta: teadmusgraafid muudavad selle triviaalseks.

Teadmusgraafide loomine

Teadmusgraafi loomine pole triviaalne:

• Üksuste eraldamine: Tuvasta tekstis üksused. Nimega üksuste tuvastamine (NER). "Albert Einstein" on isik. "Nobeli preemia" on auhind. "1921" on aasta. Eralda üksused struktureerimata andmetest.
• Seoste eraldamine: Tuvasta, kuidas üksused on seotud. "Einstein võitis Nobeli preemia" → Einstein → (võitis) → Nobeli preemia. Loomuliku keele töötlus määrab seosed. Mitte alati täiuslikult. Ebaselgus on olemas.
• Üksuste ühtlustamine: Sama üksus, erinevad nimed. "Einstein", "A. Einstein", "Albert Einstein". Kõik sama isik. Ühenda sõlmed. Eemalda duplikaadid. Üksuste ühtlustamine on kriitilise tähtsusega ja keeruline.
• Teadmuse integreerimine: Mitu allikat, samad üksused. Vikipeedia ütleb üht. Entsüklopeedia teist. Lahenda konfliktid. Määra tõde. Omista usaldusväärsuse skoorid. Integreerimine on pidev protsess.
• Skeemi kavandamine: Millised üksusetüübid eksisteerivad? Millised seosetüübid? Atribuudid? Mingi struktuur on vajalik. Ontoloogiad määratlevad selle. Kuid piisavalt paindlik, et areneda.

Suurte teadmusgraafide (miljardite sõlmedega) loomine on tõsine inseneritöö. Google'i teadmusgraaf sisaldab sadu miljardeid fakte miljardite üksuste kohta. See mastaap nõuab hajutatud süsteeme.

Euroopa DBpedia projekt, mis pärineb Saksamaa ülikoolidest, demonstreerib mitmekeelsuse keerukust. Sama üksus, kakskümmend neli ELi ametlikku keelt. "Albert Einstein" on "Albert Einstein" (saksa), "Albert Einstein" (prantsuse, sama kirjapilt, erinev hääldus), "Άλμπερτ Αϊνστάιν" (kreeka). Üksuste ühtlustamine keelte vahel on keerulisem, kui ameeriklased, kes ehitavad ainult inglisekeelseid süsteeme, aru saavad. Euroopa teadmusgraafid käsitlevad seda keerukust vaikimisi: see pole valikuline, see on tegelik töökeskkond.

Teadmusgraafide päringud

Graafide jaoks on spetsiaalsed päringukeeled:

Cypher (Neo4j):

Mustri sobitamise süntaks. ASCII-kunst graafimustrite jaoks.

Näide: MATCH (einstein:Person {name: "Albert Einstein"})-[:WON]->(prize:Award)

RETURN prize.name

Leiab kõik auhinnad, mille Einstein võitis. Muster kirjeldab graafi struktuuri. Päring sobitab mustriga.

SPARQL (RDF-graafid):

Semantilise veebi standard. Kolmikmustrid.

Näide: SELECT ?prize WHERE { :Einstein :won ?prize . ?prize :type :NobelPrize }

Sarnane kontseptsioon. Erinev süntaks. Pärib semantilise veebi andmeid.

Graafi läbimine:

Programmiline graafis liikumine. Alusta sõlmest. Jälgi servi. Kogu tulemusi. Paindlikum kui päringukeeled. Täielik algoritmiline kontroll.

Graafandmebaasid optimeerivad neid päringuid. Indekseerimine. Vahemälundus. Hajutatud täitmine. Miljardid sõlmed, alla sekundi kestvad päringud. Kui õigesti tehtud.

Teadmusgraafid Dweve'is

Kasutame teadmusgraafe ulatuslikult:

• Semantiline teadmusvõrgustik: Faktid salvestatakse graafi sõlmedena. Seosed on selgesõnalised. Usaldusväärsuse skoorid servadel. Vastuolude lahendamine graafianalüüsi kaudu. Mitu allikat, vastukäivad faktid? Graafi struktuur aitab lahendada.
• Hajutatud teadmusgraaf (Loom): Petabaidi-skaalaliste seoste kaardistamine. Neo4j-taustsüsteem. Hajutatud sõlmede vahel. Triljonite sõlmede töötlusvõimekus. Graafi läbimise optimeerimine. Nutikas eellaadimine. See pole mänguasja mõõtkavas. See on tootmisinfrastruktuur.
• Ristmodaalne teadmuse liitmine: Erinevatest modaalsustest (tekst, pildid, struktureeritud andmed) pärinev teadmus integreeritakse ühisesse graafi. Sama üksus esineb pildis ja tekstis? Ühenda sõlmed. Liida teadmus. Heterogeensed allikad, ühtne esitus.
• Teadmusgraafi mootor (Nexus): Dünaamiline graafipõhine teadmuse esitus. Agendid pärivad graafist teavet. Arutlus graafi läbimise kaudu. Seosed juhivad otsuste tegemist. Teadmusgraaf on mälusüsteem.

Mitte ainult salvestus. Aktiivne arutlusalus. Graafi struktuur ON teadmuse organiseeritus.

Teadmusgraafide väljakutsed

Võimsad, kuid mitte täiuslikud:

• Täielikkus: Teadmiste graafid pole kunagi täielikud. Alati puuduvad olemid. Puuduvad seosed. Lüngad on olemas. Tundmatuga tuleb osata elegantselt toime tulla.
• Kvaliteet: Ekstraheeritud teadmistes on vigu. Valed olemid. Valed seosed. Usaldusväärsuse skoorid aitavad. Kuid müra jääb alles. Valideerimine on pidev.
• Mastaap: Miljardeid sõlmi. Triljoneid servi. Salvestus on juhitav. Päringud suures mahus on keerulised. Hajussüsteemid on vajalikud. Keerukus kasvab.
• Ajalised dünaamikad: Teadmised muutuvad. Faktid aeguvad. Seosed arenevad. Teadmiste versioonimine on keeruline. Ajateadlikud graafid aitavad, kuid lisavad keerukust.
• Mitmetähenduslikkus: "Mercury" planeet või element? Kontekst selgitab. Kuid graafidelt puudub sageli kontekst. Olemite tuvastamine pole kunagi täiuslik.
• Arutluspiirangud: Graafi struktuur võimaldab teatud arutlust. Kuid loogika on piiratud. Tõenäosuslik arutlus on keeruline. Põhjuslik arutlus on veelgi keerulisem. Graafid esindavad, mitte ei arutle sügavalt.
• Andmesuveräänsus: Euroopa organisatsioonid seisavad silmitsi ainulaadsete väljakutsetega. GDPR keelab teatud andmeedastused väljapoole ELi. Teadmiste graafid isikuandmete sõlmedega peavad austama jurisdiktsioonilisi piire. Ei saa lihtsalt globaalsesse pilve kopeerida. Kohapealne või ELi-põhine majutus on vajalik. Ameerika ettevõtted, kes ehitavad tsentraliseeritud teadmiste graafe, avastavad selle kallilt, regulatiivsete trahvide kaudu.

Vaatamata väljakutsetele jäävad teadmiste graafid parimaks struktuuriks organiseeritud teadmiste jaoks suures mahus.

Teadmiste graafide tulevik

Kuhu see liigub?

• Automaatne koostamine: Parem üksuste ja seoste tuvastamine. Täpsem. Suurem katvus. Vähem inimese sekkumist. AI ehitab ise oma teadmiste graafid toorandmetest.
• Dünaamiline uuendamine: Teadmiste graafide uuendamine reaalajas. Uudised juhtuvad. Graaf uuendub. Pidev teadmiste värskendamine. Alati ajakohane.
• Probabilistlikud graafid: Servad tõenäosustega. Ebakindlad seosed. Usalduse levik. Bayesi loogika graafi struktuuri üle.
• Ajalised graafid: Ajateadlikud teadmised. "Siis oli tõsi. Nüüd ei ole." Ajalooline arutlus. Tuleviku ennustamine. Graafi arengu jälgimine.
• Multimodaalsed graafid: Sõlmed on pildid, heli, video, tekst. Seosed ületavad modaalsusi. Ühtsed teadmised sõltumata allika vormingust.
• Föderatiivsed graafid: Mitu organisatsiooni, eraldi graafid. Päringud üle organisatsioonide piiride. Privaatsuse austamine. Hajutatud teadmised ilma tsentraliseerimiseta. Euroopa Gaia-X algatus on selle lähenemise näide: föderatiivne andmetaristu, kus organisatsioonid säilitavad kontrolli oma teadmiste üle, võimaldades samal ajal piiriüleseid päringuid. Ameerika tehnoloogiahiiglased eelistavad tsentraliseeritud graafe, mida nemad kontrollivad. Eurooplased eelistavad föderatiivseid graafe, mis säilitavad iseseisvuse. Erinevad filosoofiad teadmiste omandi kohta.

Teadmiste graafid on AI mõistmise taristu. Mida parem graaf, seda targem AI.

Mida pead meeles pidama

• 1. Graafid on olemid ja seosed. Sõlmed ja servad. Struktuur kannab tähendust. Seosed on esmaklassilised.
• 2. Paremad kui andmebaasid seoste jaoks. Loomulik läbimine. Paindlik skeem. Semantilised servad. Paistavad silma ühendatud andmetega.
• 3. Toetavad paljusid AI võimekusi. Küsimustele vastamine, soovitused, otsing, arutlus, selgitatavus. Graafid võimaldavad kõike seda.
• 4. Ehitamine nõuab olemite eraldamist, lahendamist, integreerimist. Pole automaatne. Inseneritöö väljakutse. Aga seda väärt.
• 5. Graafide jaoks on spetsiaalsed päringukeeled. Cypher, SPARQL, programmeeritav läbimine. Mustri sobitamine, mitte SQL.
• 6. Väljakutsed on olemas. Täielikkus, kvaliteet, mastaap, ajalised dünaamikad, mitmetähenduslikkus. Kompromissid, mitte täiuslikkus.
• 7. Tulevik on automaatne, dünaamiline, tõenäosuslik. Parem ülesehitus. Reaalajas uuendused. Määramatuse käsitlemine. Areng jätkub.

Lõppkokkuvõte

Teadmusgraafid on see, kuidas AI korraldab seda, mida ta teab. Mitte lamedad failid. Mitte relatsioonilised tabelid. Graafistruktuur, mis peegeldab seda, kuidas teadmus tegelikult ühendub.

Eelised on selged: loomulik seoste esitus, paindlik skeem, semantiline tähendus, võimsad päringud. Teadmus ühendatud võrgustikuna, mitte üksikute faktidena.

Päris AI süsteemid kasutavad neid. Google'i teadmusgraaf. Amazoni tootegraaf. Facebooki sotsiaalgraaf. Netflixi soovitusgraaf. Mitte akadeemilised uudishimud. Tootmisinfrastruktuur.

Nende ehitamine on raske. Olemite eraldamine. Seoste tuvastamine. Duplikaatide eemaldamine. Integreerimine. Kvaliteedikontroll. Mastaabiväljakutsed. Aga väärtus õigustab pingutust.

AI tulevik sõltub paremast teadmuse korraldusest. Mitte lihtsalt rohkemast andmest. Paremini struktureeritud andmest. Teadmusgraafid pakuvad seda struktuuri. Graaf ON teadmus.

Teadmusgraafide mõistmine tähendab mõistmist, kuidas AI mõtleb. Mitte närvitegevusest. Struktureeritud teadmus. Selgesõnalised seosed. Arutlus läbi ühenduste. See on intelligentne info korraldus.

Soovid teadmusgraafi infrastruktuuri? Avasta Dweve semantiline teadmusvõrgustik. Miljardi sõlme töötlus. Hajutatud graafisalvestus. Multimodaalne teadmuse ühendamine. Usaldusväärsusega hinnatud seosed. Selline teadmusgraaf, mis skaleerub päriste AI rakendusteni.