Νευρωνικά δίκτυα: τι είναι, πώς λειτουργούν και γιατί η ονομασία τους παραπλανά
Το Τηλεφωνικό Κέντρο του Παππού σου
Φαντάσου το εξής: είμαστε στο 1950 και ο παππούς σου δουλεύει στην τηλεφωνική εταιρεία. Ποια είναι η δουλειά του; Χειρίζεται ένα τεράστιο τηλεφωνικό κέντρο. Εκατοντάδες καλώδια, χιλιάδες μικρές υποδοχές και τα χέρια του να κινούνται με αστραπιαία ταχύτητα για να συνδέουν μια κλήση με την άλλη.
Πώς λειτουργούσε το τηλεφωνικό κέντρο
Κάποιος καλεί από το αρτοποιείο το ανθοπωλείο. Ο παππούς σου συνδέει ένα καλώδιο από την υποδοχή Α47 στην υποδοχή Β23. Η κλήση συνδέθηκε. Κάποιος άλλος καλεί από τη βιβλιοθήκη το ταχυδρομείο. Άλλο καλώδιο, άλλη σύνδεση. Όλη μέρα φτιάχνει συνδέσεις, δρομολογεί σήματα και βοηθά την πληροφορία να ρέει από το ένα μέρος στο άλλο.
Τώρα φαντάσου ότι αυτό το τηλεφωνικό κέντρο μπορούσε να μαθαίνει. Φαντάσου ότι μετά από χιλιάδες κλήσεις άρχιζε να παρατηρεί μοτίβα. Οι περισσότερες πρωινές κλήσεις από το αρτοποιείο πηγαίνουν σε εστιατόρια. Οι περισσότερες απογευματινές κλήσεις από τα σχολεία πηγαίνουν σε γονείς. Οι περισσότερες κλήσεις από το νοσοκομείο είναι επείγουσες και πρέπει να περνούν αμέσως.
Αν αυτό το τηλεφωνικό κέντρο μπορούσε να προσαρμόζεται με βάση αυτά τα μοτίβα, δρομολογώντας τις κλήσεις πιο αποτελεσματικά χωρίς ο παππούς σου να χρειάζεται να σκεφτεί την καθεμία ξεχωριστά, τότε θα είχες κάτι πολύ κοντά σε ένα νευρωνικό δίκτυο.
Αυτό είναι στην πραγματικότητα ένα νευρωνικό δίκτυο. Όχι ένας εγκέφαλος. Όχι ευφυΐα. Απλώς ένα πολύ εξελιγμένο τηλεφωνικό κέντρο που μαθαίνει ποιες συνδέσεις λειτουργούν καλύτερα μέσα από την εξάσκηση.
Το όνομα «νευρωνικό δίκτυο» κάνει να ακούγεται σαν να φτιάχνουμε ηλεκτρονικούς εγκεφάλους. Δεν φτιάχνουμε. Φτιάχνουμε έξυπνα τηλεφωνικά κέντρα που βελτιώνονται στη δρομολόγηση πληροφοριών μέσα από την εμπειρία. Άσε με να σου δείξω ακριβώς πώς λειτουργεί αυτό, χρησιμοποιώντας παραδείγματα που μπορεί να καταλάβει ο καθένας.
Η Μεγάλη Σύγχυση των Ονομάτων (Γιατί το «Νευρωνικό» Παραπλανά)
Όταν οι επιστήμονες πρωτοέφτιαξαν αυτά τα συστήματα τη δεκαετία του 1950, κοίταξαν πώς λειτουργεί ο ανθρώπινος εγκέφαλος και σκέφτηκαν: «Ε, θα μπορούσαμε να φτιάξουμε κάτι εμπνευσμένο από αυτό». Δανείστηκαν μερικές ιδέες και ένα εντυπωσιακό όνομα.
Κακή κίνηση.
Γιατί το όνομα παραπλανά
Να αποκαλείς αυτά τα συστήματα «νευρωνικά δίκτυα» είναι σαν να αποκαλείς το αεροπλάνο «μηχανικό πουλί». Ναι, και τα δύο πετούν. Ναι, και τα δύο εμπνεύστηκαν από την παρατήρηση της φύσης. Αλλά το αεροπλάνο δεν χτυπά τα φτερά του, δεν έχει φτερά, δεν χρειάζεται να τρώει σκουλήκια και δεν μεταναστεύει νότια για τον χειμώνα.
Ο πραγματικός σας εγκέφαλος
- → Περίπου 86 δισεκατομμύρια νευρώνες
- → Ο καθένας είναι ένα απίστευτα πολύπλοκο βιολογικό κύτταρο
- → Χιλιάδες συνδέσεις ανά νευρώνα
- → Λειτουργεί με χημεία και νευροδιαβιβαστές
- → Ικανός να αναπτύσσεται και να αλλάζει σε όλη σας τη ζωή
Ένας τεχνητός «νευρώνας»
Είναι μια απλή μαθηματική πράξη. Πολλαπλασιασμός και πρόσθεση. Αυτό είναι όλο. Μοιάζει με το εγκεφαλικό κύτταρο όσο μια λάμπα με τον ήλιο. Και τα δύο παράγουν φως, αλλά το ένα είναι μια τεράστια σφαίρα πυρηνικής σύντηξης και το άλλο τροφοδοτείται με ηλεκτρισμό από την πρίζα του τοίχου σας.
Έτσι, όποτε ακούτε «νευρωνικό δίκτυο», σκεφτείτε απλώς «τηλεφωνικό κέντρο εκμάθησης προτύπων». Δεν ακούγεται τόσο εντυπωσιακό, αλλά είναι πολύ πιο ακριβές. Και το να κατανοείτε τι πραγματικά είναι αυτά τα συστήματα σάς βοηθά να καταλάβετε τι μπορούν και τι δεν μπορούν να κάνουν.
Το τηλεφωνικό κέντρο εκμάθησης
Το τηλεφωνικό κέντρο μαθαίνει τα μοτίβα κλήσεων της πόλης σας. Αφού παρακολουθήσει χιλιάδες κλήσεις, παρατηρεί ότι το αρτοποιείο καλεί τα εστιατόρια κάθε πρωί γύρω στις 6 π.μ. Αύριο, όταν έρθει αυτή η κλήση των 6 π.μ., το τηλεφωνικό κέντρο είναι έτοιμο. Έχει ήδη προετοιμάσει την καλύτερη σύνδεση, έχει μάθει από την εμπειρία, έχει προσαρμοστεί στο μοτίβο. Αυτό κάνουν αυτά τα συστήματα. Βρίσκουν μοτίβα σε παραδείγματα και χρησιμοποιούν αυτά τα μοτίβα για να κάνουν τις μελλοντικές συνδέσεις ταχύτερες και καλύτερες.
Το δομικό στοιχείο: Ένα απλό σημείο σύνδεσης
Ας ξεκινήσουμε από το μικρότερο κομμάτι του τηλεφωνικού μας κέντρου: ένα μόνο σημείο σύνδεσης. Στην εξεζητημένη ορολογία, ονομάζεται «τεχνητός νευρώνας». Αλλά στην πραγματικότητα, είναι απλώς ένα σημείο όπου συναντώνται πολλά καλώδια και από όπου βγαίνει ένα μόνο καλώδιο.
Φαντάσου ότι αποφασίζεις αν θα πάρεις ομπρέλα όταν βγεις από το σπίτι. Κοιτάς διάφορα σήματα:
Τα σήματα που εξετάζεις
- Είναι ο ουρανός σκοτεινός και συννεφιασμένος; (Σήμα 1)
- Είπε η πρόγνωση καιρού ότι θα βρέξει; (Σήμα 2)
- Είναι περίοδος βροχών; (Σήμα 3)
- Κουβαλάς άλλα πράγματα; (Σήμα 4)
Αλλά δεν είναι όλα αυτά τα σήματα εξίσου σημαντικά. Η πρόγνωση καιρού είναι πιθανότατα πιο αξιόπιστη από το να κοιτάς απλώς τον ουρανό. Η περίοδος βροχών έχει μεγαλύτερη σημασία σε ορισμένα μέρη παρά σε άλλα. Μπορεί να τα σταθμίζεις νοερά:
Σταθμίζοντας τη σημασία
- ● Σκοτεινά σύννεφα: μέτρια σημασία
- ● Πρόγνωση καιρού: πολύ σημαντικό
- ● Περίοδος βροχών: κάπως σημαντικό
- ● Μεταφορά πραγμάτων: λιγότερο σημαντικό
Ο εγκέφαλός σου κάνει αυτόν τον υπολογισμό μέσα σε ένα κλάσμα του δευτερολέπτου. Ζυγίζει όλα τα σήματα με βάση τη σημασία τους, τα αθροίζει και αποφασίζει: ομπρέλα ή όχι ομπρέλα.
Τι κάνει ένας τεχνητός νευρώνας
Ένας τεχνητός νευρώνας κάνει ακριβώς το ίδιο πράγμα, αλλά με αριθμούς. Κάθε εισερχόμενο σήμα πολλαπλασιάζεται με τη σημασία του (το βάρος του). Όλα αυτά τα σταθμισμένα σήματα αθροίζονται. Αν το σύνολο είναι αρκετά υψηλό, η έξοδος είναι «ναι, ενεργοποίηση». Αν είναι πολύ χαμηλό, η έξοδος είναι «όχι, μείνε ήσυχος».
Αυτός είναι ένας νευρώνας. Πολλαπλασίασε μερικούς αριθμούς. Πρόσθεσέ τους. Έλεγξε αν το σύνολο ξεπερνά ένα όριο. Δώσε έξοδο ναι ή όχι. Κανένα μυστήριο. Καμία νοημοσύνη. Μόνο αριθμητική.
Σκέψου το σαν τον πορτιέρη ενός κλαμπ που ελέγχει την ηλικία σου, τον ενδυματολογικό κώδικα και αν είσαι στη λίστα καλεσμένων. Κάθε παράγοντας έχει διαφορετικό βάρος. Είσαι στη λίστα; Πιθανότατα θα μπεις. Σωστά παπούτσια; Σημαντικό, αλλά όχι αποκλειστικός παράγοντας. Ο πορτιέρης αθροίζει όλους τους παράγοντες και παίρνει μία απόφαση: μέσα ή έξω. Αυτός είναι ένας τεχνητός νευρώνας. Ένα πολύ απλό σημείο λήψης αποφάσεων που εξετάζει πολλαπλές εισόδους με διαφορετικά επίπεδα σημασίας.
Συνδέοντας τα κομμάτια: Χτίζοντας τον τηλεφωνικό πίνακα
Ένα σημείο σύνδεσης δεν είναι και πολύ χρήσιμο. Ο τηλεφωνικός πίνακας του παππού σου είχε χιλιάδες. Εκεί βρίσκεται η δύναμη.
Φαντάσου ότι προσπαθείς να αναγνωρίσεις τη φίλη σου τη Μαρία σε έναν γεμάτο σιδηροδρομικό σταθμό. Ο εγκέφαλός σου δεν παίρνει αυτή την απόφαση με έναν νευρώνα. Χρησιμοποιεί χιλιάδες σημεία λήψης αποφάσεων, το καθένα από τα οποία εξετάζει διαφορετικές λεπτομέρειες:
- Αποφάσεις πρώτου επιπέδου: Είναι άνθρωπος; Είναι γυναίκα; Περίπου το σωστό ύψος;
- Αποφάσεις δεύτερου επιπέδου: Έχει σκούρα μαλλιά; Φοράει γυαλιά; Αυτό είναι το συνηθισμένο της παλτό;
- Αποφάσεις τρίτου επιπέδου: Ταιριάζει το πρόσωπό της με τα χαρακτηριστικά της Μαρίας; Αυτό το βάδισμα μου φαίνεται γνώριμο. Αυτή είναι σίγουρα η τσάντα της.
- Τελική απόφαση: Όλα τα κομμάτια ταιριάζουν μεταξύ τους. Αυτή είναι η Μαρία. Κάνε της νόημα και φώναξέ την.
Ένα τεχνητό νευρωνικό δίκτυο λειτουργεί με τον ίδιο τρόπο. Είναι οργανωμένο σε επίπεδα, σαν όροφοι σε ένα κτίριο. Οι πληροφορίες ρέουν από τον κάτω όροφο (επίπεδο εισόδου) μέσα από αρκετούς μεσαίους ορόφους (κρυφά επίπεδα) μέχρι τον πάνω όροφο (επίπεδο εξόδου).
Ας πούμε ότι προσπαθείς να μάθεις σε έναν υπολογιστή να αναγνωρίζει εικόνες με γάτες. Να τι συμβαίνει:
-
1
Επίπεδο εισόδου (ισόγειο):
Δέχεται την ακατέργαστη εικόνα. Κάθε μικροσκοπική κουκκίδα (pixel) της εικόνας μπαίνει σε έναν νευρώνα. Μια μικρή φωτογραφία μπορεί να έχει 10.000 pixels, οπότε χρειάζεσαι 10.000 νευρώνες μόνο για να τη δεχτείς. Κάθε νευρώνας κρατάει ένα μικρό κομμάτι πληροφορίας: «Το pixel μου είναι σκούρο» ή «Το pixel μου είναι ανοιχτό».
-
2
Πρώτο κρυφό επίπεδο (δεύτερος όροφος):
Ψάχνει για απλά μοτίβα. Κάποιοι νευρώνες ενθουσιάζονται όταν βλέπουν οριζόντιες γραμμές. Άλλοι παρατηρούν κάθετες γραμμές. Κάποιοι εντοπίζουν καμπύλες ή γωνίες. Αυτοί οι νευρώνες δεν ξέρουν ακόμα ότι κοιτάζουν γάτες. Απλώς ξέρουν: «Βρήκα μια καμπύλη γραμμή εδώ» ή «Εντόπισα μια ακμή εκεί».
-
3
Δεύτερο κρυφό επίπεδο (τρίτος όροφος):
Συνδυάζει αυτά τα απλά μοτίβα σε πιο σύνθετα σχήματα. «Ε, αυτές οι καμπύλες και οι ακμές μαζί μοιάζουν με μυτερό αυτί». «Αυτά τα μοτίβα, έτσι όπως είναι τοποθετημένα, μοιάζουν με μουστάκια». «Αυτό είναι σίγουρα σχήμα ματιού». Ακόμα δεν αναγνωρίζει γάτες, απλώς αναγνωρίζει μέρη γάτας.
-
4
Τρίτο κρυφό επίπεδο (τέταρτος όροφος):
Συναρμολογεί τα μέρη σε πλήρη χαρακτηριστικά. «Αυτά τα μουστάκια, αυτό το σχήμα μύτης, αυτά τα μυτερά αυτιά… Έχω ξαναδεί αυτόν τον συνδυασμό. Αρχίζει να μοιάζει με πρόσωπο γάτας». Τώρα πάμε κάπου.
-
5
Επίπεδο εξόδου (τελευταίος όροφος):
Παίρνει την τελική απόφαση. «Με βάση όλα όσα βρήκαν οι άλλοι όροφοι, είμαι 95% σίγουρος ότι αυτή είναι γάτα. Θα μπορούσε να είναι σκύλος (πιθανότητα 3%). Σίγουρα δεν είναι αυτοκίνητο (πιθανότητα 0,001%)». Ο νευρώνας με τη μεγαλύτερη σιγουριά κερδίζει και το δίκτυο ανακοινώνει: «Γάτα!»
Κάθε επίπεδο χτίζεται πάνω στο προηγούμενο. Τα απλά μοτίβα γίνονται πολύπλοκα σχήματα. Τα πολύπλοκα σχήματα γίνονται αναγνωρίσιμα χαρακτηριστικά. Τα χαρακτηριστικά γίνονται ολοκληρωμένα αντικείμενα. Αυτό είναι το κόλπο. Όχι πραγματική νοημοσύνη, απλώς μια πολύ έξυπνη στρωμάτωση απλών αποφάσεων.
Το Μαθησιακό Μέρος (Πώς ο Πίνακας Γίνεται Πιο Έξυπνος)
Εδώ γίνεται ενδιαφέρον. Πώς μαθαίνει το δίκτυο ποιες συνδέσεις είναι σημαντικές;
Μαθαίνοντας όπως ταξινομείς τα ρούχα
Φαντάσου ότι μαθαίνεις στον ανιψιό σου να ταξινομεί τα ρούχα. Την πρώτη φορά δεν έχει ιδέα. Μπορεί να βάλει μια κόκκινη κάλτσα με τα λευκά πουκάμισα. Καταστροφή. Ροζ πουκάμισα παντού. Του λες: «Όχι, όχι, αυτό ήταν λάθος. Το κόκκινο πάει με τα σκούρα, όχι με τα λευκά». Προσαρμόζει τους νοητικούς του κανόνες. Την επόμενη φορά τα πάει λίγο καλύτερα. Κάνει ακόμα λάθη, αλλά λιγότερα. Συνεχίζεις να τον διορθώνεις. «Σωστά!» «Όχι, προσπάθησε ξανά». «Τέλεια!» «Ωχ, όχι ακριβώς». Μετά από εκατό πλυντήρια, ο ανιψιός σου έχει μάθει τα μοτίβα. Τα λευκά μαζί. Τα σκούρα μαζί. Τα κόκκινα με τα σκούρα. Τα ευαίσθητα ξεχωριστά. Δεν σε χρειάζεται πια. Έμαθε μέσα από την εξάσκηση και τη διόρθωση.
Τα νευρωνικά δίκτυα μαθαίνουν με τον ίδιο ακριβώς τρόπο. Να η διαδικασία:
-
1
Ξεκινήστε με τυχαίες εικασίες
Το δίκτυο ξεκινά με εντελώς τυχαίες δυνάμεις σύνδεσης (βάρη). Είναι σαν τον ανιψιό σας την πρώτη μέρα. Δείξτε του μια εικόνα με μια γάτα και μπορεί να πει «Αυτοκίνητο!». Καθαρή ανοησία. Αλλά δεν πειράζει. Όλοι ξεκινούν από κάπου.
-
2
Δείξτε του ένα παράδειγμα
Τροφοδοτήστε το δίκτυο με μια εικόνα μιας γάτας. Η εικόνα ρέει μέσα από όλα τα επίπεδα. Κάθε νευρώνας κάνει τον υπολογισμό του (πολλαπλασιάζει τα δεδομένα εισόδου με τα βάρη, τα αθροίζει, ενεργοποιείται ή όχι). Τελικά, το επίπεδο εξόδου κάνει μια εικασία. Με τυχαία βάρη, η εικασία είναι απαίσια. «Σκύλος! Όχι, αυτοκίνητο! Μήπως… ομπρέλα;»
-
3
Πείτε του τη σωστή απάντηση
Εσείς ξέρετε τη σωστή απάντηση (γιατί εσείς χαρακτηρίσατε τις εικόνες εκπαίδευσης). «Όχι, αυτό ήταν γάτα, όχι αυτοκίνητο». Το δίκτυο μετρά πόσο άδικο έπεσε. Μάντεψε αυτοκίνητο με 80% σιγουριά ενώ έπρεπε να πει γάτα; Αυτό είναι πολύ λάθος. Υπολογίστε ακριβώς πόσο μακριά από τη σωστή απάντηση ήταν κάθε νευρώνας.
-
4
Προσαρμόστε τις συνδέσεις (οπισθοδιάδοση)
Εδώ είναι το έξυπνο κομμάτι. Το δίκτυο δουλεύει ανάποδα, από την έξοδο προς την είσοδο, ρωτώντας: «Ποιες συνδέσεις συνέβαλαν σε αυτό το λάθος; Ποια βάρη πρέπει να αλλάξουν;» Είναι σαν να ανατρέχετε στη σκέψη του ανιψιού σας. «Έβαλες την κόκκινη κάλτσα με τα λευκά επειδή νόμιζες ότι το χρώμα δεν είχε σημασία. Ας αυξήσουμε τη σημασία του χρώματος στην απόφασή σου». Προσαρμόστε κάθε βάρος ελαφρώς προς την κατεύθυνση που θα είχε μειώσει το σφάλμα.
-
5
Επαναλάβετε χιλιάδες φορές
Δείξτε στο δίκτυο άλλη μια εικόνα. Κάνει άλλη μια εικασία (ελαφρώς καλύτερη τώρα). Μετρήστε το σφάλμα. Προσαρμόστε τα βάρη ξανά. Επαναλάβετε με χιλιάδες ή εκατομμύρια εικόνες. Σιγά σιγά, σταδιακά, τα βάρη μετατοπίζονται από τυχαία σκουπίδια σε χρήσιμα μοτίβα. Μετά από αρκετή εξάσκηση, το δίκτυο αρχίζει να τα καταφέρνει. Δείξτε του μια γάτα, λέει γάτα. Δείξτε του ένα σκύλο, λέει σκύλο. Έμαθε.
Τι σημαίνει πραγματικά «μάθηση»
Αυτή η διαδικασία ονομάζεται «εκπαίδευση» ή «μάθηση», αλλά στην πραγματικότητα είναι απλώς μαθηματική βελτιστοποίηση. Ρυθμίζει εκατομμύρια μικροσκοπικούς αριθμούς (βάρη) με βάση παραδείγματα, μέχρι οι προβλέψεις του δικτύου να ταιριάζουν με την πραγματικότητα. Καμία κατανόηση. Καμία συνείδηση. Απλώς αναγνώριση προτύπων μέσω δοκιμής και σφάλματος.
Όσο περισσότερα παραδείγματα του δείχνεις, τόσο καλύτερο γίνεται. Όσο πιο ποικίλα είναι τα παραδείγματα, τόσο καλύτερα αντιμετωπίζει νέες καταστάσεις. Δείξε του μόνο golden retriever και θα δυσκολευτεί με τα κανίς. Δείξε του γάτες σε κάθε χρώμα, μέγεθος και θέση και θα αναγνωρίζει γάτες παντού.
Σκέψου το σαν να ρυθμίζεις την τάση στις χορδές μιας κιθάρας. Πολύ χαλαρές, λάθος ήχος. Πολύ σφιχτές, επίσης λάθος. Τσιμπάς μια χορδή, ακούς τη νότα και ρυθμίζεις ελαφρώς την τάση. Τσιμπάς ξανά. Ακόμα δεν είναι σωστό. Ρυθμίζεις ξανά. Μετά από πολλές μικρές ρυθμίσεις, κάθε χορδή παράγει την τέλεια νότα. Η εκπαίδευση ενός νευρωνικού δικτύου είναι απλώς η ρύθμιση εκατομμυρίων «κουμπιών τάσης» (βαρών) μέχρι η έξοδος να ακούγεται σωστά. Μόνο που αντί για μουσική, παράγεις προβλέψεις.
Βαθιά Μάθηση (Γιατί Περισσότερα Επίπεδα Βοηθούν)
Μπορεί να ακούσεις τον όρο «βαθιά μάθηση» να χρησιμοποιείται συχνά. Οι άνθρωποι συμπεριφέρονται σαν να είναι κάτι μαγικό. Δεν είναι.
«Βαθιά» απλώς σημαίνει «πολλά επίπεδα». Αντί για τρία ή τέσσερα κρυφά επίπεδα, μπορεί να έχεις είκοσι, πενήντα ή ακόμα και εκατό επίπεδα στοιβαγμένα το ένα πάνω στο άλλο. Αυτό είναι όλο. Αυτό είναι το μεγάλο μυστικό.
Γιατί τόσα πολλά επίπεδα; Επειδή τα πολύπλοκα μοτίβα χρειάζονται πολύπλοκη επεξεργασία.
Φαντάσου ότι μαθαίνεις σε κάποιον να αναγνωρίζει δέντρα. Με μόνο δύο επίπεδα (ένα κρυφό επίπεδο), μπορείς να διδάξεις απλούς κανόνες:
Απλά μοτίβα με λίγα επίπεδα
- ✓ Πράσινο από πάνω; Μάλλον δέντρο.
- ✓ Καφέ κάθετο από κάτω; Σίγουρα δέντρο.
Τι γίνεται όμως με τους φοίνικες; Τα πεύκα; Τις ανθισμένες κερασιές; Τα δέντρα τον χειμώνα χωρίς φύλλα; Τα δέντρα καλυμμένα με χιόνι; Τα μπονσάι; Τους κορμούς δέντρων; Με μόνο απλά μοτίβα, θα χάσεις πολλές παραλλαγές.
Πρόσθεσε περισσότερα επίπεδα, και κάθε επίπεδο μπορεί να μάθει σταδιακά πιο εξελιγμένα χαρακτηριστικά:
Πολύπλοκα μοτίβα με πολλά επίπεδα
- Επίπεδο 1: Ακμές και υφές
- Επίπεδο 2: Μοτίβα φλοιού και σχήματα φύλλων
- Επίπεδο 3: Δομές κλαδιών
- Επίπεδο 4: Χαρακτηριστικά διαφορετικών ειδών δέντρων
- Επίπεδο 5: Δέντρα σε διαφορετικές εποχές και συνθήκες
Κάθε επίπεδο χτίζει την κατανόηση πάνω στις ανακαλύψεις του προηγούμενου επιπέδου. Μέχρι να φτάσεις στην έξοδο, το δίκτυο μπορεί να αναγνωρίσει βελανιδιές το φθινόπωρο, φοίνικες σε παραλίες, πεύκα στο χιόνι και ανθισμένες κερασιές την άνοιξη. Όλα από αυτά τα επίπεδα μοτίβα.
Ο συμβιβασμός
Περισσότερα επίπεδα σημαίνουν περισσότερους υπολογισμούς, περισσότερο χρόνο εκπαίδευσης και περισσότερα παραδείγματα. Ένα ρηχό δίκτυο μπορεί να μάθει από 10.000 εικόνες. Ένα βαθύ δίκτυο μπορεί να χρειαστεί ένα εκατομμύριο. Αλλά για πολύπλοκες εργασίες, όπως η κατανόηση της γλώσσας, η αναγνώριση χιλιάδων αντικειμένων ή το παιχνίδι σκακιού σε επίπεδο μαιτρ, τα βαθιά δίκτυα αξίζουν τον κόπο.
Γι' αυτό το ChatGPT και τα σύγχρονα συστήματα τεχνητής νοημοσύνης είναι «βαθιά». Έχουν δεκάδες ή εκατοντάδες επίπεδα, μαθαίνοντας απίστευτα πολύπλοκα μοτίβα από τεράστιους όγκους κειμένου, εικόνων ή άλλων δεδομένων. Όχι επειδή είναι έξυπνα, αλλά επειδή οι εργασίες που εκτελούν απαιτούν την αναγνώριση πολύ λεπτών και πολύπλοκων μοτίβων.
Οι δύο προσεγγίσεις: Ακρίβεια έναντι αποδοτικότητας
Τα περισσότερα νευρωνικά δίκτυα σήμερα χρησιμοποιούν πολύ ακριβείς αριθμούς για τους υπολογισμούς τους. Όταν πολλαπλασιάζουν και προσθέτουν βάρη, χρησιμοποιούν αριθμούς όπως 0.7234891 ή 1.3982736. Πολλά δεκαδικά ψηφία. Πολύ ακριβείς.
Η παραδοσιακή προσέγγιση: υπερβολική ακρίβεια
Είναι σαν να μετράς τα υλικά για ένα κέικ με ζυγαριά εργαστηρίου με ακρίβεια 0.001 γραμμαρίων. Αλεύρι: 247.384 γραμμάρια. Ζάχαρη: 118.592 γραμμάρια. Πολύ ακριβές, πολύ σωστό και, ειλικρινά, εντελώς υπερβολικό για το ψήσιμο ενός κέικ.
Αυτοί οι ακριβείς αριθμοί (που ονομάζονται κινητής υποδιαστολής) απαιτούν μεγάλη υπολογιστική ισχύ. Κάθε πολλαπλασιασμός με αυτούς τους αριθμούς χρειάζεται χιλιάδες λειτουργίες τρανζίστορ. Όταν κάνεις δισεκατομμύρια πολλαπλασιασμούς για να εκπαιδεύσεις ένα δίκτυο, αυτό μεταφράζεται σε τεράστιες ποσότητες ηλεκτρικής ενέργειας και υπολογιστικού χρόνου.
Η δυαδική προσέγγιση
Δυαδικά νευρωνικά δίκτυα: μόνο δύο τιμές
Υπάρχει και μια άλλη προσέγγιση: τα δυαδικά νευρωνικά δίκτυα. Αντί για ακριβείς δεκαδικούς αριθμούς, χρησιμοποιούνται μόνο δύο τιμές. Συν ένα ή πλην ένα. Αυτό είναι όλο.
Ακούγεται τρελό, έτσι δεν είναι; Πώς μπορείς να μάθεις πολύπλοκα μοτίβα με μόνο δύο αριθμούς;
Η προσέγγιση της συνταγής της γιαγιάς
Σκέψου το ως εξής. Όταν η γιαγιά σου έφτιαχνε εκείνη την μηλόπιτα, δεν χρησιμοποιούσε ζυγαριά εργαστηρίου. Χρησιμοποιούσε τα μάτια της και την εμπειρία της. «Τόσο περίπου αλεύρι. Μια καλή χούφτα ζάχαρη. Βούτυρο στο μέγεθος ενός αυγού». Καθόλου ακριβές, αλλά η πίτα έβγαινε πάντα υπέροχη.
Τα δυαδικά δίκτυα λειτουργούν παρόμοια. Κάθε σύνδεση είναι είτε «ναι, αυτό έχει σημασία» (+1) είτε «όχι, αυτό δεν έχει σημασία» (-1). Καμία δεκαδική ακρίβεια. Απλές ψήφοι ναι/όχι.
Το μαγικό βρίσκεται στον συνδυασμό. Χιλιάδες απλές αποφάσεις ναι/όχι συνδυάζονται για να δώσουν εκπληκτικά ακριβείς προβλέψεις. Ακριβώς όπως οι ανακριβείς μετρήσεις της γιαγιάς σου, σε συνδυασμό με την εμπειρία της, έδιναν μια τέλεια πίτα.
Το πλεονέκτημα
Τα δυαδικά δίκτυα τρέχουν πολύ πιο γρήγορα και καταναλώνουν πολύ λιγότερη ενέργεια. Θυμάστε από την προηγούμενη συζήτησή μας για τον δυαδικό υπολογισμό; Οι απλές πράξεις ναι/όχι είναι εκατοντάδες φορές ταχύτερες από την ακριβή δεκαδική αριθμητική. Ένα δυαδικό νευρωνικό δίκτυο μπορεί να τρέξει στο κινητό σας, σε ένα απλό τσιπ υπολογιστή, ακόμα και σε μικροσκοπικές συσκευές χωρίς μεγάλη ισχύ. Το ίδιο δίκτυο με ακριβείς αριθμούς θα χρειαζόταν έναν τεράστιο υπολογιστή και τόνους ηλεκτρικής ενέργειας.
Στη Dweve, εστιάζουμε στα δυαδικά νευρωνικά δίκτυα για πραγματική αποδοτικότητα. Το σύστημά μας Core χρησιμοποιεί απλά βάρη ναι/όχι και τρέχει 40 φορές πιο γρήγορα από τα παραδοσιακά δίκτυα, ενώ καταναλώνει 96% λιγότερη ενέργεια. Όχι επειδή κόβουμε δρόμο, αλλά επειδή για τις περισσότερες πραγματικές εργασίες δεν χρειάζεστε εργαστηριακή ακρίβεια. Η προσέγγιση της συνταγής της γιαγιάς λειτουργεί μια χαρά.
Σε τι είναι πραγματικά καλά τα νευρωνικά δίκτυα
Τώρα που καταλαβαίνετε πώς λειτουργούν τα νευρωνικά δίκτυα, ας μιλήσουμε για το πού είναι πραγματικά χρήσιμα. Γιατί, παρά τη διαφημιστική εκστρατεία, δεν είναι καλά σε όλα.
Τα νευρωνικά δίκτυα διαπρέπουν στην αναγνώριση προτύπων. Αν τους δείξετε χιλιάδες παραδείγματα με σταθερά πρότυπα, θα μάθουν να αναγνωρίζουν αυτά τα πρότυπα σε νέα παραδείγματα. Αυτό τα καθιστά ιδανικά για:
📷 Αναγνώριση εικόνων
Δείξτε στο δίκτυο ένα εκατομμύριο επισημασμένες φωτογραφίες και θα μάθει να αναγνωρίζει γάτες, σκύλους, αυτοκίνητα, πρόσωπα, όγκους σε ακτινογραφίες, ρωγμές σε δρόμους, ό,τι κι αν το εκπαιδεύσετε. Η κάμερα του κινητού σας το χρησιμοποιεί για να εστιάζει σε πρόσωπα. Τα νοσοκομεία το χρησιμοποιούν για να εντοπίζουν ασθένειες σε ιατρικές σαρώσεις.
🎤 Κατανόηση ομιλίας
Όταν μιλάτε στη Siri ή στην Alexa, ένα νευρωνικό δίκτυο μετατρέπει τα φωνητικά σας πρότυπα σε κείμενο. Έμαθε από χιλιάδες ώρες ηχογραφημένης ομιλίας τι σημαίνει κάθε ηχητικό πρότυπο. Διαφορετικές προφορές, θόρυβος στο παρασκήνιο, μουρμουρητά… τα διαχειρίζεται όλα μέσω της αναγνώρισης προτύπων.
💬 Επεξεργασία γλώσσας
Μετάφραση, απαντήσεις σε ερωτήσεις, συγγραφή κειμένου. Τα δίκτυα που εκπαιδεύονται σε δισεκατομμύρια λέξεις μαθαίνουν πρότυπα στον τρόπο που λειτουργεί η γλώσσα. Όχι επειδή «καταλαβαίνουν» τη γλώσσα, αλλά επειδή αναγνωρίζουν πρότυπα όπως «αυτή η λέξη συνήθως ακολουθεί εκείνη τη λέξη» και «αυτή η δομή πρότασης σημαίνει ερώτηση».
🎬 Πώς γίνονται οι προτάσεις
Το Netflix προτείνει σειρές, το Spotify βρίσκει μουσική που θα σου αρέσει, το Amazon προτείνει προϊόντα. Αυτά τα δίκτυα μαθαίνουν μοτίβα από εκατομμύρια χρήστες. «Σε όσους άρεσαν το Α και το Β άρεσε και το Γ. Σε αυτόν τον χρήστη αρέσουν το Α και το Β, άρα πιθανότατα θα του αρέσει και το Γ.»
🎮 Παιχνίδια
Προγράμματα σκακιού, παίκτες του Go, τεχνητή νοημοσύνη σε βιντεοπαιχνίδια. Το δίκτυο παίζει εκατομμύρια παρτίδες με τον εαυτό του και μαθαίνει ποιες κινήσεις οδηγούν σε νίκες και ποιες σε ήττες. Καθαρή αναγνώριση μοτίβων μέσω δοκιμής και σφάλματος.
Παρατηρείς το μοτίβο; Όλα αυτά είναι εργασίες όπου υπάρχουν σταθερά μοτίβα σε μεγάλο όγκο δεδομένων. Δείξε στο δίκτυο αρκετά παραδείγματα και θα βρει τα μοτίβα.
Σε τι είναι εντελώς ανίκητα τα νευρωνικά δίκτυα
Τώρα η πραγματικότητα. Τα νευρωνικά δίκτυα έχουν σοβαρούς περιορισμούς:
⚠️ Χρειάζονται τεράστιο όγκο δεδομένων
Ένα παιδί βλέπει τρία σκυλιά και καταλαβαίνει τι είναι «σκύλος». Ένα νευρωνικό δίκτυο χρειάζεται χιλιάδες ή εκατομμύρια φωτογραφίες σκύλων. Χωρίς δεδομένα, δεν υπάρχει μάθηση. Με λίγα δεδομένα, οι επιδόσεις είναι φτωχές. Αυτά τα συστήματα είναι τέρατα που καταβροχθίζουν δεδομένα.
⚠️ Είναι μαύρα κουτιά
Το δίκτυο δεν μπορεί να εξηγήσει τις αποφάσεις του. Ξέρει την απάντηση (ή νομίζει ότι την ξέρει), αλλά δεν μπορεί να σου πει γιατί. Εκατομμύρια βάρη αλληλεπιδρούν με πολύπλοκους τρόπους. Κανένας άνθρωπος δεν μπορεί να παρακολουθήσει τη συλλογιστική. Αυτό είναι μεγάλο πρόβλημα στην ιατρική, στη νομική και παντού όπου πρέπει να αιτιολογήσεις αποφάσεις.
⚠️ Μαθαίνουν προκαταλήψεις από τα δεδομένα
Αν τα δεδομένα εκπαίδευσης έχουν προκαταλήψεις (και τα περισσότερα δεδομένα του πραγματικού κόσμου έχουν), το δίκτυο μαθαίνει αυτές τις προκαταλήψεις. Ιστορικές διακρίσεις; Το δίκτυο θα κάνει διακρίσεις. Μη ισορροπημένα παραδείγματα; Το δίκτυο αποδίδει χειρότερα σε υποεκπροσωπούμενες ομάδες. Σκουπίδια μέσα, σκουπίδια έξω.
⚠️ Δεν γενικεύουν καλά
Εκπαιδεύστε ένα δίκτυο με γάτες και σκύλους και μετά δείξτε του ένα άλογο. Θα δυσκολευτεί. Οι άνθρωποι γενικεύουν εύκολα («Α, αυτό είναι άλλο ένα τετράποδο ζώο»). Τα νευρωνικά δίκτυα όχι. Γνωρίζουν μόνο τα συγκεκριμένα μοτίβα που είδαν κατά την εκπαίδευση. Οι νέες καταστάσεις τα μπερδεύουν.
⚠️ Μπορούν να εξαπατηθούν εύκολα
Μικροσκοπικές αλλαγές αόρατες για τον άνθρωπο μπορούν να εξαπατήσουν εντελώς ένα δίκτυο. Αλλάξτε μερικά pixel σε μια φωτογραφία γάτας (αλλαγές που δεν θα προσέξατε καν) και το δίκτυο μπορεί ξαφνικά να πει «Αεροπλάνο!» με σιγουριά 99%. Αυτό ονομάζεται αντιθετική επίθεση και είναι πραγματικό ζήτημα ασφάλειας.
Αυτά δεν είναι μικρά προβλήματα. Είναι θεμελιώδη για τον τρόπο που λειτουργούν τα νευρωνικά δίκτυα. Ένα δίκτυο είναι τόσο καλό όσο τα δεδομένα εκπαίδευσής του και μπορεί να αναγνωρίσει μόνο μοτίβα που έχει ξαναδεί.
Η Πραγματική Ουσία
Τι είναι λοιπόν πραγματικά τα νευρωνικά δίκτυα;
Είναι εξελιγμένες μηχανές αναγνώρισης μοτίβων. Πολυεπίπεδοι τηλεφωνικοί πίνακες που μαθαίνουν από παραδείγματα. Μαθηματικά συστήματα βελτιστοποίησης που προσαρμόζουν εκατομμύρια μικροσκοπικά βάρη μέχρι οι προβλέψεις να ταιριάζουν με την πραγματικότητα.
Δεν είναι εγκέφαλοι. Δεν είναι ευφυή. Δεν έχουν συνείδηση. Δεν «καταλαβαίνουν» τίποτα. Αναγνωρίζουν μοτίβα μέσω της επανάληψης και της διόρθωσης.
Αλλά μέσα σε αυτούς τους περιορισμούς, είναι εξαιρετικά ισχυρά. Έχουν μεταμορφώσει την τεχνολογία. Η αναγνώριση προσώπου στο τηλέφωνό σας, οι φωνητικοί βοηθοί, τα φίλτρα ανεπιθύμητης αλληλογραφίας, η οργάνωση φωτογραφιών, οι εφαρμογές πλοήγησης, οι προτάσεις ροής περιεχομένου, οι αυτόματες μεταφράσεις… όλα τροφοδοτούνται από νευρωνικά δίκτυα.
Το κλειδί είναι να τα χρησιμοποιείτε για τις σωστές δουλειές
Αναγνώριση μοτίβων; Άριστα. Εργασίες με σαφή παραδείγματα και σταθερά μοτίβα; Τέλεια. Δημιουργική επίλυση προβλημάτων που απαιτεί κατανόηση πλαισίου και νοήματος; Όχι και τόσο.
Όταν κάποιος προσπαθεί να σας «ψήσει» για «τεχνητή νοημοσύνη» ή «νευρωνικά δίκτυα», αναρωτηθείτε: Είναι πραγματικά πρόβλημα αναγνώρισης μοτίβων; Υπάρχουν αρκετά καλά δεδομένα για εκπαίδευση; Θα λειτουργήσει σε καταστάσεις που δεν έχει ξαναδεί; Μπορεί να εξηγήσει τις αποφάσεις του όταν χρειαστεί;
Αν οι απαντήσεις είναι ναι, ναι, πιθανώς και όχι (αντίστοιχα), τότε τα νευρωνικά δίκτυα μπορεί να είναι το σωστό εργαλείο. Αν όχι, μπορεί να χρειαστείτε κάτι άλλο.
Η μεταφορά του εγκεφάλου έκανε τα νευρωνικά δίκτυα να ακούγονται συναρπαστικά και μυστηριώδη. Το να καταλάβεις τι πραγματικά είναι, εξελιγμένοι τηλεφωνικοί πίνακες που μαθαίνουν από παραδείγματα, τα κάνει λιγότερο μαγικά αλλά πολύ πιο χρήσιμα. Γιατί όταν καταλαβαίνεις το εργαλείο, ξέρεις πότε να το χρησιμοποιήσεις και πότε να φτάσεις για κάτι άλλο. Και αυτή η κατανόηση αξίζει περισσότερο από οποιαδήποτε διαφημιστική υπερβολή.
Στη Dweve, χτίζουμε νευρωνικά δίκτυα που σέβονται την πραγματικότητα. Δυαδικές πράξεις. Αποδοτικός υπολογισμός. Σαφείς περιορισμοί. Χωρίς μαγεία, χωρίς υπερβολές, μόνο τίμη μηχανική. Γιατί το καλύτερο AI είναι αυτό που λειτουργεί στον πραγματικό κόσμο, όχι μόνο σε ερευνητικές εργασίες.