Οι Αυστραλοί ερευνητές που ανέπτυξαν την τεχνολογία, που ονομάζεται DeWave, δοκίμασαν τη διαδικασία χρησιμοποιώντας δεδομένα από περισσότερα από δώδεκα άτομα.

Οι συμμετέχοντες διάβαζαν σιωπηλά ενώ φορούσαν ένα σκουφάκι που κατέγραφε τα εγκεφαλικά τους κύματα μέσω ηλεκτροεγκεφαλογράφημα (ΗΕΓ) και τα αποκωδικοποιούσε σε κείμενο.

Όπως αναφέρεται, με περαιτέρω βελτίωση, το DeWave θα μπορούσε να βοηθήσει τους ασθενείς με εγκεφαλικό και παράλυση να επικοινωνήσουν και να διευκολύνει τους ανθρώπους να κατευθύνουν μηχανές όπως βιονικά όπλα ή ρομπότ.

«Αυτή η έρευνα αντιπροσωπεύει μια πρωτοποριακή προσπάθεια για τη μετάφραση των ακατέργαστων κυμάτων EEG απευθείας στη γλώσσα, σηματοδοτώντας μια σημαντική ανακάλυψη στον τομέα», λέει ο επιστήμονας υπολογιστών Chin-Teng Lin από το Πανεπιστήμιο Τεχνολογίας του Σίδνεϊ (UTS).

Αν και ο DeWave πέτυχε μόλις πάνω από 40 τοις εκατό ακρίβεια με βάση ένα από τα δύο σετ μετρήσεων σε πειράματα που διεξήγαγαν ο Lin και οι συνεργάτες του, αυτό είναι 3 τοις εκατό βελτίωση σε σχέση με το προηγούμενο πρότυπο για τη μετάφραση σκέψης από εγγραφές ΗΕΓ.

Ο στόχος των ερευνητών είναι να βελτιώσουν την ακρίβεια σε περίπου 90 τοις εκατό, η οποία είναι εφάμιλλη με τις συμβατικές μεθόδους μετάφρασης γλώσσας ή λογισμικού αναγνώρισης ομιλίας.

Άλλες μέθοδοι μετάφρασης εγκεφαλικών σημάτων στη γλώσσα απαιτούν επεμβατικές χειρουργικές επεμβάσεις για την εμφύτευση ηλεκτροδίων ή ογκώδη, ακριβά μηχανήματα μαγνητικής τομογραφίας , γεγονός που τα καθιστά μη πρακτικά για καθημερινή χρήση – και συχνά χρειάζεται να χρησιμοποιούν το eye-tracking για να μετατρέψουν τα εγκεφαλικά σήματα σε κομμάτια σε επίπεδο λέξης.

Όταν τα μάτια ενός ατόμου πέφτουν από τη μια λέξη στην άλλη, είναι λογικό να υποθέσουμε ότι ο εγκέφαλός του κάνει ένα μικρό διάλειμμα μεταξύ της επεξεργασίας κάθε λέξης. Η μετάφραση του ακατέργαστου κύματος EEG σε λέξεις – χωρίς παρακολούθηση ματιών για την ένδειξη του αντίστοιχου στόχου λέξης – είναι πιο δύσκολη.

Τα εγκεφαλικά κύματα από διαφορετικούς ανθρώπους δεν αντιπροσωπεύουν όλα τα διαλείμματα μεταξύ των λέξεων με τον ίδιο τρόπο, καθιστώντας μια πρόκληση να διδαχθεί η τεχνητή νοημοσύνη πώς να ερμηνεύει μεμονωμένες σκέψεις.

Μετά από εκτεταμένη εκπαίδευση, ο κωδικοποιητής του DeWave μετατρέπει τα κύματα EEG σε έναν κώδικα που μπορεί στη συνέχεια να αντιστοιχιστεί με συγκεκριμένες λέξεις με βάση το πόσο κοντά βρίσκονται σε καταχωρήσεις στο «βιβλίο κωδικών» του DeWave.

«Είναι η πρώτη που ενσωμάτωσε διακριτές τεχνικές κωδικοποίησης στη διαδικασία μετάφρασης εγκεφάλου σε κείμενο, εισάγοντας μια καινοτόμο προσέγγιση στη νευρωνική αποκωδικοποίηση», εξηγεί ο Lin.

«Η ενοποίηση με μεγάλα γλωσσικά μοντέλα ανοίγει επίσης νέα σύνορα στη νευροεπιστήμη και την τεχνητή νοημοσύνη».

Ο Lin και η ομάδα του χρησιμοποίησαν εκπαιδευμένα μοντέλα γλώσσας που περιελάμβαναν έναν συνδυασμό ενός συστήματος που ονομάζεται BERT με GPT και το δοκίμασαν σε υπάρχοντα σύνολα δεδομένων ατόμων που είχαν καταγραφεί παρακολούθηση ματιών και εγκεφαλική δραστηριότητα κατά την ανάγνωση κειμένου.

Αυτό βοήθησε το σύστημα να μάθει να αντιστοιχίζει μοτίβα εγκεφαλικών κυμάτων με λέξεις, και στη συνέχεια ο DeWave εκπαιδεύτηκε περαιτέρω με ένα μοντέλο ανοιχτού κώδικα μεγάλης γλώσσας που ουσιαστικά δημιουργεί προτάσεις από τις λέξεις.

Η μετάφραση ρημάτων είναι εκεί όπου ο DeWave είχε καλύτερη απόδοση. Τα ουσιαστικά, από την άλλη πλευρά, έτειναν να μεταφράζονται ως ζεύγη λέξεων που σημαίνουν το ίδιο πράγμα και όχι ακριβείς μεταφράσεις, όπως «ο άντρας» αντί για «ο συγγραφέας».

«Πιστεύουμε ότι αυτό συμβαίνει επειδή όταν ο εγκέφαλος επεξεργάζεται αυτές τις λέξεις, σημασιολογικά παρόμοιες λέξεις μπορεί να παράγουν παρόμοια μοτίβα εγκεφαλικών κυμάτων», λέει ο πρώτος συγγραφέας Yiqun Duan, επιστήμονας υπολογιστών από το UTS.

“Παρά τις προκλήσεις, το μοντέλο μας αποφέρει ουσιαστικά αποτελέσματα, ευθυγραμμίζοντας λέξεις-κλειδιά και σχηματίζοντας παρόμοιες δομές προτάσεων.”

Το σχετικά μεγάλο μέγεθος δείγματος που δοκιμάστηκε αντιμετωπίζει το γεγονός ότι οι κατανομές κυμάτων EEG των ανθρώπων ποικίλλουν πολύ, υποδηλώνοντας ότι η έρευνα είναι πιο αξιόπιστη από προηγούμενες τεχνολογίες που έχουν δοκιμαστεί μόνο σε πολύ μικρά δείγματα.

Υπάρχει περισσότερη δουλειά που πρέπει να γίνει και το σήμα είναι μάλλον θορυβώδες όταν τα σήματα EEG λαμβάνονται μέσω ενός καλύμματος αντί ηλεκτροδίων που εμφυτεύονται στον εγκέφαλο.

«Η μετάφραση των σκέψεων απευθείας από τον εγκέφαλο είναι μια πολύτιμη αλλά και προκλητική προσπάθεια που απαιτεί σημαντικές συνεχείς προσπάθειες», γράφει η ομάδα .

«Δεδομένης της ταχείας εξέλιξης των Μεγάλων Γλωσσικών Μοντέλων, παρόμοιες μέθοδοι κωδικοποίησης που γεφυρώνουν την εγκεφαλική δραστηριότητα με τη φυσική γλώσσα αξίζουν αυξημένης προσοχής».

Η έρευνα παρουσιάστηκε στο συνέδριο NeurIPS 2023 και μια προεκτύπωση είναι διαθέσιμη στο ArXiv .

(photo: pixabay)