Ερευνητές από το Πανεπιστήμιο του Maryland προσφέρουν μια ολοκαίνουργια τεχνική για τη δημιουργία τρισδιάστατων ανακατασκευών του περιβάλλοντος ενός παρατηρητή από σαρώσεις ματιών, συνδυάζοντας την πρωτοποριακή εργασία του παρελθόντος με τις πιο πρόσφατες εξελίξεις στη νευρωνική απόδοση, μαζί φυσικά με τη χρήση Τεχνητής Νοημοσύνης. 

Η μέθοδός τους χρησιμοποιεί μια σταθερή κάμερα και εξάγει τα στοιχεία πολλαπλής προβολής από τις εικόνες των ματιών. Ταυτόχρονα, εμφανίζεται κίνηση της κεφαλής, σε αντίθεση με τη συνηθισμένη ρύθμιση λήψης NeRF, η οποία απαιτεί από μια κινούμενη κάμερα να αποκτά πληροφορίες πολλαπλής προβολής (συχνά ακολουθείται από εκτίμηση θέσης κάμερας).

 Αν και εννοιολογικά απλή, η ανακατασκευή ενός 3D NeRF από εικόνες ματιών στην πράξη είναι δύσκολη. Η αρχική δυσκολία είναι ο διαχωρισμός της πηγής. Πρέπει να διακρίνουν μεταξύ των αντανακλάσεων και της περίπλοκης υφής της ίριδας των ανθρώπινων ματιών. 

Η διαδικασία ανακατασκευής 3D γίνεται πιο δύσκολη λόγω αυτών των περίπλοκων μοτίβων. Η εκτίμηση της στάσης του κερατοειδούς παρουσιάζει μια δεύτερη δυσκολία. 

Όπως αναφέρουν οι ερευνητές, όταν κάνετε μεγέθυνση σε μια εικόνα μεγέθους διαβατηρίου ή άδειας οδήγησης, μια αντανάκλαση θα πρέπει να είναι ορατή στο μάτι του ατόμου, μια εικόνα καθρέφτης καθώς και αντικείμενα στην περιοχή που μπορούν να αναγνωριστούν. Η αφαίρεση της ίριδας από την ανάκλαση απαιτούσε αποσύνθεση υφής από το AI, πράγμα που σήμαινε ότι έπρεπε να εκπαιδευτεί σε έναν χάρτη 2D υφής που μαθαίνει την επιφάνειά του πριν μπορέσει να τον αφαιρέσει.

“Μέσα από διάφορα πειράματα σε συνθετικές και πραγματικές λήψεις με άτομα με διαφορετικά χρώματα ματιών, αποδεικνύουμε τη σκοπιμότητα της προσέγγισής μας για την ανάκτηση τρισδιάστατων σκηνών χρησιμοποιώντας αντανακλάσεις των ματιών», είπαν οι ερευνητές.

(photo: pixabay)