EL - Σοκαριστικό: Το νέο εργαλείο AI "ζωντανεύει" βίντεο από μια φωτογραφία

Με μια εικόνα αναφοράς, το DreamActor-M1 μπορεί να μιμηθεί ανθρώπινες συμπεριφορές που καταγράφονται από βίντεο, δημιουργώντας εξαιρετικά εκφραστικά και ρεαλιστικά ανθρώπινα βίντεο σε πολλαπλές κλίμακες, που κυμαίνονται από πορτρέτο έως κινούμενα σχέδια με ολόσωμο.

Ενώ οι πρόσφατες μέθοδοι ανθρώπινων κινουμένων σχεδίων που βασίζονται σε εικόνες επιτυγχάνουν ρεαλιστική σύνθεση κίνησης σώματος και προσώπου, περιέχουν σημαντικά κενά στη λεπτομερή ολιστική δυνατότητα ελέγχου, την προσαρμοστικότητα σε πολλές κλίμακες και τη μακροπρόθεσμη χρονική συνοχή, γεγονός που οδηγεί σε χαμηλότερη εκφραστικότητα και στιβαρότητα.

Το DreamActor-M1 , με υβριδική καθοδήγηση υπερβαίνει αυτούς τους περιορισμούς. Για καθοδήγηση κίνησης, τα υβριδικά σήματα ελέγχου ενσωματώνουν σιωπηρές αναπαραστάσεις προσώπου και τρισδιάστατους σκελετούς σώματος επιτυγχάνοντας ισχυρό έλεγχο των εκφράσεων του προσώπου και των κινήσεων του σώματος, ενώ παράγουν εκφραστικά κινούμενα σχέδια που διατηρούν την ταυτότητα.

Για την προσαρμογή της κλίμακας, για να χειριστούμε διάφορες στάσεις σώματος και κλίμακες εικόνας που κυμαίνονται από πορτρέτα έως ολόσωμες προβολές, χρησιμοποιείται μια προοδευτική στρατηγική εκπαίδευσης χρησιμοποιώντας δεδομένα με διαφορετικές αναλύσεις και κλίμακες. Για καθοδήγηση εμφάνισης, ενσωματώνονται μοτίβα κίνησης από διαδοχικά καρέ με συμπληρωματικές οπτικές αναφορές, διασφαλίζοντας μακροπρόθεσμη χρονική συνοχή για αόρατες περιοχές κατά τη διάρκεια πολύπλοκων κινήσεων.

Δείτε μερικά βίντεο:

RIP Motion Capture.

China's ByteDance just dropped DreamActor-M1.

This AI turns any image into realistic, full-body human animations 🤯

10 wild examples:

1. Marilyn Monroe comes alive pic.twitter.com/dEL3FkDPSo
— Min Choi (@minchoi) April 3, 2025