Η Nvidia ανακοίνωσε ότι διαθέτει ως open source το Audio2Face, το εργαλείο τεχνητής νοημοσύνης που δημιουργεί ρεαλιστικές κινήσεις προσώπου για 3D avatars με βάση φωνητικά δεδομένα.
Πλέον, οποιοσδήποτε προγραμματιστής μπορεί να χρησιμοποιήσει το εργαλείο και το πλαίσιο λειτουργίας του για να δημιουργήσει ρεαλιστικούς χαρακτήρες σε παιχνίδια ή εφαρμογές, αξιοποιώντας μόνο τον ήχο.
Πώς λειτουργεί το Audio2Face
Το Audio2Face αναλύει ακουστικά χαρακτηριστικά της φωνής και παράγει δεδομένα animation, τα οποία αντιστοιχίζονται σε εκφράσεις προσώπου και κίνηση των χειλιών του 3D χαρακτήρα. Το σύστημα μπορεί να αξιοποιηθεί τόσο σε προ-ηχογραφημένο περιεχόμενο όσο και σε ζωντανές μεταδόσεις (livestreams).
Ήδη σε χρήση από developers
Ορισμένοι developers έχουν ήδη ενσωματώσει το εργαλείο στα projects τους. Παραδείγματα:
- Το Chernobylite 2: Exclusion Zone από την Farm51
- Το Alien: Rogue Incursion Evolved Edition
Διαθέσιμα και τα εργαλεία εκπαίδευσης
Μαζί με το λογισμικό και τα software development kits (SDKs), η Nvidia προσφέρει και το training framework του εργαλείου, δίνοντας τη δυνατότητα στους χρήστες να προσαρμόσουν τα μοντέλα για διαφορετικές εφαρμογές και σενάρια χρήσης.
