Reallusion nutzt die KI-Animationstechnologie von NVIDIA und integriert Character Creator, iClone und Audio2Face in einer nahtlosen Lösung. Der KI-basierte Workflow ermöglicht die Produktion mehrsprachiger lippensynchroner Gesichtsanimationen und erweitert die Kompatibilität von Audio2Face mit plattformübergreifenden 3D-Charakter-Spezifikationen. Mit einer Vielzahl von Gesichtsbearbeitungsfunktionen vereinfacht es den Export von Charakteranimationen aus iClone in führende 3D-Engines wie Blender, Unreal Engine, Unity und andere. Omniverse-Anwender genießen außerdem eine umfassende Lösung für Gesichts- und Ganzkörperanimationen mit CC Charakteren.
SYNCHRONISATION VON LIPPENBEWEGUNGEN UND MIMIK DIREKT VOM AUDIO
NVIDIA Audio2Face ist eine KI-basierte Anwendung, die ausdrucksstarke Gesichtsanimationen allein durch Audioeingabe generiert. Neben der Erzeugung natürlicher lippensynchroner Animationen für mehrsprachige Dialoge unterstützt die neueste Standalone-Version von Audio2Face auch Gesichtsausdrücke und verfügt über Schieberegler und einen Keyframe-Editor.
MULTILINGUALE LIPPENSYNCHRONISATION UND GESANGS-ANIMATION
Im Gegensatz zu den meisten Lösungen, die sich auf die englische Sprache konzentrieren, zeichnet sich Audio2Face durch seine einzigartige Fähigkeit aus, aus jeder Sprache, sogar aus Liedern und Kauderwelsch, Animationen zu generieren. Zusätzlich zum Standard-KI-Modell Mark haben Sie Zugriff auf Clarie, ein neues Deep-Learning-Modell, das auf weibliche, asiatisch sprechende Charaktere zugeschnitten ist. Der freundliche Tonfall von Clarie ist ideal für die Interaktion mit Kunden.
Zwei komplementäre Plugins ermöglichen einen automatisierten Workflow. Mit nur einem Klick können Sie einen CC Charakter in NVIDIA Audio2Face konfigurieren, ihn in Echtzeit zu einer importierten Audiospur animieren und die Sprachanimationen nahtlos zurück in iClone übertragen, um sie vor dem Export in 3D Tools und Game Engines weiter zu optimieren.
Das CC Character Auto Setup Plugin für Audio2Face ist das Ergebnis einer Zusammenarbeit zwischen NVIDIA und Reallusion. Das Plugin fasst den 18-stufigen manuellen Prozess in einem einzigen Schritt zusammen. Durch Importieren eines CC-Charakters und Auswählen eines Trainingsmodells - Mark oder Claire - können Benutzer sofort lebensechte Sprachanimationen erstellen, die mit den Audiodateien synchronisiert sind. Experimentieren Sie mit Bewegungssteuerungen, automatischen Gesichtsausdrücken und sogar Keyframes. Die fertigen Animationen können dann zur weiteren Bearbeitung an iClone gesendet werden.
Das kostenlose NVIDIA Audio2Face Plugin für iClone wurde entwickelt, um Animationsdaten von Audio2Face zu empfangen. Es importiert nicht nur die Animationen, sondern sorgt auch für lebendige Gesichtszüge. Das Ergebnis ist ein hervorragender Film, der für die Endproduktion verwendet werden kann.
Die Animationen können über eine dynamische Schnittstelle optimiert werden. Passen Sie verschiedene Parameter wie Mimik, Kopfbewegungen oder Augenbewegungen an, um die Präsentation lebendiger zu gestalten. Vergrößern Sie den Kieferöffnungsbereich, um die Emotionen zu verstärken, und optimieren Sie die Zungenposition, um eine präzise Aussprache zu imitieren.
Die Erzeugung von KI-Animationen ist anfällig für unerwünschte Effekte, insbesondere wenn Audiodateien mit Geräten von schlechter Qualität oder in ungünstigen Umgebungen aufgenommen wurden. Die Audio2Face-Integration von Reallusion umgeht diese Einschränkungen, indem sie einen hochwertigen Rauschfilter verwendet, um Ruckeln zu eliminieren und auch bei schlechter Audioqualität optimale Ergebnisse zu erzielen.
Sobald eine geeignete Animation von Audio2Face vorliegt, ist eine weitere Feinabstimmung erforderlich, insbesondere bei emotionalen Veränderungen oder der Betonung bestimmter Mundformen in verschiedenen Dialogen. iClone ermöglicht die Bearbeitung von Gesichtern, die Verfeinerung der Lippensynchronisation, das Hinzufügen natürlicher Mimik und die Integration von Kopfbewegungen, die von Mocap-Geräten (AccuFACE, iPhone Live Face) stammen.
iClone vereinfacht die 3D-Animation durch eine benutzerfreundliche Plattform, die Mimik, Charakteranimation, Motion Capture-Produktion, Szenendesign und filmisches Storytelling integriert.
CC ist eine Komplettlösung zur Erstellung von voll animierten Charakteren. Die Charaktere können sowohl realistisch als auch stilisiert sein. CC ist kompatibel mit iClone und anderen 3D-Anwendungen.
Automatische Vorbereitung von CC-Charakteren in A2F.
Laden und Bearbeiten von Gesichtsanimationen in iClone.
