AUDIO2FACE AI 驅動的語音到動態

多國語言 | 情感 | 對嘴動畫

利用 NVIDIA 的 AI 動態技術,Reallusion 將 Character Creator、iClone 和 Audio2Face 整合成無縫解決方案。呈現出 AI 驅動的多國語言臉部唇形同步動態製作工作流程,並擴展 Audio2Face 與跨平台 3D 角色規範的相容性。憑藉廣泛臉部編輯功能,它簡化了將 iClone 角色動畫匯出到領先的 3D 引擎流程,如 Blender、Unreal Engine、Unity 等。Omniverse 使用者也可以享受到此全面解決方案,既包括臉部動態,也包括 CC 角色的全身動態。

AUDIO2FACE 非線性動態
直接從音訊中產生唇形同步動態和表情

作為 AI 驅動的應用程式,NVIDIA Audio2Face 僅從音訊輸入中產生富有表情的臉部動畫。除了為多國語言對話生成自然的唇形同步動態外,Audio2Face 最新獨立版本也支援臉部表情,具有滑桿控制和關鍵格編輯器功能。

多國語言唇形同步和歌唱動態

與大多數以英語為中心的唇形同步解決方案不同,Audio2Face 以其從任何語言(包括歌曲和胡言亂語)生成動態的出色能力而脫穎而出。除了標準 AI 模型 Mark 之外,還可以使用 Clarie - 針對精通亞洲語言的女性角色定製的全新深度學習模型。Clarie 的友好語調非常適合客戶互動。

CC - A2F - ICLONE 整合

兩支互補外掛程式實現自動化工作流程。只需點一下,就能在 NVIDIA Audio2Face 中配置 CC 角色,並與匯入的音訊軌道即時產生動態,然後將說話動態無縫傳回 iClone 進行額外微調,之後將其輸出到 3D 工具和遊戲引擎。

角色生成和 USD 輸出
從語音檔生成臉部動態
臉部動態微調和輸出
CHARACTER CREATOR AUDIO2FACE 自動設置

CC 角色自動設置外掛程式是 NVIDIA 和 Reallusion 合作的成果,將手動 18 步過程縮短為一步。通過匯入 CC 角色並選擇訓練模型—— Mark 或 Claire —— 藝術家可以立即看到與音訊檔同步的逼真說話動態。可以嘗試動作滑桿、自動表情、甚至設置關鍵格。最終的動態能傳送到 iClone 進一步製作。

ICLONE 全方位動畫編輯
可調式動畫風格

iClone 的免費 NVIDIA Audio2Face 外掛程式專為接收 Audio2Face 動態數據而定製。除了匯入動態外,它還增強了臉部五官生動性,從而產生適合最終製作的優質剪輯。

區域臉部調整

動態可以通過動態介面進行調整。調整各種參數,如表情強度、頭部動作,或新增快速移動的眼睛來活躍表演。放大下巴張開範圍以增強情感張力,並微調舌頭位置以模仿精確的發音。

無可匹比的平順化

生成式 AI 動態容易受到雜訊影響,特別是當音訊檔是由低保真設備或在不利的環境中擷取時。儘管音訊品質低落,Reallusion Audio2Face 整合透過部署高度微調的雜訊過濾器以避開限制,消除抖動並實現最佳結果。

提升標準

從 Audio2Face 獲得滿意的動態後,需要進行最後的修飾,特別是在面對情感轉變或在對話的不同層次上強調特定的口型時。 iClone 強化了 臉部編輯,允許微調 唇形同步,添加自然表情,並結合來自動捕設備 (AccuFACEiPhone Live Face)的頭部動態。

下載
iClone

iClone 簡化 3D 動畫創作過程,提供使用者友善平台,整合臉部表演、角色動態、動作捕捉製作、場景設計和電影敘事等功能。

Character Creator

CC(Character Creator)是完整解決方案,旨在製作具有真實或風格化特色的完整綁定、可動作的角色。它與 iClone 和其他 3D 應用程式相容。

Audio2Face (NVIDIA)

A2F 是款尖端 AI 軟體,可直接從音訊匯入生成臉部動態。Reallusion A2F 的整合增加一系列備受追捧的動畫功能。

CC Character Auto Setup

讓 CC 角色在 A2F 中自動備妥

CC Character Auto Setup」是 Audio2Face 外掛程式,它將複雜角色映射過程簡化為單一步驟,並為 iClone 提供動態輸出。

Audio2Face plugin for iClone

在 iClone 中載入和編輯臉部動畫

iClone A2F 整合由 Audio2Face 生成的混合形狀動態,同時為整體動態提供進一步微調選項。