AUDIO2FACE AI 驱动的语音到动态

多国语言 | 情感 | 对嘴动画

利用 NVIDIA 的 AI 动态技术,Reallusion 将 Character Creator、iClone 和 Audio2Face 集成成无缝解决方案。呈现出 AI 驱动的多国语言脸部唇形同步动态制作工作流程,并扩展 Audio2Face 与跨平台 3D 角色规范的兼容性。凭借广泛脸部编辑功能,它简化了将 iClone 角色动画导出到领先的 3D 引擎流程,如 Blender、Unreal Engine、Unity 等。Omniverse 用户也可以享受到此全面解决方案,既包括脸部动态,也包括 CC 角色的全身动态。

AUDIO2FACE 非线性动态
直接从音频中产生唇形同步动态和表情

作为 AI 驱动的应用程序,NVIDIA Audio2Face 仅从音频输入中产生富有表情的脸部动画。除了为多国语言对话生成自然的唇形同步动态外,Audio2Face 最新独立版本也支持脸部表情,具有滑杆控制和关键格编辑器功能。

多国语言唇形同步和歌唱动态

与大多数以英语为中心的唇形同步解决方案不同,Audio2Face 以其从任何语言(包括歌曲和胡言乱语)生成动态的出色能力而脱颖而出。除了标准 AI 模型 Mark 之外,还可以使用 Clarie - 针对精通亚洲语言的女性角色定制的全新深度学习模型。Clarie 的友好语调非常适合客户交互。

CC - A2F - ICLONE 集成

两支互补插件程序实现自动化工作流程。只需点一下,就能在 NVIDIA Audio2Face 中配置 CC 角色,并与导入的音频轨道即时产生动态,然后将说话动态无缝传回 iClone 进行额外微调,之后将其输出到 3D 工具和游戏引擎。

角色生成和 USD 输出
从语音档生成脸部动态
脸部动态微调和输出
CHARACTER CREATOR AUDIO2FACE 自動設置

CC 角色自動設置外掛程式是 NVIDIA 和 Reallusion 合作的成果,將手動 18 步過程縮短為一步。通過匯入 CC 角色並選擇訓練模型—— Mark 或 Claire —— 藝術家可以立即看到與音訊檔同步的逼真說話動態。可以嘗試動作滑桿、自動表情、甚至設置關鍵格。最終的動態能傳送到 iClone 進一步製作。

ICLONE 全方位動畫編輯
可調式動畫風格

iClone 的免費 NVIDIA Audio2Face 外掛程式專為接收 Audio2Face 動態數據而定製。除了匯入動態外,它還增強了臉部五官生動性,從而產生適合最終製作的優質剪輯。

區域臉部調整

動態可以通過動態介面進行調整。調整各種參數,如表情強度、頭部動作,或新增快速移動的眼睛來活躍表演。放大下巴張開範圍以增強情感張力,並微調舌頭位置以模仿精確的發音。

无可匹比的平顺化

生成式 AI 动态容易受到杂讯影响,特别是当音频档是由低保真设备或在不利的环境中截取时。尽管音频品质低落,Reallusion Audio2Face 集成通过部署高度微调的杂讯过滤器以避开限制,消除抖动并实现最佳结果。

提升标准

从 Audio2Face 获得满意的动态后,需要进行最后的修饰,特别是在面对情感转变或在对话的不同层次上强调特定的口型时。 iClone 强化了 脸部编辑,允许微调 唇形同步,添加自然表情,并结合来自动捕设备 (AccuFACEiPhone Live Face)的头部动态。

下载
iClone

iClone 简化 3D 动画创作过程,提供用户友善平台,集成脸部表演、角色动态、动作捕捉制作、场景设计和电影叙事等功能。

Character Creator

CC(Character Creator)是完整解决方案,旨在制作具有真实或风格化特色的完整绑定、可动作的角色。它与 iClone 和其他 3D 应用程序兼容。

Audio2Face (NVIDIA)

A2F 是款尖端 AI 软件,可直接从音频导入生成脸部动态。Reallusion A2F 的集成增加一系列备受追捧的动画功能。

CC Character Auto Setup

让 CC 角色在 A2F 中自动备妥

CC Character Auto Setup」是 Audio2Face 插件程序,它将复杂角色映射过程简化为单一步骤,并为 iClone 提供动态输出。

Audio2Face plugin for iClone

在 iClone 中加载和编辑脸部动画

iClone A2F 集成由 Audio2Face 生成的混合形状动态,同时为整体动态提供进一步微调选项。