Reallusion は NVIDIA の AI アニメーション技術を活用することによって、Character Creator、iClone、Audio2Face を1つのシームレスなソリューションに統合しました。多言語に対応したフェイシャルリップシンクアニメーション制作のために AI を活用したワークフローを実装し、Audio2Face の互換性を拡張してクロスプラットフォームの 3D キャラクター仕様に対応しています。多彩なフェイシャル編集機能により、Blender、Unreal Engine、Unity などの主要な 3D エンジンへの iClone キャラクターアニメーションのエクスポートを簡素化します。また Omniverse に対しても、CC キャラクターによるフェイシャルアニメーションとフルボディアニメーション両方の包括的なソリューションを楽しむことができます。
音声から直接リップシンクAI 搭載アプリケーション NVIDIA Audio2Face は、音声入力のみからでも表情豊かなフェイシャルアニメーションを生成します。スタンドアロン版 Audio2Face の最新リリースでは、多言語ダイアログ用の自然なリップシンクアニメーションの生成に加え、スライダーコントロールとキーフレームエディタを備えて顔の表情にも対応しています。
多言語に対応した大部分の英語中心のリップシンクソリューションとは異なり、Audio2Face は歌やちんぷんかんぷんな言葉を含むあらゆる言語からアニメーションを生成する突出した能力を持っています。標準的な AI モデル Mark に加え、アジア言語に堪能な女性キャラクターとして調整された新しいディープラーニングモデル Clarie にもアクセスすることができます。Clarie の親しみやすいイントネーションは、カスタマーとの対話に適しています。
2つの補完的なプラグインにより、自動化されたワークフローが可能になります。ワンクリックで NVIDIA Audio2Face で CC キャラクターを設定し、インポートされたオーディオトラックと組み合わせてリアルタイムでアニメートし、iClone にトーキングアニメーションをシームレスに戻して、3D ツールやゲームエンジンにエクスポートする前にさらに洗練させることができます。
Audio2Face 用の CC Character Auto Setup プラグインは NVIDIA と Reallusion のコラボレーションの成果であり、手作業による18段階のプロセスを1つのステップに凝縮します。CC キャラクターをインポートし、トレーニングモデル — Mark または Claire — を選択することで、アーティストは音声ファイルと同期した躍動感のあるトーキングアニメーションを即座に実現することが可能です。モーションスライダー、自動表現、さらにはキーフレームによる設定も試みることができます。完成したアニメーションは iClone に送り、さらに作り込んでいけます。
無料の iClone 用 NVIDIA Audio2Face プラグインは、Audio2Face からアニメーションデータを受信するのに最適化設計されています。単なるアニメーションのインポートだけでなく、顔の表情を生き生きと強調し、最終プロダクションに適したより優れたカットに仕上げることができます。
アニメーションはダイナミックなインターフェイスで微調整が可能です。表情の強弱や頭の動きなどさまざまなパラメータを調整し、視線の動きを加えてパフォーマンスに躍動感をもたらします。顎が開く範囲を広げて感情のテンションを高めたり、舌の位置を微調整して正確な発音に寄せることができます。
生成 AI アニメーションは、特にオーディオファイルが低精度のデバイスでキャプチャされた場合や好ましくない環境でキャプチャされた場合は、ノイズの影響を受けやすくなります。Reallusion Audio2Face に実装された機能は、高度に精製されたノイズフィルターの導入によってこうした制限を克服します。たとえ不十分なオーディオ品質からであっても、ジッターを除去した最適な結果が得られます。
Audio2Face から満足のいくアニメーションを得た後も、特に感情の変化に直面したときや、台詞のトーンを変えるために特定の口の形を強調したいなど、フィニッシュに向けてタッチを加えたくなる時もあります。iClone は顔の編集の強化、リップシンクのリファイン、自然な表情の追加、モーキャップ機器 (AccuFACE、iPhone Live Face) から得た頭部の動作との組み合わせといった作業が可能です。
iClone は、フェイシャルパフォーマンス、キャラクターアニメーション、モーションキャプチャ制作、シーンデザイン、映画のストーリーテリングを統合するユーザーフレンドリーなプラットフォームなど、3D アニメーション作業を合理的に推進します。
CC は、リアルな、あるいはデフォルメされたキャラクターを、完全にリグ化されアニメーション可能な状態で作成するためにデザインされた、完璧なソリューションです。CC は iClone やその他の 3D アプリケーションとも互換性があります。
