AI 搭載リップシンク (口パク)
アニメーション

iClone はプロシージャルで編集可能なリップシンクアニメーションを最も直感的に作成できる方法を提供します。
正確で、自然で、スムーズな、会話パフォーマンスを簡単に作成することができます。

正確性

音声から正確なテキストと口形を検出し生成します。

ナチュラル & スムーズ

キャラクターがそれぞれの個性に沿って話します。

16 種類の会話スタイル

様々な状況に応じたキャラクターの会話デザイン。

AccuLips
一般的な機能
AccuLips - 実用的なリップシンク

全く新しいリップシンク技術により、キャラクターがよりスムーズで正確な口パクの結果を得ることができるようになりました。 会話シーンのアニメーション作成にかかる時間を大幅に短縮します。AccuLips は音声からテキストや口形を検出して抽出したり、用意されたスクリプトを読み込んで正確なリップシンクを行います。 正確な発音デザインによって自然な会話を作り出し、あらゆる単語の口形と強度レベルを一層細密に微調整します。AccuLips には 20 万語の英語辞書が搭載されており、 新しい単語を追加したり、他の単語に変更することで簡単にカスタマイズが可能です。 (iClone の AccuLips は英語版のみの対応となります)

正確性
音声からテキストや口形を正確に検出&生成

iClone Acculips システムは、取り込んだ音声から正確なテキストデータと正しい口形のタイミングを自動的に生成することができます。この設計により非常に操作性の高いアプローチをユーザーに提供し、プロフェッショナルなリップシンクアニメーションを実現します。この方式では音声からテキストを生成し、個々の単語を対応する音声部分に自動的に一致させることができます。さらにテキストスクリプトがあれば、より正確なテキストとボイスの位置合わせが可能になります。

編集可能な英単語辞書

AccuLips は、唇トラックで定義された唇の形に対応する新しい単語を追加したり、メイン辞書(200,000 語)の既存の単語を編集したりすることができます。またカスタム辞書の保存と読み込みも可能です。

ナチュラル
自由自在に会話

強化された口形シェイプ

それぞれの音素口形に合わせて強化された口のシェイプにより、リアルなキャラクターでもデフォルメされたキャラクターでも、より正確で自然なリップシンク結果が得られます。

正確な発声

AccuLips は人間のリアルな発話動作をシミュレートするように設計されています。リアルな会話アニメーション作成では、それぞれの口の形と前後の口の形との繋がりが品質に影響します。例えば、人は発声の際に次の音を予測したり、あるいは前の音の性質を継承したりします。

シュワ

シュワ(/ə/)とは、複数音節の中で強調されない、単語中の弱い母音のことです。

微かな開口状態

口の形は、単語と単語の間に区切りがあるときには、少し開いた状態になります。

音素のペア

口の動きは、8 つの唇と歯の形、7 つの舌の位置、口の幅を組み合わせて制御されます。総勢 240 通りの音素の組み合わせを様々なタイムカーブでブレンドすることによって、より自然な遷移を表現します。

口形は後続の音素によって影響を受ける

私たちが言葉を発音するとき、先行する音素は後続の音素の影響を受けるので、KEY/COOL/CAR のように、手前の音素の口形が異なることがあります。

口形は先行する音素によって影響を受ける

後続の音素 にも同様の変化があります。CHIPS/KICK/LICK のように、後続の音素も先行する音素の影響を受けます。

スムーズ
スマートダウンサンプリング

検出されたすべての口形が各単語に正しく配置されているのは一見正しいように思えますが、非常に頻繁な唇や顎の動きは、望ましくない機械的な外観を引き起こす可能性があります。スマートダウンサンプリングツールはあまり目立たないリップキーを削減することによってジッターを効果的に緩和し、人間が無理なく滑らかに発話する状態を再現します。

音素ペアのカーブを強化

音素ペアのデザインは iClone のリップシンクの要です。特定の口形ペアの間に発生する急激なトランジションを取り除き、トランジションカーブを最適化することで、特に早口で話す際のスムーズな唇のブレンドを実現しました。

会話スタイル

唇や顎の動きの強さは、人がいつ、どのように話すかによって異なります。例えば、ささやくように話すのと怒鳴るように話すのとでは異なりますし、つぶやくように話すのとはっきり発音するのとでは異なるなど、速度や状況によっても影響を受けます。トーキングスタイルプリセットを使用すれば、様々な会話場面に応じて唇、顎、口形の強さを素早く設定することができます。

一般的なリップシンク機能

iClone のリップシンク技術は、キャラクターの口パクアニメーションを簡単かつ直感的なプロセスで実現します。システムがキャラクターの会話内容に合わせて音素口形を調整し、ユーザーはそこからさらに微調整を行うことができます。キャラクターの音声リソースを取り込む複数の方法が用意され、より柔軟にリップシンク編集を行うことができます。

音声リソースの取り込み方法

音声録音

iClone で音声を直接録音します。音声クリップが即座に確認できます。

TTS

Text to Speech。パネル内のテキストを通して、入力された内容に応じてデフォルトの音声が生成されます。

オーディオファイル

オーディオファイルをインポートすると、システムがタイムライン上で対応する口形を生成します。

タイムライン上での音声&口形の生成

音声ファイルをインポートすると、システムが対応する口形を伴った音声トラックをタイムライン上に自動生成します(AccuLips の場合はテキストトラックも生成されます)。ユーザーは音声とアニメーションを直感的に調整することができます。

カスタマイズ
シングル(唇エディタ)

選択した口形を唇エディタで調整します。他の口形に交換したり、消去したり、新しいものを追加したり、その表現力の強度を編集したりできます。

グローバル(唇オプション)

唇オプションを使用して、選択したクリップのスムーズオプションやクリップ強度を調整します。唇、舌、顎のスムーズレベルはそれぞれ個別に微調整することも可能です。