3D キャラクターに口パクアニメーションを追加

全く新しいリップシンク技術により、キャラクターがよりスムーズで正確なリップシンクの結果を得ることができるようになりました。会話シーンのアニメーション作成にかかる時間を大幅に短縮します。AccuLips は音声からテキストや口形を検出して抽出したり、用意されたスクリプトを読み込んで正確なリップシンクを行います。正確な発音デザインによって自然な会話を作り出し、あらゆる単語の口形と強度レベルを一層細密に微調整します。AccuLips には 20 万語の英語辞書が搭載されており、新しい単語を追加したり、他の単語に変更することで簡単にカスタマイズが可能です。（iClone の AccuLips は英語版のみの対応となります）

正確性

音声からテキストや口形を正確に検出＆生成

iClone Acculips システムは、取り込んだ音声から正確なテキストデータと正しい口形のタイミングを自動的に生成することができます。この設計により非常に操作性の高いアプローチをユーザーに提供し、プロフェッショナルなリップシンクアニメーションを実現します。この方式では音声からテキストを生成し、個々の単語を対応する音声部分に自動的に一致させることができます。さらにテキストスクリプトがあれば、より正確なテキストとボイスの位置合わせが可能になります。

編集可能な英単語辞書

AccuLips は、唇トラックで定義された唇の形に対応する新しい単語を追加したり、メイン辞書（200,000 語）の既存の単語を編集したりすることができます。またカスタム辞書の保存と読み込みも可能です。

ナチュラル

自由自在に会話

強化された口形シェイプ

それぞれの音素口形に合わせて強化された口のシェイプにより、リアルなキャラクターでもデフォルメされたキャラクターでも、より正確で自然なリップシンク結果が得られます。

正確な発声

AccuLips は人間のリアルな発話動作をシミュレートするように設計されています。リアルな会話アニメーション作成では、それぞれの口の形と前後の口の形との繋がりが品質に影響します。例えば、人は発声の際に次の音を予測したり、あるいは前の音の性質を継承したりします。

シュワ

シュワ（/ə/）とは、複数音節の中で強調されない、単語中の弱い母音のことです。

微かな開口状態

口の形は、単語と単語の間に区切りがあるときには、少し開いた状態になります。

音素のペア

口の動きは、8 つの唇と歯の形、7 つの舌の位置、口の幅を組み合わせて制御されます。総勢 240 通りの音素の組み合わせを様々なタイムカーブでブレンドすることによって、より自然な遷移を表現します。

口形は後続の音素によって影響を受ける

私たちが言葉を発音するとき、先行する音素は後続の音素の影響を受けるので、KEY/COOL/CAR のように、手前の音素の口形が異なることがあります。

口形は先行する音素によって影響を受ける

後続の音素 にも同様の変化があります。CHIPS/KICK/LICK のように、後続の音素も先行する音素の影響を受けます。

スムーズ

スマートダウンサンプリング

検出されたすべての口形が各単語に正しく配置されているのは一見正しいように思えますが、非常に頻繁な唇や顎の動きは、望ましくない機械的な外観を引き起こす可能性があります。スマートダウンサンプリングツールはあまり目立たないリップキーを削減することによってジッターを効果的に緩和し、人間が無理なく滑らかに発話する状態を再現します。

音素ペアのカーブを強化

音素ペアのデザインは iClone のリップシンクの要です。特定の口形ペアの間に発生する急激なトランジションを取り除き、トランジションカーブを最適化することで、特に早口で話す際のスムーズな唇のブレンドを実現しました。

会話スタイル

唇や顎の動きの強さは、人がいつ、どのように話すかによって異なります。例えば、ささやくように話すのと怒鳴るように話すのとでは異なりますし、つぶやくように話すのとはっきり発音するのとでは異なるなど、速度や状況によっても影響を受けます。トーキングスタイルプリセットを使用すれば、様々な会話場面に応じて唇、顎、口形の強さを素早く設定することができます。

iClone のリップシンク技術は、キャラクターのリップシンクアニメーションを簡単かつ直感的なプロセスで実現します。システムがキャラクターの会話内容に合わせて音素口形を調整し、ユーザーはそこからさらに微調整を行うことができます。キャラクターの音声リソースを取り込む複数の方法が用意され、より柔軟にリップシンク編集を行うことができます。

音声リソースの取り込み方法