ByteDance の OmniHuman 2.0: 写真と声から話す動画を作る

トーキングアバター系のモデルには、スイッチだらけのパネルを持つものもあります。ByteDance の OmniHuman 2.0 の入力は3つだけ。ポートレート、音声の録音、任意の演出の一文です。解像度のメニューも、アスペクト比も、表現力のスライダーもありません。不自由に聞こえますが、実際の意味に気づくと見方が変わります。結果のほとんどは渡す2つのファイルで決まるので、仕事はそれをうまく選ぶことに集中します。初めて回す友だちに伝えるつもりで、要点をまとめました。

本当に得意なこと

長く、自然に話すことです。音声は最長5分まで渡せます(使われるのは最初の300秒だけ)。多くの動画クリップ系モデルよりずっと長いので、製品説明のフルバージョン、短いレッスン、キャラクターの独白が、5本をつなぎ合わせるのではなく1回のレンダリングに収まります。顔は声についてきます。間、強調、文のリズムが、口元、目、頭の動きに表れます。自分のマイクで録った音声でも、音声合成モデルで作った音声でも、完成した音声トラックがあって、それを語る顔がほしいときにいい選択です。

ポートレートの選び方

画像は JPEG に変換され、モデルが対応するサイズに合わせられます。極端に横長や縦長の画像は中央から切り抜かれます。だから構図は自分で決めましょう。頭と肩が入り、顔はおおむねカメラのほうを向き、口が見えていて、唇の前に何もない状態です。頭の上に余白のあるポートレートは、髪が端に触れているものより切り抜きに強くなります。生成したキャラクターも写真と同じように使えます。肌がろう人形のように見えるなら、先にプラスチック肌のガイドで直しておきましょう。アニメーションにすると、目立たなくなるどころか余計に目立ちます。

音声の選び方

• 凝った話し方より、クリアな話し方。BGM や部屋の反響があると、口が言葉ではないものに反応してしまいます。
• 4秒未満の音声は無音で埋められるので、2秒のセリフは最後に顔が待っているだけのクリップになります。文をまるごと録るか、その間を受け入れましょう。
• 冒頭の無音はカットしましょう。長い無言のイントロは、カメラを長く見つめるだけの時間になります。
• 5分を超えた部分は切り捨てられます。長い台本は章に分けて、それぞれをレンダリングしましょう。

まねしたい3つの演出

プロンプトは動きとスタイルを導きます。空にすれば声がすべてを動かし、書けば雰囲気を決められます。画像のプロンプトではなく、俳優へのメモのように書きましょう。

別のモデルを選ぶべき人

出力の形を決めたい、解像度を選びたいという場合、OmniHuman にはそのための操作がありません。フレームは画像に従います。HeyGen Avatar IV には表現力の設定、解像度の選択、アスペクト比があり、そのガイドで詳しく説明しています。ポートレートがまったくなく、既製のプレゼンターがほしいなら、Avatar V のガイドから始めましょう。ほかのトーキングアバターやリップシンクのモデルはモデル一覧にあります。

正直な限界

これは話すポートレートであって、シーンではありません。人物が部屋を歩いて横切ったり、何かを手に取ったり、服を着替えたりはしませんし、プロンプトでそれを頼むこともできません。悪い素材を救うこともできません。横顔、口元の手、ノイズの多い録音は結果に表れます。そして使う権利のない顔は対象外です。利用規約は、実在する特定可能な人物のディープフェイクを禁止しています。自分の顔、架空のキャラクター、または明確な許可を得たポートレートを使いましょう。