VEED Dubbing: 話者の声のまま動画を翻訳する

ひとつの言語で良い動画を作ったら、別の言語を話す人にも見てもらいたくなります。字幕でも伝わりますが、視聴者は見る代わりに読むことになります。VEED Dubbing は別の道を取ります。動画の音声を聞き取って翻訳し、元の話者の声をクローンした声で新しい言語を話し、口の動きもそれに合わせます。この記事は実践編で、準備すること、設定すること、公開前に確認することをまとめます。

入力するもの

• 動画(必須)。最長10分で、音声が独立したトラックになっているもの。
• Target language(必須)。主要言語から小さな地域言語まで、幅広い一覧から選びます。このモデルに地域の方言はなく、フランスのフランス語のような地域タグを渡しても、基本の言語で吹き替えます。
• Source language(詳細)。初期値は auto で、話されている言語を自動で判定します。訛りが強い、複数の言語が混ざる、背景ノイズが多いといった場合は手動で指定します。
• Key terms(詳細)。そのまま残したい名前や用語の短いリストで、最大10個、それぞれ短く。ブランド名、製品名、話者の名前をここに入れます。

実行する前に

1. 01音声をきれいにする。 モデルは聞こえるものをもとに動きます。大きな音楽に重なった声は、まず誤訳されます。声だけのクリーンなトラックがあればそれを使うか、吹き替えの前に動画の音をクリーンにしておきます。
2. 021ファイルにつき1本の話に切る。 上限は10分で、短いファイルは確認も早く済みます。長い話は章に分けるほうが見直しやすくなります。
3. 03Key terms を書く。 翻訳されたら困るもの、たとえば製品名やスローガンは、key terms の欄に入れます。
4. 04対象の言語を知っておく。 結果が読めないなら、最初の1分だけでも読める人に見てもらいます。滑らかな吹き替えが正しいとは限りません。

安く済ませる試し撮り

結果で見るべきところ

• タイミング。 同じ内容を言うのに、言語によって必要な語数は違います。文が詰め込みすぎに聞こえるなら、元の話が密だった可能性があります。元の音声を短くして、もう一度試します。
• 名前と数字。 ひとつずつ、key terms と台本に照らして確認します。
• 声。 元の声からクローンするので、低い声は低いまま残ります。それでも、新しい言語で自然に話す人よりは少しニュートラルに聞こえます。
• 口元。 口の動きは新しい言葉に追従します。顔が画面に残っている場面で最も良く、素早いカットや横顔では外れやすくなります。

正直な制約

これは標準版で、最初に試すのに向いていますが、言い回しが重要な場面では人間の翻訳者の代わりにはなりません。法的な説明、医療上の指示、駄洒落に頼った冗談などです。細部が重要なら、ネイティブスピーカーに吹き替えを確認してもらってください。新しい声が元の声にどのくらい寄せるかを調整したい、あるいは地域の方言を選びたいなら、両方を備えたVEED Dubbing Proをご覧ください。また、複数の話者が重なって話す動画は、どの吹き替えモデルにとっても最も難しいので、場面ごとにファイルを分けてください。

ほかの動画モデルや、1枚の画像から話すキャラクターを作るモデルは、モデル一覧にあります。始めるには、スタジオで短いクリップをアップロードしてください。