VEED Dubbing:翻译视频,并保留说话人的声音

你用一种语言做了一支不错的视频,也希望说另一种语言的人能看。字幕可以,但它要求观众去读,而不是去看。VEED Dubbing 走的是另一条路:它听取视频里的语音,翻译成目标语言,再用克隆自原说话人的声音说出来,并让嘴型对上。这篇是实用版:要准备什么、怎么设置、发布前该检查什么。

需要提供什么

• 视频(必填),最长十分钟,语音要在独立的音轨里。
• Target language(必填):语言很多,从主流语言到小众地区语言都有。这个模型没有地区方言;如果你传入地区标签,比如法国法语,它会按基础语言来配音。
• Source language(高级):默认是自动,会检测视频里说的是什么语言。视频里有口音、混杂多种语言或背景噪音很大时,请手动设置。
• Key terms(高级):一份需要原样保留的名称和术语的短列表,最多十个,每个都要简短。品牌、产品和说话人的名字都放在这里。

运行之前

1. 01先把音频弄干净。 模型只能根据听到的内容工作。盖在大声音乐之上的人声最先被翻错;如果你有干净的人声轨,就用它,或者在配音之前先清理视频里的声音。
2. 02一个文件只放一场讲话。 十分钟是上限,文件短也更好检查。长篇讲话分章节来审更轻松。
3. 03写好 key terms。 任何你不想听到被翻译的东西,比如产品名或口号,都放进 key terms 字段。
4. 04了解你的目标语言。 如果你读不懂结果,至少第一分钟要找个懂的人看看。听起来流畅的配音,不一定准确。

便宜的试跑

结果里要看什么

• 节奏。 有些语言表达同一件事需要的字比别的语言多。如果某句话听起来很赶,多半是原文太密;精简原始语音再试一次。
• 名字和数字。 逐个对照你的 key terms 和脚本检查。
• 声音。 它克隆自原声,所以低沉的声音还是低沉的。不过听起来还是会比真人自然说新语言时更中性一点。
• 嘴型。 嘴部动作会跟着新的词走。人脸一直在画面里时效果最好;快速剪辑和侧脸是容易出错的地方。

坦白说一下局限

这是标准版,也是最适合上手的一版,但凡是用词重要的内容,它都不能取代人工翻译:法律说明、医疗指引、靠双关语成立的笑话。如果细节至关重要,请让母语者审一遍配音。如果你需要控制新声音与原声的贴近程度,或者要选择地区方言,请看 VEED Dubbing Pro,两者它都有。另外,如果视频里有很多人互相抢话,请按场景拆分文件,因为重叠的人声对任何配音模型都是最难的情况。

其他视频模型,以及能用一张图片生成会说话角色的模型,都在模型页面。想开始的话,到工作室上传一小段片段即可。