OmniHuman 2.0 von ByteDance: ein sprechendes Video aus einem Foto und einer Stimme

Manche Modelle für sprechende Avatare kommen mit einem Bedienfeld voller Schalter. OmniHuman 2.0 von ByteDance hat drei Eingaben und sonst nichts: ein Porträt, eine Audioaufnahme und eine optionale Zeile Regieanweisung. Kein Auflösungsmenü, kein Seitenverhältnis, kein Regler für Ausdrucksstärke. Das klingt einschränkend, bis man merkt, was es in der Praxis bedeutet: Fast das ganze Ergebnis hängt von den zwei Dateien ab, die Sie ihm geben, also liegt die Arbeit darin, sie gut auszuwählen. Hier ist, was ich einem Freund vor seinem ersten Versuch sagen würde.

Was es wirklich gut kann

Lange und natürlich sprechen. Das Audio darf bis zu fünf Minuten lang sein (nur die ersten 300 Sekunden werden verwendet), weit mehr, als die meisten Clip-Modelle zulassen, sodass eine komplette Produkterklärung, eine kurze Lektion oder der Monolog einer Figur in einen einzigen Render passt statt in fünf zusammengeflickte Teile. Das Gesicht folgt der Stimme: Pausen, Betonung und der Rhythmus eines Satzes zeigen sich an Mund, Augen und Kopf. Es ist eine gute Wahl, wenn Sie eine fertige Sprachspur haben, aus dem eigenen Mikrofon oder von einem Text-to-Speech-Modell, und ein Gesicht suchen, das sie trägt.

Das Porträt auswählen

Das Bild wird in JPEG umgewandelt und an die Größen angepasst, die das Modell unterstützt, und ein sehr breites oder sehr hohes Bild wird von der Mitte aus beschnitten. Wählen Sie den Ausschnitt also selbst: Kopf und Schultern, das Gesicht ungefähr zur Kamera, der Mund sichtbar, nichts vor den Lippen. Ein Porträt mit Luft über dem Kopf übersteht den Beschnitt besser als eines, bei dem die Haare den Rand berühren. Generierte Figuren funktionieren genauso gut wie Fotos; wirkt die Haut wächsern, korrigieren Sie das zuerst mit dem Ratgeber gegen Plastikhaut, denn die Animation macht es deutlicher, nicht weniger deutlich.

Das Audio auswählen

• Saubere Sprache schlägt raffinierte Sprache. Hintergrundmusik und Raumhall geben dem Mund etwas, worauf er reagiert, das kein Wort ist.
• Unter vier Sekunden wird mit Stille aufgefüllt, also wird aus einer Zwei-Sekunden-Zeile ein Clip, in dem das Gesicht am Ende wartet. Nehmen Sie entweder einen ganzen Satz auf oder akzeptieren Sie die Pause.
• Schneiden Sie Stille am Anfang weg. Ein langes stummes Intro ist ein langer Blick in die Kamera.
• Alles nach fünf Minuten wird abgeschnitten. Teilen Sie ein längeres Skript in Kapitel und rendern Sie jedes einzeln.

Drei Regieanweisungen zum Übernehmen

Der Prompt lenkt Bewegung und Stil. Lassen Sie ihn leer, bestimmt die Stimme alles; füllen Sie ihn aus, können Sie eine Stimmung vorgeben. Schreiben Sie ihn wie eine Notiz an einen Schauspieler, nicht wie einen Bild-Prompt.

Wer etwas anderes wählen sollte

Wenn Sie die Form des Ergebnisses steuern oder eine Auflösung wählen möchten, bietet OmniHuman dafür keinen Hebel: Das Bildformat folgt Ihrem Bild. HeyGen Avatar IV hat eine Einstellung für Ausdrucksstärke, eine Auflösungswahl und ein Seitenverhältnis, und sein Ratgeber geht sie durch. Wenn Sie gar kein Porträt haben und einen fertigen Moderator möchten, ist der Ratgeber zu Avatar V der richtige Einstieg. Die übrigen Modelle für sprechende Avatare und Lippensynchronisation finden Sie auf der Modellseite.

Die ehrliche Einschränkung

Das ist ein sprechendes Porträt, keine Szene. Die Person wird nicht durch einen Raum gehen, nichts aufheben und sich nicht umziehen, und der Prompt kann das auch nicht verlangen. Er kann auch keine schlechte Eingabe retten: ein Profil, eine Hand vor dem Mund oder eine verrauschte Aufnahme sieht man im Ergebnis. Und ein Gesicht, das Sie nicht verwenden dürfen, bleibt tabu: die Nutzungsbedingungen verbieten Deepfakes einer realen, erkennbaren Person. Verwenden Sie Ihr eigenes Gesicht, eine fiktive Figur oder ein Porträt, für das Sie eine klare Erlaubnis haben.