Kling V4.0 Reference-to-Video: Bilder, Videos und Stimmen in einem Clip

Die meisten Videomodelle nehmen ein Bild und denken sich den Rest aus. Kling V4.0 Reference-to-Video nimmt einen ganzen Ordner: bis zu zehn Referenzbilder, bis zu fünf Referenzvideos und bis zu drei Audioclips, und baut daraus einen neuen Clip von 3 bis 30 Sekunden. Die Figur aus einem Bild, die Jacke aus einem anderen, die Kamerafahrt aus einem Handyvideo, die Stimme aus einer Aufnahme. Im Katalog kommt nichts näher an das Briefing einer kleinen Filmcrew heran, und wie jedes Briefing funktioniert es nur, wenn klar ist, wer wer ist.

Die eine Regel: jede Referenz im Prompt benennen

Jeder Upload bekommt ein Tag nach seiner Position: Das erste Bild ist @Image1, das zweite @Image2 und so weiter; Videos sind @Video1 bis @Video5, Audioclips @Audio1 bis @Audio3. Der Prompt ist Pflicht, und dort sagen Sie, wofür jede Referenz da ist. Eine hochgeladene, aber nie erwähnte Referenz ist für das Modell ein Ratespiel. Behalten Sie die Reihenfolge der Uploads im Kopf, denn wenn Sie zwei Bilder nach dem Schreiben des Prompts vertauschen, tauschen sie stillschweigend ihre Rollen.

Rezept 1: dieselbe Figur in einer neuen Szene

Zwei Bilder: eine Frontalansicht Ihrer Figur und ein Detail des Outfits. Sonst nichts. So sehen Sie am einfachsten, ob das Modell Gesicht und Kleidung hält, bevor Sie Bewegungsreferenzen hinzufügen.

Rezept 2: eine Kamerabewegung aus einem echten Video leihen

Referenzvideos liegen unter den erweiterten Einstellungen. Sie lenken Bewegung, Kamera und Tempo, sodass aus einem zehnsekündigen Handyclip, in dem Sie um einen Tisch gehen, eine Kreisfahrt um ein Produkt werden kann, das es nie gab. Zusammen werden die Videos für bis zu 30 Sekunden verwendet.

Es gibt außerdem einen Schalter namens Originalton behalten. Ist er an, behält der Clip den Ton Ihres Referenzvideos, statt neues Audio zu generieren. Er funktioniert nur, wenn Sie ein Video hochgeladen haben, und ist die richtige Wahl, wenn die Referenz bereits die Musik oder die Atmosphäre hat, die Sie wollen.

Rezept 3: eine Stimme und ein Gesicht

Referenz-Audioclips, ebenfalls unter den erweiterten Einstellungen, lenken Stimme und Klang des Ergebnisses. Jeder sollte 5 bis 30 Sekunden lang sein. Der Clip kommt mit synchronisiertem Stereoton heraus, sodass eine Figur im Tonfall Ihrer Aufnahme in einer Szene sprechen kann, die das Modell baut.

Einstellungen, die zählen

• Auflösung: standardmäßig 720p, auf Wunsch 1080p. Entwürfe in 720p.
• Dauer: jede ganze Zahl von 3 bis 30 Sekunden; Standard ist 5. Längere Clips geben dem Modell mehr Zeit, von den Referenzen abzuweichen, also verdienen Sie sich die Länge zuerst mit einer guten kurzen Version.
• Seitenverhältnis: auto folgt Ihren Referenzbildern oder Ihrem Video. Stellen Sie 16:9, 9:16, 1:1 oder 21:9 nur ein, wenn das Ziel es verlangt, und geben Sie dann Referenzen in ähnlicher Form.

Wo es an Grenzen stößt

Zehn Referenzen sind eine Obergrenze, kein Ziel. Bilder, die sich widersprechen (zwei verschiedene Haarfarben für dieselbe Person, ein Tages-Outfit und eine Nachtszene), ergeben ein Ergebnis, das sie mittelt, und kleine Details wie Text und Schmuck driften meist zuerst ab. Wenn Sie nur ein Bild animieren möchten, ist das Modell Kling V4.0 Image-to-Video einfacher und gibt Ihnen Kontrolle über das erste und letzte Bild. Mehr zur Wahl stimmiger Referenzen lesen Sie unter Referenzbilder für einen einheitlichen Stil; einen anderen Blick auf dieselbe Aufgabe bietet der Ratgeber zu Vidu Q4 Reference-to-Video. Die vollständige Liste steht auf der Modellseite.