Vidu Q4 image to video: anima una imagen con sonido y voz

La mayoría de los modelos de imagen a vídeo te dan un clip mudo y te dejan el sonido a ti. Vidu Q4 Preview image to video no: toma una imagen y un prompt y, por defecto, escribe el audio junto con el movimiento. En uno de los ejemplos de su página, una tenista mira a la cámara después de un partido y dice una frase, y la boca se mueve con las palabras. Esa es la razón para elegirlo. Si solo necesitas unos segundos de nubes sobre un paisaje, un vecino más barato en la página de modelos hará lo mismo.

Qué le das

• Una imagen (obligatoria). Se convierte en el primer fotograma, así que la composición, la luz y las caras se deciden aquí.
• Un prompt (obligatorio). Describe lo que pasa después, no lo que ya está en la imagen.
• Resolución. Una lista que va de un tamaño ligero de prueba a un tamaño final grande, con un punto medio sensato por defecto.
• Duración. Un deslizador en segundos enteros. Por defecto es corto; el extremo superior alcanza para una frase completa y una reacción.
• Generate audio. Activado por defecto. Desactívalo cuando el clip vaya bajo tu propia música.
• Advanced: expansión del prompt (desactivada por defecto) y una semilla.

Dónde brilla

Retratos que hablan y escenas pequeñas con una fuente de sonido. Un personaje que dice una frase, una tetera que empieza a silbar, lluvia en una ventana que se oye. Como sonido e imagen salen de la misma ejecución, el ritmo suele coincidir: la puerta se cierra cuando oyes que se cierra. Dale un fotograma inicial limpio y bien iluminado, con el sujeto grande en el plano, y mantendrá la cara y la ropa cerca de tu imagen en lugar de derivar.

Tres prompts para empezar

El vocabulario es el mismo que en cualquier modelo de imagen a vídeo: un movimiento de cámara, una acción del sujeto, una atmósfera. El glosario de prompts de movimiento tiene las palabras que aguantan y las que derriten la imagen. Lo nuevo aquí es el hueco del sonido: nombra el sonido que quieres, y nómbralo una vez.

Trucos

• Deja la expansión del prompt desactivada si escribiste el prompt con cuidado. Reescribe un prompt corto en uno largo, lo que ayuda a una idea de una palabra y perjudica a una precisa, sobre todo a una frase hablada que quieres palabra por palabra.
• Fija la semilla mientras ajustas. Pon tu propio número de semilla antes de cambiar el prompt, así cada cambio es el único cambio. La explicación de la semilla muestra por qué ahorra ejecuciones.
• Ajusta la duración a la acción. Un clip corto para un parpadeo o un sorbo, uno más largo para una frase. Un clip largo con una acción mínima rellena el resto con movimiento que no pediste.

La limitación honesta

Es un modelo preview, y se nota en el habla. Las frases cortas con palabras claras salen bien; los monólogos largos, los nombres y los números dichos en voz alta son donde labios y palabras empiezan a separarse. Limita el diálogo a una oración por clip y corta los discursos largos en varios clips que empiecen desde el último fotograma del anterior. Y el fotograma inicial sigue mandando: las manos y el texto pequeño de la imagen no mejoran al moverse, así que arréglalos antes (la guía paso a paso de foto a vídeo explica cómo preparar el fotograma).