Prompt di movimento da immagine a video: parole che muovono un'immagine e parole che la deformano

Quando un'immagine diventa una clip, il modello conserva la tua immagine e aggiunge l'unica cosa che non puoi disegnare: il tempo. Il prompt è il luogo in cui gli dici come deve passare. Gran parte dei risultati image-to-video deludenti non sono difetti del modello ma difetti di vocabolario: un prompt che descrive di nuovo l'immagine, o che chiede quattro tipi di movimento in una clip di 5 secondi. Questo è un glossario più che un tutorial: le parole che muovono con affidabilità un'immagine, quelle che con altrettanta affidabilità la sciolgono e cinque prompt riscritti dalle une alle altre. La guida passo passo spiega come allegare il fotogramma e scegliere la durata; questo articolo riguarda solo che cosa scrivere.

La regola dietro ogni parola di questa pagina

Un prompt di movimento ha tre slot: che cosa fa la camera, che cosa fa il soggetto e che cosa fa l'aria (vento, acqua, fumo, luce). Riempi ogni slot con una frase concreta e direzionale e lascia vuoto il resto. Il modello legge una clip breve come un budget di cambiamento; ogni frase in più ne consuma una parte, e quando il budget finisce il modello inizia a cambiare cose di cui non hai chiesto nulla. Quella è la deformazione.

Parole di camera che reggono

• Static camera, locked off. La frase più sicura che esista. Usala ogni volta che il soggetto è un volto, un prodotto o qualsiasi cosa con bordi dritti.
• Slow push-in o slow pull-back. Un movimento delicato verso il soggetto o lontano da esso. «Slow» qui fa un lavoro vero; toglilo e il modello potrebbe avere fretta e sbavare.
• Gentle pan left o gentle pan right. Ruota la vista. Funziona meglio quando il fotogramma iniziale ha qualcosa di interessante al bordo verso cui panoramicare.
• Slow tilt up. Ottimo per edifici, alberi e tutto ciò che è alto con il cielo sopra.
• Small orbit around the subject. Lusinghiero per gli oggetti su un tavolo; rischioso per le persone, perché il lato opposto di una testa va inventato.
• Handheld drift. Una lieve oscillazione da documentario. Sembra girato dal vero; mantienilo «subtle» o diventa un terremoto.

Parole sul soggetto che reggono

Scegli verbi con direzione e velocità incorporate. «Turns slowly toward the camera», «steam rises from the cup», «the curtain lifts in a breeze», «the fox lowers its head to drink». Ognuno nomina una parte del corpo o un oggetto, un movimento, un tempo. Se il soggetto è una persona, i movimenti più piccoli sono i più convincenti: un battito di ciglia, un respiro, uno sguardo, i capelli che si spostano. Un gesto completo attraverso l'inquadratura chiede al modello di ridisegnare la mano dodici volte al secondo, e la guida a mani e testo spiega perché raramente finisce bene.

Parole di atmosfera che reggono

• «Clouds drift slowly across the sky»
• «Light flickers from the candle»
• «Rain streaks down the glass»
• «Dust motes float in the beam»
• «Waves roll in and foam over the sand»

L'atmosfera è il movimento più economico che puoi comprare. Avviene dietro o attorno al soggetto, quindi il modello può mantenere il soggetto esattamente com'è disegnato e far sembrare comunque viva la clip. Se un'immagine non ha un elemento atmosferico evidente, nominane uno che potrebbe plausibilmente esserci: «a thin haze in the air» non è quasi mai sbagliato.

Le parole che deformano

• «Dynamic», «epic», «cinematic», «dramatic». Non hanno direzione né velocità. Il modello riempie il vuoto con un grande movimento casuale.
• Due movimenti di camera in una clip. «Pan right then push in» sono due inquadrature. Fai due clip.
• Verbi di trasformazione. «Turns into», «becomes», «morphs». Stai chiedendo che l'immagine smetta di essere la tua immagine.
• Qualsiasi cosa veloce. «Quickly», «rapidly», «sprints». La velocità significa più cambiamento per fotogramma, e più cambiamento per fotogramma significa più pixel inventati.
• Camminare verso la camera. I piedi si bloccano, la testa deriva, le gambe fanno le forbici. Se la camminata è essenziale, tienila breve e aggiungi «natural gait, feet moving».
• Descrivere di nuovo la scena. «A woman in a red coat standing by a lake at sunset» è già nell'immagine. Ogni sua parola compete con quelle di movimento per l'attenzione.

Cinque prompt, prima e dopo

Parole di ritmo e durata della clip

«Slow», «gentle», «gradual» e «subtle» non sono decorazione: abbassano la quantità di cambiamento che il modello tenta per fotogramma, che è esattamente ciò che fa restare l'immagine simile a sé stessa. Abbinale a una clip breve. Lo studio genera fino a 30 secondi su alcuni modelli, ma una clip di 5 secondi con un solo movimento pulito è quasi sempre più utilizzabile di una lunga, ed è anche più economica, perché il prezzo cresce con i secondi e con la risoluzione e compare nel composer prima di confermare. Prova le parole alla risoluzione più bassa; quando il movimento è giusto, rigenera la versione finale. Se un render fallisce, l'importo torna automaticamente sul tuo saldo.

Quale modello ascolta meglio

Ogni modello video dello studio accetta un fotogramma iniziale tramite l'azione Anima o il pulsante Riferimento, ma differiscono nel modo letterale in cui leggono le parole di movimento. Motion Real è quello da scegliere quando conta la plausibilità fisica, soprattutto per acqua e tessuti. Motion offre più dettaglio alle risoluzioni più alte e tollera un prompt un po' più ricco. Motion Turbo serve a scoprire in fretta se un'idea si muove. Il confronto tra modelli li mette a fianco, e la guida da testo a video ha il glossario di camera più lungo se generi senza fotogramma iniziale.

Cosa nessun prompt può fare

Un prompt di movimento non può aggiungere qualcosa che non è nell'inquadratura facendolo sembrare parte della scena; un nuovo personaggio che entra sarà inventato dal nulla. Non può mantenere leggibile una lunga riga di testo una volta che la camera si muove, quindi blocca la camera per le inquadrature con confezioni o insegne. Non può seguire un soggetto fuori dall'inquadratura e mostrare cosa c'è dietro. E non può trasformare un'immagine sfocata o mal composta in una clip nitida: il fotogramma iniziale è il tetto. Correggi prima l'immagine, poi apri lo studio, allegala e scrivi parole per tre slot.