Un vídeo explicativo se estropea cuando la imagen cambia antes o después de la frase. La forma más sencilla de evitarlo es invertir el orden: primero la voz, luego las escenas.
Los pasos
- Escribe una frase por escena (mira voz de IA local).
- Genera el audio de cada frase y mide los segundos. Añade medio segundo de pausa al final.
- Escribe en el guion
t0yt1de cada escena:t0es la suma de las duraciones anteriores,t1 = t0 + duración. - En el render,
renderAt(t)busca la escena cont0 <= t < t1y dibuja con el tiempo localt - t0. - Une el audio al vídeo con ffmpeg.
{ "scenes": [
{ "id": "title", "text": "You stole a car and the police are after you? Relax.", "t0": 0.0, "t1": 3.9 },
{ "id": "swap", "text": "Swap the car and change clothes.", "t0": 3.9, "t1": 6.7 }
] }
// inside renderAt(t)
const s = brief.scenes.find((x) => t >= x.t0 && t < x.t1) || brief.scenes.at(-1);
drawScene(s.id, t - s.t0, s.t1 - s.t0); // local time and scene length
ffmpeg -y -i out.mp4 -i voce.wav -c:v copy -c:a aac -shortest final.mp4
Subtítulos palabra por palabra
Dentro de la escena tienes el tiempo local u y la duración d. Divide la frase en palabras y da a cada una una porción de d en proporción a sus letras. La palabra que resaltar es aquella cuya porción contiene u.
function activeWord(words, u, d) {
const total = words.reduce((n, w) => n + w.length + 1, 0);
let acc = 0;
for (let i = 0; i < words.length; i++) {
acc += (words[i].length + 1) / total * d;
if (u < acc) return i;
}
return words.length - 1;
}
No está sincronizado a la sílaba, pero a 24 fotogramas por segundo el ojo lo acepta. Si necesitas precisión real, existen herramientas de alineación que dan el tiempo de cada palabra; para vídeos cortos no compensa.
Comprobación final
Mira tres momentos congelados (inicio, mitad y final de una escena larga): el texto no debe tapar caras ni objetos importantes. Después comprueba con ffprobe que la duración del audio y del vídeo coinciden.
Mira también vídeos con muñecos, sin gameplay.
Preguntas frecuentes
¿Por qué debe marcar los tiempos la voz?
Porque si fijas las escenas en 5 segundos y la frase dura 7, la voz se corta o se queda atrás. Si decide la voz, escena y habla terminan a la vez.
¿Cómo se hacen los subtítulos palabra por palabra?
Divide la frase en palabras y reparte los segundos de la escena en proporción a las letras de cada palabra. No es exacto al milisegundo, pero al ojo le basta.