AnimaciónProbado por nosotros

Sincronizar escenas y voz en un vídeo

En pocas palabrasNo elijas antes la duración de las escenas. Genera la voz de cada escena, mide cuánto dura y usa ese número como duración de la escena.

Un vídeo explicativo se estropea cuando la imagen cambia antes o después de la frase. La forma más sencilla de evitarlo es invertir el orden: primero la voz, luego las escenas.

Los pasos

  1. Escribe una frase por escena (mira voz de IA local).
  2. Genera el audio de cada frase y mide los segundos. Añade medio segundo de pausa al final.
  3. Escribe en el guion t0 y t1 de cada escena: t0 es la suma de las duraciones anteriores, t1 = t0 + duración.
  4. En el render, renderAt(t) busca la escena con t0 <= t < t1 y dibuja con el tiempo local t - t0.
  5. Une el audio al vídeo con ffmpeg.
{ "scenes": [
  { "id": "title",   "text": "You stole a car and the police are after you? Relax.", "t0": 0.0,  "t1": 3.9 },
  { "id": "swap",    "text": "Swap the car and change clothes.",                     "t0": 3.9,  "t1": 6.7 }
] }
// inside renderAt(t)
const s = brief.scenes.find((x) => t >= x.t0 && t < x.t1) || brief.scenes.at(-1);
drawScene(s.id, t - s.t0, s.t1 - s.t0);   // local time and scene length
ffmpeg -y -i out.mp4 -i voce.wav -c:v copy -c:a aac -shortest final.mp4

Subtítulos palabra por palabra

Dentro de la escena tienes el tiempo local u y la duración d. Divide la frase en palabras y da a cada una una porción de d en proporción a sus letras. La palabra que resaltar es aquella cuya porción contiene u.

function activeWord(words, u, d) {
  const total = words.reduce((n, w) => n + w.length + 1, 0);
  let acc = 0;
  for (let i = 0; i < words.length; i++) {
    acc += (words[i].length + 1) / total * d;
    if (u < acc) return i;
  }
  return words.length - 1;
}

No está sincronizado a la sílaba, pero a 24 fotogramas por segundo el ojo lo acepta. Si necesitas precisión real, existen herramientas de alineación que dan el tiempo de cada palabra; para vídeos cortos no compensa.

Comprobación final

Mira tres momentos congelados (inicio, mitad y final de una escena larga): el texto no debe tapar caras ni objetos importantes. Después comprueba con ffprobe que la duración del audio y del vídeo coinciden.

Mira también vídeos con muñecos, sin gameplay.

Preguntas frecuentes

¿Por qué debe marcar los tiempos la voz?

Porque si fijas las escenas en 5 segundos y la frase dura 7, la voz se corta o se queda atrás. Si decide la voz, escena y habla terminan a la vez.

¿Cómo se hacen los subtítulos palabra por palabra?

Divide la frase en palabras y reparte los segundos de la escena en proporción a las letras de cada palabra. No es exacto al milisegundo, pero al ojo le basta.

Guías relacionadas