LivePortrait | Animate Portraits | Vid2Vid

Gracias al nodo y flujo de trabajo de , crear animaciones realistas de LivePortrait en ComfyUI ahora es más fácil. A continuación, se desglosan los componentes clave y parámetros de su flujo de trabajo.

Por favor, lee primero la descripción de para entender los pasos del flujo de trabajo. Después de familiarizarte con el proceso de LivePortrait Img2Vid, notarás algunos pequeños cambios entre los flujos de trabajo LivePortrait Vid2Vid e Img2Vid.

La Diferencia entre ComfyUI LivePortrait Vid2Vid y Img2Vid

1. Cargar videos usando "VHS_LoadVideo" en lugar de imágenes

• En este flujo de trabajo LivePortrait Img2Vid, cargas una imagen estática como fuente usando el nodo "LoadImage". Sin embargo, en el flujo de trabajo Vid2Vid, necesitas cargar un video como fuente en su lugar. Ajusta el "frame_load_cap" para controlar cuántos fotogramas se cargan.
• Redimensiona el video fuente a una resolución más alta como 1024x1024 para una mejor calidad. Después de cargar el video fuente con "VHS_LoadVideo", usa el nodo "ImageResizeKJ" para escalar los fotogramas a una resolución como 1024x1024. Esto ayudará a mantener la nitidez y el detalle en la salida final. Al trabajar con videos, se recomienda usar una resolución más alta para la fuente en comparación con el flujo de trabajo Img2Vid. Mientras que 512x512 suele ser suficiente para imágenes estáticas, los videos se benefician de resoluciones más altas para preservar detalles y calidad.
• Los fotogramas del video de conducción aún pueden ser redimensionados a una resolución más baja como 480x480 para ahorrar tiempo de procesamiento, ya que solo proporcionan información de movimiento.

2. Usar el modo de movimiento relativo "source_video_smoothed" para resultados más suaves en LivePortrait Vid2Vid

• El nodo "LivePortraitProcess" tiene un parámetro "relative_motion_mode" que controla cómo se transfiere el movimiento del video de conducción al fuente. Para Vid2Vid, se recomienda usar el modo "source_video_smoothed".
• En este modo, el movimiento de LivePortrait se suaviza con el tiempo basado en el video de entrada, lo que ayuda a crear resultados más coherentes y estables en el tiempo. Esto es especialmente importante para videos, donde los saltos o vibraciones en el movimiento pueden ser más notables que en imágenes individuales.
• Otros modos de movimiento como "relative" o "single_frame" pueden funcionar mejor para Img2Vid, pero "source_video_smoothed" es típicamente la mejor opción para Vid2Vid.

3. Conectar la velocidad de fotogramas y el audio del video fuente a "VHS_VideoCombine" para mantener la sincronización de audio en LivePortrait Vid2Vid

• Al crear el video de salida final con el nodo "VHS_VideoCombine", es importante mantener la sincronización de audio con los fotogramas de video. Esto implica dos conexiones clave:
• Primero, conecta el audio del video fuente a la entrada "audio" de "VHS_VideoCombine" usando un nodo "Reroute". Esto asegurará que el audio original se use en el video de salida.
• Segundo, conecta la velocidad de fotogramas (FPS) del video fuente a la entrada "frame_rate" de "VHS_VideoCombine". Puedes obtener el FPS usando el nodo "VHS_VideoInfo", que extrae los metadatos del video fuente. Esto asegurará que el video de salida coincida con el tiempo del fuente.
• Al manejar cuidadosamente el audio y la velocidad de fotogramas, puedes crear una salida LivePortrait Vid2Vid que mantenga la sincronización y el tiempo adecuados, lo cual es crucial para un resultado realista y visualmente atractivo.