PAN2 ComfyUI Workflow: Texto o imagen a video con un Prompt Writer local#
Este PAN2 ComfyUI Workflow convierte una idea de escena corta o una imagen del primer fotograma en un video coherente. Ejecuta el modelo mundial PAN 2 para generación y agrega un Prompt Writer local que expande un concepto breve en una leyenda cronometrada que cubre sujetos, acciones y movimientos de cámara.
El flujo de trabajo está diseñado para creadores que desean movimiento confiable, iluminación consistente y geometría estable sin escribir manualmente indicaciones largas. Tanto texto a video como imagen a video viven en el mismo lienzo, comparten un conjunto de controles de resolución y duración, y exportan directamente a MP4.
Modelos clave en Comfyui PAN2 ComfyUI Workflow#
- IFM PAN 2 modelo mundial. El generador principal que predice video temporalmente consistente a partir de texto o condicionamiento de imagen, enfocándose en modelado mundial estable y movimiento de cámara. Fuente: IFM/PAN2.
- Pesos PAN 2 para ComfyUI. Un empaquetado mantenido de pesos PAN2 compatible con cargadores y muestreadores de ComfyUI, permitiendo una configuración rápida en este gráfico. Fuente: Comfy-Org/PAN2.
- VAE de video latente estilo Hunyuan. Un VAE de video que codifica y decodifica fotogramas en un espacio latente compacto utilizado por la tubería de video, mejorando la velocidad y el uso de memoria para clips de varios segundos. Antecedentes: Tencent/HunyuanVideo.
- Codificador de texto compatible con PAN2. Un codificador de la familia Qwen empaquetado con los pesos PAN2 que convierte la leyenda cronometrada del Prompt Writer en condicionamiento positivo y negativo para el muestreador.
Cómo usar Comfyui PAN2 ComfyUI Workflow#
A simple vista, el gráfico ofrece dos caminos paralelos que se fusionan antes del muestreo. Elige Texto a Video o Imagen a Video, escribe una idea corta, establece resolución y duración una vez, luego deja que el Prompt Writer produzca condicionamiento estructurado para PAN2. El muestreador final renderiza fotogramas latentes que se decodifican y combinan en un MP4.
Grupo Imagen a Video#
Usa este camino cuando quieras anclar el aspecto con una referencia fija. Carga un primer fotograma en LoadImage (#32); se redimensiona con ResizeImageMaskNode (#33) según ResolutionSelector (#21), luego se convierte en un latente temporal en Wan22ImageToVideoLatent (#31). La duración proviene del control de segundos compartido y se traduce automáticamente en recuento de fotogramas. Este latente luego fluye hacia el punto de fusión para que el resto del PAN2 ComfyUI Workflow pueda muestrear, decodificar y exportar el video.
Grupo Texto a Video#
Elige esto cuando quieras generar toda la escena desde texto. EmptyHunyuanLatentVideo (#14) crea un latente temporal limpio basado en los mismos controles de resolución y duración que Imagen a Video. El movimiento y el ritmo de la escena provienen de la leyenda del Prompt Writer, por lo que puedes crear movimientos de cámara y acciones de sujeto sin animación manual. Este camino alimenta el mismo punto de fusión utilizado por Imagen a Video y continúa a través del muestreo y la exportación.
Núcleo compartido: Prompt Writer y condicionamiento#
Escribe una idea de escena de una a tres oraciones en PAN2PromptWriter (#22). El nodo la expande en una leyenda cronometrada y una biblioteca negativa acompañante que suprime artefactos comunes; ambas salidas se previsualizan en PreviewAny (#9) y PreviewAny (#24) para que puedas copiar o refinar el texto según sea necesario. CLIPTextEncode (#10) y CLIPTextEncode (#11) convierten estas cadenas en condicionamiento positivo y negativo para el modelo. Puedes mantener la indicación mínima porque el escritor agrega acciones de sujeto, movimiento de cámara y señales de continuidad automáticamente.
Muestreo, decodificación y exportación#
El camino del modelo carga PAN2 y configura atención eficiente, luego KSampler (#7) genera un video latente utilizando tu condicionamiento y el camino latente activo. VAEDecode (#12) convierte el latente de nuevo a fotogramas. VHS_VideoCombine (#13) ensambla esos fotogramas en un MP4 con la tasa de cuadros y calidad elegidas, incrustando metadatos de flujo de trabajo para reproducibilidad.
Nodos clave en Comfyui PAN2 ComfyUI Workflow#
PAN2PromptWriter (#22)#
Expande una descripción corta y natural en una leyenda cronometrada adaptada al video, más una indicación negativa robusta. Ajusta prompt para describir sujeto, entorno e intención de cámara en lenguaje simple; usa duration para dirigir la longitud total del clip. Si deseas más o menos variación creativa a lo largo de las tomas, ajusta temperature o top_p. Para ritmos de narración repetibles, mantén seed fijo.
ResolutionSelector (#21)#
Establece el ancho y alto de trabajo para ambos caminos a partir de una relación de aspecto y un objetivo de megapíxeles. Elige tu relación primero, luego aumenta o disminuye el recuento de píxeles para equilibrar calidad y velocidad. Mantener Imagen a Video y Texto a Video en el mismo selector previene escalas desajustadas al cambiar de modos.
Wan22ImageToVideoLatent (#31)#
Convierte la primera imagen en una secuencia latente temporalmente coherente para la ruta Imagen a Video. Proporciona un fotograma nítido y bien iluminado que ya coincida con la relación de aspecto deseada para evitar sorpresas de recorte. La longitud se suministra automáticamente; puedes revisitarla cambiando el control de segundos compartido.
EmptyHunyuanLatentVideo (#14)#
Crea un latente temporal en blanco para la ruta Texto a Video usando la resolución y duración seleccionadas. Esta es la forma más limpia de dejar que el modelo invente movimiento puramente a partir de la guía del Prompt Writer. Para clips más largos, considera generar varias tomas más cortas para minimizar el desvío, luego edítalas juntas.
Any Switch (rgthree) (#35)#
Elige qué camino latente impulsa la generación. Selecciona el latente Imagen a Video cuando desees continuidad visual estricta desde el fotograma de referencia, o cambia al latente vacío para video completamente dirigido por texto. Es seguro alternar entre ejecuciones sin volver a cablear el gráfico.
KSampler (#7)#
Realiza los pasos principales de eliminación de ruido a lo largo del tiempo utilizando el modelo fusionado y tu condicionamiento. Ajusta steps para calidad vs. velocidad, cfg para adherencia a la indicación vs. naturalidad, y denoise al refinar desde un latente Imagen a Video. Mantén el scheduler y sampler_name emparejados sensiblemente; pequeños cambios aquí pueden alterar notablemente la suavidad del movimiento.
VHS_VideoCombine (#13)#
Escribe el MP4 final a partir de los fotogramas decodificados. Establece frame_rate para que coincida con tu entrega objetivo y ajusta crf para intercambiar tamaño de archivo por calidad. Si planeas editar más tarde, prefiere una configuración de calidad ligeramente más alta.
Extras opcionales#
- Mantén las ideas de escena cortas. Una o dos oraciones con sujeto claro, entorno e intención de cámara producen las leyendas más confiables del Prompt Writer.
- Para Imagen a Video, proporciona un primer fotograma que ya coincida con tu relación de aspecto y iluminación objetivo; evita ampliaciones o recortes pesados antes de importar.
- Comienza con clips cortos (6 a 12 s). Las duraciones más largas amplifican el desvío y requieren indicaciones más cuidadosas.
- Usa la biblioteca negativa proporcionada tal cual, luego agrega solo las pocas prohibiciones que importen a tu sujeto; las negativas demasiado largas pueden suprimir detalles deseados.
- Fija el
seeddel muestreador para iterar en la redacción, luego varíalo para explorar alternativas una vez que la composición y el tiempo se sientan correctos. - Si el movimiento parece demasiado rápido o lento, ajusta el control de segundos en lugar de la redacción de la cámara primero; los cambios de tiempo se propagan de manera consistente a lo largo de la leyenda.
Enlaces y referencias
- Modelo mundial PAN 2: IFM/PAN2
- Pesos PAN 2 para ComfyUI: Comfy-Org/PAN2
- Nodo Prompt Writer: benjiyaya/ComfyUI-PAN2-PromptWriter
- Antecedentes de video latente: Tencent/HunyuanVideo
Agradecimientos#
Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos a IFM por el modelo PAN2, Comfy-Org por los pesos PAN2, y benjiyaya y AI Future Tech por el PAN2 Prompt Writer y guías de creación y flujos de trabajo de muestra por sus contribuciones y mantenimiento. Para detalles autorizados, consulte la documentación y los repositorios originales vinculados a continuación.
Recursos#
- IFM/PAN2
- Hugging Face: IFM/PAN2
- Comfy-Org/PAN2
- Hugging Face: Comfy-Org/PAN2
- benjiyaya/ComfyUI-PAN2-PromptWriter
- AI Future Tech/PAN2 walkthroughs and sample workflows
- Docs / Release Notes: Creator walkthrough and sample workflows
Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las licencias y términos respectivos proporcionados por sus autores y mantenedores.

