Fluxo de Trabalho ComfyUI PAN2: Texto ou imagem para vídeo com um Prompt Writer local#
Este Fluxo de Trabalho ComfyUI PAN2 transforma uma ideia de cena curta ou uma imagem do primeiro quadro em um vídeo coerente. Ele executa o modelo mundial PAN 2 para geração e adiciona um Prompt Writer local que expande um conceito breve em uma legenda cronometrada cobrindo sujeitos, ações e movimentos de câmera.
O fluxo de trabalho é projetado para criadores que desejam movimento confiável, iluminação consistente e geometria estável sem escrever longos prompts manualmente. Tanto o texto-para-vídeo quanto a imagem-para-vídeo vivem na mesma tela, compartilham um conjunto de controles de resolução e duração, e exportam diretamente para MP4.
Principais modelos no Fluxo de Trabalho ComfyUI PAN2#
- Modelo mundial IFM PAN 2. O gerador principal que prevê vídeos temporariamente consistentes a partir de condicionamento de texto ou imagem, focando em modelagem mundial estável e movimento de câmera. Fonte: IFM/PAN2.
- Pesos PAN 2 para ComfyUI. Um pacote mantido de pesos PAN2 compatíveis com carregadores e amostradores ComfyUI, permitindo configuração rápida neste gráfico. Fonte: Comfy-Org/PAN2.
- VAE de vídeo latente estilo Hunyuan. Um VAE de vídeo que codifica e decodifica quadros em um espaço latente compacto usado pelo pipeline de vídeo, melhorando velocidade e uso de memória para clipes de vários segundos. Plano de fundo: Tencent/HunyuanVideo.
- Codificador de texto compatível com PAN2. Um codificador da família Qwen empacotado com os pesos PAN2 que transforma a legenda cronometrada do Prompt Writer em condicionamento positivo e negativo para o amostrador.
Como usar o Fluxo de Trabalho ComfyUI PAN2#
À primeira vista, o gráfico oferece dois caminhos paralelos que se fundem antes da amostragem. Escolha Texto2Vídeo ou Imagem2Vídeo, escreva uma ideia curta, defina resolução e duração uma vez, então deixe o Prompt Writer produzir condicionamento estruturado para o PAN2. O amostrador final renderiza quadros latentes que são decodificados e combinados em um MP4.
Grupo Imagem2Vídeo#
Use este caminho quando quiser ancorar o visual com uma imagem de referência. Carregue um primeiro quadro em LoadImage (#32); ele é redimensionado por ResizeImageMaskNode (#33) de acordo com ResolutionSelector (#21), então convertido em um latente temporal em Wan22ImageToVideoLatent (#31). A duração vem do controle de segundos compartilhado e é traduzida automaticamente para contagem de quadros. Este latente então flui para o ponto de fusão para que o restante do Fluxo de Trabalho ComfyUI PAN2 possa amostrar, decodificar e exportar o vídeo.
Grupo Texto2Vídeo#
Escolha este quando quiser gerar a cena inteira a partir de texto. EmptyHunyuanLatentVideo (#14) cria um latente temporal limpo baseado nos mesmos controles de resolução e duração que Imagem2Vídeo. O movimento e a cadência da cena vêm da legenda do Prompt Writer, para que você possa criar movimentos de câmera e ações de sujeito sem keyframing manual. Este caminho alimenta o mesmo ponto de fusão usado por Imagem2Vídeo e continua através da amostragem e exportação.
Núcleo compartilhado: Prompt Writer e condicionamento#
Escreva uma ideia de cena de uma a três frases em PAN2PromptWriter (#22). O nó a expande em uma legenda cronometrada e uma biblioteca negativa acompanhante que suprime artefatos comuns; ambas as saídas são visualizadas em PreviewAny (#9) e PreviewAny (#24) para que você possa copiar ou refinar o texto conforme necessário. CLIPTextEncode (#10) e CLIPTextEncode (#11) transformam essas cadeias em condicionamento positivo e negativo para o modelo. Você pode manter o prompt mínimo porque o escritor adiciona ações de sujeito, movimento de câmera e dicas de continuidade automaticamente.
Amostragem, decodificação e exportação#
O caminho do modelo carrega o PAN2 e configura atenção eficiente, então KSampler (#7) gera um vídeo latente usando seu condicionamento e o caminho latente ativo. VAEDecode (#12) converte o latente de volta em quadros. VHS_VideoCombine (#13) monta esses quadros em um MP4 com a taxa de quadros e qualidade escolhidas, incorporando metadados do fluxo de trabalho para reprodutibilidade.
Principais nós no Fluxo de Trabalho ComfyUI PAN2#
PAN2PromptWriter (#22)#
Expande uma descrição curta e natural em uma legenda cronometrada adaptada para vídeo, além de um prompt negativo robusto. Ajuste prompt para descrever sujeito, ambiente e intenção da câmera em linguagem simples; use duration para direcionar o comprimento geral do clipe. Se você quiser mais ou menos variação criativa entre as tomadas, ajuste temperature ou top_p. Para batidas de narrativa repetíveis, mantenha seed fixo.
ResolutionSelector (#21)#
Define a largura e altura de trabalho para ambos os caminhos a partir de uma proporção de aspecto e alvo de megapixels. Escolha sua proporção primeiro e depois aumente ou diminua a contagem de pixels para equilibrar qualidade e velocidade. Manter Imagem2Vídeo e Texto2Vídeo no mesmo seletor evita escalas desajustadas ao alternar modos.
Wan22ImageToVideoLatent (#31)#
Converte a primeira imagem em uma sequência latente temporalmente coerente para a rota Imagem2Vídeo. Forneça um quadro nítido e bem iluminado que já corresponda à proporção pretendida para evitar surpresas de corte. O comprimento é fornecido automaticamente; você pode revisitá-lo alterando o controle de segundos compartilhado.
EmptyHunyuanLatentVideo (#14)#
Cria um latente temporal em branco para a rota Texto2Vídeo usando a resolução e duração selecionadas. Esta é a maneira mais limpa de deixar o modelo inventar movimento puramente a partir da orientação do Prompt Writer. Para clipes mais longos, considere gerar várias tomadas mais curtas para minimizar o desvio, depois edite-as juntas.
Any Switch (rgthree) (#35)#
Escolhe qual caminho latente dirige a geração. Selecione o latente Imagem2Vídeo quando quiser continuidade visual estrita do quadro de referência, ou mude para o latente vazio para vídeo totalmente dirigido por texto. É seguro alternar entre execuções sem reconfigurar o gráfico.
KSampler (#7)#
Realiza os passos principais de remoção de ruído ao longo do tempo usando o modelo mesclado e seu condicionamento. Ajuste steps para qualidade vs. velocidade, cfg para aderência ao prompt vs. naturalismo, e denoise ao refinar de um latente Imagem2Vídeo. Mantenha o scheduler e sampler_name pareados sensivelmente; pequenas mudanças aqui podem alterar significativamente a suavidade do movimento.
VHS_VideoCombine (#13)#
Escreve o MP4 final a partir dos quadros decodificados. Defina frame_rate para corresponder à sua entrega alvo e ajuste crf para trocar tamanho de arquivo por qualidade. Se pretende editar mais tarde, prefira uma configuração de qualidade ligeiramente mais alta.
Extras opcionais#
- Mantenha as ideias de cena curtas. Uma ou duas frases com sujeito, cenário e intenção de câmera claros produzem as legendas mais confiáveis do Prompt Writer.
- Para Imagem2Vídeo, forneça um primeiro quadro que já corresponda à sua proporção de aspecto e iluminação alvo; evite upscales pesados ou cortes antes da importação.
- Comece com clipes curtos (6 a 12 s). Durações mais longas amplificam o desvio e requerem prompts mais cuidadosos.
- Use a biblioteca negativa fornecida como está, depois adicione apenas as poucas proibições que importam para seu sujeito; negativos excessivamente longos podem suprimir detalhes desejados.
- Fixe o
seeddo amostrador para iterar na redação, depois varie-o para explorar alternativas uma vez que a composição e o timing pareçam corretos. - Se o movimento parecer muito rápido ou lento, ajuste o controle de segundos em vez da redação da câmera primeiro; mudanças de tempo se propagam consistentemente ao longo da legenda.
Links e referências
- Modelo mundial PAN 2: IFM/PAN2
- Pesos PAN 2 para ComfyUI: Comfy-Org/PAN2
- Nó Prompt Writer: benjiyaya/ComfyUI-PAN2-PromptWriter
- Plano de fundo de vídeo latente: Tencent/HunyuanVideo
Agradecimentos#
Este fluxo de trabalho implementa e baseia-se nos seguintes trabalhos e recursos. Agradecemos imensamente à IFM pelo modelo PAN2, à Comfy-Org pelos pesos PAN2, e a benjiyaya e AI Future Tech pelo Prompt Writer PAN2 e tutoriais de criador e fluxos de trabalho de amostra por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.
Recursos#
- IFM/PAN2
- Hugging Face: IFM/PAN2
- Comfy-Org/PAN2
- Hugging Face: Comfy-Org/PAN2
- benjiyaya/ComfyUI-PAN2-PromptWriter
- AI Future Tech/PAN2 walkthroughs and sample workflows
- Docs / Release Notes: Creator walkthrough and sample workflows
Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.


