Self Forcing: Geração autoregressiva de vídeo a partir de keyframes#

Self Forcing é um modelo avançado de geração de vídeo baseado em keyframes. Self Forcing permite síntese de vídeo suave e de alta qualidade gerando movimento entre um keyframe inicial e final, guiado por prompts de texto descritivos.

Construído sobre arquiteturas de difusão de vídeo autoregressivas com KV caching, Self Forcing se destaca na geração de movimento temporalmente consistente e com preservação de identidade entre frames. A abordagem conjunta keyframe-texto do Self Forcing permite transições fluidas, mantendo a estrutura e o estilo do sujeito ao longo do vídeo gerado.

Por que usar Self Forcing?#

Self Forcing oferece:

• Geração baseada em keyframes: Self Forcing usa imagens de referência inicial e final para controlar aparência e movimento
• Controle prompt + keyframe: Self Forcing combina descrições textuais criativas com estrutura de referência
• Movimento autoregressivo: Self Forcing fornece transições suaves e temporalmente consistentes entre frames
• Preservação de identidade: Self Forcing mantém a fidelidade do sujeito nas sequências geradas
• Ideal para criação de vídeo eficiente: Self Forcing é perfeito para narrativa baseada em personagens, animação cinematográfica e síntese de vídeo conceitual

Seja gerando animações, sequências cinematográficas ou vídeos de IA com identidade consistente, Self Forcing oferece controle criativo total enquanto garante movimento suave e realista com a tecnologia Self Forcing.

Imagens de entrada#

Nesta seção, você carregará suas imagens de Keyframe inicial e Keyframe final para Self Forcing. Essas duas imagens definem a aparência inicial e final do seu vídeo gerado com Self Forcing.

• Carregue ambas as imagens de referência usando os nós Load Image fornecidos para Self Forcing.
• Use os nós opcionais de redimensionamento e recorte para ajustar suas imagens para alinhamento e proporção ideais do Self Forcing.
• Keyframes bem alinhados e recortados melhoram a consistência de movimento do Self Forcing ao longo da sequência gerada.

Duração do vídeo#

Defina o número total de frames que seu vídeo Self Forcing irá gerar.

• Contagens maiores de frames permitem transições mais graduais e fluidas entre keyframes no Self Forcing.
• Contagens menores de frames resultam em transições Self Forcing mais rápidas.
• Faixa típica do Self Forcing: 16-48 frames dependendo da duração desejada e complexidade do movimento.

Modelo#

Este grupo carrega o modelo de difusão de vídeo autoregressivo Self Forcing. O workflow Self Forcing seleciona automaticamente a versão correta do modelo para você.

• Self Forcing é construído sobre rollout autoregressivo com KV caching.
• Self Forcing garante geração de movimento estável e temporalmente coerente.
• Self Forcing permite inferência em tempo real em GPUs de alta performance como RTX 4090.

Prompts#

Nesta seção, você pode inserir seu prompt de texto para guiar a geração Self Forcing.

• Combine prompts com seus keyframes para influenciar o estilo, fundo ou contexto de movimento do Self Forcing.
• Use linguagem descritiva e clara para maximizar o controle criativo do Self Forcing.
• Prompts negativos também podem ser usados para suprimir elementos indesejados no Self Forcing.

Saídas#

Uma vez que a geração Self Forcing esteja completa:

• Seu vídeo Self Forcing será salvo automaticamente na pasta Comfyui > output dentro do seu diretório ComfyUI.
• Os arquivos Self Forcing são armazenados como clipes de vídeo (MP4 ou sequências de imagens dependendo da configuração).

Agradecimentos#

Este workflow usa o modelo Self Forcing desenvolvido por guandeh. O workflow Self Forcing integra os nós Wan Video Wrapper de kijai para permitir geração de vídeo Self Forcing sem interrupções dentro do ComfyUI. Crédito total a ambos os autores pelo desenvolvimento original do modelo Self Forcing e trabalho de integração.

GitHub Repository: https://github.com/guandeh17/Self-Forcing