Self Forcing: Geração autoregressiva de vídeo a partir de keyframes#
Self Forcing é um modelo avançado de geração de vídeo baseado em keyframes. Self Forcing permite síntese de vídeo suave e de alta qualidade gerando movimento entre um keyframe inicial e final, guiado por prompts de texto descritivos.
Construído sobre arquiteturas de difusão de vídeo autoregressivas com KV caching, Self Forcing se destaca na geração de movimento temporalmente consistente e com preservação de identidade entre frames. A abordagem conjunta keyframe-texto do Self Forcing permite transições fluidas, mantendo a estrutura e o estilo do sujeito ao longo do vídeo gerado.
Por que usar Self Forcing?#
Self Forcing oferece:
- Geração baseada em keyframes: Self Forcing usa imagens de referência inicial e final para controlar aparência e movimento
- Controle prompt + keyframe: Self Forcing combina descrições textuais criativas com estrutura de referência
- Movimento autoregressivo: Self Forcing fornece transições suaves e temporalmente consistentes entre frames
- Preservação de identidade: Self Forcing mantém a fidelidade do sujeito nas sequências geradas
- Ideal para criação de vídeo eficiente: Self Forcing é perfeito para narrativa baseada em personagens, animação cinematográfica e síntese de vídeo conceitual
Seja gerando animações, sequências cinematográficas ou vídeos de IA com identidade consistente, Self Forcing oferece controle criativo total enquanto garante movimento suave e realista com a tecnologia Self Forcing.
Imagens de entrada#
Nesta seção, você carregará suas imagens de Keyframe inicial e Keyframe final para Self Forcing. Essas duas imagens definem a aparência inicial e final do seu vídeo gerado com Self Forcing.
- Carregue ambas as imagens de referência usando os nós Load Image fornecidos para Self Forcing.
- Use os nós opcionais de redimensionamento e recorte para ajustar suas imagens para alinhamento e proporção ideais do Self Forcing.
- Keyframes bem alinhados e recortados melhoram a consistência de movimento do Self Forcing ao longo da sequência gerada.
Duração do vídeo#
Defina o número total de frames que seu vídeo Self Forcing irá gerar.
- Contagens maiores de frames permitem transições mais graduais e fluidas entre keyframes no Self Forcing.
- Contagens menores de frames resultam em transições Self Forcing mais rápidas.
- Faixa típica do Self Forcing: 16-48 frames dependendo da duração desejada e complexidade do movimento.
Modelo#
Este grupo carrega o modelo de difusão de vídeo autoregressivo Self Forcing. O workflow Self Forcing seleciona automaticamente a versão correta do modelo para você.
- Self Forcing é construído sobre rollout autoregressivo com KV caching.
- Self Forcing garante geração de movimento estável e temporalmente coerente.
- Self Forcing permite inferência em tempo real em GPUs de alta performance como RTX 4090.
Prompts#
Nesta seção, você pode inserir seu prompt de texto para guiar a geração Self Forcing.
- Combine prompts com seus keyframes para influenciar o estilo, fundo ou contexto de movimento do Self Forcing.
- Use linguagem descritiva e clara para maximizar o controle criativo do Self Forcing.
- Prompts negativos também podem ser usados para suprimir elementos indesejados no Self Forcing.
Saídas#
Uma vez que a geração Self Forcing esteja completa:
- Seu vídeo Self Forcing será salvo automaticamente na pasta
Comfyui > outputdentro do seu diretório ComfyUI. - Os arquivos Self Forcing são armazenados como clipes de vídeo (MP4 ou sequências de imagens dependendo da configuração).
Agradecimentos#
Este workflow usa o modelo Self Forcing desenvolvido por guandeh. O workflow Self Forcing integra os nós Wan Video Wrapper de kijai para permitir geração de vídeo Self Forcing sem interrupções dentro do ComfyUI. Crédito total a ambos os autores pelo desenvolvimento original do modelo Self Forcing e trabalho de integração.
GitHub Repository: https://github.com/guandeh17/Self-Forcing
