Este workflow ComfyUI Img2Vid foi criado por Titto13 baseado no trabalho excepcional de ipiv. Este workflow, focado na geração dinâmica e ajuste de imagens, consiste nos módulos AnimateDiff LCM, IPAdapter, QRCode ControlNet e Custom Mask. Cada um desses módulos desempenha um papel crucial no processo Img2Vid, melhorando a qualidade da animação de morphing.
Componentes principais do workflow Img2Vid para animação de morphing
1. Módulo AnimateDiff LCM:
Integra o modelo AnimateLCM na configuração AnimateDiff para acelerar o processo de renderização. O AnimateLCM acelera a geração de vídeos ao reduzir o número de etapas de inferência necessárias e melhora a qualidade dos resultados por meio do aprendizado de consistência desacoplada. Isso permite o uso de modelos que normalmente não produzem resultados de alta qualidade, tornando o AnimateLCM uma ferramenta eficaz para criar animações detalhadas.
2. Módulo IPAdapter:
Utiliza a função de máscara de atenção do IPAdapter para realizar o morphing entre imagens de referência. Os usuários podem gerar máscaras de atenção dedicadas para cada imagem, garantindo transições suaves no vídeo final.
3. Módulo QRCode ControlNet:
Usa um vídeo em preto e branco como entrada para o modelo ControlNet QRCode, orientando o fluxo da animação e melhorando a dinâmica visual da sequência de morphing.
4. Módulo Mask:
Fornece três máscaras predefinidas e permite que os usuários carreguem máscaras personalizadas. Todas essas máscaras podem ser trocadas com uma simples operação de um clique para obter vários efeitos.
Como usar o workflow Img2Vid para criar animações de morphing
1. Carregamento de Imagem e Aplicação de Máscara
- Carregamento de Imagem: Carregue imagens nos nós "Load White" e "Load Black". O workflow inclui várias máscaras de imagem que os usuários podem selecionar conforme suas necessidades.
- Processamento de Máscara: As máscaras podem ser selecionadas clicando "Action!" e máscaras personalizadas podem ser carregadas e aplicadas, aumentando a flexibilidade.
2. Ajuste de Imagem
- Rotação, Recorte e Inversão de Imagem: Ajuste as imagens usando as funções "Rotate Mask" e "Flip Image" para obter os efeitos desejados. A função "Fast Crop" permite que os usuários escolham entre recorte central ou adicionar bordas pretas para ajustar as imagens. A função "Detail Crop" permite o recorte de detalhes específicos das imagens.(Esta função dá mais controle sobre suas criações, então ative-a se precisar!)
3. Ajuste de Parâmetros
- AnimateDiff - Motion Scale: Ajustar este parâmetro muda a fluidez da animação. Aumentar o valor adiciona mais movimento, mas pode reduzir a qualidade dos detalhes. A faixa recomendada é de 1.000-1.300, com incentivo à experimentação.
- QRCode ControlNet - Strength e End Percent: Esses parâmetros controlam a intensidade da animação e o efeito de transição. Geralmente, ajuste "Strength" entre 0.4 e 1.0 e "End Percent" entre 0.350 e 0.800.
- Máscara - Force Rate: Defina como "0" para velocidade inicial ou "12" para ciclos acelerados e dobrados. Ajuste este valor com base na duração e nas necessidades do efeito da animação.
- IPAdapter - Preset: Recomenda-se usar o preset "VIT-G" para resultados mais estáveis. Para resultados mais próximos das imagens originais, altere para o preset “PLUS” e defina “weight_type” como “ease in-out.”
Para mais informações e para ver o trabalho original, visite a página do autor no Civitai Titto13.