O fluxo de trabalho ComfyUI implementa uma metodologia para estilização de vídeo que integra vários componentes—AnimateDiff, ControlNet, IP-Adapter e FreeU—para aprimorar as capacidades de edição de vídeo.
AnimateDiff: Este componente emprega modelos de diferença temporal para criar animações suaves a partir de imagens estáticas ao longo do tempo. Ele opera identificando as diferenças entre quadros consecutivos e aplicando incrementalmente essas variações para reduzir mudanças abruptas, preservando assim a coerência do movimento.
ControlNet: O ControlNet aproveita sinais de controle, como aqueles derivados de ferramentas de estimativa de pose como o OpenPose, para guiar o movimento e o fluxo da animação. Esses sinais de controle são em camadas e processados por modelos semelhantes a redes de controle, que por sua vez moldam a saída animada final.
IP-Adapter: O IP-Adapter é projetado para adaptar imagens de entrada para que elas se alinhem mais estreitamente com os estilos ou recursos de saída desejados. Ele realiza processos como colorização e transferência de estilo, alterando os atributos da imagem de forma não supervisionada.
FreeU: Como uma ferramenta de aprimoramento econômica, o FreeU refina modelos de difusão ajustando as arquiteturas U-Net existentes. Isso resulta em um aumento substancial na qualidade da geração de imagens e vídeos, exigindo apenas modificações mínimas.
Juntos, esses componentes se sinergizam dentro deste fluxo de trabalho ComfyUI para transformar entradas em animações estilizadas por meio de um processo de difusão sofisticado e em várias etapas.
Confira os detalhes em Como usar o AnimateDiff no ComfyUI
Confira os detalhes em Como usar o ControlNet no ComfyUI
Confira os detalhes na Introdução ao IPAdapter
O FreeU é um aprimoramento de ponta para modelos de difusão que eleva a qualidade da amostra sem sobrecarga adicional. Ele funciona dentro do sistema existente, não exigindo treinamento adicional, parâmetros extras e mantendo o tempo atual de memória e processamento. O FreeU utiliza os mecanismos existentes da arquitetura U-Net de difusão para melhorar instantaneamente a qualidade da geração.
A inovação do FreeU está em sua capacidade de aproveitar a arquitetura U-Net de difusão de forma mais eficaz. Ele refina o equilíbrio entre o backbone de denoising da U-Net e suas conexões de salto de adição de recursos de alta frequência, otimizando a qualidade das imagens e vídeos gerados sem comprometer a integridade semântica.
O FreeU é projetado para fácil integração com modelos populares de difusão, exigindo ajustes mínimos e o ajuste de apenas dois fatores de escala durante a inferência para fornecer melhorias marcantes na qualidade de saída. Isso torna o FreeU uma opção atraente para aqueles que buscam aprimorar seus fluxos de trabalho generativos de forma eficiente.
Sinta-se à vontade para ajustar esses parâmetros com base em seus modelos, estilo de imagem/vídeo ou tarefas. Os seguintes parâmetros são apenas para referência.
SD1.4: （será atualizado em breve）
b1: 1.3, b2: 1.4, s1: 0.9, s2: 0.2
SD1.5: (será atualizado em breve）
b1: 1.5, b2: 1.6, s1: 0.9, s2: 0.2
SD2.1
b1: 1.4, b2: 1.6, s1: 0.9, s2: 0.2
SDXL
b1: 1.3, b2: 1.4, s1: 0.9, s2: 0.2
Alcance para Mais Parâmetros
Ao tentar parâmetros adicionais, considere os seguintes intervalos:
Para mais informações, confira no Github
RunComfy é a principal ComfyUI plataforma, oferecendo ComfyUI online ambiente e serviços, juntamente com fluxos de trabalho do ComfyUI apresentando visuais impressionantes. RunComfy também oferece AI Playground, permitindo que artistas utilizem as mais recentes ferramentas de AI para criar arte incrível.
