Olá, amantes de animação com IA! Estamos embarcando em uma jornada emocionante no mundo da troca de rostos do ComfyUI. Aqui, apresentamos a você o fluxo de trabalho do ComfyUI Reactor, permitindo que você troque um único rosto ou vários rostos em um vídeo!
Nós abordaremos:
- Roop vs. Reactor
- O que é ComfyUI Reactor?
- Como Usar o Reactor no ComfyUI?
- Configurando Suas Imagens
- Modelo de Troca de Rosto
- Detecção de Rosto
- Restauração de Rosto
- Visibilidade de Restauração de Rosto e Peso do CodeFormer (Fidelidade)
- Detectar Gêneros
- Introduzindo o Índice de Rosto para Trocas de Rosto Únicas ou Múltiplas em Vídeo
- Interpolação Inteligente de Quadros, se necessário
- Redimensionar e Refinar, se necessário
1. Roop vs. Reactor#
Acho que alguns de vocês já usaram a extensão Roop no Automatic 1111 para esses tipos de experimentos criativos, mas o código para Roop foi descontinuado. Os designers de motion e animadores estão adotando o novo campeão da troca de rostos – ReActor no ComfyUI. Essa ferramenta não é apenas uma atualização do Roop; é uma revolução completa. O ReActor transformou a troca de rostos em uma parte perfeita e empolgante do seu kit de ferramentas criativas.
Então, por que o ReActor é a nova referência para troca de rostos? Aqui está o resumo:
- Trocas de Rosto em Alta Resolução com Upscaling: Diga adeus a imagens borradas e olá a visuais nítidos e cristalinos.
- Amigável para CPU: Não há necessidade de uma GPU de ponta, tornando-o acessível para mais usuários.
- Compatibilidade Universal: Funciona perfeitamente com os modelos SDXL e 1.5 – é como ter um controle remoto universal para troca de rostos!
- Detecção Inteligente: A detecção automática de gênero e idade significa que ele sabe exatamente quem é quem no seu vídeo.
- Criação Sem Censura: Sem filtro NSFW, sua criatividade pode realmente se descontrolar.
- Melhorias Contínuas: O ReActor continua ficando mais inteligente e melhor, como um vinho fino que envelhece graciosamente.
Agora, vamos fazer mais do que apenas falar sobre isso; vamos mergulhar em como usar o Reactor no ComfyUI e como configurar os parâmetros no Reactor! Com o ReActor, suas possibilidades criativas são infinitas.
2. O que é ComfyUI Reactor?#
O ComfyUI Reactor é uma extensão de nó rápida e simples para troca de rostos no ComfyUI. Ele aproveita vários modelos para facilitar a detecção de rostos, a troca de rostos e a restauração de rostos, mantendo a facilidade de uso.
3. Como Usar o Reactor no ComfyUI?#
Tudo bem, vamos mergulhar no processo emocionante de criar seu fluxo de trabalho. Com o Reactor, você poderá adicionar alguns efeitos incríveis de troca de rosto às suas animações.
3.1 Configurando Suas Imagens#
Antes de tudo, você precisa escolher sua 'imagem de origem' - pense nisso como o doador do rosto. Em seguida, escolha sua 'imagem de entrada' – essa é a sortuda que receberá o novo rosto.
3.2 Modelo de Troca de Rosto#
Já baixamos o modelo inswapper_128.onnx, modelos pré-treinados inswapper_128.onnx, que são fornecidos pelo InsightFace.
3.3 Detecção de Rosto#
A Detecção de Rosto é como ter um detetive digital que localiza rostos nas suas imagens de origem e entrada. Temos uma variedade de detetives - resnet50, mobile0.25, YOLOv5l e YOLOv5n. Mas nosso favorito é o retinaface_resnet50. Seu desempenho é bom.
3.4 Restauração de Rosto#
Aqui, você pode escolher um modelo para restauração de rosto. Alguns preferem o GF PGN, mas experimente o Code Forer - também é ótimo!
3.5 Visibilidade de Restauração de Rosto e Peso do CodeFormer (Fidelidade)#
Essas configurações são como afinar sua guitarra. As configurações padrão são 1,00 para visibilidade e 0,75 para peso do CodeFormer, mas não hesite em brincar e ver quais melodias você pode criar.
3.6 Detectar Gêneros? Talvez Não#
A opção 'detectar gêneros' decide se você deseja que o modelo determine o gênero nas imagens. O ReActor fará a troca de rosto apenas se atender à condição especificada. Na minha experiência, defini-lo como 'não' produz ótimos resultados. Talvez seja como dizer ao modelo: "Todos os olhos no rosto, modelo bebê!"
3.7 Introduzindo o Índice de Rosto#
O Índice de Rosto ajuda o sistema a identificar cada rosto em suas imagens. Os rostos são marcados da esquerda para a direita e de cima para baixo em suas respectivas imagens. Dessa forma, o sistema sabe exatamente quem é quem.
3.7.1 Configurando para uma Troca de Rosto Única#
Tem apenas um rosto para trocar? Fácil! Tanto o rosto de origem quanto o rosto de entrada terão um índice de 0.
3.7.2 Configurando para Vários Rostos#
Agora, se você está se sentindo ambicioso e deseja trocar vários rostos, veja como é feito:
Troca de Vários Rostos em Imagens Separadas#
- Ao lidar com o personagem à esquerda em sua animação, defina tanto o Índice de Rosto de Origem quanto o de Entrada como 0. Isso instrui o Reactor a "Utilizar a Imagem de Origem para substituir o personagem da esquerda na imagem de entrada".
- Para o personagem posicionado à direita, ajuste o Índice de Origem para 0 e o Índice de Rosto de Entrada para 1. Isso direciona o Reactor a "Empregar a Imagem de Origem para substituir o personagem da direita na imagem de entrada".
- Lembre-se, se cada personagem estiver em uma imagem separada, você precisará de dois conjuntos de nós do Reactor.
Troca de Vários Rostos em Uma Imagem#
- Se você tiver uma imagem com dois personagens, um nó do Reactor será suficiente.
- Aqui é onde fica divertido. Você pode misturar e combinar rostos. Digamos que você queira trocar o segundo rosto na imagem de entrada (esse é o índice = 1) com o primeiro rosto na imagem de origem (índice = 0), e você deseja trocar o primeiro rosto na imagem de entrada (esse é o índice = 0) com o segundo rosto na imagem de origem (índice = 1). Tudo o que você precisa fazer é definir seus índices assim: Origem - 0,1; Entrada - 1,0.
4. Interpolação Inteligente de Quadros, se necessário#
Aqui está uma dica útil - considere usar um interpolador de quadros. Imagine isso como uma máquina do tempo para os quadros do seu vídeo. Funciona maravilhas ao reduzir o número de quadros que você precisa processar inicialmente e, em seguida, os reconstrói brilhantemente depois. Isso é particularmente útil se você teve que comprometer a qualidade do seu vídeo em prol de um processamento mais rápido. Pense nessa etapa como uma varinha mágica que ajuda você a recuperar um pouco da clareza e dos detalhes perdidos.
5. Redimensionar e Refinar, se necessário#
Você também pode redimensionar as imagens do seu vídeo antes de passá-las para o interpolador. Embora seja difícil alcançar a qualidade do arquivo original, certamente é melhor do que nada.
Autor: Editores do RunComfy
Nossa equipe de editores trabalha com IA há mais de 15 anos, começando com NLP/Visão na era de RNN/CNN. Acumulamos uma quantidade enorme de experiências em Chatbot/Arte/Animação com IA, como BERT/GAN/Transformer, etc. Fale conosco se precisar de ajuda com arte, animação e vídeo com IA.