Flux Klein Face Swap para ComfyUI: substituição de rosto sem emendas, guiada por prompts
Flux Klein Face Swap é um fluxo de trabalho focado no ComfyUI que substitui um rosto em uma imagem por um rosto de outra imagem, preservando a pose, iluminação e consistência de textura. Ele se baseia na geração e edição de imagens unificadas do FLUX Klein para oferecer trocas realistas que se misturam naturalmente com a cena.
Este fluxo de trabalho é ideal para edição de retratos, criação de personagens e refinamento de conteúdo. Você fornece uma imagem base e uma imagem fonte de rosto, guia a troca com um prompt curto, e o pipeline Flux Klein Face Swap alinha a geometria, transfere a identidade e renderiza um resultado limpo com escalonamento opcional.
Modelos principais no fluxo de trabalho Comfyui Flux Klein Face Swap
- Black Forest Labs FLUX.2-klein 9B FP8. O núcleo do Transformer de Difusão usado aqui para edição e síntese de imagens. Ele integra o novo rosto enquanto mantém o estilo e a composição da cena estáveis. Model card
- FLUX.2-klein 4B. Uma alternativa mais leve que reduz a memória e acelera a iteração com capacidade ligeiramente inferior. Útil para rascunhos ou GPUs limitadas. Model card
- Qwen 3 text encoder 8B ou 4B. Fornece compreensão de prompt para FLUX 2 para que a troca obedeça suas instruções textuais sobre identidade, pose e estilo. Os arquivos são distribuídos com as divisões Klein. Repository
- Flux 2 VAE. Codifica imagens no espaço latente usado pelo FLUX e decodifica o latente final de volta para pixels com cores e tons fiéis. Repository
- YOLOX object detector e DWPose estimator. Usados durante o pré-processamento para localizar o rosto e a pose geral do corpo, para que o alinhamento seja natural após a troca. YOLOX DWPose
Como usar o fluxo de trabalho Comfyui Flux Klein Face Swap
O pipeline flui de entradas para pré-processamento, condicionamento de referência, amostragem FLUX, decodificação e escalonamento opcional. Cada estágio abaixo nomeia os principais nós da UI que você verá.
Carregar entradas com LoadImage (#81) e LoadImage Face Swap Image (#244)
Escolha a foto base em LoadImage (#81). Esta é a cena e a roupa que você deseja manter. Escolha o retrato do doador em Face Swap Image (#244). Isso fornece a identidade a ser transferida. Escolha imagens com tamanho de cabeça e ângulo geral semelhantes para melhores resultados. Ambas as imagens são redimensionadas internamente para uma resolução de trabalho consistente.
Detectar pose e rostos com DWPreprocessor (#267) e normalizar com ImageResizeKJv2 (#468)
O pré-processador analisa a imagem base para encontrar os pontos-chave da cabeça e do corpo, produzindo orientações que codificam o layout facial e a pose. Isso garante que o Flux Klein Face Swap alinhe o novo rosto com a orientação e iluminação originais. O resultado é redimensionado para corresponder às dimensões de trabalho, para que as etapas posteriores usem geometria consistente. Você não precisa fornecer uma máscara.
Descrever a troca com CLIPTextEncode (#250)
Forneça uma instrução curta que esclareça o que deve mudar e o que deve permanecer. Por exemplo, "substituir a cabeça na imagem 1 pela cabeça da imagem 2, manter a roupa e a pose da imagem 1, combinar tom de pele e iluminação." O codificador de texto converte seu prompt em condicionamento que orienta o modelo durante a amostragem. Palavras claras e específicas resultam em trocas mais fiéis.
Construir condicionamento de referência com VAEEncode e ReferenceLatent (#257, #253, #269)
A imagem base, a imagem fonte do rosto e a orientação da pose são cada uma codificadas em latentes com VAEEncode. ReferenceLatent (#257) primeiro vincula a imagem base ao seu prompt para que o estilo e a cena sejam preservados. ReferenceLatent (#253) injeta a identidade do rosto do doador como referência. ReferenceLatent (#269) adiciona a geometria detectada, o que fixa a posição e proporções da cabeça antes da amostragem.
Programar e amostrar com FLUX usando UNETLoader (#180), Flux2Scheduler (#237), KSamplerSelect (#240), BasicGuider (#277), e SamplerCustomAdvanced (#261)
UNETLoader (#180) carrega o modelo FLUX.2-klein que realiza a edição real. Flux2Scheduler (#237) define o cronograma de remoção de ruído na largura e altura de trabalho para que a resolução latente permaneça consistente. BasicGuider (#277) combina o modelo com seu condicionamento montado e o passa para o amostrador. Selecione um amostrador em KSamplerSelect (#240) e mantenha uma semente fixa em RandomNoise (#256) para reproduzir resultados ao iterar. SamplerCustomAdvanced (#261) então gera o latente do rosto trocado em um único caminho sem mascaramento manual.
Decodificar e revisar com VAEDecode (#251), PreviewImage (#457), e Image Comparer (rgthree) (#452)
VAEDecode (#251) transforma o latente final em pixels. Use PreviewImage (#457) para verificar rapidamente a identidade, continuidade do tom de pele e bordas da linha do cabelo. Compare o antes e depois com Image Comparer (rgthree) (#452) para confirmar que roupa, pose e fundo permanecem intactos. Se necessário, refine seu prompt e execute novamente para ajustar a expressão ou o estilo.
Escalar e salvar com SeedVR2VideoUpscaler (#326) e SaveImage (#467)
O escalonador melhora os detalhes e suaviza pequenas emendas enquanto respeita a identidade editada. Mantenha a correção de cores consistente entre as execuções para evitar mudanças no tom de pele. Quando satisfeito, SaveImage (#467) grava o resultado final com um prefixo de arquivo claro para que os lotes permaneçam organizados. O escalonador é opcional se você já trabalha em alta resolução.
Nós principais no fluxo de trabalho Comfyui Flux Klein Face Swap
DWPreprocessor (#267)
Função: detecta sinais de corpo e rosto que estabilizam o alinhamento. Aumente a resolução se os rostos forem pequenos no quadro. Ative a detecção de rosto e corpo juntos para retratos que incluam ombros ou mãos para manter a continuidade das proporções.
ReferenceLatent (#257)
Função: ancora o estilo e a cena da imagem base ao prompt para que a troca não se desvie. Se o ambiente ou a roupa estiverem mudando involuntariamente, ajuste o recorte da imagem base para que esta referência enfatize a região que você deseja preservar.
ReferenceLatent (#253)
Função: injeta a identidade do doador. Para uma transferência de identidade forte, use um retrato frontal nítido do doador com expressão neutra. Evite maquiagem pesada ou obstruções que possam ajustar características indesejadas.
ReferenceLatent (#269)
Função: aplica a geometria espacial da etapa de detecção para que o novo rosto se encaixe naturalmente na cabeça e pescoço. Use quando a pose ou o ângulo da cabeça forem importantes. Se você quiser mais liberdade na expressão, escolha uma imagem base com a expressão alvo em vez de enfraquecer essa restrição.
Flux2Scheduler (#237)
Função: define o caminho de remoção de ruído na sua resolução de trabalho. Mais etapas podem refinar texturas sutis, mas custam tempo. Mantenha a largura e a altura herdadas do pipeline para evitar incompatibilidades de aspecto com a entrada EmptyFlux2LatentImage.
SamplerCustomAdvanced (#261)
Função: realiza a remoção de ruído guiada usando sua escolha de amostrador e semente. Use uma semente consistente para comparações A/B e altere apenas uma coisa de cada vez, normalmente o prompt. Se os resultados parecerem exagerados, tente um amostrador menos agressivo ou reduza a remoção de ruído efetiva começando a partir de uma referência mais forte.
SeedVR2VideoUpscaler (#326)
Função: aprimoramento final e limpeza de bordas. Aumente moderadamente a resolução alvo para manter a identidade estável. Se as cores mudarem, ative a correção de cores e mantenha o ruído de entrada baixo para preservar a continuidade do tom de pele.
Extras opcionais
- Escolha fotos de entrada com tamanho e orientação de cabeça semelhantes para o Flux Klein Face Swap mais convincente.
- Mantenha os prompts curtos e literais. Mencione o que substituir, o que manter e quaisquer notas de estilo.
- Use uma semente fixa enquanto explora prompts, depois varie a semente para adicionar mudanças sutis de expressão.
- Se aparecer incompatibilidade de tom de pele, adicione uma frase como "combinar tom de pele e iluminação" ao prompt.
- Obtenha consentimento e siga as leis locais e licenças de modelo ao realizar qualquer troca de rosto.
Agradecimentos
Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos a @Ai Verse's Flux Klein Face Swap Source workflow por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e repositórios vinculados abaixo.
Recursos
- Flux Klein/Face Swap Source
- Docs / Release Notes: @Ai Verse's YouTube
Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.
