MOSS-Image Pose Control ComfyUI: Geração de Imagens Transferidas por Pose através de Prompt#
O MOSS-Image Pose Control ComfyUI cria novas imagens fotorrealísticas que seguem a pose de corpo inteiro de uma foto de referência carregada enquanto você altera livremente o assunto, vestuário e configuração através de um prompt. Ele extrai um esqueleto limpo com DWPose e orienta a geração usando um LoRA de edição leve de controle de pose ajustado para MOSS-Image SFT, evitando checkpoints pesados do ControlNet.
Este fluxo de trabalho é ideal para direção de arte, visuais de marketing e cenas atléticas ou performáticas onde o posicionamento dos membros deve parecer natural. Nos testes, reproduziu poses complexas como um avanço de esgrima, salto de balé, salto atlético e performance de violino com anatomia convincente e silhuetas claras.
Modelos principais no fluxo de trabalho MOSS-Image Pose Control ComfyUI#
- OpenMOSS-Team MOSS-Image-SFT. O gerador de imagens base que interpreta seu prompt de texto e produz a imagem final; ele serve como a espinha dorsal que o LoRA de controle de pose modula. Model card
- MOSS-Image pose-control LoRA por thedeoxen. Um LoRA de edição compacto que injeta um forte comportamento de seguimento de pose no MOSS-Image-SFT sem requerer um ControlNet autônomo. Repository
- DWPose. Um detector de pontos-chave de alta qualidade usado aqui para extrair marcos do corpo, rosto e mãos da imagem de referência; o pré-processador ComfyUI vem do pacote Auxiliary do ControlNet. DWPose repo · ComfyUI node
Como usar o fluxo de trabalho MOSS-Image Pose Control ComfyUI#
O gráfico segue um caminho claro da sua imagem de referência e prompt para um resultado compatível com a pose. As etapas abaixo mapeiam para grupos-chave de nós com os quais você mais interagirá.
Pose de referência e dimensionamento#
Carregue sua foto de referência com LoadImage (#1). O pré-processador pose control (#2) DWPose extrai um esqueleto limpo sobre o quadro, incluindo pontos-chave opcionais de rosto e mãos para capturas expressivas. Use a pré-visualização Control (#13) para verificar se a pose extraída parece correta e captura totalmente o gesto pretendido. GetImageSize (#7) passa a largura e altura de referência para a tela para que a geração corresponda automaticamente ao enquadramento de sua fonte.
Condicionamento de prompt com MOSS-Image Edit#
Descreva o novo assunto, vestuário, iluminação e ambiente em Text Encode MOSS-Image Edit (positive) (#8). Frases típicas como “fotografia cinematográfica de corpo inteiro”, detalhes de vestuário e dicas de ambiente funcionam bem. Use Text Encode MOSS-Image Edit (negative) (#9) para excluir defeitos e estilos que você não deseja. Ambos os codificadores recebem a mesma imagem de pose de pose control para que o modelo incorpore a restrição de pose diretamente no condicionamento enquanto ainda obedece ao seu texto.
Modelo base e pose-control LoRA#
UNETLoader (#3) carrega o modelo base MOSS-Image-SFT. O pose control LoRA (#4) é aplicado por cima para traduzir o esqueleto detectado em uma forte aderência à pose durante a geração. Se o resultado estiver muito rígido ou muito solto, ajuste a força do LoRA: valores mais altos travam o corpo mais próximo à pose de referência, valores mais baixos permitem mais liberdade enquanto ainda tendem à composição.
Amostragem e decodificação#
EmptyLatentImage (#10) inicializa a tela latente na resolução de referência. KSampler (#11) sintetiza a imagem a partir do seu condicionamento; o sampler, scheduler, etapas, orientação, semente e desvio coletivamente trocam velocidade, fidelidade e variabilidade. Defina uma semente fixa para reproduzir um ótimo resultado ou mude-a para novas variações que mantenham a mesma pose e intenção de cena. VAEDecode (#12) converte o latente para RGB, e a imagem final aparece em Result (#14).
Nós principais no fluxo de trabalho MOSS-Image Pose Control ComfyUI#
pose control (#2)#
Este é o pré-processador DWPose que encontra corpo, rosto e mãos e renderiza um mapa de pose usado para orientação. Ative rosto e mãos quando gestos ou expressões importarem; desative-os para fotos distantes ou de ação rápida para simplificar o controle. Se partes do esqueleto parecerem cortadas, amplie ou recorte novamente a referência para que a figura completa esteja dentro do quadro. Resolução de pré-processamento mais alta aguça a fidelidade dos membros, mas aumenta o processamento; equilibre isso com seu tamanho de saída alvo.
Text Encode MOSS-Image Edit (positive) (#8)#
Codifica seu briefing criativo e a imagem de pose em um vetor de condicionamento que o MOSS-Image-SFT segue durante a amostragem. Escreva prompts concretos e atentos à câmera que mencionem tipo de captura, guarda-roupa, materiais e iluminação. A entrada de imagem ancora a disposição do corpo; o texto governa identidade, vestuário e ambiente. Se texturas finas estiverem se dispersando, fortaleça substantivos descritivos e materiais; se parecer muito restrito, reduza a influência da imagem.
pose control LoRA (#4)#
Aplica o LoRA de controle de pose do MOSS-Image que inclina a geração para o esqueleto extraído. Aumente sua força para um posicionamento preciso dos membros ou diminua para permitir que o modelo reinterprete ligeiramente a postura enquanto mantém o gesto geral. Combine mudanças na força do LoRA com refinamentos menores no prompt para preservar sua silhueta pretendida enquanto melhora o estilo.
KSampler (#11)#
Conduz as etapas de difusão que transformam o condicionamento em pixels. Use uma semente reprodutível ao explorar ajustes de prompt para que pose e composição permaneçam comparáveis. Os padrões testados são 30 etapas, CFG 4, amostragem Euler/simples e desvio 1.0. Mude a semente para variações enquanto mantém a pose de referência e o prompt fixos; ajuste outros parâmetros de amostragem apenas após comparar um resultado de referência.
Extras opcionais#
- Mire em uma referência de corpo inteiro com separação clara dos membros; fundos ocupados ou desfoque de movimento pesado podem prejudicar o DWPose.
- Mantenha a escala do sujeito semelhante entre a referência e a saída desejada; a tela auto-ajusta o tamanho, mas mudanças extremas de escala reduzem a precisão.
- Quando mãos ou instrumentos importarem (por exemplo, performance de violino), ative rosto e mãos em
pose controlpara capturar pontas dos dedos e pegada. - Para cenas atléticas como um salto de balé ou pulo, adicione dicas de ação no prompt (poeira, trilhas de movimento, vento) para realçar a pose sem alterar o posicionamento dos membros.
- Gere variações consistentes mudando apenas a semente; altere roupas, hora do dia ou localização no texto enquanto a pose do corpo permanece fixa.
Agradecimentos#
Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos thedeoxen pelo LoRA de controle de pose MOSS-Image, OpenMOSS-Team pelo modelo base MOSS-Image-SFT e Fannovel16 pelo nó pré-processador DWPose por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e os repositórios vinculados abaixo.
Recursos#
- thedeoxen/MOSS-Image-pose-controlnet
- Hugging Face: thedeoxen/MOSS-Image-pose-controlnet
- OpenMOSS-Team/MOSS-Image-SFT
- Hugging Face: OpenMOSS-Team/MOSS-Image-SFT
- Fannovel16/comfyui_controlnet_aux (DWPose preprocessor node)
Nota: O uso dos modelos, conjuntos de dados e códigos referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.
