MOSS-Image Pose Control ComfyUI: 프롬프트 기반 포즈 전환 이미지 생성#
MOSS-Image Pose Control ComfyUI는 업로드된 참조 사진의 전신 포즈를 따르면서 주제, 의상 및 설정을 프롬프트를 통해 자유롭게 변경하여 새로운 사진처럼 사실적인 이미지를 생성합니다. DWPose로 깨끗한 골격을 추출하고, MOSS-Image SFT에 맞춰 조정된 가벼운 포즈 제어 편집 LoRA를 사용하여 무거운 ControlNet 체크포인트를 피합니다.
이 워크플로우는 예술적 방향, 마케팅 비주얼, 그리고 자연스럽게 읽혀야 하는 팔다리 배치를 요구하는 운동 또는 공연 장면에 이상적입니다. 테스트에서 펜싱 돌진, 발레 도약, 운동 점프, 바이올린 공연과 같은 복잡한 포즈를 설득력 있는 해부학적 구조와 명확한 실루엣으로 재현했습니다.
MOSS-Image Pose Control ComfyUI 워크플로우의 주요 모델#
- OpenMOSS-Team MOSS-Image-SFT. 텍스트 프롬프트를 해석하고 최종 이미지를 생성하는 기본 이미지 생성기; 포즈 제어 LoRA가 조정할 수 있는 백본 역할을 합니다. Model card
- MOSS-Image 포즈 제어 LoRA by thedeoxen. 독립적인 ControlNet이 필요 없이 MOSS-Image-SFT에 강력한 포즈 추종 동작을 주입하는 컴팩트한 편집 LoRA. Repository
- DWPose. 참조 이미지에서 신체, 얼굴 및 손 랜드마크를 추출하는 데 사용되는 고품질 키포인트 검출기; ComfyUI 전처리기는 ControlNet Auxiliary pack에서 가져옵니다. DWPose repo · ComfyUI node
MOSS-Image Pose Control ComfyUI 워크플로우 사용 방법#
그래프는 참조 이미지와 프롬프트에서 포즈가 일치하는 결과로의 명확한 경로를 따릅니다. 아래 단계는 가장 많이 상호작용할 주요 노드 그룹에 매핑됩니다.
참조 포즈 및 크기 조정#
LoadImage (#1)로 참조 사진을 로드합니다. pose control (#2) DWPose 전처리는 프레임 위에 깨끗한 골격을 추출하며, 표현력이 있는 샷을 위해 선택적으로 얼굴과 손 키포인트를 포함합니다. Control (#13) 미리보기를 사용하여 추출된 포즈가 올바르게 보이고 의도한 제스처를 완전히 캡처했는지 확인하십시오. GetImageSize (#7)는 참조 너비와 높이를 캔버스로 전달하여 생성이 자동으로 소스 프레이밍에 맞춰집니다.
MOSS-Image Edit로 프롬프트 조건 설정#
Text Encode MOSS-Image Edit (positive) (#8)에서 새로운 주제, 의상, 조명 및 환경을 설명합니다. "전신 시네마틱 사진"과 같은 일반적인 구문, 의상 세부사항 및 환경 신호가 잘 작동합니다. Text Encode MOSS-Image Edit (negative) (#9)를 사용하여 원하지 않는 결함 및 스타일을 제외하십시오. 두 인코더는 pose control에서 동일한 포즈 이미지를 받아 모델이 포즈 제약을 직접 조건화에 포함시킵니다.
기본 모델 및 포즈 제어 LoRA#
UNETLoader (#3)는 MOSS-Image-SFT 기본 모델을 로드합니다. pose control LoRA (#4)는 감지된 골격을 강력한 포즈 준수로 번역하기 위해 적용됩니다. 결과가 너무 경직되거나 너무 느슨하면 LoRA 강도를 조정하십시오: 높은 값은 몸을 참조 포즈에 더 가깝게 고정하고, 낮은 값은 구성을 여전히 편향시키면서 더 많은 자유를 허용합니다.
샘플링 및 디코드#
EmptyLatentImage (#10)은 참조 해상도에서 잠재 캔버스를 초기화합니다. KSampler (#11)는 조건화에서 이미지를 합성합니다; 샘플러, 스케줄러, 단계, 가이드, 시드 및 디노이즈는 속도, 충실도 및 변동성을 집합적으로 교환합니다. 훌륭한 결과를 재현하거나 동일한 포즈와 장면 의도를 유지하면서 새로운 변형을 위해 시드를 설정하십시오. VAEDecode (#12)는 잠재를 RGB로 변환하며, 최종 이미지는 Result (#14)에 나타납니다.
MOSS-Image Pose Control ComfyUI 워크플로우의 주요 노드#
pose control (#2)#
이것은 신체, 얼굴 및 손을 찾고 가이드로 사용되는 포즈 맵을 렌더링하는 DWPose 전처리기입니다. 제스처나 표현이 중요한 경우 얼굴과 손을 활성화하세요; 멀리 있거나 빠른 동작 샷의 경우 제어를 단순화하기 위해 비활성화하세요. 골격의 일부가 잘린 것처럼 보이면 참조를 확대하거나 다시 자르세요. 높은 전처리 해상도는 팔다리 충실도를 높이지만 계산량도 증가합니다; 목표 출력 크기에 맞춰 균형을 맞추세요.
Text Encode MOSS-Image Edit (positive) (#8)#
창의적 개요와 포즈 이미지를 MOSS-Image-SFT가 샘플링 중 따르는 조건 벡터로 인코딩합니다. 구체적이고 카메라 인식적인 프롬프트를 작성하세요; 샷 유형, 의상, 소재 및 조명을 언급하세요. 이미지 입력은 신체 배열을 고정합니다; 텍스트는 신원, 의상 및 환경을 지배합니다. 세밀한 질감이 흐릿하면 명사와 소재를 강화하세요; 과도하게 제약된 느낌이 들면 이미지 영향력을 줄이세요.
pose control LoRA (#4)#
생성에 추출된 골격을 편향시키는 MOSS-Image 포즈 제어 LoRA를 적용합니다. 정확한 팔다리 배치를 위해 강도를 높이거나, 전체 제스처를 유지하면서 모델이 자세를 약간 재해석할 수 있도록 강도를 낮추세요. LoRA 강도 변경과 함께 소규모 프롬프트 조정을 결합하여 의도한 실루엣을 유지하면서 스타일을 개선하세요.
KSampler (#11)#
조건화를 픽셀로 전환하는 확산 단계를 주도합니다. 프롬프트 조정을 탐색할 때 재현 가능한 시드를 사용하여 포즈와 구성이 비교 가능하게 유지하세요. 테스트된 기본값은 30단계, CFG 4, Euler/간단한 샘플링, 디노이즈 1.0입니다. 참조 포즈와 프롬프트를 고정한 상태에서 변형을 위해 시드를 변경하세요; 기준 결과를 비교한 후에만 다른 샘플링 매개변수를 조정하세요.
선택적 추가 기능#
- 명확한 팔다리 분리를 가진 전체 인물 참조를 목표로 하세요; 복잡한 배경이나 심한 모션 블러는 DWPose를 방해할 수 있습니다.
- 참조와 원하는 출력 사이의 주제 규모를 비슷하게 유지하세요; 캔버스는 크기를 자동으로 맞추지만 극단적인 규모 변화는 정확성을 감소시킵니다.
- 손이나 악기가 중요한 경우(예: 바이올린 공연),
pose control에서 얼굴과 손을 활성화하여 손끝과 그립을 캡처하세요. - 발레 도약이나 점프와 같은 운동 장면에서는 프롬프트에 동작 신호(먼지, 모션 트레일, 바람)를 추가하여 팔다리 배치를 변경하지 않고 자세를 강화하세요.
- 동일한 포즈를 유지하면서 시드만 변경하여 일관된 변형을 생성하세요; 텍스트에서 의상, 시간대 또는 위치를 전환하세요.
감사의 말#
이 워크플로우는 다음 작업 및 리소스를 구현하고 구축합니다. 우리는 MOSS-Image 포즈 제어 LoRA를 위한 thedeoxen, MOSS-Image-SFT 기본 모델을 위한 OpenMOSS-Team, DWPose 전처리 노드를 위한 Fannovel16의 기여와 유지보수에 감사드립니다. 권위 있는 세부사항은 아래 링크된 원본 문서 및 리포지토리를 참조하십시오.
리소스#
- thedeoxen/MOSS-Image-pose-controlnet
- Hugging Face: thedeoxen/MOSS-Image-pose-controlnet
- OpenMOSS-Team/MOSS-Image-SFT
- Hugging Face: OpenMOSS-Team/MOSS-Image-SFT
- Fannovel16/comfyui_controlnet_aux (DWPose 전처리 노드)
참고: 참조된 모델, 데이터셋 및 코드의 사용은 작성자 및 관리자가 제공한 각각의 라이선스 및 조건에 따릅니다.