ComfyUI를 위한 Omni Kontext 이미지 구성 워크플로우#
이 워크플로우는 Omni Kontext를 사용하여 강력한 정체성과 컨텍스트 보존을 통해 새로운 장면에 주제를 추가할 수 있게 해줍니다. Flux Omni Kontext 모델 패치를 참조 기반 컨디셔닝과 결합하여 제공된 캐릭터 또는 제품이 프롬프트를 존중하면서 타겟 배경에 자연스럽게 혼합되도록 합니다. 두 개의 병렬 경로가 포함되어 있습니다: 최대 충실도를 위한 표준 Flux 경로와 양자화된 가중치를 사용하여 더 빠르고 메모리 친화적인 샘플링을 제공하는 Nunchaku 경로입니다.
일관된 브랜드 자산, 제품 교체 또는 캐릭터 배치를 원하는 창작자에게 특히 유용합니다. 깨끗한 주제 이미지, 장면 이미지 및 짧은 프롬프트를 제공하면 그래프가 컨텍스트 추출, 가이드, LoRA 스타일링 및 디코딩을 처리하여 일관된 합성을 생성합니다.
Comfyui Omni Kontext 워크플로우의 주요 모델#
- FLUX.1 Dev – 생성에 사용되는 확산 변환기 백본입니다. 강력한 프롬프트 준수와 현대적인 샘플러 동작을 제공하여 컨텍스트 인식 구성을 위한 적합합니다. Model card
- Flux 텍스트 인코더 (CLIP-L 및 T5-XXL) – 텍스트를 토큰화하고 FLUX에 적합한 컨디셔닝으로 임베딩하는 페어 인코더입니다.
clip_l.safetensors및t5xxl변형을 Flux에 최적화하여 로드합니다. Encoders - Omni Kontext 노드 – 모델과 컨디셔닝을 패치하여 주제 잠재에서 최종 가이드 스트림으로 컨텍스트를 주입하는 커스텀 노드입니다. Repository
- Nunchaku Flux DiT – FP16/BF16 및 INT4 양자화된 FLUX 가중치를 지원하여 속도와 VRAM을 줄이면서도 품질을 유지하는 선택적 로더입니다. Repository
- Lumina VAE – 주제 및 장면 이미지를 인코딩하고 최종 출력을 디코딩하는 강력한 VAE입니다. Lumina Image 2.0 repackaged의
ae.safetensors를 참조합니다. VAE
Comfyui Omni Kontext 워크플로우 사용법#
그래프에는 두 개의 미러 경로가 있습니다: 상단 경로는 표준 Flux Omni Kontext 경로이며, 하단 경로는 Nunchaku 경로입니다. 두 경로 모두 주제 이미지와 장면 이미지를 받아 컨텍스트 인식 컨디셔닝을 구성하고 Flux를 사용하여 합성을 생성합니다.
입력#
두 개의 이미지를 제공합니다: 깨끗한 주제 샷과 타겟 장면. 주제는 잘 조명되고 중앙에 위치하며 방해물이 없어야 정체성 전이가 최대화됩니다. 장면은 의도한 카메라 각도와 조명을 대략적으로 맞춰야 합니다. "Character or Subject" 및 "Scene"으로 레이블이 지정된 노드에 로드한 후, 프롬프트를 반복하는 동안 일관성을 유지하세요.
모델 로드#
표준 경로는 UNETLoader (#37)로 Flux를 로드하고 OminiKontextModelPatch (#194)를 사용하여 Omni Kontext 모델 패치를 적용합니다. Nunchaku 경로는 NunchakuFluxDiTLoader (#217)로 양자화된 Flux 모델을 로드하고 NunchakuOminiKontextPatch (#216)를 적용합니다. 두 경로 모두 DualCLIPLoader (#38)를 통해 동일한 텍스트 인코더와 VAELoader (#39 또는 #204)를 통해 동일한 VAE를 공유합니다. LoRA 스타일이나 정체성을 사용할 계획이라면, 샘플링 전에 모델 가중치에 영향을 미치도록 이 섹션에 연결된 상태로 유지하세요.
프롬프트#
시스템에 주제에 대해 수행할 작업을 지시하는 간결한 프롬프트를 작성하세요. 상단 경로에서는 CLIP Text Encode (Positive Prompt) (#6)가 삽입 또는 스타일링을 주도하며, 하단 경로에서는 CLIP Text Encode (Positive Prompt) (#210)가 동일한 역할을 합니다. "캐릭터를 이미지에 추가" 또는 "그녀는 이 재킷을 입고 있다"와 같은 프롬프트가 잘 작동합니다. 지나치게 긴 설명은 피하고 변경하거나 유지하려는 필수 사항에 집중하세요.
컨디셔닝#
각 경로는 VAEEncode로 주제와 장면을 잠재로 인코딩한 다음, ReferenceLatent 및 OminiKontextConditioning (#193 상단 경로, #215 하단 경로)을 통해 텍스트와 함께 잠재를 융합합니다. 이는 참조에서 의미 있는 정체성과 공간적 단서를 컨디셔닝 스트림으로 주입하는 Omni Kontext 단계입니다. 그 후, FluxGuidance (#35 상단, #207 하단)가 모델이 합성 컨디셔닝을 얼마나 엄격하게 따르는지를 설정합니다. 부정적 프롬프트는 ConditioningZeroOut (#135, #202)로 단순화되어 피해야 할 것보다 원하는 것에 집중할 수 있습니다.
주제에 따라 Loras 선택#
주제가 LoRA의 이점을 받는다면 샘플링 전에 연결하세요. 표준 경로는 LoraLoaderModelOnly (#201 및 동반자)를 사용하고 Nunchaku 경로는 NunchakuFluxLoraLoader (#219, #220, #221)를 사용합니다. 주제 LoRAs는 정체성 또는 의상 일관성을 위해 사용하고 스타일 LoRAs는 아트 방향을 위해 사용합니다. 장면의 현실감을 유지하면서 주제 특성을 강화하기 위해 강도를 적절히 유지하세요.
Nunchaku#
빠른 반복을 원하거나 VRAM이 제한된 경우 Nunchaku 그룹을 사용하세요. NunchakuFluxDiTLoader (#217)는 메모리를 크게 절감하면서 "Flux Omni Kontext" 동작을 유지하는 INT4 설정을 지원합니다. 동일한 프롬프트, 입력 및 LoRAs를 사용할 수 있으며, KSampler (#213)로 샘플링하고 VAEDecode (#208)로 디코딩하여 결과를 저장할 수 있습니다.
Comfyui Omni Kontext 워크플로우의 주요 노드#
OminiKontextModelPatch (#194)#
샘플링 중 참조 컨텍스트가 존중되도록 Flux 백본에 Omni Kontext 모델 수정을 적용합니다. 주제 정체성과 공간적 단서가 생성에 반영되도록 하고 싶을 때 활성화된 상태로 유지하세요. 캐릭터 또는 제품 LoRAs를 사용할 때 패치와 LoRA가 경쟁하지 않도록 중간 정도의 LoRA 강도와 함께 사용하세요.
OminiKontextConditioning (#193, #215)#
주제 및 장면의 참조 잠재와 텍스트 컨디셔닝을 병합합니다. 정체성이 흐려지면 주제 참조에 대한 강조를 높이고, 장면이 무시되고 있다면 약간 줄입니다. 이 노드는 Omni Kontext 구성의 핵심이며 입력이 깨끗하면 일반적으로 소폭의 조정만 필요합니다.
FluxGuidance (#35, #207)#
모델이 합성 컨디셔닝을 얼마나 엄격하게 따르는지를 제어합니다. 값이 높을수록 프롬프트와 참조에 더 가깝게 밀어주지만 자발성이 감소합니다. 과도하게 구워진 텍스처나 장면과의 조화가 손실되면 여기에서 약간 줄여보세요.
NunchakuFluxDiTLoader (#217)#
속도와 메모리를 줄이기 위해 양자화된 Flux DiT 변형을 로드합니다. 빠른 보기에는 INT4, 최종 품질에는 FP16 또는 BF16을 선택하세요. Nunchaku 경로에서 LoRA 지원이 필요할 때 NunchakuFluxLoraLoader와 결합하세요.
선택적 추가 기능#
- VAE 인코딩 중 정체성 캡처를 개선하기 위해 깨끗한 배경으로 주제를 타이트하게 자르세요.
- 프롬프트는 짧고 구체적으로 유지하세요. "제품을 테이블에 추가"와 같은 스타일 목록보다 선호합니다.
- 주제가 붙여넣기처럼 보이면 LoRA 강도를 약간 낮추고 가이드를 약간 줄여 장면이 조명과 관점을 재확립하도록 하세요.
- 빠른 라운드에서는 Nunchaku 경로에서 반복한 후 최종 렌더링을 위해 표준 Flux Omni Kontext 경로로 돌아가세요.
- 잘 작동한 몇 가지 중간 시드를 저장하여 LoRA 강도 및 가이드를 세밀하게 조정하는 동안 다시 사용할 수 있도록 하세요.
감사#
- Saquib764의 Omni Kontext. 이 워크플로우는 ComfyUI에서 Flux Omni Kontext 구성을 가능하게 하기 위해 프로젝트의 개념과 구성 요소를 채택합니다. Repository
