Omni Kontext | 원활한 장면 통합

ComfyUI를 위한 Omni Kontext 이미지 구성 워크플로우

이 워크플로우는 Omni Kontext를 사용하여 강력한 정체성과 컨텍스트 보존을 통해 새로운 장면에 주제를 추가할 수 있게 해줍니다. Flux Omni Kontext 모델 패치를 참조 기반 컨디셔닝과 결합하여 제공된 캐릭터 또는 제품이 프롬프트를 존중하면서 타겟 배경에 자연스럽게 혼합되도록 합니다. 두 개의 병렬 경로가 포함되어 있습니다: 최대 충실도를 위한 표준 Flux 경로와 양자화된 가중치를 사용하여 더 빠르고 메모리 친화적인 샘플링을 제공하는 Nunchaku 경로입니다.

일관된 브랜드 자산, 제품 교체 또는 캐릭터 배치를 원하는 창작자에게 특히 유용합니다. 깨끗한 주제 이미지, 장면 이미지 및 짧은 프롬프트를 제공하면 그래프가 컨텍스트 추출, 가이드, LoRA 스타일링 및 디코딩을 처리하여 일관된 합성을 생성합니다.

Comfyui Omni Kontext 워크플로우의 주요 모델

• FLUX.1 Dev – 생성에 사용되는 확산 변환기 백본입니다. 강력한 프롬프트 준수와 현대적인 샘플러 동작을 제공하여 컨텍스트 인식 구성을 위한 적합합니다.
• Flux 텍스트 인코더 (CLIP-L 및 T5-XXL) – 텍스트를 토큰화하고 FLUX에 적합한 컨디셔닝으로 임베딩하는 페어 인코더입니다. clip_l.safetensors 및 t5xxl 변형을 Flux에 최적화하여 로드합니다.
• Omni Kontext 노드 – 모델과 컨디셔닝을 패치하여 주제 잠재에서 최종 가이드 스트림으로 컨텍스트를 주입하는 커스텀 노드입니다.
• Nunchaku Flux DiT – FP16/BF16 및 INT4 양자화된 FLUX 가중치를 지원하여 속도와 VRAM을 줄이면서도 품질을 유지하는 선택적 로더입니다.
• Lumina VAE – 주제 및 장면 이미지를 인코딩하고 최종 출력을 디코딩하는 강력한 VAE입니다. Lumina Image 2.0 repackaged의 ae.safetensors를 참조합니다.

Comfyui Omni Kontext 워크플로우 사용법

그래프에는 두 개의 미러 경로가 있습니다: 상단 경로는 표준 Flux Omni Kontext 경로이며, 하단 경로는 Nunchaku 경로입니다. 두 경로 모두 주제 이미지와 장면 이미지를 받아 컨텍스트 인식 컨디셔닝을 구성하고 Flux를 사용하여 합성을 생성합니다.

입력

두 개의 이미지를 제공합니다: 깨끗한 주제 샷과 타겟 장면. 주제는 잘 조명되고 중앙에 위치하며 방해물이 없어야 정체성 전이가 최대화됩니다. 장면은 의도한 카메라 각도와 조명을 대략적으로 맞춰야 합니다. "Character or Subject" 및 "Scene"으로 레이블이 지정된 노드에 로드한 후, 프롬프트를 반복하는 동안 일관성을 유지하세요.

모델 로드

표준 경로는 UNETLoader (#37)로 Flux를 로드하고 OminiKontextModelPatch (#194)를 사용하여 Omni Kontext 모델 패치를 적용합니다. Nunchaku 경로는 NunchakuFluxDiTLoader (#217)로 양자화된 Flux 모델을 로드하고 NunchakuOminiKontextPatch (#216)를 적용합니다. 두 경로 모두 DualCLIPLoader (#38)를 통해 동일한 텍스트 인코더와 VAELoader (#39 또는 #204)를 통해 동일한 VAE를 공유합니다. LoRA 스타일이나 정체성을 사용할 계획이라면, 샘플링 전에 모델 가중치에 영향을 미치도록 이 섹션에 연결된 상태로 유지하세요.

프롬프트

시스템에 주제에 대해 수행할 작업을 지시하는 간결한 프롬프트를 작성하세요. 상단 경로에서는 CLIP Text Encode (Positive Prompt) (#6)가 삽입 또는 스타일링을 주도하며, 하단 경로에서는 CLIP Text Encode (Positive Prompt) (#210)가 동일한 역할을 합니다. "캐릭터를 이미지에 추가" 또는 "그녀는 이 재킷을 입고 있다"와 같은 프롬프트가 잘 작동합니다. 지나치게 긴 설명은 피하고 변경하거나 유지하려는 필수 사항에 집중하세요.

컨디셔닝

각 경로는 VAEEncode로 주제와 장면을 잠재로 인코딩한 다음, ReferenceLatent 및 OminiKontextConditioning (#193 상단 경로, #215 하단 경로)을 통해 텍스트와 함께 잠재를 융합합니다. 이는 참조에서 의미 있는 정체성과 공간적 단서를 컨디셔닝 스트림으로 주입하는 Omni Kontext 단계입니다. 그 후, FluxGuidance (#35 상단, #207 하단)가 모델이 합성 컨디셔닝을 얼마나 엄격하게 따르는지를 설정합니다. 부정적 프롬프트는 ConditioningZeroOut (#135, #202)로 단순화되어 피해야 할 것보다 원하는 것에 집중할 수 있습니다.

주제에 따라 Loras 선택

주제가 LoRA의 이점을 받는다면 샘플링 전에 연결하세요. 표준 경로는 LoraLoaderModelOnly (#201 및 동반자)를 사용하고 Nunchaku 경로는 NunchakuFluxLoraLoader (#219, #220, #221)를 사용합니다. 주제 LoRAs는 정체성 또는 의상 일관성을 위해 사용하고 스타일 LoRAs는 아트 방향을 위해 사용합니다. 장면의 현실감을 유지하면서 주제 특성을 강화하기 위해 강도를 적절히 유지하세요.

Nunchaku

빠른 반복을 원하거나 VRAM이 제한된 경우 Nunchaku 그룹을 사용하세요. NunchakuFluxDiTLoader (#217)는 메모리를 크게 절감하면서 "Flux Omni Kontext" 동작을 유지하는 INT4 설정을 지원합니다. 동일한 프롬프트, 입력 및 LoRAs를 사용할 수 있으며, KSampler (#213)로 샘플링하고 VAEDecode (#208)로 디코딩하여 결과를 저장할 수 있습니다.

Comfyui Omni Kontext 워크플로우의 주요 노드

OminiKontextModelPatch (#194)

샘플링 중 참조 컨텍스트가 존중되도록 Flux 백본에 Omni Kontext 모델 수정을 적용합니다. 주제 정체성과 공간적 단서가 생성에 반영되도록 하고 싶을 때 활성화된 상태로 유지하세요. 캐릭터 또는 제품 LoRAs를 사용할 때 패치와 LoRA가 경쟁하지 않도록 중간 정도의 LoRA 강도와 함께 사용하세요.

OminiKontextConditioning (#193, #215)

주제 및 장면의 참조 잠재와 텍스트 컨디셔닝을 병합합니다. 정체성이 흐려지면 주제 참조에 대한 강조를 높이고, 장면이 무시되고 있다면 약간 줄입니다. 이 노드는 Omni Kontext 구성의 핵심이며 입력이 깨끗하면 일반적으로 소폭의 조정만 필요합니다.

FluxGuidance (#35, #207)

모델이 합성 컨디셔닝을 얼마나 엄격하게 따르는지를 제어합니다. 값이 높을수록 프롬프트와 참조에 더 가깝게 밀어주지만 자발성이 감소합니다. 과도하게 구워진 텍스처나 장면과의 조화가 손실되면 여기에서 약간 줄여보세요.

NunchakuFluxDiTLoader (#217)

속도와 메모리를 줄이기 위해 양자화된 Flux DiT 변형을 로드합니다. 빠른 보기에는 INT4, 최종 품질에는 FP16 또는 BF16을 선택하세요. Nunchaku 경로에서 LoRA 지원이 필요할 때 NunchakuFluxLoraLoader와 결합하세요.

선택적 추가 기능

• VAE 인코딩 중 정체성 캡처를 개선하기 위해 깨끗한 배경으로 주제를 타이트하게 자르세요.
• 프롬프트는 짧고 구체적으로 유지하세요. "제품을 테이블에 추가"와 같은 스타일 목록보다 선호합니다.
• 주제가 붙여넣기처럼 보이면 LoRA 강도를 약간 낮추고 가이드를 약간 줄여 장면이 조명과 관점을 재확립하도록 하세요.
• 빠른 라운드에서는 Nunchaku 경로에서 반복한 후 최종 렌더링을 위해 표준 Flux Omni Kontext 경로로 돌아가세요.
• 잘 작동한 몇 가지 중간 시드를 저장하여 LoRA 강도 및 가이드를 세밀하게 조정하는 동안 다시 사용할 수 있도록 하세요.

감사

• Saquib764의 Omni Kontext. 이 워크플로우는 ComfyUI에서 Flux Omni Kontext 구성을 가능하게 하기 위해 프로젝트의 개념과 구성 요소를 채택합니다.