ByteDance USO: ComfyUI를 위한 통합 스타일 및 주제 생성 워크플로우#
이 워크플로우는 ComfyUI에 ByteDance USO를 도입하여 정체성을 유지하는 캐릭터와 정확한 스타일 전환을 한 곳에서 원하는 창작자를 위한 것입니다. FLUX.1-dev를 기반으로 하며, 주제 중심, 스타일 중심, 결합 생성 등을 지원하여 캐릭터를 새로운 장면에 배치하면서 유사성을 유지하고, 참조 이미지에서 스타일을 적용하거나 둘 다 동시에 수행할 수 있습니다.
유연하고 고품질의 스타일 제어와 강력한 주제 일관성이 필요할 때 ByteDance USO를 사용하십시오. 그래프에는 두 개의 상호 보완적인 경로가 포함되어 있습니다: 정체성 이미지를 조건으로 하는 주제+스타일 경로와 스타일 참조 유무에 상관없이 사용할 수 있는 프롬프트 중심 경로. 두 경로 모두 이미지를 독립적으로 저장하여 결과를 빠르게 비교할 수 있습니다.
Comfyui ByteDance USO 워크플로우의 주요 모델#
- FLUX.1-dev. 생성 품질과 속도를 지원하는 기본 확산 변환기. 이 워크플로우에서 ByteDance USO가 사용하는 샘플링 백본을 제공합니다. Model card
- ByteDance USO DiT LoRA v1. FLUX.1-dev에 통합 스타일 및 주제 기능을 주입하여 정체성 보존과 스타일 지침을 가능하게 하는 저랭크 어댑터. USO 1.0 리팩에 파일이 제공됩니다. Repository
- USO FLUX.1 Projector v1. 스타일 및 주제 단서가 모델을 효과적으로 조정할 수 있도록 CLIP-Vision 기능을 생성 백본에 연결하는 프로젝터 패치. USO 리팩에 포함되어 있습니다. Repository
- SigCLIP Vision (patch14, 384). 스타일 및 주제 참조 이미지에서 임베딩을 추출하는 비전 인코더, USO 모듈이 시각적 지침으로 사용합니다. Repository
Comfyui ByteDance USO 워크플로우 사용법#
그래프는 독립적으로 실행할 수 있는 두 가지 분기를 가지고 있습니다. 상위 분기는 정체성 이미지와 스타일 참조를 사용하고, 하위 분기는 프롬프트 중심이며 스타일 참조를 선택적으로 포함할 수 있습니다. 두 분기 중 하나 또는 둘 다에서 생성하십시오.
Step 1 – 모델 로드#
이 단계는 FLUX.1-dev, ByteDance USO LoRA, USO 프로젝터 및 SigCLIP 비전 인코더를 초기화합니다. 이를 통해 통합 스타일 및 주제 지침을 위한 기본 모델을 준비합니다. 두 분기 모두 동일한 세트를 로드하여 주제+스타일 또는 프롬프트 워크플로우를 모델을 재구성하지 않고 실행할 수 있습니다. 로드가 완료되면 모델 스트림은 USO의 참조 프로세서에 준비됩니다.
Step 2 – 주제/정체성 이미지#
캐릭터의 깨끗한 정체성 이미지를 제공합니다. 워크플로우는 이를 적절한 작업 크기로 스케일링하고 주요 얼굴 또는 캐릭터 특징을 보존하는 잠재로 인코딩합니다. 이 잠재는 프롬프트와 결합되어 ByteDance USO가 주제를 새로운 장면에 배치하면서 정체성을 유지할 수 있게 합니다. 스타일 전용 또는 텍스트 전용 생성을 원한다면 이 단계를 생략하십시오.
Step 3 – 스타일 참조#
팔레트, 재료 및 붓질을 안내하기 위해 하나 또는 두 개의 스타일 이미지를 추가하십시오. 각 이미지는 비전 모델로 인코딩되고 USO의 스타일 참조 노드를 통해 적용되어 로드된 모델에 스타일 영향을 레이어합니다. 두 참조를 사용할 때 순서가 중요하며, 두 번째 참조는 첫 번째 후에 적용됩니다. 이 그룹을 우회하여 순수 주제 중심 또는 텍스트 전용 패스를 실행할 수 있습니다.
프롬프트#
구성, 분위기 및 세부 사항에 대한 의도 중심의 프롬프트를 작성하십시오. 주제+스타일 분기에서는 프롬프트가 정체성 잠재 및 USO의 지침과 결합되어 텍스트, 주제 및 스타일이 같은 방향으로 작용합니다. 프롬프트 중심 분기에서는 텍스트 단독(선택적으로 스타일 참조와 함께)이 이미지를 조정합니다. 프롬프트를 구체적으로 유지하고 선택한 스타일과 모순되지 않도록 하십시오.
이미지 크기#
생성을 위한 목표 해상도를 선택하십시오. 선택한 크기는 특히 초상화 대 전신 촬영에서 구성의 타이트함과 세부 밀도에 영향을 줍니다. VRAM이 제한된 경우 작게 시작하고 나중에 크기를 조정하십시오. 두 분기 모두 간단한 이미지 크기 노드를 노출하여 사용 사례에 맞게 측면 및 충실도를 조정할 수 있습니다.
샘플링 및 출력#
각 분기는 표준 샘플러로 샘플링하고 RGB로 디코딩하여 자체 출력에 저장합니다. 일반적으로 실행 당 두 개의 이미지를 얻습니다: 하나는 스타일이 적용된 주제 결과, 다른 하나는 프롬프트 중심 결과입니다. 프롬프트를 조정하거나 참조를 교체하여 반복하십시오; 대안을 탐색하거나 반복 가능성을 위해 시드를 고정하십시오.
Comfyui ByteDance USO 워크플로우의 주요 노드#
USOStyleReference (#56)#
USO 프로젝터 및 CLIP-Vision 기능을 사용하여 현재 모델 스트림에 스타일 이미지를 적용합니다. 강력하고 일관된 외관을 위해 하나의 참조를 사용하거나 두 개를 연결하여 미묘한 혼합을 만드십시오; 두 번째 참조는 첫 번째를 정제합니다. 스타일이 너무 지배적이면 단일, 더 깨끗한 참조를 시도하거나 내용을 단순화하십시오.
ReferenceLatent (#44)#
인코딩된 주제 잠재를 조건 경로에 주입하여 ByteDance USO가 정체성을 보존합니다. 캐릭터의 얼굴이나 특징을 명확하게 보여주는 정체성 사진에 가장 잘 작동합니다. 정체성이 흐려지면 더 완전한 참조를 제공하거나 상충하는 스타일 단서를 줄이십시오.
FluxKontextMultiReferenceLatentMethod (#41)#
FLUX 컨텍스트 경로 내에서 여러 참조 신호를 결합합니다. 주제와 프롬프트 컨텍스트가 샘플링 전에 균형을 이루는 곳입니다. 결과가 지나치게 제약되면 참조를 완화하고, 벗어나면 주제 이미지를 강화하거나 프롬프트를 단순화하십시오.
FluxGuidance (#35)#
참조 신호에 비해 텍스트 지침의 강도를 제어합니다. 낮은 값은 주제/스타일이 주도하도록 하고, 높은 값은 프롬프트를 더 강하게 적용합니다. 프롬프트가 부적합한 경우(지침을 높이십시오) 또는 스타일/주제가 덮어씌워지는 경우(지침을 낮추십시오) 조정하십시오.
ImageScaleToMaxDimension (#109)#
안정적인 특징 추출을 위해 정체성 이미지를 준비합니다. 더 작은 최대 크기는 더 넓은 구성을 선호하고, 더 큰 크기는 참조가 타이트한 초상화일 때 정체성 단서를 더 명확하게 제공합니다. 주제 참조가 전신인지 헤드샷인지에 따라 조정하십시오.
EasyCache (#95)#
변경 사항이 미미할 때 중간 상태를 재사용하여 추론 속도를 향상시킵니다. 프롬프트 수정 및 빠른 반복에 좋지만 미세 세부 사항이 약간 감소할 수 있습니다. 최종, 최고 품질의 렌더링을 위해 비활성화하십시오.
KSampler (#31)#
확산 단계를 실행하고 시드 및 샘플러 선택을 통해 확률성을 제어합니다. 더 많은 세부 사항을 위해 단계를 늘리거나, 참조를 변경하면서 외관을 재현하려면 시드를 고정하십시오. 텍스처가 시끄러워 보이면 다른 샘플러를 시도하거나 스타일 지침을 더 강하게 하여 단계를 줄이십시오.
선택적 추가 기능#
- ByteDance USO 정체성 작업의 경우, 중립적이고 고르게 조명이 비치는 주제 이미지를 선호하십시오; 스타일 단서와 충돌할 수 있는 과도한 메이크업이나 극단적인 각도를 피하십시오.
- 두 개의 스타일 참조를 쌓을 때, 더 넓은 미학을 먼저 두고, 두 번째로 텍스처/세부 참조를 두어 정체성을 압도하지 않고 정제하십시오.
- 부정적 프롬프트를 최소화하십시오; 그래프는 의도적으로 중립적인 부정 경로를 사용하여 USO의 학습된 사전 및 참조가 깨끗하게 정렬되도록 합니다.
- 낮은 해상도 또는 캐싱을 켜고 빠르게 반복한 다음 캐싱을 끄고 선호하는 시드를 업스케일하여 최종본을 만드십시오.
- 주제 전용, 스타일 전용 및 결합 모드를 비교할 때 재현 가능한 시드를 사용하여 ByteDance USO가 각 신호를 어떻게 균형을 잡는지 이해하십시오.
감사의 글#
이 워크플로우는 다음 작업 및 리소스를 구현 및 기반으로 합니다. USO 모델에 대해 ByteDance에, ByteDance USO ComfyUI Native Workflow 튜토리얼에 대해 ComfyUI 팀에 감사드립니다. 권위 있는 세부 사항은 아래 링크된 원본 문서 및 저장소를 참조하십시오.
리소스#
- ByteDance/USO
- GitHub: bytedance/USO
- Hugging Face: bytedance-research/USO
- arXiv: 2508.18966
- Docs / Release Notes: ByteDance USO Documentation
참고: 참조된 모델, 데이터세트 및 코드의 사용은 해당 저자 및 유지 관리자가 제공한 라이센스 및 약관의 적용을 받습니다.
