이 워크플로우는 ComfyUI에 ByteDance USO를 도입하여 정체성을 유지하는 캐릭터와 정확한 스타일 전환을 한 곳에서 원하는 창작자를 위한 것입니다. FLUX.1-dev를 기반으로 하며, 주제 중심, 스타일 중심, 결합 생성 등을 지원하여 캐릭터를 새로운 장면에 배치하면서 유사성을 유지하고, 참조 이미지에서 스타일을 적용하거나 둘 다 동시에 수행할 수 있습니다.
유연하고 고품질의 스타일 제어와 강력한 주제 일관성이 필요할 때 ByteDance USO를 사용하십시오. 그래프에는 두 개의 상호 보완적인 경로가 포함되어 있습니다: 정체성 이미지를 조건으로 하는 주제+스타일 경로와 스타일 참조 유무에 상관없이 사용할 수 있는 프롬프트 중심 경로. 두 경로 모두 이미지를 독립적으로 저장하여 결과를 빠르게 비교할 수 있습니다.
그래프는 독립적으로 실행할 수 있는 두 가지 분기를 가지고 있습니다. 상위 분기는 정체성 이미지와 스타일 참조를 사용하고, 하위 분기는 프롬프트 중심이며 스타일 참조를 선택적으로 포함할 수 있습니다. 두 분기 중 하나 또는 둘 다에서 생성하십시오.
이 단계는 FLUX.1-dev, ByteDance USO LoRA, USO 프로젝터 및 SigCLIP 비전 인코더를 초기화합니다. 이를 통해 통합 스타일 및 주제 지침을 위한 기본 모델을 준비합니다. 두 분기 모두 동일한 세트를 로드하여 주제+스타일 또는 프롬프트 워크플로우를 모델을 재구성하지 않고 실행할 수 있습니다. 로드가 완료되면 모델 스트림은 USO의 참조 프로세서에 준비됩니다.
캐릭터의 깨끗한 정체성 이미지를 제공합니다. 워크플로우는 이를 적절한 작업 크기로 스케일링하고 주요 얼굴 또는 캐릭터 특징을 보존하는 잠재로 인코딩합니다. 이 잠재는 프롬프트와 결합되어 ByteDance USO가 주제를 새로운 장면에 배치하면서 정체성을 유지할 수 있게 합니다. 스타일 전용 또는 텍스트 전용 생성을 원한다면 이 단계를 생략하십시오.
팔레트, 재료 및 붓질을 안내하기 위해 하나 또는 두 개의 스타일 이미지를 추가하십시오. 각 이미지는 비전 모델로 인코딩되고 USO의 스타일 참조 노드를 통해 적용되어 로드된 모델에 스타일 영향을 레이어합니다. 두 참조를 사용할 때 순서가 중요하며, 두 번째 참조는 첫 번째 후에 적용됩니다. 이 그룹을 우회하여 순수 주제 중심 또는 텍스트 전용 패스를 실행할 수 있습니다.
구성, 분위기 및 세부 사항에 대한 의도 중심의 프롬프트를 작성하십시오. 주제+스타일 분기에서는 프롬프트가 정체성 잠재 및 USO의 지침과 결합되어 텍스트, 주제 및 스타일이 같은 방향으로 작용합니다. 프롬프트 중심 분기에서는 텍스트 단독(선택적으로 스타일 참조와 함께)이 이미지를 조정합니다. 프롬프트를 구체적으로 유지하고 선택한 스타일과 모순되지 않도록 하십시오.
생성을 위한 목표 해상도를 선택하십시오. 선택한 크기는 특히 초상화 대 전신 촬영에서 구성의 타이트함과 세부 밀도에 영향을 줍니다. VRAM이 제한된 경우 작게 시작하고 나중에 크기를 조정하십시오. 두 분기 모두 간단한 이미지 크기 노드를 노출하여 사용 사례에 맞게 측면 및 충실도를 조정할 수 있습니다.
각 분기는 표준 샘플러로 샘플링하고 RGB로 디코딩하여 자체 출력에 저장합니다. 일반적으로 실행 당 두 개의 이미지를 얻습니다: 하나는 스타일이 적용된 주제 결과, 다른 하나는 프롬프트 중심 결과입니다. 프롬프트를 조정하거나 참조를 교체하여 반복하십시오; 대안을 탐색하거나 반복 가능성을 위해 시드를 고정하십시오.
USOStyleReference (#56)USO 프로젝터 및 CLIP-Vision 기능을 사용하여 현재 모델 스트림에 스타일 이미지를 적용합니다. 강력하고 일관된 외관을 위해 하나의 참조를 사용하거나 두 개를 연결하여 미묘한 혼합을 만드십시오; 두 번째 참조는 첫 번째를 정제합니다. 스타일이 너무 지배적이면 단일, 더 깨끗한 참조를 시도하거나 내용을 단순화하십시오.
ReferenceLatent (#44)인코딩된 주제 잠재를 조건 경로에 주입하여 ByteDance USO가 정체성을 보존합니다. 캐릭터의 얼굴이나 특징을 명확하게 보여주는 정체성 사진에 가장 잘 작동합니다. 정체성이 흐려지면 더 완전한 참조를 제공하거나 상충하는 스타일 단서를 줄이십시오.
FluxKontextMultiReferenceLatentMethod (#41)FLUX 컨텍스트 경로 내에서 여러 참조 신호를 결합합니다. 주제와 프롬프트 컨텍스트가 샘플링 전에 균형을 이루는 곳입니다. 결과가 지나치게 제약되면 참조를 완화하고, 벗어나면 주제 이미지를 강화하거나 프롬프트를 단순화하십시오.
FluxGuidance (#35)참조 신호에 비해 텍스트 지침의 강도를 제어합니다. 낮은 값은 주제/스타일이 주도하도록 하고, 높은 값은 프롬프트를 더 강하게 적용합니다. 프롬프트가 부적합한 경우(지침을 높이십시오) 또는 스타일/주제가 덮어씌워지는 경우(지침을 낮추십시오) 조정하십시오.
ImageScaleToMaxDimension (#109)안정적인 특징 추출을 위해 정체성 이미지를 준비합니다. 더 작은 최대 크기는 더 넓은 구성을 선호하고, 더 큰 크기는 참조가 타이트한 초상화일 때 정체성 단서를 더 명확하게 제공합니다. 주제 참조가 전신인지 헤드샷인지에 따라 조정하십시오.
EasyCache (#95)변경 사항이 미미할 때 중간 상태를 재사용하여 추론 속도를 향상시킵니다. 프롬프트 수정 및 빠른 반복에 좋지만 미세 세부 사항이 약간 감소할 수 있습니다. 최종, 최고 품질의 렌더링을 위해 비활성화하십시오.
KSampler (#31)확산 단계를 실행하고 시드 및 샘플러 선택을 통해 확률성을 제어합니다. 더 많은 세부 사항을 위해 단계를 늘리거나, 참조를 변경하면서 외관을 재현하려면 시드를 고정하십시오. 텍스처가 시끄러워 보이면 다른 샘플러를 시도하거나 스타일 지침을 더 강하게 하여 단계를 줄이십시오.
이 워크플로우는 다음 작업 및 리소스를 구현 및 기반으로 합니다. USO 모델에 대해 ByteDance에, ByteDance USO ComfyUI Native Workflow 튜토리얼에 대해 ComfyUI 팀에 감사드립니다. 권위 있는 세부 사항은 아래 링크된 원본 문서 및 저장소를 참조하십시오.
참고: 참조된 모델, 데이터세트 및 코드의 사용은 해당 저자 및 유지 관리자가 제공한 라이센스 및 약관의 적용을 받습니다.
RunComfy는 최고의 ComfyUI 플랫폼으로서 ComfyUI 온라인 환경과 서비스를 제공하며 ComfyUI 워크플로우 멋진 비주얼을 제공합니다. RunComfy는 또한 제공합니다 AI Playground, 예술가들이 최신 AI 도구를 활용하여 놀라운 예술을 창조할 수 있도록 지원합니다.
