此工作流程將 ByteDance USO 帶入 ComfyUI,適合希望在一個地方實現身份忠實角色和精確風格轉換的創作者。基於 FLUX.1‑dev,支持主題驅動、風格驅動和合併生成,因此您可以在保持相似性的同時將角色放入新場景,從參考圖像中應用風格,或同時執行這兩項操作。
當您需要強主題一致性和靈活、高品質的風格控制時,請使用 ByteDance USO。圖形包含兩個互補的分支:一個基於身份圖像的主題+風格路徑,和一個可選擇使用或不使用風格參考的提示驅動路徑。兩個路徑獨立保存圖像,因此您可以快速比較結果。
該圖形有兩個分支,可以獨立運行。上部分支使用身份圖像加風格參考;下部分支是提示驅動的,可以選擇性地包含風格參考。從任一分支或兩者生成。
此步驟初始化 FLUX.1‑dev、ByteDance USO LoRA、USO 投影儀和 SigCLIP 視覺編碼器。它為統一風格和主題指導準備基礎模型。兩個分支加載相同的設置,因此您可以在不重新配置模型的情況下運行主題+風格或提示工作流程。一旦加載,模型流就準備好迎接 USO 的參考處理器。
提供角色的清晰身份圖像。工作流程將其縮放到合適的工作尺寸,並將其編碼為一個保留關鍵面部或角色特徵的潛在變量。此潛在變量與您的提示融合,因此 ByteDance USO 可以在保持身份的同時將主題放入新場景。如果您只想要風格或文本生成,請忽略此步驟。
添加一個或兩個風格圖像以引導調色板、材料和筆觸。每個圖像都用視覺模型編碼,並通過 USO 的風格參考節點應用,這些節點將風格影響層疊到加載的模型上。使用兩個參考時,順序很重要,因為第二個參考在第一個之後應用。您可以跳過此組以運行純主題驅動或僅文本傳遞。
撰寫一個以意圖為驅動的提示,用於構圖、氛圍和細節。在主題+風格分支中,您的提示與身份潛在變量和 USO 的指導相結合,因此文本、主題和風格朝同一方向拉動。在提示驅動的分支中,僅文本(可選地加上風格參考)引導圖像。保持提示具體;避免與選擇的風格相矛盾。
選擇生成的目標解析度。選擇的大小影響構圖緊密度和細節密度,特別是對於肖像與全身照。如果 VRAM 有限,請從較小的開始,然後稍後放大。兩個分支都暴露了一個簡單的圖像尺寸節點,因此您可以根據使用案例調整長寬比和保真度。
每個分支都使用標準取樣器進行取樣,解碼為 RGB,並保存到其自己的輸出中。您通常會在每次運行中獲得兩個圖像:一個風格化的主題結果和一個提示驅動的結果。通過調整提示或更換參考進行迭代;重新取樣以探索替代方案或固定種子以實現可重複性。
USOStyleReference
(#56)使用 USO 投影儀和 CLIP‑Vision 功能將風格圖像應用於當前模型流。使用一個參考來獲得強烈、一致的外觀,或鏈接兩個以獲得微妙的混合;第二個參考細化第一個。如果風格過於主導,嘗試單一、清潔的參考或簡化其內容。
ReferenceLatent
(#44)將編碼的主題潛在變量注入條件路徑,以便 ByteDance USO 保持身份。最適合使用顯示角色面部或定義特徵的清晰身份照片。如果身份滑落,請提供更完整的參考或減少衝突的風格提示。
FluxKontextMultiReferenceLatentMethod
(#41)在 FLUX 上下文路徑中結合多個參考信號。這是主題和提示上下文在取樣之前平衡的地方。如果結果感覺過於約束,放鬆參考;如果它們漂移,加強主題圖像或簡化提示。
FluxGuidance
(#35)控制文本指導相對於參考信號的強度。較低的值讓主題/風格領先;較高的值更強烈地強調提示。當您看到提示不夠時調整(提高指導),或者風格/主題被覆蓋時(降低指導)。
ImageScaleToMaxDimension
(#109)準備身份圖像以進行穩定的特徵提取。較小的最大尺寸有利於更廣泛的構圖;較大的尺寸有助於當參考是緊密的肖像時,您需要更清晰的身份提示。根據您的主題參考是全身還是頭像進行調整。
EasyCache
(#95)通過在更改微小時重用中間狀態來加速推理。適合提示調整和快速迭代,但可能略微減少微觀細節。禁用它以獲得最終、最高質量的渲染。
KSampler
(#31)運行擴散步驟並通過種子和取樣器選擇控制隨機性。增加步驟以獲得更多細節,或鎖定種子以在更改參考時重現外觀。如果紋理看起來嘈雜,嘗試不同的取樣器或更少的步驟與更強的風格指導。
此工作流程實現並基於以下作品和資源構建。我們感謝 ByteDance 提供 USO 模型,以及 ComfyUI 團隊為 ByteDance USO ComfyUI Native Workflow 教程的貢獻和維護。欲了解權威詳情,請參閱下述鏈接的原始文檔和倉庫。
注意:使用所引用的模型、數據集和代碼需遵循其作者和維護者提供的各自許可和條款。
RunComfy 是首選的 ComfyUI 平台,提供 ComfyUI 在線 環境和服務,以及 ComfyUI 工作流程 具有驚豔的視覺效果。 RunComfy還提供 AI Playground, 幫助藝術家利用最新的AI工具創作出令人驚艷的藝術作品。