Dieser Workflow bringt ByteDance USO zu ComfyUI für Kreative, die identitätsgetreue Charaktere und präzisen Stiltransfer an einem Ort wünschen. Basierend auf FLUX.1-dev unterstützt es themengetriebene, stilgetriebene und kombinierte Generierung, sodass Sie einen Charakter in neue Szenen einfügen können, während die Ähnlichkeit gewahrt bleibt, Stile aus Referenzbildern anwenden oder beides gleichzeitig tun können.
Verwenden Sie ByteDance USO, wenn Sie starke Themenkohärenz mit flexibler, hochwertiger Stilkontrolle benötigen. Der Graph enthält zwei komplementäre Zweige: einen Themen+Stil-Pfad, der auf einem Identitätsbild basiert, und einen promptgesteuerten Pfad, der mit oder ohne Stilreferenzen verwendet werden kann. Beide Pfade speichern Bilder unabhängig, sodass Sie Ergebnisse schnell vergleichen können.
Der Graph hat zwei Zweige, die unabhängig laufen können. Der obere Zweig verwendet ein Identitätsbild plus Stilreferenzen; der untere Zweig ist promptgesteuert und kann optional Stilreferenzen enthalten. Generieren Sie aus einem der Zweige oder beiden.
Dieser Schritt initialisiert FLUX.1-dev, das ByteDance USO LoRA, den USO-Projektor und den SigCLIP-Vision-Encoder. Es bereitet das Basismodell für eine einheitliche Stil- und Themenführung vor. Beide Zweige laden dasselbe Set, sodass Sie Themen+Stil- oder Prompt-Workflows ausführen können, ohne Modelle neu zu konfigurieren. Sobald geladen, ist der Modellstrom bereit für USOs Referenzprozessoren.
Stellen Sie ein sauberes Identitätsbild Ihres Charakters bereit. Der Workflow skaliert es auf eine geeignete Arbeitsgröße und kodiert es in ein Latent, das wichtige Gesichts- oder Charaktermerkmale bewahrt. Dieses Latent wird mit Ihrem Prompt verschmolzen, sodass ByteDance USO das Thema in neue Szenen einfügen kann und dabei die Identität bewahrt. Lassen Sie diesen Schritt aus, wenn Sie nur Stil- oder Textgenerierung wünschen.
Fügen Sie ein oder zwei Stilbilder hinzu, um Palette, Materialien und Pinselstriche zu leiten. Jedes Bild wird mit dem Vision-Modell kodiert und durch USOs Stilreferenzknoten angewendet, die Stileinflüsse auf das geladene Modell schichten. Die Reihenfolge ist wichtig, wenn Sie zwei Referenzen verwenden, da die zweite Referenz nach der ersten angewendet wird. Sie können diese Gruppe umgehen, um einen reinen themengetriebenen oder textbasierten Durchlauf zu starten.
Schreiben Sie einen absichtsgetriebenen Prompt für Komposition, Stimmung und Details. Im Themen+Stil-Zweig wird Ihr Prompt mit dem Identitätslatent und USOs Führung kombiniert, sodass Text, Thema und Stil in die gleiche Richtung ziehen. Im promptgesteuerten Zweig lenkt der Text allein (optional mit Stilreferenzen) das Bild. Halten Sie Prompts spezifisch; vermeiden Sie Widersprüche zum gewählten Stil.
Wählen Sie die Zielauflösung für die Generierung. Die gewählte Größe beeinflusst die Komposition und Detaildichte, insbesondere bei Porträts im Vergleich zu Ganzkörperaufnahmen. Wenn VRAM begrenzt ist, beginnen Sie kleiner und skalieren Sie später hoch. Beide Zweige bieten einen einfachen Bildgrößenknoten, sodass Sie Aspekt und Detailtreue an Ihren Anwendungsfall anpassen können.
Jeder Zweig sampelt mit einem Standardsampler, dekodiert zu RGB und speichert in seiner eigenen Ausgabe. Sie erhalten typischerweise zwei Bilder pro Lauf: ein gestyltes Themenresultat und ein promptgesteuertes Ergebnis. Iterieren Sie, indem Sie den Prompt anpassen oder Referenzen austauschen; resampeln Sie, um Alternativen zu erkunden oder fixieren Sie den Seed für Wiederholbarkeit.
USOStyleReference (#56)Wendet ein Stilbild auf den aktuellen Modellstrom an, indem der USO-Projektor und CLIP-Vision-Funktionen verwendet werden. Verwenden Sie eine Referenz für einen starken, kohärenten Look oder verketten Sie zwei für nuancierte Mischungen; die zweite Referenz verfeinert die erste. Wenn der Stil zu stark dominiert, versuchen Sie eine einzelne, sauberere Referenz oder vereinfachen Sie deren Inhalt.
ReferenceLatent (#44)Injiziert das kodierte Themenlatente in den Konditionierungspfad, sodass ByteDance USO die Identität bewahrt. Funktioniert am besten mit übersichtlichen Identitätsfotos, die das Gesicht oder die charakteristischen Merkmale der Figur klar zeigen. Wenn die Identität abgleitet, geben Sie eine vollständigere Referenz an oder reduzieren Sie widersprüchliche Stilhinweise.
FluxKontextMultiReferenceLatentMethod (#41)Kombiniert mehrere Referenzsignale im FLUX-Kontextpfad. Hier werden Thema und Prompt-Kontext vor dem Sampling ausbalanciert. Wenn Ergebnisse übermäßig eingeschränkt wirken, lockern Sie die Referenzen; wenn sie abdriften, verstärken Sie die Themenbilder oder vereinfachen Sie den Prompt.
FluxGuidance (#35)Steuert die Stärke der Textführung relativ zu den Referenzsignalen. Niedrigere Werte lassen Thema/Stil führen; höhere Werte erzwingen den Prompt stärker. Passen Sie an, wenn Sie entweder Promptunteranpassung (Führung erhöhen) oder Stil/Thema überschrieben sehen (Führung senken).
ImageScaleToMaxDimension (#109)Bereitet das Identitätsbild für stabile Merkmalextraktion vor. Kleinere Maximalgrößen begünstigen breitere Kompositionen; größere Größen helfen, wenn die Referenz ein enges Porträt ist und Sie klarere Identitätshinweise benötigen. Passen Sie basierend darauf an, ob Ihre Themenreferenz Ganzkörper oder ein Kopfporträt ist.
EasyCache (#95)Beschleunigt die Inferenz, indem Zwischenzustände bei kleinen Änderungen wiederverwendet werden. Ideal für Promptanpassungen und schnelle Iterationen, kann aber Mikrodetails leicht reduzieren. Deaktivieren Sie es für endgültige, qualitativ hochwertigste Renderings.
KSampler (#31)Führt die Diffusionsschritte aus und steuert die Stochastizität über Seed und Samplerwahl. Erhöhen Sie die Schritte für mehr Details oder sperren Sie den Seed, um einen Look zu reproduzieren, während Sie Referenzen ändern. Wenn Texturen rauschig aussehen, versuchen Sie einen anderen Sampler oder weniger Schritte mit stärkerer Stilführung.
Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken ByteDance für das USO-Modell und dem ComfyUI-Team für das ByteDance USO ComfyUI Native Workflow-Tutorial für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die originale Dokumentation und die unten verlinkten Repositories.
Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen der Autoren und Verwalter.
RunComfy ist die führende ComfyUI Plattform, die ComfyUI online Umgebung und Services bietet, zusammen mit ComfyUI Workflows mit atemberaubenden Visualisierungen. RunComfy bietet auch AI-Spielplatz, Künstlern ermöglichen, die neuesten AI-Tools zu nutzen, um unglaubliche Kunst zu schaffen.
