FLUX IP-Adapter | ImageGen mit Stil-Anpassung

FLUX ist ein neues Bilderzeugungsmodell, entwickelt von Black Forest Labs. Das FLUX-IP-Adapter-Checkpoint für das FLUX.1-dev-Modell wird vom XLabs AI-Team bereitgestellt, das auch den ComfyUI FLUX-IP-Adapter-Workflow erstellt hat. Für weitere Details besuchen Sie bitte flux-ip-adapter. Alle Anerkennung geht an deren Beitrag.

Über FLUX

Die FLUX-Modelle sind auf RunComfy vorinstalliert, benannt flux/flux-schnell und flux/flux-dev.

• Beim Start einer RunComfy Medium-Sized Machine: Wählen Sie das Checkpoint flux-schnell, fp8 und Clip t5_xxl_fp8, um Speicherprobleme zu vermeiden.
• Beim Start einer RunComfy Large-Sized oder Above Machine: Wählen Sie ein großes Checkpoint flux-dev, default und ein hohes Clip t5_xxl_fp16.

Für weitere Details besuchen Sie: ComfyUI FLUX | A New Art Image Generation

🌟Der folgende FLUX-IP-Adapter-Workflow ist speziell für das FLUX.1 [dev] Modell konzipiert.🌟

Über FLUX-IP-Adapter

FLUX-IP-Adapter ermöglicht es Benutzern, Bilder zu erzeugen, indem vortrainierte Modelle an spezifische Bildstile oder Konzepte angepasst werden. Das FLUX-IP-Adapter-Modell ist sowohl auf 512x512 als auch auf 1024x1024 Auflösungen trainiert, was es vielseitig für verschiedene Bildgenerierungsaufgaben macht.

Wie man den ComfyUI FLUX-IP-Adapter-Workflow verwendet

Um den FLUX-IP-Adapter in ComfyUI zu verwenden, befolgen Sie diese Schritte:

1. Laden Sie das FLUX-IP-Adapter-Modell

• Verwenden Sie den "Flux Load IPAdapter"-Knoten im ComfyUI-Workflow.
• Wählen Sie die entsprechende FLUX-IP-Adapter-Modelldatei (z.B. "flux-ip-adapter.safetensors").
• Wählen Sie die entsprechende Clip Vision (z.B. "clip_vision_l.safetensors").
• Wählen Sie das gewünschte Gerät zum Ausführen des Modells (z.B. CPU oder GPU).

2. Wenden Sie den FLUX-IP-Adapter auf das Basismodell an

• Verbinden Sie den Ausgang des "Flux Load IPAdapter"-Knotens mit dem "Apply Flux IPAdapter"-Knoten.
• Laden Sie das Basismodell mithilfe des "UNETLoader"-Knotens und verbinden Sie dessen Ausgang mit dem "Apply Flux IPAdapter"-Knoten.
• Stellen Sie die gewünschte Mischstärke (z.B. 0.92) im "Apply Flux IPAdapter"-Knoten ein, um den Einfluss des IP-Adapters auf das Basismodell zu steuern.

3. Geben Sie Eingabebild und Textkonditionierung an

• Laden Sie ein Eingabebild mithilfe des "LoadImage"-Knotens und verbinden Sie dessen Ausgang mit dem "ImageScale"-Knoten.
• Skalieren Sie das Eingabebild auf die gewünschte Auflösung mithilfe des "ImageScale"-Knotens.
• Verbinden Sie den Ausgang des "ImageScale"-Knotens mit dem "Apply Flux IPAdapter"-Knoten.
• Verwenden Sie den "CLIPTextEncodeFlux"-Knoten, um die Textkonditionierung für den Bildgenerierungsprozess bereitzustellen. Geben Sie den gewünschten Textprompt ein und verbinden Sie dessen Ausgang mit dem "XlabsSampler"-Knoten.

4. Konfigurieren Sie die Sampling-Einstellungen und erzeugen Sie

• Stellen Sie im "XlabsSampler"-Knoten die folgenden Parameter ein:
  • Sampling Steps: Die Anzahl der Schritte für den Sampling-Prozess (z.B. 50).
  • Sampler: Die zu verwendende Sampling-Methode (z.B. "fixed").
  • CFG Scale: Die Classifier-Free Guidance-Skala zur Steuerung des Einflusses der Textkonditionierung (z.B. 3.5).
  • Seed: Den Zufallssamen für die Reproduzierbarkeit (auf "-1" für zufälligen Samen setzen).

License: FLUX-IP-Adapter-Modellgewichte fallen unter die FLUX.1 [dev] Nicht-kommerzielle Lizenz

Lizenz

Lizenzdateien anzeigen:

flux/model_licenses/LICENSE-FLUX1-dev

flux/model_licenses/LICENSE-FLUX1-schnell

Das FLUX.1 [dev] Modell ist von Black Forest Labs. Inc. unter der FLUX.1 [dev] Nicht-kommerziellen Lizenz lizenziert. Copyright Black Forest Labs. Inc.

IN KEINEM FALL HAFTET BLACK FOREST LABS, INC. FÜR IRGENDEINE FORDERUNG, SCHÄDEN ODER ANDERE HAFTUNGEN, OB IN EINER VERTRAGSVERLETZUNG, TORT ODER ANDERWEITIG, DIE SICH AUS DER VERWENDUNG DIESES MODELLS ERGEBEN.