OmniGen2 | Text-zu-Bild & Bearbeitung

Was ist der OmniGen2 ComfyUI Workflow?

Der OmniGen2 ComfyUI-Workflow bringt die einheitliche multimodale Generierung in Ihre Hände, indem er Text-zu-Bild-Synthese und anweisungsbasierte Bildbearbeitung in einem einzigen, leistungsstarken Framework kombiniert. Stellen Sie sich vor, Sie haben einen kreativen KI-Assistenten, der nicht nur beeindruckende Bilder aus Ihren Textbeschreibungen generiert, sondern auch komplexe Bearbeitungsbefehle mit bemerkenswerter Präzision versteht und ausführt.

Dieser Workflow nutzt ein ausgeklügeltes 7B-Parameter-Modell, das auf der Qwen 2.5 VL Foundation basiert und eine einzigartige Dual-Path-Transformer-Architektur aufweist. Was dieses Modell besonders macht, ist sein entkoppeltes Design - es verwendet separate Pfade für Text- und Bildgenerierung, was es ihm ermöglicht, außergewöhnliches Sprachverständnis zu bewahren und gleichzeitig hochqualitative visuelle Ausgaben zu liefern, die Ihrer kreativen Vision treu bleiben.

Hauptmerkmale und Vorteile von OmniGen2

Duale Generierungsmodi: OmniGen2 erstellt neue Bilder aus Text oder bearbeitet bestehende mit natürlichen Sprachbefehlen über die intuitive Benutzeroberfläche.

Fortschrittliche Architektur: Das Dual-Path-Design von OmniGen2 trennt Text- und Bildverarbeitung für optimale Leistung.

Kompositorisches Verständnis: OmniGen2 verarbeitet komplexe Mehrfachelement-Prompts mit außergewöhnlicher Genauigkeit in jeder Generation.

Präzise Bildbearbeitung: Nehmen Sie gezielte Änderungen vor, während der Rest Ihres Bildes perfekt erhalten bleibt, mithilfe der fortschrittlichen Algorithmen von OmniGen2.

Multimodale Reflexion: OmniGen2 analysiert und verfeinert selbstständig Ausgaben für verbesserte Ergebnisse.

So verwenden Sie OmniGen2 in ComfyUI

OmniGen2 Text-zu-Bild-Workflow

Stellen Sie Ihre Bilddimensionen ein

• Verwenden Sie den EmptySD3LatentImage-Knoten, um die Ausgabengröße für OmniGen2 zu definieren:
  • Passen Sie Breite und Höhe basierend auf Ihren OmniGen2-Bedürfnissen an
  • Halten Sie batch_size auf 1 für die Generierung eines einzelnen Bildes

Erstellen Sie Ihren Text-Prompt

• In den CLIP Text Encode (Prompt)-Knoten für OmniGen2:
  • Schreiben Sie detaillierte, beschreibende Prompts im ersten Encoder
  • Lassen Sie den zweiten Encoder leer oder fügen Sie negative Prompts hinzu
  • OmniGen2 glänzt mit komplexen kompositorischen Beschreibungen

Generieren und speichern

• Drücken Sie Run, um Ihr OmniGen2-Bild zu erstellen
• Der VAE Decode wandelt Latents in das endgültige Bild um
• Save Image speichert Ihre OmniGen2-Erstellung automatisch im Ausgabeverzeichnis

OmniGen2 Bildbearbeitungs-Workflow

Laden Sie Ihr Quellbild hoch

• Verwenden Sie den Load Image-Knoten, um das Bild zu importieren, das Sie mit OmniGen2 bearbeiten möchten

Schreiben Sie Ihre Bearbeitungsanweisung

• Im CLIP Text Encode (Prompt)-Knoten für OmniGen2:
  • Beschreiben Sie klar und spezifisch, welche Änderungen Sie vornehmen möchten
  • Beispiele: "Verwandle die Haarfarbe des Charakters in natürliches Silberweiß", "Füge Fliegerbrille hinzu"
  • Natürliche Sprachbefehle funktionieren perfekt mit OmniGen2

Konfigurieren Sie die OmniGen2-Bearbeitungsparameter

• Scale Image to Total Pixels-Knoten:
  • upscale_method: area (erhält die Qualität beim Ändern der Größe)
  • megapixels: 2.00 (steuert die Gesamtanzahl der Pixel)
    • Dies passt Ihr Bild auf etwa 2 Millionen Pixel insgesamt an
    • Beispiel: würde ein 1920x1080-Bild skalieren, um ~2MP zu erhalten
    • Höhere Werte = mehr Details, aber langsamere Verarbeitung
    • Niedrigere Werte = schnellere Generierung, aber weniger Details
    • 2.00 ist optimal für Bearbeitungsfähigkeiten
    
• VAE Encode wandelt Ihr skaliertes Bild in den latenten Raum um

Optional: Zweiten Bildeingang aktivieren

• Die lila (umgangenen) Knoten ermöglichen Mehrbildoperationen:
  • Drücken Sie Strg+B, um den Bypass-Modus umzuschalten
  • Laden Sie ein zweites Bild für Stilübertragungen oder Objekteinfügungen hoch
  • Perfekt für Aufgaben wie "Kombiniere Elemente aus Bild 1 und Bild 2"
  

Generieren Sie das bearbeitete Ergebnis

• Führen Sie den OmniGen2-Workflow aus, um Ihre Bearbeitungen anzuwenden
• Ergebnisse behalten hohe Treue, während sie Anweisungen präzise befolgen

Danksagungen

Dieser ComfyUI-Workflow integriert das bahnbrechende OmniGen2-Modell, das von Forschern der Beijing Academy of Artificial Intelligence entwickelt wurde. Besonderer Dank gilt dem Team für die Schaffung dieses einheitlichen multimodalen Generierungssystems, das die Grenzen dessen, was mit einem 7B-Parameter-Modell möglich ist, erweitert. Die Architektur stellt einen bedeutenden Fortschritt in der Balance zwischen Modelleffizienz und Generierungsqualität dar.

Weitere Ressourcen über OmniGen2

OmniGen2 wird unter Open-Source-Lizenz veröffentlicht und ist sowohl für Forschungs- als auch kommerzielle Anwendungen frei verfügbar. Für weitere Informationen über OmniGen2:

• GitHub Repository - Offizielle Implementierung und Modelldetails:
• Projektseite - Umfassender Überblick mit Demos und technischen Einblicken:
• ComfyUI-Beispiele - Schritt-für-Schritt-Anleitungen und zusätzliche Workflows: