Die OmniGen-ComfyUI-Knoten und der zugehörige Arbeitsablauf wurden vollständig von AIFSH und saftle entwickelt. Wir geben AIFSH und saftle alle gebührenden Anerkennungen für diese innovative Arbeit. Auf der RunComfy-Plattform präsentieren wir lediglich die Beiträge von AIFSH und saftle an die Gemeinschaft. Es ist wichtig zu beachten, dass es derzeit keine formelle Verbindung oder Partnerschaft zwischen RunComfy und AIFSH und saftle gibt. Wir schätzen die Arbeit von AIFSH und saftle sehr!
Der ComfyUI OmniGen-Arbeitsablauf ermöglicht es Ihnen, ein Foto zu manipulieren, um die Kleidung des Motivs, den Hintergrund, Clothes Virtual Try On, Selfie mit Prominenten, Elemente hinzuzufügen oder zu entfernen und vieles mehr zu ändern. Sie können bis zu 3 Referenzbilder hinzufügen, um Ihre gewünschten Ergebnisse zu erzielen.
OmniGen
OmniGen ist ein vielseitiges, einheitliches Bildgenerierungsmodell, das entwickelt wurde, um vielfältige visuelle Darstellungen aus multimodalen Eingaben mit Einfachheit und Flexibilität zu erstellen. Anders als traditionelle Modelle eliminiert es die Notwendigkeit für zusätzliche Module wie ControlNet oder Vorverarbeitungsschritte wie Pose-Schätzung, wodurch direkte Ausgaben durch textbasierte Anweisungen ermöglicht werden. Inspiriert von GPTs nahtlosem Ansatz zur Textgenerierung, befähigt OmniGen Benutzer, es mit minimalem Aufwand für jede kreative oder spezialisierte Aufgabe feinabzustimmen. Sein innovatives Framework macht die Bildgenerierung zugänglicher und fördert grenzenlose Möglichkeiten für visuelle Kreativität. OmniGen ist ein Schritt nach vorne in der universellen Bildgenerierung und inspiriert die nächste Welle transformatorischer KI-Tools.
1.1 Wie verwendet man den OmniGen-Arbeitsablauf?
In diesem Arbeitsablauf sind die linken grünen Knoten die Eingänge für Referenzbilder und Auflösungen. Die mittleren pinken und lila Knoten sind der OmniGen-Umsampler und der OmniGen-Modelllader und der rechte blaue ist der Bildspeicherknoten.
- Laden Sie Ihre Referenzbilder hoch.
- Geben Sie Ihre Auflösung und Eingaben ein
- Klicken Sie auf Warteschlange
Es ist keine Einrichtung erforderlich, Rendern so einfach wie das.
1.2 Referenzeingangsbilder laden
- Laden Sie 1, 2 oder bis zu 3 Referenzbilder hoch, Elemente wie Kleidung, Personen, Prominente, Tiere usw.
- Diese Bilder werden auch in Eingaben mit dem Auslösewort "image_1", "image_2" und "image_3" verwendet.
1.3 Auflösung
- In diesem Knoten setzen Sie Ihre Auflösung für Ihr Ausgabebild.
- Bei höherer Bildauflösung (über 1k) wird mehr Vram verbraucht und es können auch doppelte Figuren oder Motive auftreten.
- Sie können die batch_size und den seed im Sampler ändern, um Variationen zu generieren.
1.4 OmniGen Sampler und Eingaben
- Eingabe: Fügen Sie Ihre Eingaben basierend auf Ihren Referenzbildern hinzu. Geben Sie Eingabebilder als "image_1", "image_2" und "image_3" an.
- Beispiel: Die Person in image_1 trägt eine Jacke aus image_2.
num_inferene_step:Dies setzt die Abtastschritte für OmniGen, verwenden Sie einen Wert um 25-35 für gute Ergebnisseimg_guidance_scale:Dies setzt die Gewichtung/Stärke für das/die Referenzbild(er).max_input_image_size:Dies begrenzt die Auflösungen der Eingaben.
1.5 OmniGen Modelle
Modelle werden von diesem Shitao's Hugging Face Repo in Ihrem comfyui/model/OmniGen-Ordner manuell vom runcomfy-Server heruntergeladen. Es kann bis zu 3-5 Minuten dauern, um eine lokale Kopie auf Ihrem Gerät zu erstellen.
Sie können hier andere OmniGen-Modelle hochladen, wenn sie veröffentlicht werden.
OmniGen definiert die Bildgenerierung neu, indem es einen einheitlichen, flexiblen Ansatz bietet, der Arbeitsabläufe vereinfacht und die Notwendigkeit zusätzlicher Werkzeuge oder Vorverarbeitung beseitigt. Seine einfache Feinabstimmung und multimodalen Fähigkeiten eröffnen neue Möglichkeiten für kreative und spezialisierte Aufgaben. OmniGen bereitet den Weg für eine zugänglichere und innovativere KI-gesteuerte visuelle Generation in der Zukunft.
