ICEdit | Schnelle KI-Bildbearbeitung mit Nunchaku

1. Was ist der ComfyUI ICEdit Workflow?#

Der ComfyUI ICEdit-Nunchaku-Workflow integriert das innovative In-Context Edit (ICEdit) Framework mit Nunchaku-Optimierung für ultraschnelle Bildbearbeitung. Entwickelt von Forschern der Zhejiang University und Harvard University, ermöglicht ICEdit hochwertige instruktive Bildbearbeitung mit bemerkenswerter Effizienz. Basierend auf dem FLUX-Diffusionstransformator und den In-Context-Learning-Prinzipien von ICEdit bewahrt dieser Workflow Identitätsmerkmale, während flexible Modifikationen basierend auf natürlichen Sprachbefehlen ermöglicht werden. Der ICEdit-Workflow stellt eine optimale Lösung für die KI-Bildbearbeitung dar und liefert präzise Ergebnisse mit minimalen GPU-Ressourcen.

2. Vorteile von ComfyUI ICEdit:#

• Außergewöhnliche Effizienz: ICEdit erreicht qualitativ hochwertige Bearbeitungen mit nur 0,5% der Trainingsdaten und 1% der Parameter, die von vorherigen Methoden benötigt werden.
• Ultraschnelle Leistung: Die ICEdit-Nunchaku-Integration ermöglicht hochgeschwindigkeitsbearbeitung selbst auf Systemen mit nur 4GB VRAM.
• Identitätserhaltung: ICEdit bewahrt die Identität des Subjekts selbst bei signifikanten Stil- oder Attributänderungen.
• Natürliche Sprachbefehle: Bearbeiten Sie Bilder mit einfachen Texteingaben durch das intuitive Anweisungssystem von ICEdit.
• Mehrstufige Bearbeitung: ICEdit unterstützt sequenzielle Bearbeitungsvorgänge auf demselben Bild für komplexe Transformationen.
• Hochauflösende Ausgabe: Der ICEdit-Workflow umfasst drei verschiedene Hochskalierungsmethoden für hochwertige Ergebnisse.

3. Verwendung von ICEdit zur Bildbearbeitung#

Erste Schritte:

1. Bildeingabe:
   • Laden Sie Ihr Quellbild über den Hauptknoten Bild laden in der unteren linken Ecke des ICEdit-Workflows hoch
   • Dies ist der primäre Eingang für das Bild, das Sie mit ICEdit bearbeiten möchten
   • Der ICEdit-Workflow verarbeitet Ihr Bild automatisch auf die erforderlichen Abmessungen (512px Breite)
   • Für beste ICEdit-Ergebnisse verwenden Sie nach Möglichkeit quadratische Bilder, da nicht-quadratische Bilder während der Verarbeitung zentriert zugeschnitten werden können
   • Profi-Tipp: Für höhere ICEdit-Erfolgsraten klicken Sie mit der rechten Maustaste auf den Knoten Bild laden und wählen "Im MaskEditor öffnen", um manuell eine Maske um den Bereich zu erstellen, den Sie bearbeiten möchten
     
2. Verwendung des Mask Editors mit ICEdit (Optional, aber empfohlen):
   • Verwenden Sie im MaskEditor die Pinselwerkzeuge, um eine Maske um den spezifischen Bereich zu zeichnen, den Sie mit ICEdit ändern möchten
   • Dies hilft, die Aufmerksamkeit von ICEdit auf die relevanten Teile des Bildes zu lenken
   • Verwenden Sie verschiedene Pinsel-Einstellungen (Dicke, Deckkraft, Härte) für präzise Kontrolle
   • Klicken Sie auf "Speichern", wenn Sie fertig sind, um Ihre benutzerdefinierte Maske auf den ICEdit-Workflow anzuwenden
   • Dieser Schritt verbessert die Erfolgsraten von ICEdit für detaillierte oder spezifische Änderungen erheblich
3. Eingabe Ihrer ICEdit-Anweisungen:
   • Finden Sie den String-Eingabeknoten mit der roten Hervorhebung in der Mitte des ICEdit-Workflows
   • Geben Sie Ihre gewünschte ICEdit-Anweisung in dieses Feld ein
   • Für Stilübertragungen geben Sie einfach Anweisungen wie "Bild in Ghibli-Stil umwandeln" oder "In Anime-Illustration umwandeln und das Hemd soll rosa sein, die Haare braun" ein
   • Lassen Sie den anderen String-Knoten mit dem festen Präfix unverändert - dieser enthält den erforderlichen Kontext, der ICEdit korrekt funktionieren lässt
   • Der Workflow kombiniert Ihre Anweisung automatisch mit dem erforderlichen Präfix für optimale ICEdit-Verarbeitung
     
4. Ausführen des ICEdit-Workflows:
   • Nachdem Sie Ihr Bild hochgeladen und Ihre Bearbeitungsanweisung eingegeben haben, klicken Sie auf run, um die ICEdit-Verarbeitung zu starten
   • Der ICEdit-Workflow generiert das bearbeitete Bild durch mehrere Verarbeitungsstufen

4. Parameterreferenz für ICEdit#

ICEdit-Parameter-Einstellungen:

1. Nunchaku FLUX.1 LoRA Loader für ICEdit:
   • lora_strength: 1.00-1.18 (kann für die Intensität der ICEdit-Effekte angepasst werden, wobei 1.18 die besten Gesamtergebnisse liefert)
2. ICEdit KSamplerAdvanced-Einstellungen:
   • Erster KSampler: Standard 30 Schritte, euler Sampler, CFG 7
     • CFG anpassen: Höhere Werte (8-15) befolgen Anweisungen strenger, niedrigere Werte (3-5) erhöhen die Kreativität
     • Schritte anpassen: Mehr Schritte verbessern die Details, erhöhen jedoch die Verarbeitungszeit
   • Zweiter KSampler: Standard 25 Schritte für Hochskalierung mit beta Scheduler
   • Dritter KSampler: Standard 30 Schritte, kl_optimal Sampler zur Erhaltung von Gesichtsdetails und Textur
     • Diese Parameter können basierend auf Ihren spezifischen Bearbeitungsanforderungen angepasst werden
3. ICEdit Hochskalierungskonfiguration:
   • Der ICEdit-Workflow umfasst drei Hochskalierungsmethoden:
     • Modellbasierte Hochskalierung mit spezialisierten Modellen wie 2xNomosUni
     • ImageScaleBy zur Detailverbesserung mit lanczos Skalierung
     • KL-optimal Sampling für hochfidele ICEdit-Wiederherstellung (hilft, Gesichtszüge zu bewahren)
   • Wenn 4x Vergrößerungsmodelle verwendet werden, ziehen Sie in Betracht, den Skalierungsfaktor auf 0,5 zu ändern, um Artefakte in großen ICEdit-Ergebnissen zu vermeiden
4. FluxGuidance in ICEdit:
   • Der ICEdit-Workflow verfügt über mehrere FluxGuidance-Knoten in verschiedenen Abschnitten, die die Führungskraft steuern
   • Stilkonvertierung FluxGuidance: Steuert, wie genau die ICEdit-Stilübertragung Ihren Anweisungen folgt
   • Bildbearbeitung FluxGuidance: Auf der rechten Seite wird ein Wert von 4.0 angezeigt, der Qualität und ICEdit-Präzision ausbalanciert
   • Höhere Werte lassen ICEdit Anweisungen präziser folgen, können aber die Bildqualität beeinträchtigen
   • Niedrigere Werte bieten mehr kreative Freiheit, können aber zu weniger präzisen ICEdit-Ergebnissen führen
5. Redux-Integration mit ICEdit (Optional):
   • Der ICEdit-Workflow umfasst Redux-Stil-Feinabstimmungsmöglichkeiten, ist jedoch optional
   • Bei Verwendung von Redux für ICEdit-Stilübertragung können Sie zu get_condition1 wechseln, obwohl die Ergebnisse variieren können

5. Beispiel-ICEdit-Bearbeitungsaufgaben#

ICEdit glänzt bei einer Vielzahl von Bearbeitungsvorgängen, einschließlich:

• Stilübertragungen mit ICEdit: "Bild in Anime-Illustration umwandeln"
• Farbänderungen mit ICEdit: "Ändern Sie das blaue Hemd in grün"
• Kleidungsmodifikationen mit ICEdit: "Ändern Sie das blaue Hemd in Jeansjacke"
• Zubehörhinzufügung durch ICEdit: "Sonnenbrille hinzufügen", "Dieses Mädchen trägt eine weiße Uhr"
• Zubehörentfernung mit ICEdit: "Bild an der Wand entfernen"
• Hintergrundänderungen mit ICEdit: "Mädchen ist am Strand, bunter Wolken am Himmel"
• Objektmanipulation mit ICEdit: "Hand hält eine Durian"
• Text-/Wasserzeichen-Operationen mit ICEdit: "Fügen Sie ein blaues Wasserzeichen 'von mir' an der Wand hinzu", "Entfernen Sie den Text 'von aha'"
• Multielement-Bearbeitung durch ICEdit: "In Ghibli-Stil umwandeln"

6. Erweiterte Tipps für bessere ICEdit-Ergebnisse#

ICEdit-Prompterstellung:

• Seien Sie spezifisch und präzise in Ihren ICEdit-Anweisungen
• Fügen Sie bei ICEdit-Stilübertragungen Details hinzu, die Sie erhalten möchten
• Verwenden Sie klare beschreibende Sprache für beste ICEdit-Ergebnisse
• Seien Sie bei Hintergrundänderungen mit ICEdit spezifisch über die Platzierung

ICEdit-Optimierungstipps:

• Wenn Sie unbefriedigende ICEdit-Ergebnisse erhalten, versuchen Sie, den Seed-Wert zu ändern (dies ist entscheidend für den Erfolg)
• Für komplexe ICEdit-Bearbeitungen ziehen Sie in Betracht, diese in mehrere einfachere Bearbeitungsschritte zu unterteilen
• Passen Sie lora_strength an, um die Intensität der ICEdit-Effekte zu steuern

Umgang mit ICEdit-Fehlern:

• ICEdit funktioniert am besten mit realistischen Fotografien; die Ergebnisse können mit nicht fotorealistischen Eingaben variieren
• Objektentfernungsaufgaben mit ICEdit haben niedrigere Erfolgsraten als Ergänzungen oder Modifikationen
• Wenn ein ICEdit-Versuch fehlschlägt, versuchen Sie, die Anweisung umzuformulieren oder einen anderen Seed zu verwenden

7. Anerkennungen und Danksagungen#

Dieser Workflow wird durch ICEdit ermöglicht, entwickelt von Zechuan Zhang, Ji Xie, Yu Lu, Zongxin Yang und Yi Yang von ReLER, CCAI, Zhejiang University und Harvard University. Die ComfyUI-Integration von ICEdit ist dank der Beiträge der Community möglich, mit besonderem Dank an judian17 für die Nunchaku-kompatible Version von ICEdit und die Optimierungsarbeit.

Der Workflow verwendet eine speziell angepasste Version von ICEdit-MoE-LoRA, bei der Expertenschichten gewichtet gemittelt wurden, um die Kompatibilität zu gewährleisten und hochqualitative ICEdit-Verarbeitung mit minimalen Rechenressourcen zu ermöglichen.

Für weitere Informationen über ICEdit besuchen Sie bitte:

• Projektseite: ICEdit GitHub