ICEdit | Schnelle KI-Bildbearbeitung mit Nunchaku

1. Was ist der ComfyUI ICEdit Workflow?

Der ComfyUI ICEdit-Nunchaku-Workflow integriert das innovative In-Context Edit (ICEdit) Framework mit Nunchaku-Optimierung für ultraschnelle Bildbearbeitung. Entwickelt von Forschern der Zhejiang University und der Harvard University ermöglicht ICEdit hochwertige instruktive Bildbearbeitung mit bemerkenswerter Effizienz. Basierend auf dem FLUX-Diffusionstransformer und unter Nutzung der In-Context-Lernprinzipien von ICEdit bewahrt dieser Workflow Identitätsmerkmale, während flexible Modifikationen basierend auf natürlichen Sprachbefehlen möglich sind. Der ICEdit-Workflow stellt eine optimale Lösung für die KI-Bildbearbeitung dar und liefert präzise Ergebnisse mit minimalen GPU-Ressourcen.

2. Vorteile von ComfyUI ICEdit:

• Außergewöhnliche Effizienz: ICEdit erreicht gute Qualität mit nur 0,5% der Trainingsdaten und 1% der Parameter, die von früheren Methoden benötigt werden.
• Ultraschnelle Leistung: Die ICEdit-Nunchaku-Integration ermöglicht hochgeschwindigkeitsbearbeitung auch auf Systemen mit nur 4GB VRAM.
• Identitätserhaltung: ICEdit bewahrt die Identität des Subjekts selbst bei erheblichen Stil- oder Attributänderungen.
• Natürliche Sprachbefehle: Bearbeiten Sie Bilder mit einfachen Textanweisungen durch das intuitive Anweisungssystem von ICEdit.
• Mehrfachbearbeitung: ICEdit unterstützt sequentielle Bearbeitungsvorgänge am selben Bild für komplexe Transformationen.
• Hochauflösende Ausgabe: Der ICEdit-Workflow umfasst drei verschiedene Hochskalierungsmethoden für hochwertige Ergebnisse.

3. Verwendung von ICEdit für die Bildbearbeitung

Erste Schritte:

1. Bild-Input:
   • Laden Sie Ihr Quellbild mit dem Hauptknoten Load Image in der unteren linken Ecke des ICEdit-Workflows hoch
   • Dies ist der primäre Input für das Bild, das Sie mit ICEdit bearbeiten möchten
   • Der ICEdit-Workflow verarbeitet Ihr Bild automatisch auf die erforderlichen Abmessungen (512px Breite)
   • Für beste ICEdit-Ergebnisse verwenden Sie nach Möglichkeit quadratische Bilder, da nicht-quadratische Bilder während der Verarbeitung zentriert zugeschnitten werden können
   • Pro Tipp: Für höhere ICEdit-Erfolgsraten, klicken Sie mit der rechten Maustaste auf den Load Image-Knoten und wählen Sie "Open in MaskEditor", um manuell eine Maske um den Bereich zu erstellen, den Sie bearbeiten möchten
   
2. Verwendung des Mask Editors mit ICEdit (Optional, aber empfohlen):
   • Verwenden Sie im MaskEditor die Pinselwerkzeuge, um eine Maske um den spezifischen Bereich zu zeichnen, den Sie mit ICEdit ändern möchten
   • Dies hilft, die Aufmerksamkeit von ICEdit auf die relevanten Teile des Bildes zu lenken
   • Verwenden Sie verschiedene Pinsel-Einstellungen (Dicke, Deckkraft, Härte) für präzise Kontrolle
   • Klicken Sie auf "Speichern", wenn Sie fertig sind, um Ihre benutzerdefinierte Maske auf den ICEdit-Workflow anzuwenden
   • Dieser Schritt verbessert die Erfolgsraten von ICEdit erheblich für detaillierte oder spezifische Änderungen
3. Eingabe Ihrer ICEdit-Anweisungen:
   • Finden Sie den String-Eingabeknoten mit der roten Hervorhebung in der Mitte des ICEdit-Workflows
   • Geben Sie Ihre gewünschte ICEdit-Anweisung in dieses Feld ein
   • Für Stilübertragungen geben Sie einfach Anweisungen wie "Convert the image into Ghibli style" oder "Convert to anime illustration and maintain shirt be pink, hair be brown" ein
   • Lassen Sie den anderen String-Knoten mit dem festen Präfix unverändert - dieser enthält den erforderlichen Kontext, der ICEdit richtig funktionieren lässt
   • Der Workflow kombiniert Ihre Anweisung automatisch mit dem erforderlichen Präfix für optimale ICEdit-Verarbeitung
   
4. Ausführen des ICEdit-Workflows:
   • Nachdem Sie Ihr Bild hochgeladen und Ihre Bearbeitungsanweisung eingegeben haben, klicken Sie auf run, um die ICEdit-Verarbeitung zu starten
   • Der ICEdit-Workflow generiert das bearbeitete Bild durch mehrere Verarbeitungsstufen

4. Parameterreferenz für ICEdit

ICEdit-Parameter-Einstellungen:

1. Nunchaku FLUX.1 LoRA Loader für ICEdit:
   • lora_strength: 1.00-1.18 (kann für die Intensität des ICEdit-Effekts angepasst werden, wobei 1.18 die besten Gesamtergebnisse liefert)
2. ICEdit KSamplerAdvanced-Einstellungen:
   • Erster KSampler: Standard 30 Schritte, euler sampler, CFG 7
     • CFG anpassen: Höhere Werte (8-15) folgen Anweisungen strenger, niedrigere Werte (3-5) erhöhen die Kreativität
     • Schritte anpassen: Mehr Schritte verbessern die Details, erhöhen jedoch die Verarbeitungszeit
   • Zweiter KSampler: Standard 25 Schritte für Hochskalierung mit Beta-Scheduler
   • Dritter KSampler: Standard 30 Schritte, kl_optimal sampler zur Bewahrung von Gesichtsdetails und Textur
     • Diese Parameter können basierend auf Ihren spezifischen Bearbeitungsanforderungen angepasst werden
3. ICEdit Hochskalierungs-Konfiguration:
   • Der ICEdit-Workflow umfasst drei Hochskalierungsmethoden:
     • Modellbasierte Hochskalierung mit spezialisierten Modellen wie 2xNomosUni
     • ImageScaleBy zur Detailverbesserung mit Lanczos-Skalierung
     • KL-optimal Sampling für hochqualitative ICEdit-Wiederherstellung (hilft, Gesichtszüge zu bewahren)
   • Bei Verwendung von 4x-Vergrößerungsmodellen sollten Sie den Skalierungsfaktor auf 0.5 ändern, um Artefakte in großen ICEdit-Ergebnissen zu vermeiden
4. FluxGuidance in ICEdit:
   • Der ICEdit-Workflow verfügt über mehrere FluxGuidance-Knoten in verschiedenen Abschnitten, die die Führungsstärke steuern
   • Stilumwandlung FluxGuidance: Steuert, wie genau der ICEdit-Stiltransfer Ihren Anweisungen folgt
   • Bildbearbeitung FluxGuidance: Der rechte Wert zeigt 4.0, was Qualität und ICEdit-Präzision ausbalanciert
   • Höhere Werte lassen ICEdit Anweisungen präziser folgen, können jedoch die Bildqualität beeinträchtigen
   • Niedrigere Werte bieten mehr kreative Freiheit, können jedoch zu weniger präzisen ICEdit-Ergebnissen führen
5. Redux-Integration mit ICEdit (Optional):
   • Der ICEdit-Workflow umfasst Redux-Stil-Feinabstimmungsfähigkeiten, ist jedoch optional
   • Bei Verwendung von Redux für den ICEdit-Stiltransfer können Sie zu get_condition1 wechseln, obwohl die Ergebnisse variieren können

5. Beispiel für ICEdit-Bearbeitungsaufgaben

ICEdit glänzt bei einer Vielzahl von Bearbeitungsvorgängen, einschließlich:

• Stilübertragungen mit ICEdit: "Convert the image into anime illustration"
• Farbänderungen mit ICEdit: "Change the blue shirt to green"
• Kleidungsmodifikationen mit ICEdit: "Change the blue shirt to denim jacket"
• Zubehörhinzufügung durch ICEdit: "Add sunglasses", "This girl wears a white watch"
• Zubehörentfernung mit ICEdit: "Remove picture on the wall"
• Hintergrundänderungen mit ICEdit: "Girl is on the beach, colorful cloud in the sky"
• Objektmanipulation über ICEdit: "Hand holding a durian"
• Text/Wasserzeichen-Operationen mit ICEdit: "Add a blue watermark 'from me' on the wall", "Remove the text 'from aha'"
• Mehrfachelementbearbeitung durch ICEdit: "Convert to Ghibli style"

6. Erweiterte Tipps für bessere ICEdit-Ergebnisse

ICEdit-Prompt-Engineering:

• Seien Sie spezifisch und präzise in Ihren ICEdit-Anweisungen
• Bei ICEdit-Stilübertragungen geben Sie Details an, die Sie beibehalten möchten
• Verwenden Sie klare beschreibende Sprache für die besten ICEdit-Ergebnisse
• Wenn Sie Hintergründe mit ICEdit ändern, seien Sie spezifisch bezüglich der Platzierung

ICEdit-Optimierungstipps:

• Wenn Sie unzufriedenstellende ICEdit-Ergebnisse erzielen, versuchen Sie, den Seed-Wert zu ändern (dies ist entscheidend für den Erfolg)
• Für komplexe ICEdit-Bearbeitungen sollten Sie diese in mehrere einfachere Bearbeitungsschritte unterteilen
• Passen Sie lora_strength an, um die Intensität der ICEdit-Effekte zu steuern

Umgang mit ICEdit-Fehlern:

• ICEdit funktioniert am besten mit realistischen Fotografien; die Ergebnisse können bei nicht-fotorealistischen Eingaben variieren
• Objektentfernungsaufgaben mit ICEdit haben niedrigere Erfolgsraten als Hinzufügungen oder Modifikationen
• Wenn ein ICEdit-Versuch fehlschlägt, versuchen Sie, die Anweisung umzuformulieren oder einen anderen Seed zu verwenden

7. Credits und Danksagungen

Dieser Workflow basiert auf dem bahnbrechenden ICEdit-Framework von Zechuan Zhang, Ji Xie, Yu Lu, Zongxin Yang und Yi Yang von ReLER, CCAI, Zhejiang University und Harvard University. Besonderer Dank geht an judian17 für die ComfyUI-Nunchaku-Implementierung.

Der Workflow verwendet eine speziell angepasste Version von ICEdit-MoE-LoRA, bei der Expertenschichten für die Kompatibilität gewichtet wurden und ermöglicht hochwertige ICEdit-Verarbeitung mit minimalen Rechenressourcen.

Für weitere Informationen über ICEdit, besuchen Sie bitte:

• Projektseite: