ComfyUI Img2Vid | Morphende Animation

Dieser ComfyUI Img2Vid-Workflow wurde von Titto13 basierend auf der herausragenden Arbeit von ipiv erstellt. Dieser Workflow, der sich auf die dynamische Bildgenerierung und Anpassung konzentriert, besteht aus den Modulen AnimateDiff LCM, IPAdapter, QRCode ControlNet und benutzerdefinierte Maske. Jedes dieser Module spielt eine entscheidende Rolle im Img2Vid-Prozess und verbessert die Qualität der morphenden Animation.

Kernkomponenten des Img2Vid-Workflows für morphende Animation

1. AnimateDiff LCM Modul:

Integriert das AnimateLCM-Modell in das AnimateDiff-Setup, um den Renderprozess zu beschleunigen. AnimateLCM beschleunigt die Videogenerierung, indem die Anzahl der erforderlichen Inferenzschritte reduziert wird, und verbessert die Ergebnisqualität durch entkoppeltes Konsistenzlernen. Dies ermöglicht die Verwendung von Modellen, die normalerweise keine hochwertigen Ergebnisse liefern, wodurch AnimateLCM ein effektives Werkzeug zur Erstellung detaillierter Animationen ist.

2. IPAdapter Modul:

Nutzt die Aufmerksamkeitsmaskenfunktion von IPAdapter, um das Morphen zwischen Referenzbildern zu erreichen. Benutzer können dedizierte Aufmerksamkeitsmasken für jedes Bild generieren, um reibungslose Übergänge im endgültigen Video zu gewährleisten.

3. QRCode ControlNet Modul:

Verwendet ein Schwarz-Weiß-Video als Eingabe für das ControlNet QRCode-Modell, um den Animationsfluss zu steuern und die visuellen Dynamiken der morphenden Sequenz zu verbessern.

4. Masken Modul:

Bietet drei voreingestellte Masken und ermöglicht es Benutzern, benutzerdefinierte Masken zu laden. Alle diese Masken können mit einem einfachen Klick gewechselt werden, um verschiedene Effekte zu erzielen.

So verwenden Sie den Img2Vid-Workflow zur Erstellung von morphenden Animationen

1. Bildladen und Maskenanwendung

• Bildladen: Laden Sie Bilder in die Knoten "Load White" und "Load Black". Der Workflow enthält verschiedene Bildmasken, die Benutzer je nach Bedarf auswählen können.

• Maskenverarbeitung: Masken können durch Klicken auf "Action!" ausgewählt und benutzerdefinierte Masken können hochgeladen und angewendet werden, um die Flexibilität zu erhöhen.

2. Bildanpassung

• Bilddrehung, Zuschneiden und Spiegeln: Passen Sie Bilder mit den Funktionen "Rotate Mask" und "Flip Image" an, um die gewünschten Effekte zu erzielen. Die Funktion "Fast Crop" ermöglicht es Benutzern, zwischen mittigem Zuschneiden oder dem Hinzufügen schwarzer Ränder zu wählen, um Bilder anzupassen. Die Funktion "Detail Crop" ermöglicht das Zuschneiden spezifischer Details aus Bildern. (Diese Funktion gibt Ihnen mehr Kontrolle über Ihre Kreationen, also aktivieren Sie sie bei Bedarf!)

3. Parameteranpassung

• AnimateDiff - Bewegungsmaßstab: Das Anpassen dieses Parameters ändert die Flüssigkeit der Animation. Eine Erhöhung des Wertes fügt mehr Bewegung hinzu, kann jedoch die Detailqualität verringern. Der empfohlene Bereich liegt zwischen 1.000 und 1.300, wobei Experimente ermutigt werden.

• QRCode ControlNet - Stärke und Endprozentsatz: Diese Parameter steuern die Intensität und den Übergangseffekt der Animation. Im Allgemeinen sollte "Stärke" zwischen 0.4 und 1.0 und "Endprozentsatz" zwischen 0.350 und 0.800 eingestellt werden.

• Maske - Kraftwert: Auf "0" für anfängliche Geschwindigkeit oder "12" für beschleunigte und verdoppelte Zyklen setzen. Passen Sie diesen Wert basierend auf der Animationslänge und den Effektanforderungen an.

• IPAdapter - Voreinstellung: Es wird empfohlen, die "VIT-G"-Voreinstellung für stabilere Ergebnisse zu verwenden. Für Ergebnisse, die näher an den Originalbildern liegen, wechseln Sie zur "PLUS"-Voreinstellung und setzen "weight_type" auf "ease in-out."

Für weitere Informationen und zur Ansicht der Originalarbeit besuchen Sie bitte die Civitai-Seite des Autors Titto13.