Dieser Workflow nutzt AnimateDiff, ControlNet mit Fokus auf Tiefe und spezielle Lora, um Videos gekonnt in einen Keramikkunststil zu transformieren. Sie werden ermutigt, verschiedene Prompts zu verwenden, um unterschiedliche Kunststile zu erreichen und Ihre Ideen in die Realität umzusetzen.
AnimateDiff wurde entwickelt, um statische Bilder und Textprompts mithilfe von Stable Diffusion-Modellen und einem speziellen Bewegungsmodul in dynamische Videos zu animieren. Es automatisiert den Animationsprozess durch die Vorhersage nahtloser Übergänge zwischen Frames, wodurch es für Benutzer ohne Programmierkenntnisse zugänglich wird.
Wählen Sie zunächst das gewünschte AnimateDiff-Bewegungsmodul aus dem Dropdown-Menü model_name aus:
Der Beta Schedule in AnimateDiff ist entscheidend für die Anpassung des Rauschunterdrückungsprozesses während der Animationserstellung.
Für die Versionen V3 und V2 von AnimateDiff wird die Einstellung sqrt_linear empfohlen, obwohl das Experimentieren mit der linearen Einstellung einzigartige Effekte erzielen kann.
Für AnimateDiff SDXL wird die lineare Einstellung (AnimateDiff-SDXL) empfohlen.
Die Funktion Motion Scale in AnimateDiff ermöglicht die Anpassung der Bewegungsintensität in Ihren Animationen. Ein Motion Scale unter 1 führt zu subtileren Bewegungen, während ein Wert über 1 die Bewegung verstärkt.
Die Uniform Context Length in AnimateDiff ist entscheidend, um nahtlose Übergänge zwischen den durch Ihre Batch Size definierten Szenen sicherzustellen. Sie agiert wie ein Experteneditor und verbindet Szenen nahtlos für eine flüssige Erzählung. Das Einstellen einer längeren Uniform Context Length sorgt für weichere Übergänge, während eine kürzere Länge schnellere, distinktivere Szenenwechsel bietet, was für bestimmte Effekte vorteilhaft ist. Die Standard-Uniform Context Length ist auf 16 festgelegt.
Motion LoRAs, die nur mit AnimateDiff v2 kompatibel sind, führen eine zusätzliche Ebene dynamischer Kamerabewegung ein. Das Erreichen der optimalen Balance mit dem LoRA-Gewicht, typischerweise um 0,75, stellt eine flüssige Kamerabewegung ohne Hintergrundverzerrungen sicher.
Darüber hinaus ermöglicht die Verkettung verschiedener Motion LoRA-Modelle komplexe Kameradynamiken. Dies ermöglicht es Erstellern, zu experimentieren und die ideale Kombination für ihre Animation zu finden, um sie auf ein filmisches Niveau zu heben.
ControlNet verbessert die Bilderzeugung, indem es Text-to-Image-Modellen präzise räumliche Kontrolle hinzufügt und es Benutzern ermöglicht, Bilder auf anspruchsvolle Weise zu manipulieren, die über einfache Textprompts hinausgehen, indem es umfangreiche Bibliotheken von Modellen wie Stable Diffusion für komplexe Aufgaben wie Skizzieren, Mapping und Segmentierung von Bildern nutzt.
Im Folgenden finden Sie den einfachsten Workflow mit ControlNet.
Beginnen Sie Ihre Bildgestaltung, indem Sie den "Apply ControlNet"-Knoten in ComfyUI laden und so die Bühne für die Kombination von visuellen und textlichen Elementen in Ihrem Design vorbereiten.
Verwenden Sie Positive und Negative Conditioning, um Ihr Bild zu formen, wählen Sie ein ControlNet-Modell, um Stileigenschaften zu definieren, und verarbeiten Sie Ihr Bild vor, um sicherzustellen, dass es den Anforderungen des ControlNet-Modells entspricht und so für die Transformation bereit ist.
Die Knotenausgänge leiten das Diffusionsmodell und bieten die Wahl zwischen weiterer Verfeinerung des Bildes oder Hinzufügen weiterer ControlNets für mehr Details und Anpassung basierend auf der Interaktion von ControlNet mit Ihren kreativen Eingaben.
Steuern Sie den Einfluss von ControlNet auf Ihr Bild durch Einstellungen wie Bestimmung der Stärke, Anpassung des Startprozentsatzes und Festlegung des Endprozentsatzes, um den kreativen Prozess und das Ergebnis des Bildes fein abzustimmen.
Für detailliertere Informationen lesen Sie bitte How to use ControlNet in ComfyUI
Dieser Workflow ist von MDMZ inspiriert, mit einigen Modifikationen. Für weitere Informationen besuchen Sie bitte seinen YouTube-Kanal.
RunComfy ist die führende ComfyUI Plattform, die ComfyUI online Umgebung und Services bietet, zusammen mit ComfyUI Workflows mit atemberaubenden Visualisierungen. RunComfy bietet auch AI-Spielplatz, Künstlern ermöglichen, die neuesten AI-Tools zu nutzen, um unglaubliche Kunst zu schaffen.
