Self Forcing: Autoregressive Keyframe-zu-Video-Generierung#

Self Forcing ist ein fortschrittliches Keyframe-gesteuertes Video-Generierungsmodell. Self Forcing ermöglicht glatte, hochwertige Videosynthese, indem es Bewegung zwischen einem Start- und End-Keyframe generiert, geleitet durch beschreibende Textprompts.

Aufgebaut auf autoregressiven Video-Diffusionsarchitekturen mit KV-Caching zeichnet sich Self Forcing durch die Generierung zeitlich konsistenter, identitätserhaltender Bewegung zwischen Frames aus. Der gemeinsame Keyframe-Text-Ansatz von Self Forcing ermöglicht fließende Übergänge, während die Subjektstruktur und der Stil über das gesamte generierte Video beibehalten werden.

Warum Self Forcing verwenden?#

Self Forcing bietet:

• Keyframe-basierte Generierung: Self Forcing verwendet Start- und End-Referenzbilder zur Steuerung von Aussehen und Bewegung
• Prompt + Keyframe-Steuerung: Self Forcing verbindet kreative Textbeschreibungen mit Referenzstruktur
• Autoregressive Bewegung: Self Forcing liefert glatte, zeitlich konsistente Übergänge zwischen Frames
• Identitätserhaltung: Self Forcing bewahrt die Subjekttreue über generierte Sequenzen hinweg
• Ideal für effiziente Videoerstellung: Self Forcing ist perfekt für charaktergetriebenes Storytelling, filmische Animation und Konzept-Videosynthese

Ob Sie Animationen, filmische Sequenzen oder identitätskonsistente KI-Videos generieren – Self Forcing gibt Ihnen volle kreative Kontrolle und gewährleistet mit Self Forcing-Technologie glatte und realistische Bewegung.

Eingabebilder#

In diesem Abschnitt laden Sie Ihre Start-Keyframe- und End-Keyframe-Bilder für Self Forcing hoch. Diese beiden Bilder definieren das Anfangs- und Endaussehen Ihres Self Forcing-generierten Videos.

• Laden Sie beide Referenzbilder über die bereitgestellten Load Image-Knoten für Self Forcing hoch.
• Verwenden Sie optionale Größenanpassungs- und Zuschneide-Knoten, um Ihre Bilder für optimale Self Forcing-Ausrichtung und Seitenverhältnis anzupassen.
• Richtig ausgerichtete und gut zugeschnittene Keyframes verbessern die Self Forcing-Bewegungskonsistenz über die generierte Sequenz hinweg.

Videolänge#

Legen Sie die Gesamtanzahl der Frames fest, die Ihr Self Forcing-Video generieren wird.

• Längere Framezahlen ermöglichen graduelle, fließendere Übergänge zwischen Keyframes in Self Forcing.
• Kürzere Framezahlen ergeben schnellere Self Forcing-Übergänge.
• Typischer Self Forcing-Bereich: 16–48 Frames je nach gewünschter Länge und Bewegungskomplexität.

Modell#

Diese Gruppe lädt das Self Forcing autoregressive Video-Diffusionsmodell. Der Self Forcing-Workflow wählt automatisch die richtige Modellversion für Sie aus.

• Self Forcing basiert auf autoregressivem Rollout mit KV-Caching.
• Self Forcing gewährleistet stabile, zeitlich kohärente Bewegungsgenerierung.
• Self Forcing ermöglicht Echtzeit-Inferenz auf High-End-GPUs wie RTX 4090.

Prompts#

In diesem Abschnitt können Sie Ihren Textprompt eingeben, um die Self Forcing-Generierung zu leiten.

• Kombinieren Sie Prompts mit Ihren Keyframes, um den Self Forcing-Stil, Hintergrund oder Bewegungskontext zu beeinflussen.
• Verwenden Sie beschreibende und klare Sprache, um die kreative Kontrolle von Self Forcing zu maximieren.
• Negative Prompts können auch verwendet werden, um unerwünschte Elemente in Self Forcing zu unterdrücken.

Ausgaben#

Sobald die Self Forcing-Generierung abgeschlossen ist:

• Ihr Self Forcing-Video wird automatisch im Comfyui > output-Ordner in Ihrem ComfyUI-Verzeichnis gespeichert.
• Self Forcing-Dateien werden als Videoclips (MP4 oder Bildsequenzen je nach Konfiguration) gespeichert.

Danksagung#

Dieser Workflow verwendet das Self Forcing-Modell, entwickelt von guandeh. Der Self Forcing-Workflow integriert Wan Video Wrapper-Knoten von kijai, um nahtlose Self Forcing-Video-Generierung in ComfyUI zu ermöglichen. Volle Anerkennung geht an beide Autoren für ihre originale Self Forcing-Modellentwicklung und Integrationsarbeit.

GitHub Repository: https://github.com/guandeh17/Self-Forcing