"Generate ENTIRE AI WORLDS (Vace Wan 2.1)" ist ein produktionsreifer ComfyUI-Workflow von Mickmumpitz, um Live-Action-Material in neue Umgebungen zu transformieren, während die ursprüngliche Kamerabewegung beibehalten wird. Es tauscht Hintergründe aus, bewahrt Perspektive und Maßstab und fügt einen maskierten Schauspieler in vollständig regenerierte Welten ein, die durch Text und Referenzbilder gesteuert werden.
Aufgebaut auf dem Wan 2.1 VACE-Stack, ist dieser Workflow ideal für Filmemacher, VFX-Künstler und Kreative, die schnelle Previz oder polierte Aufnahmen benötigen. Sie können die Szene mit Anweisungen leiten, von einem optionalen Referenzbild aus starten und zwischen einer schnellen FP8-Pipeline oder einer Low-VRAM GGUF-Pipeline wählen. Das Ergebnis ist ein nahtloser Weltaufbau, der es Ihnen ermöglicht, wirklich KOMPLETTE KI-WELTEN (Vace Wan 2.1) aus alltäglichen Platten zu erstellen.
Dieser Workflow folgt einer zweistufigen VACE-Strategie: Zuerst kodiert er die Bewegungen der Szene aus Kontrollbildern, um die Kamerabewegung zu sperren; zweitens kodiert er das Einfügen des Schauspielers und mischt ihn in die regenerierte Umgebung ein. Sie können den FP8-Pfad für maximale Geschwindigkeit oder den GGUF-Pfad für niedrigen VRAM verwenden. Die folgenden Abschnitte entsprechen den On-Graph-Gruppen, sodass Sie die gesamte "Generate ENTIRE AI WORLDS (Vace Wan 2.1)"-Pipeline mit Vertrauen betreiben können.
Der Eingabebereich ermöglicht es Ihnen, die Arbeitsauflösung und grundlegende Clip-Steuerungen auszuwählen. Verwenden Sie den Auflösungsschalter, um eine Voreinstellung (720p, 576p oder 480p) auszuwählen, die Set_width (#370) und Set_height (#369) speist, sodass jede Phase synchron bleibt. Sie können die Anzahl der Frames begrenzen, um schnelle Durchläufe zu gewährleisten, und einen kleinen Sprung festlegen, wenn Sie den Startpunkt verschieben möchten. Für Stabilität und Speicher halten Sie Sequenzen innerhalb des empfohlenen Bereichs; die Graph-Beschriftungen weisen darauf hin, dass 81 Frames eine vernünftige Obergrenze für die meisten GPUs sind. Diese Entscheidungen gelten global für Kontrollbilder, VACE-Kodierungen und endgültige Renderings.
Hinweis: Das Eingabevideo kann auch durch einen anderen Workflow generiert werden, MASK_AND_TRACK. Sie können die Workflow-Datei hier herunterladen: workflow.json. Nach dem Herunterladen ziehen Sie die Datei in eine neue Workflow-Registerkarte und führen Sie sie aus, um das Eingabevideo zu erhalten.
Eine Hintergrundplatte und ein optionales Referenzbild leiten den visuellen Stil. Laden Sie ein Hintergrundstill, dann passt der Graph es an Ihre Arbeitsgröße an. Wenn Sie einen Stilanker anstelle einer harten Hintergrundplatte wünschen, aktivieren Sie das reference_image über den Selektor; dieses Bild leitet Farbe, Komposition und Ton, ohne die Geometrie zu diktieren. Der Referenzweg ist hilfreich, wenn Sie möchten, dass das Modell KOMPLETTE KI-WELTEN (Vace Wan 2.1) erzeugt, die einem bestimmten Look ähneln, während der Text die restliche Kontrolle übernimmt. Schalten Sie es aus, wenn Sie nur Textsteuerung bevorzugen.
Verwenden Sie diesen Abschnitt, um zu entscheiden, wie die Generierung beginnt. Mit einem bereitstehenden Schauspieler-Still zieht Image Remove Background Rembg (mtb) (#1433) eine saubere Maske und ImageCompositeMasked (#1441) platziert den Schauspieler auf Ihrem gewählten Hintergrund, um einen Startframe zu bilden. Der Start Frame-Schalter (ImpactSwitch, #1760) bietet drei Modi: zusammengesetzter Schauspieler plus Hintergrund, nur Hintergrund oder kein Startframe. Startframes helfen, Identität und Layout zu verankern; nur Hintergrund lässt den Charakter im Laufe der Zeit „eintreten“; kein Startframe fordert das Modell auf, sowohl das Subjekt als auch die Welt aus Text und Referenz zu etablieren. Ein Live-Vorschau-Block zeigt, wie dieser Start aussieht, bevor Sie ihn nach unten übertragen.
Kontrollbilder sperren die Bewegung der Kamera, sodass Perspektive und Parallaxe echt wirken. Geben Sie ein Kameratrack-Video in die Gruppe ein; der Graph kann OpenPose- und Canny-Schichten ableiten und dann mischen, um ein starkes Struktursignal zu erzeugen. Der Control Image Nodes-Schalter (ImpactSwitch, #1032) ermöglicht es Ihnen, nur Track, Track+Pose, Canny+Pose oder ein extern vorbereitetes Kontrollvideo auszuwählen. Überprüfen Sie den Stapel mit der Vorschau-Kombination, um sicherzustellen, dass Silhouetten und Kanten klar lesbar sind. Für lange Sequenzen können Sie dieses Kontrollvideo speichern und später neu laden, um die Struktur nicht neu zu berechnen; das ist besonders nützlich, wenn Sie Anweisungen oder Masken iterieren und weiterhin KOMPLETTE KI-WELTEN (Vace Wan 2.1) erzeugen.
Wenn Sie bereits ein "Kontrollbilder"-Video exportiert haben, legen Sie es hier ab, um die Vorverarbeitung zu umgehen. Wählen Sie die entsprechende Option im Kontrollbildschalter aus, damit der Rest der Pipeline Ihre zwischengespeicherte Struktur verwendet. Dies hält das Kameratracking über Läufe hinweg konsistent und reduziert die Iterationszeit bei langen Takes erheblich.
Der FP8-Zweig lädt den vollständigen Wan 2.1-Modellstack. WanVideoModelLoader (#4) bringt das T2V 14B-Rückgrat und das VACE-Modul sowie ein optionales LightX LoRA für schnelles, kohärentes Sampling. WanVideoVAELoader (#26) liefert die VAE, und WanVideoBlockSwap (#5) bietet eine VRAM-sparende Strategie, indem Blöcke nach Bedarf in den Gerätespeicher verschoben werden. Dieser Zweig ist der schnellste Weg, KOMPLETTE KI-WELTEN (Vace Wan 2.1) zu erzeugen, wenn Sie den VRAM-Spielraum haben.
Anweisungen werden von WanVideoTextEncodeSingle für positiven und negativen Text kodiert und dann durch WanVideoApplyNAG verfeinert, um die Phrasierung konsistent zu halten. Der erste Durchgang, WanVideo VACE Encode (CN-CameraTrack) (#948), liest die Kontrollbilder, um bewegungsbewusste Einbettungen zu erzeugen. Der zweite Durchgang, WanVideo VACE Encode (InsertPerson) (#1425), injiziert den Schauspieler mit einem sauberen Alpha und einer Maske, die Sie sanft vergrößern oder verkleinern können, um Halos zu vermeiden. WanVideoSampler (#2) rendert dann die Sequenz, WanVideoDecode (#1) wandelt Latents in Frames um, und ein einfacher Schalter wählt zwischen der ursprünglichen Bildrate oder einem FILM-interpolierten Stream, bevor die endgültige Videokombination erfolgt.
Der GGUF-Zweig ist für Low-VRAM-Workflows ausgelegt. UnetLoaderGGUF (#1677) lädt ein quantisiertes Wan 2.1 VACE UNet, CLIPLoader (#1680) stellt den Text-Encoder bereit, und ein LoRA kann mit LoraLoader (#2420) angewendet werden. Ein Standard-ComfyUI VAELoader (#1676) handhabt das Dekodieren. Dieser Weg tauscht Geschwindigkeit gegen Fußabdruck ein, während er die gleiche zweiphasige VACE-Logik beibehält, damit Sie weiterhin KOMPLETTE KI-WELTEN (Vace Wan 2.1) auf bescheidener Hardware erzeugen können.
Im quantisierten Pfad verwandelt WanVaceToVideo (#1724) VACE-Einbettungen, Textkonditionierung und Ihre Referenz in ein geführtes Latent. WanVideoNAG und WanVideoEnhanceAVideoKJ helfen, Identität und lokale Details beizubehalten, nach denen KSampler (#1726) die endgültige latente Sequenz generiert. VAEDecode (#1742) erzeugt Frames, ein optionaler FILM-Schritt fügt zeitliche Glätte hinzu, und die Videokombination schreibt das Ergebnis auf die Festplatte. Verwenden Sie diesen Pfad, wenn VRAM knapp ist oder wenn Sie lange, stabile Aufnahmen benötigen.
Es gibt zwei Anweisungstafeln. Die FP8-Seite verwendet den Wan T5-Text-Encoder, während die GGUF-Seite einen CLIP-Konditionierungspfad verwendet; beide erhalten positiven und negativen Text. Halten Sie positive Anweisungen filmisch und spezifisch für die gewünschte Welt und reservieren Sie negative Anweisungen für Kompressionsartefakte, Übersättigung und unerwünschtes Vordergrundgerümpel. Sie können Anweisungen mit einem weichen Referenzbild mischen, um Farbe und Beleuchtung zu steuern, während das Modell weiterhin KOMPLETTE KI-WELTEN (Vace Wan 2.1) erzeugt, die Ihrer Absicht entsprechen.
WanVideo VACE Encode (CN-CameraTrack) (#948)WanVideo VACE Encode (InsertPerson) (#1425)DilateErodeMask, #2391) an, um die Matte leicht einzuziehen. Dieser Durchgang bindet das Einfügen an die Bewegungen der Szene, sodass Maßstab und Parallaxe natürlich bleiben.WanVaceToVideo (#1724 und #1729)WanVideoSampler (#2)KSampler (#1726)Enhance A Video-Block, um Mikrotextur ohne Bewegungsabdriften zurückzugewinnen.FILM VFI (#2019 und #1757)RunComfy ist die führende ComfyUI Plattform, die ComfyUI online Umgebung und Services bietet, zusammen mit ComfyUI Workflows mit atemberaubenden Visualisierungen. RunComfy bietet auch AI-Spielplatz, Künstlern ermöglichen, die neuesten AI-Tools zu nutzen, um unglaubliche Kunst zu schaffen.
