Blender zu ComfyUI AI Renderer 2.0 | Bewegungs-Video-Macher

Blender zu ComfyUI AI Renderer 2.0

Blender zu ComfyUI AI Renderer 2.0 verwandelt Blender-Ausgaben in kinoreife, prompt-gesteuerte AI-Videos, während Bewegung und Szenenlayout beibehalten werden. Es liest die Struktur aus Tiefen-, Umriss- oder Pose-Pässen und nutzt diese, um Wan VACE Videoerzeugung zu steuern, sodass Ihr Endmaterial mit der ursprünglichen Animationsabsicht übereinstimmt. Der Workflow beinhaltet auch einen schnellen Standbild-Pfad für die Look-Entwicklung und Keyframe-Überprüfungen, was ihn ideal für Animatoren, VFX-Künstler, Previs-Teams und Content-Ersteller macht.

Im Kern baut oder importiert Blender zu ComfyUI AI Renderer 2.0 Kontrollvideos, kombiniert sie mit Start- oder Referenzbildern und rendert eine kohärente Sequenz mit starker zeitlicher Stabilität. Sie erhalten kreative Kontrolle durch Prompts und Referenzbilder, während Tiefe und Kanten die Komposition und Bewegung intakt halten.

Wichtige Modelle im ComfyUI Blender zu ComfyUI AI Renderer 2.0 Workflow

• Wan 2.1 VACE 14B (SkyReels V3 R2V Merge). Grundlage für videodiffusion, die für strukturbezogene Erzeugung und Bewegungsabstimmung verwendet wird. Checkpoint als Merge für VACE und SkyReels R2V gehostet, geeignet für Start-zu-Ende-Frame-Kontrolle und referenzgeführte Konsistenz. Model
• uMT5-XXL Text-Encoder für Wan 2.1. Bietet hochkapazitive Text-Konditionierung, verpackt für ComfyUI. Files
• Wan 2.1 VAE. Wird verwendet, um Video-Latents sauber für die Wan-Pipeline zu kodieren und dekodieren. Files
• Depth Anything 3 DA3-BASE. Monokularer Tiefenschätzer, der verwendet wird, um qualitativ hochwertige, zeitlich konsistente Tiefenkontrolle aus Filmmaterial abzuleiten. Model
• Z-Image Turbo. Ein schnelles Bilddiffusions-Backbone für die Einzelbild-Erkundung mit Mehrfachkontroll-Konditionierung. Model
• Z-Image-Fun ControlNet Union 2.1. Mehrfachkontroll-Gewichte für Canny, Tiefe, Pose und mehr bei Verwendung des Z-Image Turbo Pfades. Model
• OpenPose (Algorithmus). Klassischer 2D-Schlüsselpunktdetektor, der verwendet wird, um Posenlinien als optionales Kontrollsignal abzuleiten. Paper • GitHub

Wie man den ComfyUI Blender zu ComfyUI AI Renderer 2.0 Workflow verwendet

Der Workflow hat zwei Spuren, die Sie unabhängig oder zusammen ausführen können. Zuerst baut ein Preprocess-Track ein Kontrollvideo aus Ihrem Filmmaterial (Tiefe, Kanten oder Pose). Zweitens fusioniert AI Renderer 2.0 Start- oder Referenzbilder mit diesem Kontrollvideo, um die endgültige Sequenz zu synthetisieren. Ein separater Z-IMAGE TURBO CN 1.0 Pfad ermöglicht Ihnen das schnelle Iterieren von Standbildern, die Ihre Kontrollstrategie widerspiegeln.

• VIDEOEINGANG & GRÖSSENAUSWAHL (Preprocess)
  • Diese Gruppe importiert ein Video und standardisiert Dimensionen und Frame-Budgetierung für den Kontrollpass-Builder. Der VHS_LoadVideo (#32) Knoten liest Ihren Clip und zeigt Infos wie fps und Frame-Anzahl für nachfolgende Knoten an. Ein kompaktes Einstellungsblock verbindet Breite, Höhe und Frame-Limits, damit jeder nachfolgende Preprocessor mit der gleichen Auflösung arbeitet. Verwenden Sie dies zuerst, um alle Preprocess-Ausgaben auszurichten, bevor Sie einen Kontrolltyp wählen.
• TIEFE (Preprocess)
  • Diese Gruppe wandelt die Eingabeframes in eine Tiefenkarten-Sequenz mit DepthAnything_V3 (#37) um. Das Ziel ist, die Szenengeometrie zu bewahren, damit die spätere Videoerzeugung Maßstab, Verdeckung und Parallax respektiert. Ein interner Resize-Knoten passt Karten an die Arbeitsgröße an, und ein Speicherblock kann das Kontrollvideo als Vorschau speichern. Wählen Sie dies, wenn Sie starke Layout- und Kamerabewegungstreue wünschen.
• CANNY (Preprocess)
  • Diese Gruppe extrahiert saubere Kantenlinien mit CannyEdgePreprocessor (#39), um Struktur ohne Schattierung zu liefern. Kanten werden an die Projekteinstellungen angepasst und können als Vorschau gespeichert werden. Verwenden Sie dies, wenn Sie klare Silhouetten, architektonische Linien oder toonartige Kontrolle wünschen, die die Komposition beibehält, aber Stilflexibilität erlaubt.
• POSE (Preprocess)
  • Diese Gruppe berechnet menschliche Skelette mit OpenposePreprocessor (#42), die leichte Linienfiguren für den Bewegungstransfer erzeugen. Es ist hilfreich, wenn Charakterbewegung Priorität hat und Sie möchten, dass generative Details mit Schauspiel und Timing konsistent bleiben. Wie bei anderen Kontrolltypen wird die Ausgabe angepasst und kann als kurzes Video angezeigt werden.
• Z-IMAGE TURBO CN 1.0
  • Dieser Pfad ist für die schnelle Einzelbild-Erkundung aus einem einzelnen Frame oder einem geladenen Bild. QwenImageDiffsynthControlnet (#3) wendet Z-Image Turbo mit dem Mehrfachkontroll-Patch an, geleitet von einem Prompt von CLIPTextEncode (#23). Verwenden Sie den USE VIDEO? Schalter (#20), um einen Frame aus einem Video oder ein Bild von der Festplatte zu laden; dann ein schnelles Frame speichern, um Ihren Prompt, die künstlerische Ausrichtung oder die Kontrollstärke zu validieren, bevor Sie die vollständige Sequenz ausführen.
• STARTIMAGE (AI Renderer 2.0)
  • Diese Gruppe akzeptiert ein Startbild und bis zu drei zusätzliche Referenzbilder. Der Workflow passt sie automatisch an, mischt sie optional und baut einen Referenzstapel, der das Video für bessere Identitäts- und Stilübereinstimmung vorbereitet. Wenn mehrere Referenzen vorhanden sind, deaktiviert ein kleiner Logikblock die Start-Frame-Eingabe im VACE Start-to-End Builder, sodass Referenzen Vorrang haben.
• VIDEOEINGANG & GRÖSSENAUSWAHL (AI Renderer 2.0)
  • Diese zweite Größengruppe steuert das endgültige Rendern. Sie setzt Breite, Höhe, fps und Framelänge, die von nachfolgenden Wan-Knoten gelesen werden. VHS_LoadVideo (#93 und #105) kann auch einen Hilfsclip importieren, dessen Eigenschaften verwendet werden, um fps im endgültigen Ausgabeschreiber zu spiegeln. Halten Sie diese Gruppe mit Ihrem Blender-Export synchron, um unbeabsichtigtes Resampling zu vermeiden.
• FP8 MODELLADER
  • Hier werden der primäre Wan 2.1 VACE UNet, der uMT5-XXL Text-Encoder und das Wan VAE geladen, zusammen mit optionalen LoRA-Gewichten. Diese Lader stellen sicher, dass der AI Renderer 2.0 Pfad mit konsistenter Präzision, Tokenizer und Latent-Codec läuft. Tauschen Sie Modelle hier aus, um Stilfamilien oder Checkpoints zu ändern, ohne den Rest des Graphen zu berühren.
• SAMPLER
  • Das Herzstück von Blender zu ComfyUI AI Renderer 2.0. WanVideoVACEStartToEndFrame (#3261) bildet ein Kontrollvideo aus Start- und Referenzbildern plus dem gewählten Kontrollpass, dann verdrahtet WanVacePhantomSimpleV2 (#3255) das Wan-Modell, die Konditionierung, Referenzen und das generierte Kontrollvideo zusammen. Ein KSampler (#3253) rendert kohärente Frames, dann dekodiert VAEDecode und VHS_VideoCombine (#109) speichert das MP4 mit Ihrer Ziel-fps. Geben Sie Ihre positiven und negativen Prompts einmal ein; derselbe Text steuert die gesamte Sequenz.

Wichtige Knoten im ComfyUI Blender zu ComfyUI AI Renderer 2.0 Workflow

• WanVacePhantomSimpleV2 (#3255)
  • Orchestriert die Wan 2.1 VACE-Erzeugung, indem Modell, VAE, Prompts, Kontrollvideo und Referenzbilder weitergeleitet werden. Passen Sie nur das Wesentliche an: Arbeitsbreite und -höhe, um Ihre Kontrolle zu entsprechen, und Sequenzlänge, um den Zielshot zu erreichen. Wenn Sie mehrere starke Referenzen verwenden, halten Sie die Prompts beschreibend statt zu spezifisch, um zu vermeiden, dass die Referenzführung bekämpft wird.
• WanVideoVACEStartToEndFrame (#3261)
  • Baut das Kontrollvideo, dem VACE folgt. Geben Sie ein Startbild, optional einen End- oder Referenzstapel und das vorverarbeitete Kontrollvideo an. Stellen Sie die Anzahl der Frames mit der Wan-Regel von 4n+1 ein, damit das Trimmen durch den Sampler konsistent bleibt; dies vermeidet Off-by-one-Artefakte am Ende.
• PreprocessSwitch (#3239)
  • Wählt aus, welcher Kontroll-Feed den Sampler erreicht. Wechseln Sie zwischen Originalframes, Tiefe, Canny oder Pose, je nachdem, was Sie aus Blender exportiert oder im Preprocess erstellt haben. Verwenden Sie Tiefe, wenn Sie räumliche Treue benötigen, Canny für saubere Kompositionskontrolle und Pose für charakterfokussierte Bewegung.
• VHS_LoadVideo (#93)
  • Handhabt Videoaufnahme und zeigt Frame-Eigenschaften, die im gesamten Graph verwendet werden. Es ist der zuverlässige Weg, um fps und Größen von Blender bis zum Rendern konsistent zu halten. Wenn Sie Köpfe und Schwänze trimmen oder überspringen müssen, tun Sie dies hier, damit alle nachfolgenden Pfade ausgerichtet bleiben.
• KSampler (#3253)
  • Produziert die endgültige latente Sequenz mit dem Wan-Modell und der Konditionierung. Wenn Sie die Führungskraft oder die Sampler-Methode ändern, überprüfen Sie die ersten und letzten 10 Frames auf Stabilität, dann rendern Sie den vollständigen Shot.

Optionale Extras

• Sie können den generierten Kontrollpass durch Blender’s eigene Render-Pässe ersetzen. Stecken Sie Ihren Tiefen-, Umriss- oder Pose-Pass in den Kontrollinput, der von WanVideoVACEStartToEndFrame (#3261) verwendet wird, um VACE direkt aus Blender-Ausgaben zu steuern.
• Halten Sie das Seitenverhältnis und fps zwischen Blender und dem Workflow identisch. Der Ausgabeschreiber spiegelt fps aus den Eingabeeinstellungen wider, damit die redaktionelle Zeitplanung gesperrt bleibt.
• Um Identität oder Stil zu bewahren, geben Sie mehrere saubere Referenzbilder in STARTIMAGE an. Der Workflow wird das Referenzset priorisieren und den Start-Frame-Schalter automatisch handhaben.

Dieser Blender zu ComfyUI AI Renderer 2.0 Workflow lässt Sie Layout und Bewegung treu bleiben, während Sie Prompts und Referenzen verwenden, um den Produktionswert zu erhöhen. Verwenden Sie Preprocess, um zu entscheiden, wie viel Struktur Sie bewahren möchten, validieren Sie die Richtung schnell mit Z-IMAGE TURBO CN 1.0, dann rendern Sie selbstbewusste, kohärente Sequenzen mit AI Renderer 2.0.

Danksagungen

Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken @Mickmumpitz den Erstellern von “Blender to ComfyUI AI Renderer 2.0 Source” für ihren Workflow und ihre Anleitung. Für autoritative Details verweisen wir auf die ursprüngliche Dokumentation und die unten verlinkten Repositories.

Ressourcen

• Blender zu ComfyUI AI Renderer 2.0 Source
  • Docs / Release Notes: YouTube @ Mickmumpitz

Hinweis: Die Nutzung der genannten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von ihren Autoren und Betreuern bereitgestellt werden.