Blender vers ComfyUI AI Renderer 2.0 | Créateur de Vidéos en Mouvement

Blender vers ComfyUI AI Renderer 2.0

Blender vers ComfyUI AI Renderer 2.0 transforme les sorties Blender en vidéos cinématographiques guidées par des invites tout en préservant le mouvement et la disposition des scènes. Il lit la structure à partir de passes de profondeur, de contour ou de pose et utilise cela pour conduire la génération vidéo avec Wan VACE afin que votre film final reste aligné avec l'intention d'animation d'origine. Le flux de travail inclut également un chemin d'image fixe rapide pour le développement de look et les vérifications de keyframe, ce qui le rend idéal pour les animateurs, les artistes VFX, les équipes de prévisualisation et les créateurs de contenu.

Au cœur, Blender vers ComfyUI AI Renderer 2.0 construit ou ingère des vidéos de contrôle, les fusionne avec des images de départ ou de référence, et rend une séquence cohérente avec une forte stabilité temporelle. Vous obtenez un contrôle créatif grâce aux invites et aux images de référence tandis que la profondeur et les bords gardent la composition et le mouvement intacts.

Modèles clés dans le flux de travail Comfyui Blender vers ComfyUI AI Renderer 2.0

• Wan 2.1 VACE 14B (SkyReels V3 R2V merge). Diffusion vidéo de base utilisée pour la génération consciente de la structure et l'alignement du mouvement. Point de contrôle hébergé en tant que fusion pour VACE et SkyReels R2V, adapté pour le contrôle du cadre de début à la fin et la cohérence guidée par référence. Model
• uMT5‑XXL encodeur de texte pour Wan 2.1. Fournit un conditionnement textuel de haute capacité emballé pour ComfyUI. Files
• Wan 2.1 VAE. Utilisé pour encoder et décoder proprement les latents vidéo pour le pipeline Wan. Files
• Depth Anything 3 DA3‑BASE. Estimateur de profondeur monoculaire utilisé pour dériver un contrôle de profondeur de haute qualité et temporellement cohérent à partir de séquences. Model
• Z‑Image Turbo. Une base de diffusion d'image rapide pour l'exploration d'images uniques avec un conditionnement multi-contrôle. Model
• Z‑Image‑Fun ControlNet Union 2.1. Poids multi-contrôle pour canny, profondeur, pose, et plus lors de l'utilisation du chemin Z‑Image Turbo. Model
• OpenPose (algorithme). Détecteur de points clés 2D classique utilisé pour dériver des lignes de pose comme signal de contrôle optionnel. Paper • GitHub

Comment utiliser le flux de travail Comfyui Blender vers ComfyUI AI Renderer 2.0

Le flux de travail a deux pistes que vous pouvez exécuter indépendamment ou ensemble. Tout d'abord, une piste de prétraitement construit une vidéo de contrôle à partir de vos séquences (profondeur, bords ou pose). Ensuite, AI Renderer 2.0 fusionne des images de départ ou de référence avec cette vidéo de contrôle pour synthétiser la séquence finale. Un chemin séparé Z‑IMAGE TURBO CN 1.0 vous permet d'itérer rapidement sur des images fixes qui reflètent votre stratégie de contrôle.

• ENTRÉE VIDÉO & SÉLECTION DE TAILLE (Prétraitement)
  • Ce groupe importe une vidéo et standardise les dimensions et le budget de trame pour le constructeur de passe de contrôle. Le nœud VHS_LoadVideo (#32) lit votre clip et expose des informations comme fps et le nombre de trames aux nœuds en aval. Un bloc de paramètres compact câblé en largeur, hauteur et limites de trame afin que chaque préprocesseur en aval fonctionne à la même résolution. Utilisez cela d'abord pour aligner toutes les sorties de prétraitement avant de choisir un type de contrôle.
• PROFONDEUR (Prétraitement)
  • Ce groupe convertit les trames d'entrée en une séquence de cartes de profondeur en utilisant DepthAnything_V3 (#37). L'objectif est de préserver la géométrie de la scène pour que la génération vidéo ultérieure respecte l'échelle, l'occlusion et la parallaxe. Un nœud de redimensionnement interne adapte les cartes à la taille de travail, et un bloc de sauvegarde peut prévisualiser le clip de contrôle. Choisissez cela lorsque vous voulez une fidélité de mise en page et de mouvement de caméra forte.
• CANNY (Prétraitement)
  • Ce groupe extrait des lignes de bord nettes avec CannyEdgePreprocessor (#39) pour fournir une structure sans ombrage. Les bords sont redimensionnés pour correspondre aux paramètres du projet et peuvent être sauvegardés en tant que prévisualisation. Utilisez cela lorsque vous souhaitez des silhouettes nettes, des lignes architecturales ou un contrôle de style dessin animé qui garde la composition mais permet une flexibilité de style.
• POSE (Prétraitement)
  • Ce groupe calcule les squelettes humains avec OpenposePreprocessor (#42), produisant des figures linéaires légères pour le transfert de mouvement. Il est utile lorsque le mouvement des personnages est la priorité et que vous souhaitez que les détails génératifs restent cohérents avec l'action et le timing. Comme pour les autres types de contrôle, la sortie est redimensionnée et peut être prévisualisée sous forme de courte vidéo.
• Z‑IMAGE TURBO CN 1.0
  • Ce chemin est pour l'exploration d'images fixes rapide à partir d'un cadre unique ou d'une image chargée. QwenImageDiffsynthControlnet (#3) applique Z‑Image Turbo avec le patch multi-contrôle, guidé par une invite de CLIPTextEncode (#23). Utilisez le commutateur USE VIDEO? (#20) pour alimenter un cadre de vidéo ou une image du disque; puis échantillonnez et enregistrez rapidement un cadre pour valider votre invite, direction artistique ou force de contrôle avant de lancer la séquence complète.
• IMAGE DE DÉPART (AI Renderer 2.0)
  • Ce groupe accepte une image de départ et jusqu'à trois images de référence supplémentaires. Le flux de travail les redimensionne automatiquement, les mélange éventuellement, et construit une pile de références qui initie la vidéo pour une meilleure cohérence d'identité et de style. Si plusieurs références sont présentes, un petit bloc logique désactive l'entrée du cadre de départ dans le constructeur VACE de début à fin pour que les références prennent le pas.
• ENTRÉE VIDÉO & SÉLECTION DE TAILLE (AI Renderer 2.0)
  • Ce deuxième groupe de dimensionnement dirige le rendu final. Il définit la largeur, la hauteur, fps et la longueur de trame qui sont lus par les nœuds Wan en aval. VHS_LoadVideo (#93 et #105) peut également importer un clip auxiliaire dont les propriétés sont utilisées pour refléter fps dans l'écrivain de sortie final. Gardez ce groupe synchronisé avec votre exportation Blender pour éviter un rééchantillonnage non intentionnel.
• CHARGEURS DE MODÈLES FP8
  • Ici, le principal Wan 2.1 VACE UNet, l'encodeur de texte uMT5‑XXL, et le Wan VAE sont chargés, avec des poids LoRA optionnels. Ces chargeurs garantissent que le chemin AI Renderer 2.0 fonctionne avec une précision constante, un tokenizer et un codec latent. Échangez les modèles ici pour changer de familles de style ou de points de contrôle sans toucher le reste du graphe.
• ÉCHANTILLONNEUR
  • Le cœur de Blender vers ComfyUI AI Renderer 2.0. WanVideoVACEStartToEndFrame (#3261) forme une vidéo de contrôle à partir des images de départ et de référence plus la passe de contrôle choisie, puis WanVacePhantomSimpleV2 (#3255) connecte le modèle Wan, le conditionnement, les références et le contrôle généré ensemble. Un KSampler (#3253) rend des trames cohérentes, puis VAEDecode et VHS_VideoCombine (#109) enregistrent le MP4 à votre fps cible. Entrez vos invites positives et négatives une seule fois; le même texte dirige toute la séquence.

Nœuds clés dans le flux de travail Comfyui Blender vers ComfyUI AI Renderer 2.0

• WanVacePhantomSimpleV2 (#3255)
  • Orchestration de la génération Wan 2.1 VACE en routant le modèle, VAE, les invites, la vidéo de contrôle, et les images de référence. Ajustez seulement l'essentiel : largeur et hauteur de travail pour correspondre à votre contrôle, et longueur de séquence pour correspondre au plan cible. Si vous utilisez plusieurs références fortes, gardez les invites descriptives plutôt que trop spécifiques pour éviter de lutter contre l'orientation par référence.
• WanVideoVACEStartToEndFrame (#3261)
  • Construit la vidéo de contrôle que VACE suit. Fournissez une image de départ, une pile de fin ou de référence optionnelle, et la vidéo de contrôle prétraitée. Définissez le nombre de trames en utilisant la règle Wan de 4n+1 pour que la coupe reste cohérente à travers l'échantillonneur; cela évite les artefacts de décalage d'un à la queue.
• PreprocessSwitch (#3239)
  • Sélectionne quel flux de contrôle atteint l'échantillonneur. Passez entre trames originales, profondeur, canny, ou pose selon ce que vous avez exporté de Blender ou construit dans le prétraitement. Utilisez la profondeur lorsque vous avez besoin de fidélité spatiale, canny pour un contrôle de composition propre, et pose pour un mouvement axé sur les personnages.
• VHS_LoadVideo (#93)
  • Gère l'ingestion vidéo et expose les propriétés de trame utilisées à travers le graphe. C'est le moyen fiable de garder fps et dimensionnement cohérents de Blender à travers le rendu. Si vous devez couper ou sauter les têtes et les queues, faites-le ici pour que tous les chemins en aval restent alignés.
• KSampler (#3253)
  • Produit la séquence latente finale étant donné le modèle Wan et le conditionnement. Si vous changez la force de l'orientation ou la méthode d'échantillonnage, vérifiez à nouveau les 10 premières et dernières trames pour la stabilité, puis rendez la séquence complète.

Extras optionnels

• Vous pouvez remplacer la passe de contrôle générée par les passes de rendu propres de Blender. Branchez votre passe de profondeur, de contour ou de pose dans l'entrée de contrôle utilisée par WanVideoVACEStartToEndFrame (#3261) pour conduire VACE directement à partir des sorties Blender.
• Gardez le rapport d'aspect et fps identiques entre Blender et le flux de travail. L'écrivain de sortie reflète fps des paramètres d'entrée pour que le timing éditorial reste verrouillé.
• Pour la préservation de l'identité ou du style, fournissez plusieurs images de référence propres dans STARTIMAGE. Le flux de travail priorisera l'ensemble de références et gérera automatiquement le basculement du cadre de départ.

Ce flux de travail Blender vers ComfyUI AI Renderer 2.0 vous permet de rester fidèle à la disposition et au mouvement tout en utilisant des invites et des références pour augmenter la valeur de production. Utilisez le prétraitement pour décider de la quantité de structure que vous souhaitez préserver, validez rapidement la direction avec Z‑IMAGE TURBO CN 1.0, puis rendez des séquences confiantes et cohérentes avec AI Renderer 2.0.

Remerciements

Ce flux de travail met en œuvre et s'appuie sur les travaux et ressources suivants. Nous remercions @Mickmumpitz les créateurs de "Blender to ComfyUI AI Renderer 2.0 Source" pour leur flux de travail et leurs conseils. Pour des détails autoritaires, veuillez vous référer à la documentation et aux dépôts d'origine liés ci-dessous.

Ressources

• Blender to ComfyUI AI Renderer 2.0 Source
  • Docs / Notes de version: YouTube @ Mickmumpitz

Note: L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences respectives et aux conditions fournies par leurs auteurs et mainteneurs.