Wan 2.2 VBVR dans ComfyUI | Raisonnement Vidéo Basé sur la Vidéo

Wan 2.2 VBVR dans ComfyUI : génération d'image-à-vidéo sensible au raisonnement

Wan 2.2 VBVR dans ComfyUI est un flux de travail prêt pour la production qui apporte le Raisonnement Visuel Basé sur la Vidéo au Wan 2.2 image-à-vidéo. Il augmente le pipeline standard Wan 2.2 Mixture-of-Experts avec un chemin de modèle ajusté pour le raisonnement et un chemin VBVR LoRA optionnel, de sorte que vos vidéos suivent les objets, les actions et les événements causaux avec une logique temporelle plus forte et une cohérence de scène.

Conçu pour la direction créative, la simulation et les battements d'histoire qui nécessitent plus que de belles images, ce flux de travail ComfyUI aligne des prompts complexes avec un mouvement structuré et des interactions multi-objets. Vous pouvez choisir entre la route du modèle VBVR pur ou superposer VBVR et des LoRAs de mouvement sur Wan 2.2 pour la rapidité, puis exporter des MP4 prêts à être édités.

Modèles clés dans le flux de travail Comfyui Wan 2.2 VBVR

• Wan2.2-I2V-A14B (MoE backbone). Deux experts se spécialisent dans les phases de bruit élevé et de bruit faible et changent par SNR lors du débruitage, offrant une capacité plus élevée sans coût supplémentaire par étape. C'est le générateur principal que le flux de travail étend et mélange. Carte du modèle • Détails techniques
• VBVR-Wan2.2. Un ajustement fin de Wan2.2-I2V-A14B sur une grande suite de raisonnement vidéo pour améliorer le raisonnement temporel, causal et multi-objets tout en gardant l'architecture inchangée. Utilisez ceci lorsque vous souhaitez le meilleur alignement de raisonnement. Carte du modèle • Article
• Wan 2.x VAE. Autoencodeur vidéo haute compression qui reconstruit les images efficacement pour les flux de travail 480p–720p ; Wan 2.2 décrit un design de compression qui permet une génération rapide en 720p. Aperçu
• uMT5-XXL encodeur de texte. Encodeur robuste multilingue de la famille T5 utilisé pour dériver des embeddings de prompts pour les pipelines de texte et d'image-à-vidéo Wan 2.2. Carte du modèle
• LoRAs de mouvement et de raisonnement pour Wan 2.2. Le flux de travail peut charger VBVR LoRA pour le biais de raisonnement et LightX2V LoRAs distillés par étapes pour une amplitude de mouvement plus forte et des mouvements de caméra. Exemple de VBVR LoRA • Collection LightX2V

Comment utiliser le flux de travail Comfyui Wan 2.2 VBVR

Ce flux de travail offre trois routes complémentaires. Chaque route est autonome à partir des prompts et de l'image de départ optionnelle à la sortie vidéo, de sorte que vous pouvez tester les trois et garder la meilleure prise.

• Route du modèle VBVR
  • But. Utilisez ceci lorsque vous souhaitez le meilleur raisonnement vidéo. Il exécute une paire de modèles Wan 2.2 calibrés VBVR à haut et bas SNR, répartissant le calendrier de débruitage entre une étape de "mise en page" et une étape de "détail".
  • Comment cela fonctionne. L'étape de bruit élevé s'exécute d'abord dans WanVideoSampler (#173), puis ses latents passent dans l'étape de bruit faible WanVideoSampler (#172) qui affine la logique de mouvement et les détails. Le changement est contrôlé par les start_step et end_step des samplers, reflétant le passage de main de l'expert SNR-gated de Wan 2.2.
  • Ce que vous définissez. Fournissez une image de départ si vous le souhaitez via LoadImage (#67), et écrivez votre prompt dans le nœud Text près de l'encodeur alimentant WanVideoTextEncode (#170). Ajustez le nombre de cadres avec le petit nœud entier à côté des samplers (Int (#168)).
  • Sortie. Les cadres sont décodés par WanVideoDecode (#164) et assemblés en MP4 avec VHS_VideoCombine (#176).
• Route Wan 2.2 + PainterI2V
  • But. Un chemin rapide et général pour le mouvement cinématique. Il garde les modèles Wan 2.2 I2V de base mais améliore le conditionnement de l'image avec PainterI2VforKJ pour corriger les artefacts de ralenti fréquents dans les LoRAs à 4 étapes.
  • Comment cela fonctionne. Votre image de départ est redimensionnée pour le modèle, intégrée avec PainterI2VforKJ (#181), puis échantillonnée par WanVideoSampler (#129, #130). La route utilise un passage de main de bruit élevé puis de bruit faible similaire à VBVR mais s'en tient aux poids standard de Wan 2.2.
  • Ce que vous définissez. Fournissez votre prompt dans le nœud Text qui alimente WanVideoTextEncode (#152). Si vous enchaînez une LoRA LightX2V, le conditionnement de cette route aide le mouvement à paraître plus intentionnel. Voir le readme du nœud pour son objectif de conception. PainterI2VforKJ
  • Sortie. Les cadres sont décodés par WanVideoDecode (#142) et enregistrés avec VHS_VideoCombine (#154).
• Route Wan 2.2 + VBVR LoRA
  • But. Un hybride pour des itérations rapides. Il superpose une VBVR LoRA sur le modèle Wan 2.2 à bruit élevé et une LoRA de mouvement sur le modèle à bruit faible, vous donnant un coup de pouce de raisonnement tôt et un polissage de mouvement propre tard.
  • Comment cela fonctionne. Le flux de bruit élevé passe par WanVideoSampler (#27) et le flux de bruit faible par WanVideoSampler (#90) ; les deux reçoivent des embeddings de texte de WanVideoTextEncode (#16) et un conditionnement d'image optionnel de PainterI2VforKJ (#179). Les LoRAs sont appliquées par étape pour correspondre au rôle de l'expert.
  • Ce que vous définissez. Déposez votre prompt dans le nœud Text près de WanVideoTextEncode (#16) et, si nécessaire, ajustez la répartition des étapes avec les widgets entiers à proximité étiquetés "Split_step." Les VBVR et LightX2V LoRAs sont sélectionnables à partir des nœuds LoRA dans ce groupe. VBVR LoRA
  • Sortie. Les cadres sont décodés via WanVideoDecode (#28) et exportés via VHS_VideoCombine (#60).

Nœuds clés dans le flux de travail Comfyui Wan 2.2 VBVR

• WanVideoModelLoader (#165, #162)
  • Charge les modèles Wan 2.2 calibrés VBVR à haut SNR et à bas SNR qui correspondent aux experts de débruitage précoce et tardif. Gardez la paire cohérente pour que le passage de main basé sur SNR reste stable. Voir le design de commutation MoE et SNR de Wan 2.2 pour le contexte. Détails
• WanVideoSampler (#173, #172, #129, #130, #27, #90)
  • Conduit la génération et contrôle la répartition des experts. Ajustez steps pour équilibrer le détail par rapport à la vitesse, et ajustez start_step ou end_step pour déplacer le travail entre l'expert de mise en page précoce et l'expert de détail tardif. Utilisez cfg pour échanger l'adhérence pour la liberté de mouvement. La mise en œuvre de référence se trouve dans les nœuds d'échantillonneur du wrapper. Repo du wrapper
• PainterI2VforKJ (#178, #181, #179)
  • Remplace le conditionnement image-à-vidéo vanilla par une variante amplifiée de mouvement conçue pour corriger le ralenti lors de l'utilisation de LoRAs LightX2V à 4 étapes. Il renforce les prompts de caméra et les battements d'action tout en gardant l'identité du sujet. Readme du nœud
• WanVideoTextEncode (#170, #152, #16)
  • Encode les prompts positifs et négatifs via un encodeur uMT5-XXL afin que les échantillonneurs reçoivent des sémantiques riches et multilingues. Gardez la structure du prompt claire ; séparer la scène, le sujet, l'action et l'intention de la caméra améliore généralement l'alignement. uMT5
• VHS_VideoCombine (#176, #154, #60)
  • Assemble les cadres décodés en un MP4 avec des métadonnées pour la reproductibilité. Si vous passez de l'audio, le nœud le multiplexe avec la vidéo. Cela vient des nœuds utilitaires de VideoHelperSuite. VideoHelperSuite

Extras optionnels

• Quand choisir chaque route
  • Modèle VBVR : interactions complexes, scènes cause-effet ou chorégraphies multi-objets.
  • Wan 2.2 + PainterI2V : mouvement dynamique ou narration axée sur la caméra avec LightX2V LoRAs.
  • Wan 2.2 + VBVR LoRA : aperçus rapides qui bénéficient encore du biais de raisonnement tôt dans le débruitage.
• Conseils de prompt pour Wan 2.2 VBVR dans ComfyUI
  • Utilisez des sections courtes comme [SCENE], [SUBJECT], [ACTION], [CAMERA], [LIGHTING]. Cela aide l'encodeur de texte à séparer l'intention.
  • Pour les interactions d'objets, énoncez qui fait quoi à qui et dans quel ordre.
• Empilement de LoRA
  • Gardez la LoRA orientée vers le raisonnement sur l'expert précoce et la LoRA de mouvement sur l'expert tardif pour éviter une sur-régularisation du détail. Les ensembles VBVR et LightX2V compatibles avec Wan 2.2 sont disponibles ici : VBVR LoRA • LightX2V
• Taille des cadres et aspect
  • Les nœuds ImageResizeKJv2 près des entrées assurent une divisibilité propre pour le VAE et réduisent les artefacts. Adaptez l'aspect de votre image de départ à la vidéo cible pour une propagation de mouvement plus fluide.

Remerciements

Ce flux de travail met en œuvre et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement @Ai Verse, l'auteur de Wan 2.2 VBVR dans ComfyUI Source pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation et aux dépôts originaux liés ci-dessous.

Ressources

• YouTube/Wan 2.2 VBVR dans ComfyUI Source
  • Docs / Notes de version : Wan 2.2 VBVR dans ComfyUI Source @Ai Verse

Remarque : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.