Wan 2.2 Prompt Relay | Créateur de vidéo contrôlée par scène

Wan 2.2 Prompt Relay : image à vidéo contrôlée par la chronologie dans ComfyUI#

Ce flux de travail apporte une direction de scène au niveau des segments à Wan 2.2 image-à-vidéo. Il utilise Wan 2.2 pour la génération et la méthode Prompt Relay pour acheminer différentes invites à travers une seule chronologie, vous permettant de passer le contrôle d'une scène à l'autre sans couper le rendu. Le résultat est une vidéo multi-événements fluide où chaque segment suit son propre prompt tout en maintenant la cohérence de l'identité des objets et du style.

Wan 2.2 Prompt Relay est une technique de routage au moment de l'inférence, et non un modèle autonome ou LoRA. Le graphe est conçu pour le cloud RunComfy et comprend une chaîne d'échantillonnage à deux étapes plus une interpolation de cadre RIFE optionnelle. Utilisez-le lorsque vous souhaitez un contrôle temporel serré des scènes avec une configuration minimale : fournissez une image de départ, définissez une invite globale et des invites par segment, définissez la longueur de la vidéo et rendez.

Modèles clés dans le flux de travail Comfyui Wan 2.2 Prompt Relay#

• Modèle de diffusion image-à-vidéo Wan 2.2 14B. Les variantes à haut bruit et à faible bruit sont combinées pour équilibrer le mouvement et le détail dans un passage en deux étapes. Les modèles sont disponibles dans le set repackagé Comfy-Org sur Hugging Face. Comfy-Org/Wan_2.2_ComfyUI_Repackaged
• Encodeur de texte UMT5-XXL pour Wan. Cet encodeur traduit vos invites globales et locales en conditionnement utilisé par Wan 2.2. Comfy-Org/Wan_2.1_ComfyUI_repackaged
• Wan 2.1 VAE. Utilisé pour décoder les latents en images après échantillonnage. Comfy-Org/Wan_2.2_ComfyUI_Repackaged/vae
• Modèle d'interpolation de cadre RIFE (optionnel). Augmente la fluidité temporelle ou le taux de trame cible après génération. hzwer/Practical-RIFE

Comment utiliser le flux de travail Comfyui Wan 2.2 Prompt Relay#

Le flux de travail achemine les invites textuelles dans le temps, génère une vidéo latente à partir d'une image de départ, puis affine et décode les images avant une interpolation et un encodage optionnels. Il est organisé en quelques groupes clairs qui coopèrent pour produire le MP4 final.

• Étape 1 - Charger les modèles Cette section initialise Wan 2.2, l'encodeur de texte et le VAE. Les modèles Wan à haut bruit et à faible bruit sont tous deux préparés pour que le pipeline puisse d'abord établir le mouvement, puis améliorer le détail. Si un LoRA est présent, il est appliqué au modèle de base avant l'échantillonnage. Vous n'avez pas besoin de changer quoi que ce soit ici à moins que vous ne souhaitiez échanger des points de contrôle.
• Étape 2 - Télécharger l'image de départ Importez une seule image de référence qui définit la composition, l'identité du sujet et l'éclairage pour le premier cadre en utilisant LoadImage (#85). L'image de départ ancre le look de la vidéo et aide à maintenir la continuité à travers les segments. Utilisez une référence propre et sur-modèle pour de meilleurs résultats. Remplacez-la chaque fois que vous souhaitez un sujet ou une disposition différents.
• Étape 3 - Taille et longueur de la vidéo Définissez la résolution cible et le nombre total de cadres dans l'initialiseur vidéo latent (EmptyHunyuanLatentVideo (#121)) et gardez-le cohérent avec votre plan de segment. La somme de vos longueurs de segment doit être égale au total de cadres. Faites correspondre le taux de trame que vous souhaitez exporter avec les paramètres de Prompt Relay et l'écrivain vidéo plus tard dans le graphe.
• Lightx2v + i2v Le chemin de rendu principal utilise une chaîne d'échantillonnage à deux étapes. La première étape avec le modèle à haut bruit établit le mouvement et les transitions de scène. La deuxième étape avec le modèle à faible bruit affine les détails et la texture tout en préservant le chemin de mouvement de la première étape. Cette combinaison est ce qui rend Wan 2.2 Prompt Relay à la fois contrôlable et stable pour les transferts de scène à scène.
• Routage des invites Entrez une global_prompt forte qui s'applique à tout le clip dans PromptRelayEncodeTimeline (#117). Définissez ensuite les invites de segment soit comme des données de chronologie JSON, soit comme une liste séparée par des tuyaux. Prompt Relay encode un conditionnement par cadre qui ne change qu'aux limites des segments, facilitant éventuellement les transitions pour des transferts naturels. Le nœud alimente le conditionnement de Wan et garantit que chaque segment suit sa direction prévue.
• Échantillonnage et décodage Le pipeline passe par WanImageToVideo (#79), puis un KSamplerAdvanced grossier (#73) suivi d'un KSamplerAdvanced fin (#83). Les cadres sont décodés avec VAEDecode (#74) et écrits en vidéo avec VHS_VideoCombine (#108). Optionnellement, utilisez RIFE VFI (#131) avant un deuxième VHS_VideoCombine (#132) si vous souhaitez un mouvement plus fluide ou un taux de trame de sortie plus élevé.

Nœuds clés dans le flux de travail Comfyui Wan 2.2 Prompt Relay#

• PromptRelayEncodeTimeline (#117) Central à Wan 2.2 Prompt Relay, ce nœud transforme votre global_prompt et vos invites par segment en un flux de conditionnement positif conscient du temps. Vous pouvez créer des segments dans les timeline_data JSON ou dans local_prompts en utilisant une syntaxe de tuyau. Utilisez max_frames pour correspondre à la longueur de la vidéo, choisissez des time_units qui s'alignent avec votre plan, et ajustez epsilon pour adoucir ou durcir les transferts d'invite entre les segments. Gardez fps cohérent avec votre export final.
• WanImageToVideo (#79) Convertit l'image de départ plus le conditionnement en une chronologie latente initiale pour Wan 2.2. Connectez votre référence de départ à start_image et gardez la largeur, la hauteur et la longueur alignées avec l'initialiseur latent. Le conditionnement négatif dans ce graphe est intentionnellement mis à zéro pour réduire la sur-contrainte et maintenir une identité stable ; introduisez une invite négative explicite uniquement si vous voyez des artefacts récurrents que vous souhaitez supprimer.
• KSamplerAdvanced (#73) Premier passeur d'échantillonnage qui met l'accent sur le mouvement et la disposition. Il fonctionne avec le modèle Wan à haut bruit configuré via ModelSamplingSD3 pour explorer la trajectoire tout en respectant le conditionnement de Prompt Relay. Réglez steps et cfg pour la force de la guidance, et gardez une noise_seed fixe lorsque vous voulez un mouvement reproductible à travers les itérations d'édition.
• KSamplerAdvanced (#83) Deuxième passeur d'échantillonnage qui améliore les détails et la cohérence temporelle en utilisant le modèle Wan à faible bruit. Il affine la texture, les bords et le micro-mouvement sans combattre la trajectoire grossière établie par la première passe. Si vous augmentez la fidélité ici, envisagez d'équilibrer la guidance pour éviter un sur-affûtage qui pourrait déstabiliser le mouvement.
• EmptyHunyuanLatentVideo (#121) Crée la vidéo latente vierge qui définit la résolution spatiale, le budget de cadre et la taille du lot. Définissez le nombre total de cadres à la somme de toutes les longueurs de segment afin que Prompt Relay puisse mapper les invites proprement. Changer la résolution affecte la mémoire et l'apparence de la cadence de mouvement, alors échellez avec soin.
• VHS_VideoCombine (#108, #132) Encode les cadres en MP4. Faites correspondre frame_rate à fps de Prompt Relay lorsque vous n'utilisez pas d'interpolation. Si vous utilisez RIFE VFI, réglez le taux de trame de l'écrivain au nouveau fps effectif. Ajustez crf pour le compromis entre taille et qualité.

Extras optionnels#

• Écrivez le global_prompt pour verrouiller le ton, le langage de la caméra et les balises de qualité, puis gardez les invites de segment courtes et axées sur l'action.
• Assurez-vous que la somme de vos longueurs de segment égale la longueur de la vidéo pour éviter un mauvais alignement des invites.
• Gardez les graines fixes pendant que vous itérez sur les invites, puis randomisez les graines uniquement lorsque vous voulez une nouvelle approche.
• Utilisez des images de départ plus hautes ou plus larges pour suggérer une préférence d'aspect, mais définissez toujours une largeur et une hauteur explicites pour la prévisibilité.
• Si vous voyez une dérive d'identité à travers les segments, renforcez le global_prompt avec des descripteurs d'objets saillants et simplifiez les invites locales.

Ressources pour explorer les composants utilisés ici :

• Nœud Prompt Relay pour ComfyUI par kijai GitHub
• Modèles Wan 2.2 repackagés Hugging Face
• Encodeur de texte UMT5-XXL repackagé pour Wan 2.x Hugging Face

Remerciements#

Ce flux de travail implémente et s'appuie sur les œuvres et ressources suivantes. Nous remercions chaleureusement kijai pour le nœud ComfyUI-PromptRelay, gordonchen19 pour le projet Prompt-Relay, et Comfy-Org pour les modèles Wan_2.2_ComfyUI_Repackaged pour leurs contributions et leur maintenance. Pour des détails autorisés, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.

Ressources#

• YouTube/Workflow @Ai Verse source tutorial
  • Docs / Notes de version : @Ai Verse Workflow source tutorial
• AI Verse/AI Verse workflow page
  • Docs / Notes de version : AI Verse workflow page
• kijai/ComfyUI-PromptRelay node repo
  • GitHub : kijai/ComfyUI-PromptRelay
• gordonchen19/Prompt Relay project page
  • GitHub : gordonchen19/Prompt-Relay
  • Docs / Notes de version : Prompt Relay project page
• Comfy-Org/Wan 2.2 ComfyUI repackaged models
  • Hugging Face : Comfy-Org/Wan_2.2_ComfyUI_Repackaged (split_files)

Note : L'utilisation des modèles référencés, des ensembles de données et du code est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.