Workflow PAN2 ComfyUI : Du texte ou de l'image à la vidéo avec un Prompt Writer local#
Ce Workflow PAN2 ComfyUI transforme une idée de scène courte ou une image de première image en une vidéo cohérente. Il exécute le modèle mondial PAN 2 pour la génération et ajoute un Prompt Writer local qui développe un concept bref en une légende chronométrée couvrant les sujets, les actions et les mouvements de caméra.
Le workflow est conçu pour les créateurs qui souhaitent un mouvement fiable, un éclairage constant, et une géométrie stable sans avoir à écrire de longs prompts à la main. Les modes texte-à-vidéo et image-à-vidéo vivent sur la même toile, partagent un ensemble de contrôles de résolution et de durée, et exportent directement en MP4.
Modèles clés dans Comfyui PAN2 ComfyUI Workflow#
- Modèle mondial IFM PAN 2. Le générateur principal qui prédit une vidéo temporellement cohérente à partir de la condition textuelle ou d'image, en se concentrant sur la modélisation mondiale stable et le mouvement de la caméra. Source : IFM/PAN2.
- Poids PAN 2 pour ComfyUI. Un emballage maintenu des poids PAN2 compatible avec les chargeurs et échantillonneurs ComfyUI, permettant une configuration rapide sur ce graphique. Source : Comfy-Org/PAN2.
- VAE vidéo latent de style Hunyuan. Un VAE vidéo qui encode et décode des images dans un espace latent compact utilisé par le pipeline vidéo, améliorant la vitesse et l'utilisation de la mémoire pour des clips de plusieurs secondes. Contexte : Tencent/HunyuanVideo.
- Encodeur de texte compatible PAN2. Un encodeur de la famille Qwen emballé avec les poids PAN2 qui transforme la légende chronométrée du Prompt Writer en conditionnement positif et négatif pour l'échantillonneur.
Comment utiliser le Workflow Comfyui PAN2 ComfyUI#
En un coup d'œil, le graphique offre deux chemins parallèles qui se rejoignent avant l'échantillonnage. Choisissez soit Texte2Vidéo soit Image2Vidéo, écrivez une idée courte, réglez la résolution et la durée une fois, puis laissez le Prompt Writer produire un conditionnement structuré pour PAN2. L'échantillonneur final rend des images latentes qui sont décodées et combinées en un MP4.
Groupe Image2Vidéo#
Utilisez ce chemin lorsque vous souhaitez ancrer le look avec une référence fixe. Chargez une première image dans LoadImage (#32); elle est redimensionnée par ResizeImageMaskNode (#33) selon ResolutionSelector (#21), puis convertie en un latent temporel dans Wan22ImageToVideoLatent (#31). La durée provient du contrôle partagé des secondes et est traduite en nombre d'images automatiquement. Ce latent s'écoule ensuite au point de fusion pour que le reste du workflow PAN2 ComfyUI puisse échantillonner, décoder et exporter la vidéo.
Groupe Texte2Vidéo#
Choisissez ceci lorsque vous souhaitez générer toute la scène à partir du texte. EmptyHunyuanLatentVideo (#14) crée un latent temporel propre basé sur les mêmes contrôles de résolution et de durée qu'Image2Vidéo. Le mouvement et le rythme de la scène proviennent de la légende du Prompt Writer, vous permettant de créer des mouvements de caméra et des actions de sujet sans avoir à les animer manuellement. Ce chemin alimente le même point de fusion utilisé par Image2Vidéo et continue à travers l'échantillonnage et l'exportation.
Noyau partagé : Prompt Writer et conditionnement#
Écrivez une idée de scène en une à trois phrases dans PAN2PromptWriter (#22). Le nœud l'étend en une légende chronométrée et une bibliothèque négative accompagnante qui supprime les artefacts courants; les deux sorties sont prévisualisées dans PreviewAny (#9) et PreviewAny (#24) afin que vous puissiez copier ou affiner le texte au besoin. CLIPTextEncode (#10) et CLIPTextEncode (#11) transforment ces chaînes en conditionnement positif et négatif pour le modèle. Vous pouvez garder le prompt minimal car l'écrivain ajoute automatiquement des actions de sujet, des mouvements de caméra et des indices de continuité.
Échantillonnage, décodage et exportation#
Le chemin du modèle charge PAN2 et configure une attention efficace, puis KSampler (#7) génère une vidéo latente en utilisant votre conditionnement et le chemin latent actif. VAEDecode (#12) convertit le latent en images. VHS_VideoCombine (#13) assemble ces images en un MP4 avec votre cadence d'images et qualité choisies, en intégrant les métadonnées du workflow pour la reproductibilité.
Nœuds clés dans Comfyui PAN2 ComfyUI Workflow#
PAN2PromptWriter (#22)#
Étend une description courte et naturelle en une légende chronométrée adaptée à la vidéo, ainsi qu'un prompt négatif robuste. Ajustez prompt pour décrire le sujet, l'environnement, et l'intention de la caméra en langage clair; utilisez duration pour cibler la longueur globale du clip. Si vous souhaitez plus ou moins de variation créative entre les plans, ajustez temperature ou top_p. Pour des battements narratifs répétables, gardez seed fixe.
ResolutionSelector (#21)#
Définit la largeur et la hauteur de travail pour les deux chemins à partir d'un rapport d'aspect et d'un objectif en mégapixels. Choisissez d'abord votre ratio, puis augmentez ou diminuez le nombre de pixels pour équilibrer qualité et vitesse. Garder Image2Vidéo et Texte2Vidéo sur le même sélecteur évite les échelles dépareillées lors du changement de mode.
Wan22ImageToVideoLatent (#31)#
Convertit la première image en une séquence latente temporellement cohérente pour la voie Image2Vidéo. Fournissez une image nette et bien éclairée qui correspond déjà au ratio prévu pour éviter les surprises de recadrage. La longueur est fournie automatiquement; vous pouvez la revoir en modifiant le contrôle partagé des secondes.
EmptyHunyuanLatentVideo (#14)#
Crée un latent temporel vierge pour la voie Texte2Vidéo en utilisant la résolution et la durée sélectionnées. C'est la façon la plus propre de laisser le modèle inventer le mouvement uniquement à partir des conseils du Prompt Writer. Pour les clips plus longs, envisagez de générer plusieurs prises plus courtes pour minimiser la dérive, puis montez-les ensemble.
Any Switch (rgthree) (#35)#
Choisit quel chemin latent conduit la génération. Sélectionnez le latent Image2Vidéo lorsque vous souhaitez une continuité visuelle stricte à partir de l'image de référence, ou passez au latent vierge pour une vidéo entièrement dirigée par le texte. Il est sûr de basculer entre les exécutions sans recâbler le graphique.
KSampler (#7)#
Effectue les étapes principales de débruitage au fil du temps en utilisant le modèle fusionné et votre conditionnement. Réglez steps pour la qualité par rapport à la vitesse, cfg pour l'adhérence au prompt par rapport au naturalisme, et denoise lors du raffinement à partir d'un latent Image2Vidéo. Gardez le scheduler et sampler_name appairés de manière sensée; de petits changements ici peuvent modifier sensiblement la fluidité du mouvement.
VHS_VideoCombine (#13)#
Écrit le MP4 final à partir des images décodées. Réglez frame_rate pour correspondre à votre livraison cible et ajustez crf pour échanger la taille du fichier contre la qualité. Si vous avez l'intention de monter plus tard, préférez un réglage de qualité légèrement supérieur.
Extras optionnels#
- Gardez les idées de scène courtes. Une ou deux phrases avec un sujet, un cadre, et une intention de caméra clairs produisent les légendes de Prompt Writer les plus fiables.
- Pour Image2Vidéo, fournissez une première image qui correspond déjà à votre ratio d'aspect et éclairage cible; évitez les mises à l'échelle lourdes ou les recadrages avant l'importation.
- Commencez par des clips courts (6 à 12 s). Les durées plus longues amplifient la dérive et nécessitent un prompt plus soigné.
- Utilisez la bibliothèque négative fournie telle quelle, puis ajoutez seulement les quelques interdictions qui comptent pour votre sujet; des négatifs trop longs peuvent supprimer les détails souhaités.
- Fixez le
seedde l'échantillonneur pour itérer sur le libellé, puis variez-le pour explorer des alternatives une fois que la composition et le timing semblent corrects. - Si le mouvement semble trop rapide ou lent, ajustez le contrôle des secondes plutôt que le libellé de la caméra d'abord; les changements de timing se propagent de manière cohérente à travers la légende.
Liens et références
- Modèle mondial PAN 2 : IFM/PAN2
- Poids PAN 2 pour ComfyUI : Comfy-Org/PAN2
- Nœud Prompt Writer : benjiyaya/ComfyUI-PAN2-PromptWriter
- Contexte vidéo latent : Tencent/HunyuanVideo
Remerciements#
Ce workflow implémente et s'appuie sur les travaux et ressources suivants. Nous remercions IFM pour le modèle PAN2, Comfy-Org pour les poids PAN2, et benjiyaya et AI Future Tech pour le Prompt Writer PAN2 et les guides créateurs et exemples de workflows pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation originale et aux dépôts liés ci-dessous.
Ressources#
- IFM/PAN2
- Hugging Face : IFM/PAN2
- Comfy-Org/PAN2
- Hugging Face : Comfy-Org/PAN2
- benjiyaya/ComfyUI-PAN2-PromptWriter
- GitHub : benjiyaya/ComfyUI-PAN2-PromptWriter
- AI Future Tech/PAN2 walkthroughs and sample workflows
- Docs / Notes de version : Creator walkthrough and sample workflows
Note : L'utilisation des modèles, ensembles de données et code référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.

