LTX 2.3 Sulphur 2 Prompt Relay Workflow | Créateur de Vidéo Cinématographique

LTX 2.3 Sulphur 2 Prompt Relay workflow : séquençage de micro-actions image-vidéo dans ComfyUI#

Ce workflow ComfyUI transforme une image de référence unique et une invite de mouvement segmentée en un court clip cinématographique. Il combine la génération vidéo distillée LTX‑2.3 avec un motion LoRA Sulphur 2 et un encodage intelligent Prompt Relay, vous permettant de décrire des micro-actions comme une séquence au lieu de vous fier à une seule invite plate. Le graphique est pré-câblé pour des latents audio synchronisés, un exemple validé d'image-vidéo sous la pluie, et des entrées/sorties normalisées pour une lecture directe sur le cloud.

Utilisez ce workflow LTX 2.3 Sulphur 2 Prompt Relay lorsque vous souhaitez un ancrage visuel serré à un cadre de référence et un mouvement contrôlé qui se déroule battement par battement. Les cinéastes, éditeurs et concepteurs de mouvement peuvent disposer des "battements" comme "marche sous la pluie | se brosse les cheveux | se tourne et fait signe | sort" et obtenir un mouvement cohérent et un cadrage sur l'ensemble de la prise.

Modèles clés dans le workflow Comfyui LTX 2.3 Sulphur 2 Prompt Relay#

• Modèle fondamental audio-visuel LTX‑2.3 (distillé, uniquement transformateur). Génère des vidéos et des tokens audio synchronisés en un seul passage de diffusion ; ce workflow utilise la variante distillée 22B emballée pour ComfyUI. Poids : Lightricks/LTX‑2.3 et nœuds/utilitaires : Lightricks/ComfyUI‑LTXVideo. Voir également le contexte de recherche dans LTX‑Video et l'article LTX‑Video : Realtime Video Latent Diffusion.
• Paire LTX‑Video VAE (VAE vidéo + VAE audio). Encode/décode les cadres vidéo latents et le flux audio utilisé pour l'alignement temporel. Les fichiers VAE pré-construits adaptés à ComfyUI sont disponibles dans les packs LTX‑2.3, par exemple Kijai/LTX2.3_comfy et le dépôt officiel ComfyUI‑LTXVideo.
• Encodeur de texte basé sur Gemma et projection de texte LTX. Fournit une compréhension d'invite à long contexte pour LTX‑2.3 via des encodeurs de style CLIP et une couche de projection spécifique au modèle intégrée avec l'intégration LTX. Voir l'encodeur et les configurations dans ComfyUI‑LTXVideo.
• Sulphur 2 motion LoRA (optionnel). Un ajustement fin chargé comme un LoRA pour biaiser le rythme et la continuité du mouvement pour image-vidéo. Il s'associe bien avec Prompt Relay lorsque vous souhaitez un contrôle explicite battement par battement.

Comment utiliser le workflow Comfyui LTX 2.3 Sulphur 2 Prompt Relay#

Le workflow suit un chemin clair de l'image de référence à la configuration latente, modèle et LoRAs, séquençage d'invites, échantillonnage, puis décodage et exportation. Remplacez les entrées de démonstration par les vôtres et concentrez-vous sur les quelques contrôles appelés ci-dessous.

• Image de référence et dimensionnement
  • LoadImage (#620) vous permet de choisir l'image d'ancrage. Le nœud suivant, ImageScaleByAspectRatio V2 (#621), l'adapte à la toile de travail tout en maintenant la composition stable. LTXVPreprocess (#586) applique un pré-traitement adapté à LTX pour que le premier cadre verrouille le sujet, l'éclairage et la palette. Utilisez une référence propre et bien éclairée qui correspond déjà à votre cadrage souhaité.
• Configuration latente (vidéo + audio)
  • EmptyLTXVLatentVideo (#577) définit la taille de la toile et la longueur de la prise. Get_video_vae (#583) et LTXVImgToVideoInplaceKJ (#617) injectent l'image de référence directement dans la vidéo latente pour que l'apparence reste cohérente dès le premier cadre. En parallèle, Get_audio_vae (#576) avec LTXVEmptyLatentAudio (#547) crée un latent audio synchronisé (silencieux par défaut) pour maintenir l'alignement temporel. LTXVConcatAVLatent (#548) fusionne les deux flux pour une diffusion unifiée.
• Chargement de modèles et contrôle du mouvement
  • UNETLoader (#632) charge le transformateur LTX‑2.3 distillé. La pile LoRA ajoute un comportement : LoraLoaderModelOnly (#630) applique un assistant LTX distillé, LoraLoaderModelOnly (#628) charge le motion LoRA Sulphur 2, et LoraLoaderModelOnly (#606) peut ajouter un stabilisateur I2V. PathchSageAttentionKJ (#542) corrige l'attention pour la performance/cohérence. Ensemble, ces nœuds déterminent dans quelle mesure vos invites dirigent le mouvement par rapport à la préservation de la référence.
• Séquençage d'invites avec Prompt Relay
  • DualCLIPLoader (#416) charge l'encodeur de texte. PromptRelaySmartEncode (#610) accepte un global_prompt pour les détails persistants et un smart_prompt pour la séquence d'actions. Utilisez des segments séparés par des pipes comme "femme marche sous la pluie | se brosse les cheveux | se tourne et fait signe | marche au loin," ou utilisez des en-têtes de bloc tels que "Scène 1 : … Scène 2 : …" pour pondérer le temps à l'écran. Le nœud distribue automatiquement le temps entre les segments, vous pouvez donc écrire des battements au lieu de compter les cadres. Voir la référence de syntaxe dans ComfyUI‑PromptRelay.
• Conditionnement et taux de cadre
  • LTXVConditioning (#164) reçoit la sortie de Prompt Relay pour une orientation positive et une ligne de base négative minimale (ConditioningZeroOut, #420). Il définit également le taux de cadre cible pour la prise, que les nœuds en aval utilisent pour maintenir la cohérence temporelle avec votre pondération de segment.
• Échantillonneur et aperçu
  • BasicScheduler (#514) façonne le calendrier du bruit ; KSamplerSelect (#154) choisit l'échantillonneur. VisualizeSigmasKJ (#358) prévisualise le calendrier pour que vous puissiez voir comment la courbe de dé-bruitage progressera. LTX2SamplingPreviewOverride (#588) permet des aperçus réactifs pendant la diffusion. SamplerCustom (#561) exécute la diffusion audio‑vidéo unifiée en utilisant votre latent AV, vos invites, LoRAs, et calendrier.
• Décodage et exportation
  • LTXVSeparateAVLatent (#549) divise le latent AV final. VAEDecode (#471) produit des cadres ; LTXVAudioVAEDecode (#550) décode le latent audio. VHS_VideoCombine (#604) multiplexe les cadres et l'audio en un MP4 H.264 avec un formatage yuv420p standard, prêt pour la lecture et l'édition.

Nœuds clés dans le workflow Comfyui LTX 2.3 Sulphur 2 Prompt Relay#

• PromptRelaySmartEncode (#610)
  • Objectif : Traduit votre "smart prompt" battement par battement en un conditionnement de texte correctement chronométré pour l'ensemble du clip. Utilisez global_prompt pour les détails immuables (style, sujet, éclairage) et smart_prompt pour la séquence d'actions. Deux styles de rédaction sont pris en charge : segments en ligne séparés par | avec des balises proportionnelles optionnelles comme [0-50], ou en-têtes de bloc comme "Scène 1 :" qui pondèrent les segments par plage. Gardez une syntaxe par invite pour éviter l'ambiguïté. Référence : ComfyUI‑PromptRelay.
• LTXVImgToVideoInplaceKJ (#617)
  • Objectif : Verrouille l'apparence du premier cadre et la propage doucement à travers le mouvement. Si l'identité ou la garde-robe dérive, augmentez son adhérence à l'image ; si le mouvement semble contraint, réduisez-le pour permettre plus de dynamique. Équilibrez cela avec votre force de LoRA Sulphur 2 pour que la référence reste stable sans geler excessivement le mouvement.
• LoraLoaderModelOnly (#628) — Sulphur 2 motion LoRA
  • Objectif : Injecte l'ajustement fin Sulphur 2 pour biaiser la continuité du mouvement, la douceur de la trajectoire et la mise en scène de l'action. Augmentez strength_model pour accentuer le mouvement guidé à travers les segments ; réduisez-le si vous voyez une surestimation ou des motifs répétitifs. Ajustez en tandem avec la force ImgToVideoInplace pour maintenir la fidélité au sujet et l'énergie du mouvement en harmonie.
• LTXVConditioning (#164)
  • Objectif : Consolide le conditionnement positif/négatif pour LTX‑2.3 et définit le taux de cadre du clip. Si vous allongez la prise, revoyez vos poids de segment Prompt Relay pour que le timing relatif corresponde toujours aux battements prévus.
• SamplerCustom (#561)
  • Objectif : Exécute le passage de dé-bruitage en utilisant votre échantillonneur et calendrier choisis. Si le mouvement est saccadé, essayez un calendrier légèrement plus fluide ou un échantillonneur connu pour sa stabilité temporelle ; si les invites sous-dirigent, augmentez modestement l'orientation tout en surveillant la sursaturation. Utilisez VisualizeSigmasKJ pour vérifier la forme du calendrier avant les longues exécutions.

Extras optionnels#

• Écrire des micro-actions efficaces avec Prompt Relay
  • Style en ligne : "marche sous la pluie | se brosse les cheveux | se tourne et fait signe | sort." Pour donner plus de temps à une action, ajoutez une balise de poids comme "[0-200]" vs "[200-260]" ; seule la durée importe.
  • Style de bloc : Utilisez des en-têtes tels que "Scène 1 :" et "Scène 2-4 :" sur leurs propres lignes. La plage dans l'en-tête définit la durée relative, et les en-têtes sont supprimés avant la tokenisation.
• Dépannage rapide
  • Dérive d'identité : augmentez l'adhérence à l'image dans LTXVImgToVideoInplaceKJ ou réduisez strength_model de Sulphur 2.
  • Mouvement trop lent/rapide : rééquilibrez les durées de segment dans le smart prompt pour que les battements importants aient plus ou moins de temps.
  • Clignotement ou artefacts : essayez un échantillonneur et un calendrier plus stables, ou augmentez légèrement l'orientation ; surveillez la sur-acuité.
• Références utiles
  • Poids et docs du modèle LTX‑2.3 : Hugging Face : Lightricks/LTX‑2.3
  • Nœuds ComfyUI et flux d'exemple : Lightricks/ComfyUI‑LTXVideo
  • Syntaxe et exemples de Prompt Relay : kijai/ComfyUI‑PromptRelay
  • Assistants compatibles LTX utilisés dans ce graphique : kijai/ComfyUI‑KJNodes

Remerciements#

Ce workflow met en œuvre et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement Lightricks pour LTX-Video, Kijai pour le nœud ComfyUI-PromptRelay et les assistants ComfyUI-KJNodes, et RunningHub et RunComfy pour les références de workflows et la configuration Cloud Save pour leurs contributions et maintenance. Pour des détails autoritatifs, veuillez vous référer à la documentation et aux dépôts originaux liés ci-dessous.

Ressources#

• Référence de workflow RunningHub
  • Docs / Notes de version : Référence de workflow RunningHub
• Configuration Cloud Save RunComfy
  • Docs / Notes de version : Configuration Cloud Save RunComfy
• Lightricks/LTX-Video
  • GitHub : Lightricks/LTX-Video
  • Hugging Face : Lightricks/LTX-Video-0.9.7-dev
  • arXiv : arXiv:2501.00103
• kijai/ComfyUI-PromptRelay
  • GitHub : kijai/ComfyUI-PromptRelay
• kijai/ComfyUI-KJNodes
  • GitHub : kijai/ComfyUI-KJNodes

Note : L'utilisation des modèles, ensembles de données et code référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.