Tutoriel de Flux de Travail#
Flux de travail vidéo chronologique LTX 2.3 Director 2.0 pour ComfyUI#
LTX 2.3 Director 2.0 est un flux de travail ComfyUI axé sur la chronologie pour la génération, l'extension, la reprise et le montage sensible au son des vidéos LTX‑2.3. Il est construit autour du nœud de chronologie LTX Director 2.0 tiers et d'un pipeline de rendu en deux étapes qui pose d'abord la scène, puis suréchantillonne et affine. Le résultat est un processus contrôlable de style canevas idéal pour les cinéastes AI qui veulent des séquences plus longues et synchronisées sans abandonner l'itération créative.
Ce graphique vérifié pilote le modèle distillé Lightricks’ LTX‑2.3 22B avec des VAE vidéo et audio dédiés plus le suréchantillonneur spatial x2 LTX‑2.3. Les invites, les guides de mouvement et les reprises optionnelles sont créés directement sur la chronologie, et le flux de travail maintient automatiquement la stabilité du cadrage pendant le suréchantillonnage de l'Étape 2. Il est prêt pour RunComfy et conçu pour une production quotidienne fiable.
Modèles clés dans le flux de travail Comfyui LTX 2.3 Director 2.0#
- Lightricks LTX‑2.3 22B Distilled (transformer‑only) – l'épine dorsale vidéo générative qui synthétise le mouvement et les visuels à partir de texte et de guides. Carte du modèle
- LTX‑2.3 Video VAE (bf16) – encode/décode les latents vidéo pour un débruitage efficace et une reconstruction finale des images. Ressources
- LTX‑2.3 Audio VAE (bf16) – transforme l'audio de la chronologie en latents pour une guidance sensible au son et restaure la forme d'onde à la fin. Ressources
- LTX‑2.3 Spatial Upscaler x2 v1.1 – super‑résolution dans l'espace latent qui double le détail spatial avant le passage final. Ressources
- LTX‑2.3 Text Projection – mappe les invites dans l'espace d'embedding du modèle pour un conditionnement cohérent. Ressources
- VAE Tiny optionnel pour les aperçus (taeltx2_3) – VAE d'aperçu léger utilisé pour des aperçus de modèle rapides. Kijai LTX2.3_comfy
Les outils de chronologie et les nœuds de guide sont fournis par l'extension ComfyUI personnalisée de WhatDreamsCost. WhatDreamsCost‑ComfyUI
Comment utiliser le flux de travail Comfyui LTX 2.3 Director 2.0#
Ce flux de travail fonctionne en deux étapes coordonnées : l'Étape 1 construit une vidéo cohérente et un latent audio à partir de la chronologie LTX Director ; l'Étape 2 suréchantillonne, préserve le cadrage et affine le détail ; le groupe Process Video décode les images, restaure l'audio, définit les fps et écrit le fichier final.
Modèles + Aperçu#
Le groupe “Modèles + Aperçu” charge l'épine dorsale distillée LTX‑2.3 22B, les VAE vidéo et audio, et le suréchantillonneur spatial x2. ModelPreviewOverrideKJ (#10) associe l'épine dorsale à un VAE d'aperçu léger pour que vous puissiez vérifier les invites avant l'échantillonnage complet. LTXDirector (#131) est le canevas où vous définissez la durée, la fréquence d'image, les invites globales et par segment, les indications de mouvement et les paramètres audio. Si vous prévoyez des reprises itératives, gardez la graine RandomNoise (#30) constante pour conserver la structure à travers les modifications.
Étape #1#
L'étape 1 convertit votre chronologie en conditionnement et un latent audio‑vidéo de base. LTXVConditioning (#27) reçoit un conditionnement positif du directeur et un négatif mis à zéro via ConditioningZeroOut (#128) pour une ligne de base propre. LTXDirectorGuide (#133) fusionne les données de guide, les guides de mouvement, le modèle et le VAE vidéo pour produire un conditionnement guidé et un latent vidéo initial ; l'audio du directeur est combiné via LTXVConcatAVLatent (#29). La pile d'échantillonneurs (CFGGuider (#28), BasicScheduler (#33), KSamplerSelect (#32), SamplerCustomAdvanced (#31)) débruite ce latent AV en un résultat de premier passage, qui est ensuite séparé par LTXVSeparateAVLatent (#34) afin que le latent audio puisse être transporté.
Étape #2 Suréchantillonnage#
L'étape 2 préserve votre cadrage tout en ajoutant du détail spatial et du raffinement. LTXDirectorCropGuides (#55) analyse le latent vidéo et le conditionnement de l'Étape 1 pour produire des guides de recadrage qui maintiennent les sujets stables pendant le suréchantillonnage. LTXVLatentUpsampler (#14) applique le modèle spatial x2 LTX‑2.3 au latent vidéo en utilisant le VAE vidéo complet, puis LTXDirectorGuide (#132) réapplique la guidance de la chronologie au latent de plus haute résolution et le réunit avec le latent audio transporté via LTXVConcatAVLatent (#18). La deuxième pile d'échantillonneurs (CFGGuider (#17), BasicScheduler (#21), KSamplerSelect (#20), SamplerCustomAdvanced (#19)) produit le latent AV final ; un dernier passage LTXDirectorCropGuides (#54) s'assure que les recadrages sont respectés avant le décodage.
Traiter la Vidéo#
VAEDecode (#1) transforme le latent vidéo final en images avec le VAE vidéo haute fidélité, tandis que LTXVAudioVAEDecode (#24) restaure la forme d'onde du latent audio. CreateVideo (#2) multiplexe les images et l'audio à la fréquence d'image diffusée par le directeur, et SaveVideo (#37) écrit le fichier dans le dossier de sortie défini dans le nœud. Si votre rendu final semble désaligné avec le timing, ajustez la fréquence d'image du directeur ou les limites des segments de la chronologie et ré-rendez.
Nœuds clés dans le flux de travail Comfyui LTX 2.3 Director 2.0#
LTXDirector (#131)#
Le cerveau de la chronologie du flux de travail. Créez l'invite globale, placez des invites par segment, activez les pistes audio et de mouvement, et définissez la durée et la fréquence d'image. Utilisez les reprises en spécifiant la fenêtre de reprise et l'invite ; seule cette fenêtre sera régénérée, préservant le contexte environnant. Activez le montage sensible au son pour laisser la bande sonore ou la voix off influencer le rythme et l'accentuation. L'entrée latente optionnelle peut être utilisée pour ancrer les itérations lorsque vous souhaitez une structure de prise de vue cohérente.
LTXDirectorGuide (#133)#
Guide de l'étape 1 qui convertit les invites de la chronologie, les données de guide et les indications de mouvement en conditionnement et un latent vidéo de semence. Il établit la composition et le flux de mouvement à la résolution de base. Ajustez-le lorsque vous avez besoin d'une adhésion narrative plus forte ou d'un blocage plus clair avant le suréchantillonnage. Ses sorties pilotent l'échantillonneur de l'étape 1 et préparent la guidance de recadrage pour l'étape suivante.
LTXDirectorGuide (#132)#
Guide de l'étape 2 opérant après le suréchantillonnage spatial x2. Il réinjecte la même intelligence de chronologie à une résolution plus élevée pour que les détails s'affinent sans casser la composition. Lorsque vous poussez pour plus de texture ou de micro-mouvement, biaisez les décisions ici pour que l'étape 2 affine plutôt que de réécrire votre intention de l'étape 1.
LTXVLatentUpsampler (#14)#
Applique le suréchantillonneur spatial x2 v1.1 LTX‑2.3 dans l'espace latent pour ajouter du détail efficacement. Utilisez-le pour doubler la fidélité spatiale avant le passage de débruitage final, ce qui améliore généralement les bords, les petits accessoires et la typographie. Laissez-le engagé pour les rendus maîtres ; envisagez de le contourner uniquement pour des prévisualisations très rapides.
LTXDirectorCropGuides (#55)#
Calcule les fenêtres de recadrage par segment pour que le cadrage du sujet survive au chemin de suréchantillonnage. Utilisez-le chaque fois que vous avez des compositions spécifiques à un plan, des recadrages ou des encadrements pour maintenir un look cohérent à travers les deux étapes. Si vous voyez des recadrages dérivants, revisitez vos segments de chronologie et régénérez les guides.
SamplerCustomAdvanced (#31)#
Échantillonneur de l'étape 1 qui traduit le conditionnement en latent AV de base. Associez-le avec le guide et le planificateur de l'étape 1 pour équilibrer l'adhésion et l'exploration. Pour des reprises stables, gardez la même graine de bruit ; pour de nouvelles variations, randomisez la graine.
SamplerCustomAdvanced (#19)#
Échantillonneur de l'étape 2 qui finalise le détail après le suréchantillonnage. Il doit rester harmonisé avec les choix de l'étape 1 pour que le raffinement reste fidèle. Lorsque les résultats semblent trop lissés ou trop nets, ajustez le type d'échantillonneur ou le couplage du planificateur ici d'abord.
Extras optionnels#
- Pour étendre une séquence, ajoutez des segments sur la chronologie du directeur et augmentez la durée ; le flux de travail propagera automatiquement le nouveau timing et l'audio.
- Pour des montages synchronisés avec le rythme, activez le montage sensible au son et placez des segments audio ; le VAE audio guidera le mouvement et l'accentuation pendant l'échantillonnage.
- Si vous souhaitez des reprises reproductibles, gardez
RandomNoise(#30) fixe ; pour explorer des alternatives, changez la graine entre les rendus. - Le VAE d'aperçu accélère le développement de look ; comptez sur le décodage du VAE vidéo uniquement pour les finales pour gagner du temps.
- Gardez la méthode de redimensionnement du directeur sur maintenir l'aspect pour éviter les étirements involontaires après l'étape de suréchantillonnage.
- L'organisation de la sortie est contrôlée dans
SaveVideo(#37) ; définissez un dossier clair par projet pour garder les itérations bien rangées.
Liens et références
- Modèles et ressources LTX‑2.3 : Lightricks/LTX‑2.3
- Nœuds de chronologie et de guide : WhatDreamsCost‑ComfyUI
- Utilitaires d'aperçu : ComfyUI‑KJNodes
- VAE d'aperçu Tiny : Kijai LTX2.3_comfy
Remerciements#
Ce flux de travail met en œuvre et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement MDMZ pour le tutoriel de flux de travail, WhatDreamsCost pour les nœuds WhatDreamsCost-ComfyUI, et Lightricks pour le modèle LTX-2.3 pour leurs contributions et leur maintenance. Pour des détails autoritatifs, veuillez vous référer à la documentation et aux dépôts originaux liés ci-dessous.
Ressources#
- Tutoriel de flux de travail MDMZ (YouTube)
- Docs / Notes de version : Source du tutoriel de flux de travail
- WhatDreamsCost/Chaîne YouTube
- Docs / Notes de version : Chaîne YouTube WhatDreamsCost
- WhatDreamsCost/WhatDreamsCost-ComfyUI
- Lightricks/LTX-2.3
- Hugging Face : Lightricks/LTX-2.3
Note : L'utilisation des modèles, ensembles de données et codes référencés est soumise aux licences et termes respectifs fournis par leurs auteurs et mainteneurs.
