Pipeline de film 3D | Créateur de vidéos cinématographiques

Pipeline de film 3D pour ComfyUI#

Le Pipeline de film 3D est un flux de travail ComfyUI axé sur la production par Mickmumpitz.ai qui transforme des passes de scène 3D structurées en vidéo AI cinématographique. Il combine des mises en page de profondeur, des rendus d'argile, des mouvements de caméra et des masques de bouche optionnels avec le modèle vidéo LTX‑2.3 pour préserver la mise en page spatiale, l'optique et la continuité tout en dirigeant le mouvement, l'apparence et le timing.

Conçu pour les cinéastes, animateurs et conteurs visuels, le Pipeline de film 3D simplifie la production multi-prises. Vous obtenez des contrôles de placement de cadre, une attention avancée pour l'orientation d'objet et de région, une synchronisation labiale optionnelle à partir d'une piste vocale, et une étape d'image auxiliaire pour une prévisualisation rapide de l'apparence, le tout à l'intérieur de ComfyUI.

Modèles clés dans le flux de travail Pipeline de film 3D ComfyUI#

Pile vidéo principale

• LTX‑2.3 (22B) par Lightricks. Le modèle principal de génération vidéo qui suit le texte, les signaux de contrôle et les guides 3D pour synthétiser des séquences temporellement cohérentes. Model card
• LTX Audio VAE (inclus avec LTX‑2.3). Code et décode l'audio en tant que latent audio pour que le modèle puisse synchroniser les formes de bouche et le mouvement à la parole. Model bundle
• Gemma 3 12B Instruct encodeur de texte pour LTX‑2.x. Fournit l'intégration linguistique utilisée par LTX‑2.3 pour les invites. Préemballé pour ComfyUI. Files
• LTX‑2.3 Distilled LoRA 384‑1.1. Accélère l'échantillonnage en quelques étapes et stabilise l'apparence lorsqu'il est utilisé avec le point de contrôle de développement. LoRA
• LTX‑2 19B IC‑LoRA Detailer. Améliore le détail local et la fidélité des bords dans la vidéo générée. LoRA
• LTX‑2.3 OmniNFT RL LoRA. Renforcement de style et aide à la cohérence pour la pile vidéo. LoRA
• IC‑LoRA Union‑Control (ref 0.5). Un LoRA d'alignement de référence utilisé pour garder la couleur et la structure fidèles aux guides ; la version 19B est souvent préférée pour LTX‑2.3. LoRA family

Pile d'image previz optionnelle

• FLUX.2 Klein 9B (FP8). Générateur d'image rapide utilisé ici pour transformer Canny + Depth en une image stylisée pour le développement d'apparence. Model card
• Qwen 3 8B encodeur de texte pour FLUX‑2. Files
• Flux‑2 VAE. VAE d'image assorti à FLUX‑2. Files
• Flux2‑Klein‑9B‑Consistency‑V2 LoRA. Améliore la cohérence des couleurs et du contenu dans les images previz. LoRA

Implémentation de référence des nœuds LTX pour ComfyUI : ComfyUI‑LTXVideo

Comment utiliser le flux de travail Pipeline de film 3D ComfyUI#

Le Pipeline de film 3D fusionne trois entrées de votre outil DCC ou de mise en page — un film de profondeur, un film d'argile/de mise en page, et un film de masque de bouche optionnel — puis exécute LTX‑2.3 avec une attention avancée, des cadres de référence, et une synchronisation labiale optionnelle pour rendre la prise finale. Une branche d'image previz avec FLUX.2 vous aide à ajuster l'apparence avant de vous engager dans un passage complet.

Résolution et configuration de la prise#

Utilisez ResolutionPicker (#6082) pour définir votre largeur et hauteur de travail. Le pipeline s'attend à des dimensions divisibles par 64 pour un carrelage efficace et une attention stable. Gardez le même aspect pour toutes les entrées afin que le Pipeline de film 3D puisse aligner les passes sans recadrages ou bandes noires involontaires. Si vous voulez des tests rapides, réduisez le nombre d'images en utilisant FRAME LOAD CAP (#6214).

Cadres d'entrée (Début, Milieu, Fin)#

Chargez des images de référence dans START (LoadImage (#6108)), MIDDLE (#6139), et END (#6102). Le flux de travail lit leur taille avec GetImageSize+ (#6071) et redimensionne les guides en conséquence. Ces cadres peuvent être placés à des indices spécifiques dans la chronologie pour verrouiller des poses clés, définir des rythmes narratifs ou forcer une transition d'apparence. Le Pipeline de film 3D utilise ces références comme ancres tout en interpolant le mouvement et la continuité entre elles.

Passes de rendu : Profondeur, Argile/Mise en page, Masque de bouche#

• DEPTH (VHS_LoadVideo (#5893)) importe votre film de profondeur de l'application 3D. Cela guide la perspective, l'occlusion et le placement volumétrique pour que LTX‑2.3 respecte les mouvements de caméra et le blocage.
• CLAY / LAYOUT (VHS_LoadVideo (#6094)) fournit un rendu ombré à plat ou en gris pour conduire les silhouettes, la conception de décor et les indices d'éclairage. Un passage de contour Canny (CannyEdgePreprocessor (#6095)) en est dérivé pour affiner l'orientation structurelle.
• MOUTH MASK (VHS_LoadVideo (#6059)) est optionnel et marque la région de la bouche par cadre. Le Pipeline de film 3D l'utilise comme masque d'attention pour que le mouvement des lèvres puisse être affiné sans perturber le reste du visage.

Ajustement du masque de bouche#

Si vous fournissez une vidéo de masque, ImageToMask (#6060) convertit les cadres en masques et GrowMaskWithBlur (#6197) agrandit et adoucit les bords pour un inpainting plus tolérant. USE MASK VIDEO? (#6244) vous permet de basculer entre un masque solide généré et la vidéo de masque entrante. Cela maintient les modifications de synchronisation labiale étroitement ciblées et réduit les artefacts en dehors de la zone de parole.

Assemblage vidéo conducteur#

Les flux de profondeur et de mise en page sont normalisés avec ImageResizeKJv2 (#6097, #6099, #6103). BatchColorCorrector (#6100) équilibre la tonalité et la couleur pour que le modèle voie une exposition et une palette cohérentes tout au long de la séquence. Le Pipeline de film 3D mélange ensuite le contour Canny avec la mise en page corrigée en utilisant ImageBlend (#6096) pour former une vidéo conductrice unifiée que le générateur suit.

Voix off#

Ajoutez une narration ou un dialogue en utilisant LoadAudio (#5883). Il est acheminé vers le modèle via Set_VoiceOver (#6248) et Get_VoiceOver (#6249). Lorsque la synchronisation labiale est activée dans l'échantillonneur, le Pipeline de film 3D utilise cet audio pour synchroniser les formes de bouche et la micro-mouvement au contenu parlé.

Générer avec LTX‑2.3#

Le nœud d'échantillonnage LTX 2.3 (#6202) est le cœur du Pipeline de film 3D. Il reçoit le modèle, l'encodeur de texte, le VAE et l'audio VAE ; la vidéo conductrice mélangée ; le masque d'attention optionnel ; et votre invite de PROMPT (#6203). Les bascules vous permettent de placer les cadres Début/Milieu/Fin à des positions définies, de mélanger leur influence, d'activer ou de contourner les signaux de contrôle, et d'activer la synchronisation labiale. Le chemin d'attention avancé passe par les nœuds de guide vidéo LTX pour pondérer les cadres et les régions afin que les sujets importants restent sur modèle.

Sortie#

Le nœud écrit un film prêt à être édité avec SaveVideo (#6109). Pour des pipelines alternatifs ou des prévisualisations côte à côte, le flux de travail inclut également VHS_VideoCombine (#6057). Utilisez le même taux de trame à toutes les étapes pour garder l'audio, le masque et l'orientation parfaitement alignés dans le Pipeline de film 3D.

Previz image optionnel avec FLUX.2#

Pour un développement d'apparence rapide sans re-rendu d'une prise complète, la branche image charge des images fixes Canny (CANNY (#7468)) et Profondeur (DEPTH (#7469)), les mélange (ImageBlend (#7466)), et invite FLUX.2 Klein 9B (SAMPLER (#7465)). Le LoRA de cohérence aide à garder les couleurs et les détails fidèles à vos guides. Utilisez SaveImage (#7444) pour exporter des cadres previz qui informent votre invite et vos choix de LoRA avant d'exécuter le Pipeline de film 3D complet.

Nœuds clés dans le flux de travail Pipeline de film 3D ComfyUI#

LTX 2.3 (#6202)

• Rôle : Principal générateur de vidéo qui fusionne texte, guides 3D, passes de contrôle et audio dans la séquence finale.
• Ce qu'il faut ajuster : Activez la synchronisation labiale lors de la fourniture d'audio ; activez ou désactivez l'orientation de style ControlNet et ajustez la force globale ; placez les cadres START, MIDDLE, et END et mélangez leur influence pour verrouiller des rythmes importants. Gardez le taux de trame cohérent avec vos entrées pour éviter les dérives de timing.

DEPTH (#5893)

• Rôle : Charge le film de profondeur qui établit la géométrie de la scène et le mouvement de la caméra.
• Ce qu'il faut ajuster : Faites correspondre la résolution à ResolutionPicker et gardez la même longueur que les clips de mise en page et de masque. Utilisez FRAME LOAD CAP pour des itérations rapides pendant le développement d'apparence.

CLAY / LAYOUT (#6094)

• Rôle : Fournit le rendu de mise en page ou d'argile utilisé pour extraire les contours et pour diriger la composition, l'intention d'éclairage et les silhouettes.
• Ce qu'il faut ajuster : Alignez à la résolution de la passe de profondeur ; si vous changez le grading en amont, réexécutez BatchColorCorrector pour que l'orientation reste cohérente.

USE MASK VIDEO? (#6244)

• Rôle : Bascule entre un masque solide de bouche généré et la vidéo de masque entrante.
• Ce qu'il faut ajuster : Utilisez le masque vidéo lorsque la synchronisation labiale nécessite une précision par cadre ; passez au masque solide lorsque vous avez seulement besoin d'une région protégée large.

LTXICLoRALoaderModelOnly (#6223)

• Rôle : Charge le IC‑LoRA union‑control utilisé pour l'alignement de référence et la fidélité couleur/structure.
• Ce qu'il faut ajuster : Choisissez la variante qui correspond le mieux à LTX‑2.3 dans vos tests ; de nombreuses productions préfèrent la version 19B pour une adhérence plus stricte lors de l'exécution du Pipeline de film 3D.

Extras optionnels#

• Gardez toutes les entrées de la même durée et du même taux de trame pour maintenir la synchronisation tout au long du Pipeline de film 3D.
• La profondeur doit être propre et stable temporellement. Si votre DCC exporte en EXR ou PNG 16 bits, convertissez une fois en un format intermédiaire et réutilisez-le pour toutes les itérations.
• Les cadres Début/Milieu/Fin fonctionnent mieux lorsqu'ils montrent des poses ou des états d'éclairage distincts, pertinents pour l'histoire ; évitez les quasi-duplicates.
• Si la région de la bouche scintille, élargissez légèrement le masque dans GrowMaskWithBlur pour inclure les lèvres, les dents et une fine bordure de peau.
• Pour les grandes prises, itérez avec FRAME LOAD CAP et une résolution plus petite, puis revenez à la résolution complète pour les finales.
• Lors du passage du point de contrôle de développement au point de contrôle distillé, désactivez le LoRA distillé pour éviter une contrainte excessive.
• Utilisez la branche previz FLUX.2 pour tester la palette et le style avec vos guides Canny et Depth réels avant d'exécuter le Pipeline de film 3D complet.

Remerciements#

Ce flux de travail implémente et s'appuie sur les travaux et ressources suivants. Nous remercions chaleureusement MickMumpitz.ai pour le Source du flux de travail Pipeline de film 3D pour leurs contributions et leur maintenance. Pour des détails autoritaires, veuillez vous référer à la documentation et aux référentiels originaux liés ci-dessous.

Ressources#

• MickMumpitz.ai/Source du flux de travail Pipeline de film 3D
  • Docs / Notes de version : Source du flux de travail Pipeline de film 3D

Note : L'utilisation des modèles, ensembles de données et code référencés est soumise aux licences et conditions respectives fournies par leurs auteurs et mainteneurs.