ComfyUIのための3Dムービーパイプライン#
3Dムービーパイプラインは、Mickmumpitz.aiによる生産に焦点を当てたComfyUIワークフローで、構造化された3Dシーンパスを映画的なAIビデオに変換します。デプスレイアウト、クレイレンダー、カメラの動き、オプションの口マスクをLTX‑2.3ビデオモデルと組み合わせて、空間レイアウト、レンズ、連続性を保ちながら、動き、外観、タイミングを操ることができます。
映画製作者、アニメーター、ビジュアルストーリーテラーのために構築された3Dムービーパイプラインは、マルチショットの生産を簡素化します。フレーム配置コントロール、オブジェクトと領域のガイダンスのための高度なアテンション、ボイストラックからのオプションのリップシンク、クイックショットルックプレビズのための補助画像ステージをComfyUI内で利用できます。
Comfyui 3Dムービーパイプラインワークフローの主要モデル#
コアビデオスタック
- LTX‑2.3 (22B) by Lightricks. テキスト、コントロール信号、3Dガイドに従って時間的に一貫した映像を合成する主なビデオ生成モデル。 Model card
- LTX Audio VAE (LTX‑2.3に同梱). 音声を音声潜在としてエンコードおよびデコードし、リップシンクのために口の形状と動きを時間に合わせることができるモデル。 Model bundle
- Gemma 3 12B Instruct text encoder for LTX‑2.x. LTX‑2.3がプロンプトに使用する言語埋め込みを提供します。ComfyUI用にパッケージされています。 Files
- LTX‑2.3 Distilled LoRA 384‑1.1. 少数ステップのサンプリングを高速化し、開発チェックポイントと使用する際に外観を安定させます。 LoRA
- LTX‑2 19B IC‑LoRA Detailer. 生成されたビデオの局所的なディテールとエッジの忠実性を向上させます。 LoRA
- LTX‑2.3 OmniNFT RL LoRA. ビデオスタックのスタイル強化と一貫性のヘルパーです。 LoRA
- IC‑LoRA Union‑Control (ref 0.5). ガイドに対して色と構造を忠実に保つために使用される参照アラインメントLoRAです。LTX‑2.3のためにしばしば19Bビルドが好まれます。 LoRA family
オプションのプレビズ画像スタック
- FLUX.2 Klein 9B (FP8). Canny + Depthをスタイル化されたフレームに変換するために使用される高速画像生成器です。 Model card
- Qwen 3 8B text encoder for FLUX‑2. Files
- Flux‑2 VAE. FLUX‑2に一致する画像VAEです。 Files
- Flux2‑Klein‑9B‑Consistency‑V2 LoRA. プレビズフレームの色と内容の一貫性を向上させます。 LoRA
ComfyUIのLTXノードのリファレンス実装: ComfyUI‑LTXVideo
Comfyui 3Dムービーパイプラインワークフローの使用方法#
3Dムービーパイプラインは、DCCまたはレイアウトツールからの3つの入力 — Depthムービー、Clay/Layoutムービー、オプションのMouth Maskムービー — を融合し、LTX‑2.3を高度なアテンション、参照フレーム、オプションのリップシンクと共に実行して最終ショットをレンダリングします。FLUX.2を用いた画像プレビズブランチが、フルパスにコミットする前にルックを調整するのに役立ちます。
解像度とショット設定#
ResolutionPicker (#6082)を使用して作業幅と高さを設定します。パイプラインは効率的なタイル処理と安定したアテンションのために64で割り切れる寸法を期待します。すべての入力で同じアスペクトを維持して、3Dムービーパイプラインがパスを意図しないクロップやレターボックスなしで整列できるようにします。クイックテストを行いたい場合は、FRAME LOAD CAP (#6214)を使用してフレーム数を減らします。
入力フレーム (Start, Middle, End)#
START (LoadImage (#6108))、MIDDLE (#6139)、および END (#6102) にリファレンス静止画を読み込みます。ワークフローはそれらのサイズを GetImageSize+ (#6071) で読み取り、ガイドをそれに応じてリサイズします。これらのフレームは、タイムラインの特定のインデックスに配置して、重要なポーズを固定したり、ストーリービートを設定したり、ルックの遷移を強制したりできます。3Dムービーパイプラインは、これらのリファレンスをアンカーとして使用し、それらの間で動きと連続性を補間します。
レンダーパス: Depth, Clay/Layout, Mouth Mask#
DEPTH(VHS_LoadVideo(#5893)) は、3Dアプリからのデプスムービーを取り込みます。これにより、LTX‑2.3がカメラの動きとブロッキングを尊重するように、パースペクティブ、オクルージョン、ボリューム配置がガイドされます。CLAY / LAYOUT(VHS_LoadVideo(#6094)) は、シルエット、セットデザイン、ライティングの手がかりを駆動するフラットシェーディングまたはグレーシェーディングのレンダーを提供します。Cannyエッジパス (CannyEdgePreprocessor(#6095)) は、構造的ガイダンスをシャープにするためにそれから派生されます。MOUTH MASK(VHS_LoadVideo(#6059)) はオプションで、フレームごとに口の領域をマークします。3Dムービーパイプラインはそれをアテンションマスクとして使用し、顔の他の部分を乱すことなく口の動きを精緻化できます。
マウスマスク調整#
マスクビデオを提供する場合、ImageToMask (#6060) はフレームをマスクに変換し、GrowMaskWithBlur (#6197) はエッジを拡大してソフトにします。USE MASK VIDEO? (#6244) は、生成されたソリッドマスクとインポートされたマスクビデオの切り替えを可能にします。これにより、リップシンク編集が厳密に範囲内になり、話している領域の外のアーティファクトが減少します。
ドライビングビデオアセンブリ#
デプスとレイアウトストリームは ImageResizeKJv2 (#6097, #6099, #6103) で正規化されます。BatchColorCorrector (#6100) は、シーケンス全体でモデルが一貫した露出とパレットを認識するようにトーナリティとカラーをバランスします。3Dムービーパイプラインは、その後、Cannyアウトラインを修正されたレイアウトと ImageBlend (#6096) でブレンドして、生成器が従う統一されたドライビングビデオを形成します。
ナレーション#
LoadAudio (#5883) を使用してナレーションまたはダイアログを追加します。それは Set_VoiceOver (#6248) および Get_VoiceOver (#6249) を通じてモデルにルートされます。サンプラーでリップシンクが有効になっている場合、3Dムービーパイプラインはこの音声を使用して、口の形状とマイクロモーションを話された内容にタイミングを合わせます。
LTX‑2.3での生成#
サンプラーノード LTX 2.3 (#6202) は3Dムービーパイプラインの中心です。それはモデル、テキストエンコーダー、VAE、および音声VAEを受け取り、ブレンドされたドライビングビデオ、オプションのアテンションマスク、および PROMPT (#6203) からのプロンプトを受け取ります。トグルスイッチにより、Start/Middle/Endフレームを定義された位置に配置し、その影響をブレンドし、コントロール信号を有効またはバイパスし、リップシンクをオンにすることができます。高度なアテンションパスは、LTXビデオガイドノードを通じてフレームと領域に重みを付け、重要な被写体がモデルに忠実であるようにします。
出力#
ノードは SaveVideo (#6109) で編集準備が整ったムービーを書き込みます。代替パイプラインまたはサイドバイサイドプレビューのために、ワークフローには VHS_VideoCombine (#6057) も含まれています。すべてのステップで同じフレームレートを使用して、音声、マスク、およびガイダンスが3Dムービーパイプラインで完全に同期するようにします。
FLUX.2によるオプションの画像プレビズ#
フルショットを再レンダリングせずにクイックルック開発を行うために、画像ブランチはCanny (CANNY (#7468)) およびDepth (DEPTH (#7469)) 静止画を読み込み、ブレンド (ImageBlend (#7466)) し、FLUX.2 Klein 9B (SAMPLER (#7465)) をプロンプトします。一貫性のあるLoRAは、ガイドに忠実な色とディテールを保つのに役立ちます。SaveImage (#7444) を使用して、プロンプトとLoRAの選択を通知するプレビズフレームをエクスポートします。
Comfyui 3Dムービーパイプラインワークフローの主要なノード#
LTX 2.3 (#6202)
- 役割: テキスト、3Dガイド、コントロールパス、および音声を最終シーケンスに融合するメインビデオ生成器。
- 調整すること: 音声を提供する際にリップシンクをオンにし、ControlNetスタイルのガイダンスをオンまたはオフに切り替え、全体的な強度を調整します。
START、MIDDLE、ENDフレームを配置し、その影響をブレンドして重要なビートを固定します。入力と一致するフレームレートを維持してタイミングドリフトを回避します。
DEPTH (#5893)
- 役割: シーンのジオメトリとカメラの動きを確立するデプスムービーを読み込みます。
- 調整すること:
ResolutionPickerと解像度を一致させ、レイアウトとマスククリップと同じ長さを維持します。ルック開発中のクイックな反復のためにFRAME LOAD CAPを使用します。
CLAY / LAYOUT (#6094)
- 役割: エッジを抽出し、構図、ライティング意図、シルエットを誘導するために使用されるレイアウトまたはクレイレンダーを提供します。
- 調整すること: デプスパスの解像度に合わせます。上流でグレーディングを変更した場合は、ガイダンスが一貫性を保つように
BatchColorCorrectorを再実行します。
USE MASK VIDEO? (#6244)
- 役割: 生成されたソリッドマウスマスクとインポートされたマスクビデオの間を切り替えます。
- 調整すること: フレームごとの精度が必要な場合はビデオマスクを使用し、広い保護領域のみが必要な場合はソリッドマスクに切り替えます。
LTXICLoRALoaderModelOnly (#6223)
- 役割: 参照アラインメントと色/構造の忠実性のために使用されるユニオンコントロールIC‑LoRAを読み込みます。
- 調整すること: テストでLTX‑2.3に最も一致するバリアントを選択します。多くの生産では、3Dムービーパイプラインを実行するときに、より厳しい遵守のために19Bビルドが好まれます。
オプションの追加機能#
- すべての入力の長さとフレームレートを同じにして、3Dムービーパイプライン全体で同期を維持します。
- デプスはクリーンで時間的に安定している必要があります。DCCがEXRまたは16ビットPNGをエクスポートする場合は、メザニンフォーマットに一度変換して、すべての反復で再利用します。
- Start/Middle/Endフレームは、異なるストーリーに関連するポーズやライティング状態を示すときに最も効果的です。近似重複を避けてください。
- 口の領域がちらつく場合は、
GrowMaskWithBlurでjson
マスクを少し拡大して唇、歯、および薄い肌の境界を含めます。
- 大きなショットの場合は、
FRAME LOAD CAPおよび小さな解像度で反復し、最終版のためにフル解像度に戻します。 - 開発チェックポイントから蒸留チェックポイントに切り替える場合は、蒸留LoRAを無効にして過剰な制約を防ぎます。
- 実際のCannyとDepthガイドを使用してパレットとスタイルをテストするために、FLUX.2プレビズブランチを使用してから、フル3Dムービーパイプラインを実行します。
謝辞#
このワークフローは、以下の作品やリソースを実装および基にしています。3Dムービーパイプラインワークフローソースに対する彼らの貢献とメンテナンスに感謝します。権威ある詳細については、以下にリンクされた元のドキュメントおよびリポジトリを参照してください。
リソース#
- MickMumpitz.ai/3Dムービーパイプラインワークフローソース
- ドキュメント / リリースノート: 3D Movie Pipeline Workflow Source
注: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナによって提供されるライセンスおよび条件に従います。
