ワークフローチュートリアル#
ComfyUI向けLTX 2.3 Director 2.0タイムラインビデオワークフロー#
LTX 2.3 Director 2.0は、LTX‑2.3ビデオの生成、拡張、再撮影、音声対応編集のためのタイムラインファーストのComfyUIワークフローです。これは、サードパーティのLTX Director 2.0タイムラインノードと、シーンを最初に設定し、次にアップスケールと洗練を行う2段階のレンダーパイプラインを中心に構築されています。その結果、長いビートマッチシーケンスを求めるAI映画製作者に最適な、制御可能なキャンバススタイルのプロセスが得られます。
この検証済みグラフは、LightricksのLTX‑2.3 22Bディスティルモデルを駆動し、専用のビデオおよびオーディオVAEとLTX‑2.3空間x2アップスケーラーを備えています。プロンプト、モーションガイド、およびオプションの再撮影は、タイムライン上で直接作成され、ワークフローはステージ2のアップスケール中にフレーミングを安定させるよう自動的に保ちます。これはRunComfy対応で、日常の信頼性のある生産のために設計されています。
Comfyui LTX 2.3 Director 2.0ワークフローの主要モデル#
- Lightricks LTX‑2.3 22B Distilled (transformer‑only) – テキストとガイドからモーションとビジュアルを合成する生成ビデオバックボーンです。 Model card
- LTX‑2.3 Video VAE (bf16) – 効率的なデノイズと最終フレーム再構築のためにビデオラテントをエンコード/デコードします。 Assets
- LTX‑2.3 Audio VAE (bf16) – タイムラインオーディオをラテントに変換し、音声対応ガイダンスを行い、最後に波形を復元します。 Assets
- LTX‑2.3 Spatial Upscaler x2 v1.1 – 最終パスの前に空間的な詳細を倍増させるラテントスペーススーパー解像度です。 Assets
- LTX‑2.3 Text Projection – モデルの埋め込み空間にプロンプトをマッピングし、一貫したコンディショニングを行います。 Assets
- オプションのTiny VAE for previews (taeltx2_3) – 高速モデルプレビューのために使用される軽量プレビューVAEです。 Kijai LTX2.3_comfy
タイムラインツーリングとガイドノードは、WhatDreamsCostのカスタムComfyUI拡張機能によって提供されます。 WhatDreamsCost‑ComfyUI
Comfyui LTX 2.3 Director 2.0ワークフローの使用方法#
このワークフローは、2つの調整されたステージで実行されます：ステージ1は、LTX Directorタイムラインから一貫したベースビデオとオーディオラテントを構築します。ステージ2は、アップスケールし、フレーミングを保持し、詳細を洗練します。Process Videoグループは、フレームをデコードし、オーディオを復元し、fpsを設定し、最終ファイルを書き込みます。
Models + Preview#
“Models + Preview”グループは、LTX‑2.3 22Bディスティルバックボーン、ビデオおよびオーディオVAE、および空間x2アップスケーラーをロードします。ModelPreviewOverrideKJ (#10)は、バックボーンと小さなプレビューVAEをペアリングし、完全なサンプリングの前にプロンプトをスクラブしてサニティチェックできます。LTXDirector (#131)は、持続時間、フレームレート、グローバルおよびセグメントごとのプロンプト、モーションキュー、オーディオ設定を設定するキャンバスです。再撮影を計画する場合は、RandomNoise (#30)シードを一定に保ち、編集間で構造を保持してください。
ステージ #1#
ステージ1は、タイムラインをコンディショニングとベースオーディオビデオラテントに変換します。LTXVConditioning (#27)は、ディレクターからのポジティブコンディショニングを受け取り、クリーンなベースラインのためにConditioningZeroOut (#128)を介してゼロにされたネガティブを受け取ります。LTXDirectorGuide (#133)はガイドデータ、モーションガイド、モデル、およびビデオVAEを結合し、ガイド付きコンディショニングと初期ビデオラテントを生成します。ディレクターからのオーディオは、LTXVConcatAVLatent (#29)を介して結合されます。サンプラースタック (CFGGuider (#28), BasicScheduler (#33), KSamplerSelect (#32), SamplerCustomAdvanced (#31)) は、このAVラテントをデノイズし、ファーストパスの結果を生み出し、LTXVSeparateAVLatent (#34)によって分割され、オーディオラテントが前方に運ばれます。
ステージ #2 アップスケール#
ステージ2は、フレーミングを保持しながら空間的な詳細と洗練を追加します。LTXDirectorCropGuides (#55)は、ステージ1のビデオラテントとコンディショニングを分析し、アップスケール中に被写体を安定させるクロップガイドを生成します。LTXVLatentUpsampler (#14)は、ビデオラテントにLTX‑2.3空間x2モデルを適用し、完全なビデオVAEを使用し、その後LTXDirectorGuide (#132)はタイムラインガイダンスを高解像度ラテントに再適用し、LTXVConcatAVLatent (#18)を介してキャリーされたオーディオラテントと再結合します。第2のサンプラースタック (CFGGuider (#17), BasicScheduler (#21), KSamplerSelect (#20), SamplerCustomAdvanced (#19)) は最終的なAVラテントを生成し、最後のLTXDirectorCropGuides (#54)パスはデコード前にクロップが尊重されることを確認します。
ビデオ処理#
VAEDecode (#1)は、最終ビデオラテントを高忠実度ビデオVAEでフレームに変換し、LTXVAudioVAEDecode (#24)はオーディオラテントから波形を復元します。CreateVideo (#2)は、ディレクターによって放送されたフレームレートでフレームとオーディオをマルチプレックスし、SaveVideo (#37)はノードで定義された出力フォルダにファイルを書き込みます。最終出力がタイミングと一致しない場合は、ディレクターのフレームレートやタイムラインセグメントの境界を調整し、再レンダリングしてください。
Comfyui LTX 2.3 Director 2.0ワークフローの主要ノード#
LTXDirector (#131)#
ワークフローのタイムラインの頭脳です。グローバルプロンプトを作成し、セグメントごとのプロンプトを配置し、オーディオとモーショントラックを有効にし、持続時間とフレームレートを設定します。再撮影を使用する場合は、再撮影ウィンドウとプロンプトを指定して、周囲のコンテキストを保持しながら、そのウィンドウのみを再生成します。音声対応編集を有効にして、サウンドトラックやVOがペーシングや強調に影響を与えるようにします。オプションのラテント入力を使用して、一貫したショット構造を保ちたい場合に反復を固定することができます。
LTXDirectorGuide (#133)#
ステージ1ガイドで、タイムラインプロンプト、ガイドデータ、モーションキューをコンディショニングとシードビデオラテントに変換します。ベース解像度での構成とモーションフローを確立します。アップスケール前により強い物語の順守や明確なブロッキングが必要な場合は、調整してください。その出力はステージ1サンプラーを駆動し、次のステージのクロップガイダンスの準備をします。
LTXDirectorGuide (#132)#
空間x2アップスケール後に動作するステージ2ガイドです。高解像度で同じタイムラインインテリジェンスを再注入し、詳細をシャープにしても構成を壊さないようにします。より多くのテクスチャやマイクロモーションを求める場合は、ステージ2がステージ1の意図を再書き換えないようにここでバイアス決定を行います。
LTXVLatentUpsampler (#14)#
ラテントスペースでLTX‑2.3空間x2 v1.1アップスケーラーを適用し、効率的に詳細を追加します。最終デノイズパスの前に空間的忠実度を倍増させるために使用し、通常はエッジ、小道具、タイポグラフィを改善します。マスターレンダーのためにそれを有効にしておきます。非常に高速な予備視のためにはバイパスを考慮してください。
LTXDirectorCropGuides (#55)#
各セグメントのクロップウィンドウを計算し、ショット固有の構成、リフレーム、またはレターボックスが両方のステージで一貫した外観を維持するようにします。クロップが漂っている場合は、タイムラインセグメントを再訪し、ガイドを再生成してください。
SamplerCustomAdvanced (#31)#
ステージ1サンプラーで、コンディショニングをベースAVラテントに変換します。ステージ1のガイダーとスケジューラーとペアにして、順守と探索のバランスを取ります。安定した再撮影のためには、同じノイズシードを保ちます。新しいバリエーションのためには、シードをランダム化します。
SamplerCustomAdvanced (#19)#
アップスケール後の詳細を最終化するステージ2サンプラーです。それはステージ1の選択と調和しているべきであり、洗練が忠実であるようにします。結果が過度にスムーズまたは過度にシャープに感じる場合は、まずサンプラータイプやスケジューラーペアリングを調整してください。
オプションのエクストラ#
- シーケンスを拡張するには、ディレクタータイムラインにセグメントを追加し、持続時間を増やします。ワークフローは新しいタイミングとオーディオを自動的に伝播します。
- ビートマッチ編集のためには、音声対応編集を有効にし、オーディオセグメントを配置します。オーディオVAEはサンプリング中にモーションと強調をガイドします。
- 再現可能な再撮影を望む場合は、
RandomNoise(#30)を固定します。代替案を探索するためには、レンダリング間でシードを変更します。 - プレビューVAEはルックデブを高速化します。最終版のためにはビデオVAEデコードにのみ依存して時間を節約します。
- ディレクターのリサイズメソッドをメンテインアスペクトに設定して、アップスケールステップ後の意図しない伸びを防ぎます。
- 出力の整理は
SaveVideo(#37)で制御されます。各プロジェクトに明確なフォルダを設定して反復を整理してください。
リンクと参考資料
- LTX‑2.3モデルとアセット: Lightricks/LTX‑2.3
- タイムラインとガイドノード: WhatDreamsCost‑ComfyUI
- プレビューユーティリティ: ComfyUI‑KJNodes
- Tiny preview VAE: Kijai LTX2.3_comfy
謝辞#
このワークフローは、以下の作品とリソースを実装および構築しています。ワークフローチュートリアルのMDMZ、WhatDreamsCostのWhatDreamsCost-ComfyUIノード、LightricksのLTX-2.3モデルに対して、貢献とメンテナンスに感謝します。権威ある詳細については、以下にリンクされた元のドキュメントとリポジトリを参照してください。
リソース#
- MDMZワークフローチュートリアル（YouTube）
- ドキュメント/リリースノート: ワークフローチュートリアルソース
- WhatDreamsCost/YouTubeチャンネル
- ドキュメント/リリースノート: WhatDreamsCost YouTubeチャンネル
- WhatDreamsCost/WhatDreamsCost-ComfyUI
- Lightricks/LTX-2.3
- Hugging Face: [Lightricks/LTX-2.3](https://huggingjson
face.co/Lightricks/LTX-2.3)
注: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者および管理者によって提供されるライセンスおよび条件に従います。