LTX 2.3 Director: ComfyUI向けタイムラインベースのAI映画制作#
LTX 2.3 Directorは、正確なクリエイティブコントロールを備えた構造化AIビデオを作成するためのシネマティックなタイムライン駆動のワークフローです。LTX‑2.3ビデオモデルを中心に構築されており、プロンプト、参照画像、トランジション、音楽を馴染みのあるタイムラインに沿って配置することで、複数シーンのシーケンスを指揮できます。その結果、ComfyUI内でのディレクター風の体験が可能になり、モーションの連続性、ショット構成、オーディオ同期が開始から終了まで一貫して処理されます。
ストーリーテラー、ミュージックビデオメーカー、トレーラーエディター、AI映画制作パイプラインを構築する誰にでも設計されたLTX 2.3 Directorは、プロンプトエンジニアリングを完全なプロダクションフローに変換します。グローバルトーンを設定し、各ショットをローカルプロンプトで洗練し、高品質のアップスケールと最終エクスポートにコミットする前にすばやくプレビューできます。
Comfyui LTX 2.3 Directorワークフローの主要モデル#
- LTX‑2.3 22B (FP8) ビデオ生成モデル。テキストと参照を一貫したビデオレイテントに変換するコアディフュージョンバックボーン。Model repo
- LTX‑2.3 Video VAE (bf16)。効率的なサンプリングと高忠実度の再構築のために、ビデオフレームをコンパクトなレイテント空間にエンコードおよびデコード。Model repo
- LTX‑2.3 Audio VAE (bf16)。モーションとサウンドトラックを同期させるために、オーディオを共同AVレイテントにパックし復元。Model repo
- LTX‑2.3 Spatial Upscaler x2 v1.1。リファインメントパスでディテールとシャープネスを向上させる専用x2レイテントアップスケーラー。Model repo
- LTX‑2.3 22B Distilled LoRA (384)。品質/効率を向上させ、モデルのルックをシフトできるオプションのLoRA。Model card
- Tiny VAE (taeltx2_3)。アップスケールパス前のイテレーション時に高速プレビュー用の軽量VAE。Model repo
- LTX‑2.3 Text Projection (bf16)。高品質なプロンプトコンディショニングに使用される公式のテキスト‑to‑ビデオプロジェクション。Model repo
Comfyui LTX 2.3 Directorワークフローの使い方#
ワークフローは2段階で実行されます。ステージ#1では、プレビュー速度でコンポジション、モーション、オーディオのアライメントを確立します。ステージ#2では、アップサンプル、リガイド、ディテールをリファインして最終品質を向上させます。フィニッシングブロックはデコードし、オーディオをミックスし、ビデオを書き込みます。
モデル#
このセクションでは、LTX 2.3 Directorを駆動するモデルスタックとテキストエンコーダーを準備します。LTX‑2.3ベースモデルをロードし、必要に応じてLoRAsを追加してスタイルや効率性を調整します。小型のVAEはプレビューを加速し、完全なVAEsは後で忠実性を保証します。LTX‑2.3にバンドルされた二重のテキストコンポーネントは、追加のセットアップなしで強力なプロンプトコンディショニングを提供します。
注目すべき主要ノード: CheckpointLoaderSimple (#77), DualCLIPLoader (#84), LoraLoaderModelOnly (#80, #93, #95), VAELoaderKJ (#78, #4, #3), および LTX2SamplingPreviewOverride (#79)。
ステージ#1#
ステージ#1では、タイムラインを同期されたオーディオで一貫したファーストパスビデオに変換します。グローバルトーンと各ショットのプロンプトをLTXDirector (#46)に入力し、画像と期間でセグメントのシーケンスを組み立てます。ノードは結合されたAVレイテント、ガイドデータ、フレームレートを返します。LTXVConditioning (#5) と LTXDirectorGuide (#8) はこれらの指示を構造化されたガイダンスに変換します。CFGGuider (#9), BasicScheduler (#11), KSamplerSelect (#29), SamplerCustomAdvanced (#10)で構成されたサンプラースタックが、タイムライン全体の初期AVレイテントを生成します。このパスを使用して、シーンの順序、ペーシング、全体的なモーションを検証し、アップスケーリングに計算資源を投入する前に確認します。
ステージ#2 アップスケール#
ステージ#2では、ファーストパスの意図を保持しながら解像度と忠実性を向上させます。LTXVCropGuides (#55)がショット間の構成を整え、LTXVLatentUpsampler (#52)がLatentUpscaleModelLoader (#57)でロードされたx2空間アップスケーラーを適用します。2番目のLTXDirectorGuide (#58)がタイムラインのキューをより高いディテールで再注入し、サンプラースタック (CFGGuider (#49), BasicScheduler (#54), KSamplerSelect (#53), SamplerCustomAdvanced (#47))がテクスチャ、顔、エッジをリファインします。その後、AVレイテントは最終デコードのために分離され、リンクされたオーディオとビデオのタイミングを保持します。
ビデオ処理#
フィニッシングブロックはフレームとオーディオをデコードし、シーケンスを再構築して結果を保存します。LTXVCropGuides (#14)は選択したアスペクトに対するカバレッジを確保し、VAEDecodeTiled (#94)は高解像度ビデオをメモリを消費せずに安全にデコードします。LTXVAudioVAEDecode (#16)はオーディオレイテントからサウンドトラックを復元します。CreateVideo (#17)はフレームとオーディオを選択したfpsで組み立て、SaveVideo (#30)が最終ファイルを書き込みます。
Comfyui LTX 2.3 Directorワークフローの主要ノード#
LTXDirector(#46)。LTX 2.3 Directorの中核です。グローバルプロンプト、ショットセグメントのタイムライン、オプションのショットごとのローカルプロンプトを受け取り、構造化されたガイダンスと同期されたAVレイテントを出力します。各ショットが独自の説明にどれだけ厳密に従うかを制御するために、グローバルとローカルのプロンプトのバランスを調整します。カット駆動の編集の場合、セグメントの定義をクリーンに保ちます。流動的なトランジションには、オーバーラップと一貫したスタイル言語を許可します。LTXDirectorGuide(#8)。ディレクターのキューをステージ#1で実行可能なガイドに変換します。プレビュー時の速度と忠実性を交換するために、そのスケールとリサンプリング方法を調整します。シーンが粗すぎる場合は、その影響を増やします。制約が多すぎる場合は、サンプラーが自由に動けるように減らします。LTXDirectorGuide(#58)。ステージ#2のための2番目の高忠実度ガイドです。アップスケーリング後にフレーミング、カメラの意図、スタイルを再確認するために使用します。このノードとアップスケーラーのバランスを取ります。強力なガイダンスは構成をロックし、軽いタッチはアップスケーラーがディテールとマイクロテクスチャを強調することを可能にします。LTXVCropGuides(#55)。アップスケーリング前に構成を正規化し、アスペクトルールを強制します。カット間で水平線、ヘッドルーム、関心の中心を安定させるために使用します。キャラクターがフレームからフレームへと漂う場合、再サンプリング前にこれらのクロップガイドを強化します。LTXVLatentUpsampler(#52)。レイテントにLTX‑2.3 Spatial Upscaler x2を適用します。これはステージ#1プレビューから鮮明なディテールを回復するための主要なレバーです。選択したアップスケーラーモデルがVAEペアと一致していることを確認し、ミスマッチによるアーティファクトを回避します。CFGGuider(#9, #49)。サンプリング中のプロンプトの遵守を制御します。通常、値を下げるとモーションが滑らかになり、より自然なトランジションが得られます。値を上げるとテキストの正確さが強制されます。顔や小道具が漂う場合は、ガイダンスを少し上げます。モーションが硬く見える場合は、緩めます。BasicScheduler(#11, #54) およびKSamplerSelect(#29, #53)。ノイズスケジュールとサンプリング方法を定義します。この2つはモーションのテクスチャ、時間的安定性、レンダリング時間を決定します。ちらつきが見られる場合は、より滑らかなスケジュールや時間的安定性が知られているサンプラーを試します。結果がディテールに欠ける場合は、シャープネスを好むサンプラーをテストします。SamplerCustomAdvanced(#10, #47)。両方のパスの作業馬であるデノイザーです。ノイズシード、スケジュール、ガイダー、現在のレイテントを組み合わせてAVレイテントを生成します。プロンプトを編集して比較する際にシードを固定し、ブロッキングやタイミングを刷新したいときにシードを変更します。VAEDecodeTiled(#94)。構成可能なタイルで高解像度フレームをデコードします。シームが見られる場合はオーバーラップを増やし、メモリ制限に達した場合はタイルサイズを減らします。中位のGPUでも一貫した安定性を保つためにタイルドデコードを使用します。CreateVideo(#17) とSaveVideo(#30)。選択したfpsでフレームとオーディオをミックスし、最終コンテナを書き込みます。タイムラインと一致しないfpsを選ぶとペーシングが変わります。アーカイブ用のマスターには、ネイティブステージ#2サイズでエクスポートします。ソーシャルプラットフォームの場合、エクスポート時にリサイズできます。
オプションの追加機能#
- 明確なスパインでタイムラインを構築します。グローバルプロンプトにグローバルスタイル、ローカルプロンプトにショットの詳細を、セグメント間でキャラクター/カメラ名詞を一貫して保ちます。
- 参照画像はルックとレイアウトを固定します。設立フレームやクローズアップなどのキーショットに使用し、その後は隣接セグメントが流動性のためにテキストに依存します。
- ミュージックビデオの場合、早期にオーディオを追加し、モーションアクセントがビートに合うまでシードを反復します。その後、シードを固定し、プロンプトを洗練します。
- トランジションがジャンプするように感じる場合、隣接するセグメントプロンプトを長くしてスタイル言語を共有し、カット全体で構成ガイドを類似させます。
- LoRAsをスタックしますが、微妙な強度が最適です。控えめに始め、一度に数個を組み合わせ、短いスライスでその相互作用をテストします。
- 再現性が重要です。ノイズシード、サンプラーの選択、承認されたルックのLoRAsをメモしておきます。
- アップスケーリング後に顔が揺れる場合、ステージ#2の
LTXDirectorGuide(#58)でガイドの影響を増やすか、時間的安定性を優先するスケジュールに切り替えます。 - 追加のLTX‑2.3リソースとモデルをコミュニティキュレーションリストを介して探索します。awesome‑ltx2 on GitHub
LTX 2.3 Directorを使用すれば、PremiereやAfter Effectsのようなタイムラインエディターに馴染みのある方法で複雑なマルチシーンビデオを指揮でき、ComfyUIのノードグラフの柔軟性を保持しながら、シネマティックな結果を同期されたオーディオで一貫したワークフローで出荷できます。
感謝の意#
このワークフローは以下の作品およびリソースを実装し、構築しています。LTX 2.3 Director Workflowに対するAiwood爱屋研究室の貢献とメンテナンスに心より感謝申し上げます。詳細については、以下のリンクされたオリジナルのドキュメントおよびリポジトリを参照してください。
リソース#
- Aiwood爱屋研究室/LTX 2.3 Director Workflow Source
- ドキュメント / リリースノjson
- ドキュメント / リリースノート: LTX 2.3 Director Workflow Source
注意: 参照されているモデル、データセット、およびコードの使用は、それらの作成者およびメンテナによって提供されたそれぞれのライセンスおよび条件に従います。
