LTX 2.3 Inpaintビデオワークフローで精密なマスクガイド編集
このComfyUIワークフローは、LTX-2.3のターゲットビデオ編集を実現し、基本モデルとLTX 2.3 Inpaint LoRAを組み合わせます。変更する領域にマスクを定義し、その領域のみを再生成し、シーンの他の部分の動き、アイデンティティ、ライティング、時間的一貫性を維持します。アーティファクトの削除、オブジェクトの置換、詳細の洗練、新しい要素の挿入に最適で、シーケンス全体を再レンダリングすることなく実現します。
LTX 2.3 Inpaintはエンドツーエンドで統合されています。参照ビデオを読み込み、マスクを作成または自動生成し、マスクされたフレームでモデルをガイドし、初期パスをサンプリングし、潜在アップスケーラとオプションのセカンドインペイントパスで洗練します。オーディオはサポートされており、編集されたクリップの長さに合わせてサイレンスとして生成することもできます。
ComfyUI LTX 2.3 Inpaintワークフローの主要モデル
- LTX‑2.3 22B Transformer Only (dev or distilled)。テキストとガイドから時間的一貫性のあるフレームを合成するコアビデオ拡散トランスフォーマー。より高速な8ステップ推論のために蒸留ビルドを使用します。 Hugging Face: Lightricks/LTX‑2.3 および GitHub: LTX‑2
- LTX 2.3 Inpaint LoRA。LTX‑2.3用に調整された編集LoRAで、マスクされた領域内の生成に焦点を当て、コンテンツを削除、置換、または洗練しながら背景の動きを安定させます。 Hugging Face: Alissonerdx/LTX‑LoRAs
- Gemma 3 12B Instructテキストエンコーダ + LTX‑2.3テキストプロジェクション。プロンプト条件付け中にLTX‑2.3トランスフォーマー用の整列されたテキスト埋め込みを提供します。ComfyUI用にパッケージ化された重みが提供されています。 Hugging Face: Comfy‑Org/ltx‑2 (split files)
- LTX‑2.3 Video VAEおよびAudio VAE。トランスフォーマーおよびオーディオモジュールが使用するビデオおよびオーディオ潜在を圧縮およびデコードし、効率的なサンプリングと同期された出力を可能にします。ComfyUI用にキュレーションされたバイナリが利用可能です。 Hugging Face collection
- LTX‑2.3 Spatial Upscaler x2およびTemporal Upscaler x2。コンテンツを変更せずに空間的詳細を引き上げ、時間的ダイナミクスを安定させるオプションの潜在アップスケーラー。 Hugging Face: Lightricks/LTX‑2.3
- Segment Anything 2 (SAM 2)。ビデオフレーム上で直接自動的にポイントガイドされたマスク生成に使用され、LTX 2.3 Inpaintのセットアップを加速します。 GitHub: facebookresearch/segment‑anything‑2
ComfyUI LTX 2.3 Inpaintワークフローの使用方法
ワークフローは2つの協調したステージで実行されます。まず、入力ビデオからマスクされた制御ストリームを作成し、編集された初回パスを生成します。次に、潜在アップスケーリングと、有効化されている場合はマスクされた高解像度のインペイントパスで品質を洗練します。
ビデオ設定
このグループは、LTX 2.3 Inpaint用のクリップ長とフレームケイデンスを計算します。FPSとDuration (Seconds)を設定してタイミングを定義し、グラフはtotal_framesを適宜計算します。ワークフローはまた、長い画像寸法をターゲット解像度として選択し、入力を一貫してリサイズしてプロンプト、マスク、ガイドが整列するようにします。
入力
VHS_LoadVideoで短い参照クリップを読み込み、選択した解像度にフレームを事前にスケールさせます。パイプラインはマスク作成用にinput_videoと呼ばれる内部コピーを保存し、LTX 2.3 Inpaintをサンプリング中にガイドするcontrol_videoを保存します。フレーミングとケイデンスを確認するために、いつでも制御ストリームをプレビューできます。
セグメンテーション
LTX 2.3 Inpaint用のマスクをどのように構築するかを選択します。Sam2Segmentation (#800)を使用してポイントベースの自動マスクを作成するか、PointsEditor (#860)で微調整を行います。結果をGrowMaskWithBlurで後処理して小さな安全マージンを追加し、BlockifyMaskでノイズの多いエッジを削減します。ワークフローはクリーンな出力をfinal_masksとして保存します。
制御ビデオプレビュー
グラフはニュートラルフレームの上にマスクされた領域を合成し、モデルが変更が必要な箇所のみを「見る」ようにします。ImageCompositeFromMaskBatch+がマスクされたガイドフレームを作成し、VHS_VideoCombineがターゲットFPSでシーケンスをプレビューします。このフォーカスされた制御ストリームはLTX 2.3 Inpaintのバックボーンであり、マスクされていないコンテンツを保護するのに役立ちます。
プロンプト
編集後に表示したい内容を書き、不変の側面を明確にします。メインのManual Promptエンコーダー (#389)をポジティブ用に使用し、含まれるネガティブエンコーダーをぼかしや透かしのような品質抑制用に使用します。良いLTX 2.3 Inpaintプロンプトは、新しいオブジェクト、その素材、スケール、既存の構図とライティング内での配置方法を説明します。
低解像度生成
最初のパスはプロンプトと制御フレームをモデルのガイダンスに結びつけます。LTXVAddGuideMulti (#440)がマスクされたガイドを条件付けに添付し、CFGGuider (#396)がテキストへの従順性をバランスさせ、SamplerCustomAdvanced (#382)が選択したサンプラーとスケジューラで推論を実行します。結果は時間的一貫性があり、LTX 2.3 Inpaintマスクをすでに尊重した編集されたクリップです。
潜在アップスケール
コンテンツを変更せずに詳細を向上させたい場合は、アップサンプラーを有効にします。LTXVLatentUpsampler (#818)が潜在空間でLTXの専用x2モデルを適用し、VAEDecodeTiledでメモリ効率の良い再構築を行います。組み込みのサイドバイサイド結合ノードでビフォーアフターを比較できます。
高解像度生成
最初のパスにガイドされた高忠実度のインペイントのために、ワークフローはガイドをトリミングして再バインドし、LTXVAddGuideMulti (#877)でサンプリングし、SamplerCustomAdvanced (#816)でサンプリングします。このステージはまだマスクを認識しており、シーンの動きを安定させながら、鮮明なエッジとより良いテクスチャを追加します。時間がある場合はLTX 2.3 Inpaintショットを仕上げるための好ましい方法です。
マスクスイッチ
シンプルなAutomatic Segmentationスイッチが手動または自動のマスクをインペイントパスにルーティングします。ターゲットが背景からよく分離されている場合は自動を使用し、エッジが複雑な場合やLTX 2.3 Inpaintの動作を外科的に制御する必要がある場合は手動ポイントに切り替えます。クリーンな選択は再利用のためにfinal_masksとして保存されます。
マスクされたインペイントセカンドパス
専用の高解像度インペイントブランチがマスキングをさらに進めます。SetLatentNoiseMask (#1010)がマスクがアクティブな場所にのみノイズを注入し、モデルが編集された領域を再サンプリングし、他のすべてを固定します。このパスはラベルの置換、小さなアーティファクトの修正、プロップの交換に最適で、最大の構成ロックを提供します。
オーディオ
独自のオーディオをロードするか、クリップの長さに一致するサイレントベッドを生成することができます。オーディオは同期のために潜在にエンコードされ、オプションでプレビューされ、保存時に再結合されます。LTX 2.3 Inpaint設定を精査する間、純粋なビジュアルを好む場合は、サイレントパスを有効にしておくだけです。
エクスポートと比較
プレビューノードは、ターゲットFPSで制御ストリーム、パス1、および洗練された出力を表示し、迅速なQCを行います。サイドバイサイド比較ビデオが自動で生成され、LTX 2.3 Inpaintがマスクされた領域にどのように影響したかを元のものと比較して評価できます。
ComfyUI LTX 2.3 Inpaintワークフローの主要ノード
LoraLoaderModelOnly (#419)
LTX 2.3 Inpaint LoRAをロードされたLTX‑2.3トランスフォーマーに添付し、編集がマスクにローカライズされるようにします。strengthを増加させてインペイント動作に強くバイアスをかけるか、基本モデルがスタイルに影響を与えるように減少させます。パス間で強度を一貫して維持し、見た目のドリフトを避けます。リファレンスモデルカード: LTX‑2.3, LTX 2.3 Inpaint LoRA。
Sam2Segmentation (#800)
input_video上のポジティブポイントからクリーンなオブジェクトマスクを生成します。PointsEditor (#860)からポイントを供給してターゲットにすばやくロックオンし、マスクの成長とブロック化で洗練します。信頼性の高いマスクは色のにじみを減らし、LTX 2.3 Inpaintの収束を早めます。プロジェクトページ: Segment Anything 2。
SetLatentNoiseMask (#417)
バイナリマスクを潜在に直接適用し、選択された領域のみが再サンプリングされるようにします。境界でシームが見える場合はGrowMaskWithBlurでマスクをわずかに拡張するか、非常に薄い詳細がちらつく場合はブロックサイズを増やします。このノードは、マスクされていないコンテンツをフレーム間で完全に安定させるのに不可欠です。
LTXVAddGuideMulti (#440)
マスクされた制御フレームをテキスト条件付けと融合し、モデルがプロンプトと空間的に変更されたものの両方によってガイドされるようにします。計算を関連領域に集中させるためにクロップもサポートしています。低解像度および高解像度の両方のパスで使用し、LTX 2.3 Inpaintの一貫した動作を維持します。
LTXVLatentUpsampler (#818)
LTXの専用x2モデルで潜在をアップスケールし、メモリ効率の良いタイルドVAEでデコードします。シーンレイアウトを再解釈することなくエッジ、マイクロテクスチャ、小さなテキストを改善します。成功した最初のパスの後に使用し、タイミングとアイデンティティを維持しながら品質を向上させます。
CFGGuider (#396)
モデルがプロンプトとガイドに従う強さを制御します。値を下げるとテキストへの過剰適合が減少し、微妙な動きを保持でき、高い値はマスク内の強い遵守を強制します。LTX 2.3 Inpaintが自由すぎるまたは制約されすぎて見える場合、LoRAの強度と一緒に調整します。
BasicScheduler (#575)
サンプラーが使用するノイズスケジュールを設定します。含まれるbong_tangentスケジュールはRES4LYFノードを通じてサポートされています。正確な動作を望む場合は、これらをインストールしてください。リファレンス: RES4LYF nodes。
SamplerCustomAdvanced (#382)
選択したサンプラープリセットでデノイジングループを実行します。パス間で同じサンプラーを使用して最も一貫したLTX 2.3 Inpaintルックを実現します。手動または基本的なシグマと組み合わせてノイズフローを微調整し、追加の安定性が必要な場合に使用します。
オプションのエクストラ
- LTXjson
