LTX 2.3 Edit Anything: ComfyUIのためのプロンプト駆動ビデオ編集ワークフロー#
このワークフローは、LTX-2.3とLTX 2.3 Edit Anything LoRAを使用して、平易な英語での編集リクエストを時間的に一貫したビデオ編集に変換します。シーンを再生成する代わりに、入力クリップにアンカーし、動き、アイデンティティ、タイミングを維持しながら、ローカルまたはグローバルな変更を適用します。典型的な用途には、オブジェクトの挿入または削除、背景のクリーンアップ、ターゲットの置き換え、クリエイティブな再スタイル化が含まれます。
このグラフは、プロンプト正規化、ガイドフレーム条件付け、オプションのフレーム補間とアンチエイリアシングを伴うワンパス生成経路を束ねています。編集されたクリップとソースとの並列比較をエクスポートできます。LTX 2.3 Edit Anythingはこのワークフローの中心であり、LTX-2.3の高忠実度の外観を維持しながら、広範なプロンプト可能な編集コントロールを提供します。
Comfyui LTX 2.3 Edit Anythingワークフローの主要モデル#
- LightricksによるLTX-2.3ベースのビデオ拡散トランスフォーマー。テキストとガイドから時間的一貫したフレームを予測するコアビデオ生成バックボーン。Model card • Repo
- LTX 2.3 Edit Anything LoRA。シーン構造を失うことなく追加/削除/置換/スタイル操作を可能にする編集特化LoRA。Model
- LTX-2.3蒸留LoRA 384。短いサンプリングスケジュールを可能にしながら品質を維持する蒸留; より速い編集を望むときに便利。Model
- Gemma 3 12B Instructテキストエンコーダー + LTX-2.3テキストプロジェクション。正規化されたキャプションをLTX-2.3用の条件付け埋め込みにエンコードします。Files
- LTX-2.3ビデオVAEとオーディオVAE。パイプライン全体で使用されるビデオとオーディオの潜在を圧縮およびデコードします。Files
- LTX-2.3空間および時間的アップスケーラー。よりシャープなフレームと安定した動きを得るためのオプションの潜在アップスケーラー。Spatial x2 • Temporal x2
- RIFE (Real-Time Intermediate Flow Estimation)。最終エクスポートでスムーズな動きのために再生FPSを倍増させるフレーム補間モデル。Repo • ComfyUI extension
Comfyui LTX 2.3 Edit Anythingワークフローの使用方法#
高レベルでは、ビデオをロードし、編集を記述し、生成を実行します。ワークフローはリクエストをトレーニングスタイルのキャプションに正規化し、ソースクリップからのガイドフレームでLTX-2.3を条件付け、編集された結果をサンプルします。オプションの後処理でフレームを補間し、適応アンチエイリアシングを適用してからエクスポートします。
ビデオ設定#
このグループを使用してクリップのタイミングと出力サイズを定義します。FPSとDuration (Seconds)を目標に合わせて設定します。グラフは安定したサンプリングのためにフレーム数を計算します。Resolution (Longer dimension)でターゲットの長辺を選び、必要に応じてDownscale Video Factorを設定して、より速く小さなファーストパスを得ます。シングルパスを維持する予定がある場合は、ネイティブサイズ出力のために1.0のファクターを推奨します。
入力#
VHS_LoadVideoでソースクリップをロードし、ワークフローにリサイズを任せます。フレームは選択した長辺にリサイズされ、速度のためにオプションでダウンスケールされ、LTX-2.3の準備のためにLTXVPreprocessを通過します。同じ入力は後で動きとコンテンツをアンカーする「コントロールビデオ」として保存され、編集が元のシーンに従うようにします。
プロンプト#
Describe the task here (Prompt)にリクエストを入力します。組み込みのTextGenerateステップがそれを「背景の小さな赤い車を取り除く」といった単一のデータセットスタイルのキャプションに書き直します。正規化されたキャプションは「Final Prompt」に表示され、条件付けのためにエンコードされます。完全な制御を望む場合は、「Manual Prompt」エンコーダーに正確なキャプションを入力することもできます。
モデル#
ローダーはLTX-2.3のバックボーンを初期化し、LoRAをアタッチします。一般的な忠実度のためにベースモデルを使用し、編集可能性のためにLTX 2.3 Edit Anything LoRAを追加します。短いスケジュールを望む場合は蒸留LoRAをオプションで含め、コヒーレンスを維持します。ここでビデオとオーディオのVAEが潜在エンコード/デコードのために準備されます。
低解像度生成#
ワークフローはキャプションを正/負の条件付けに変換し、ターゲットに合わせてビデオのフレームレートを設定します。LTXVAddGuideMultiはコントロールビデオからのガイド情報を注入し、編集が適用される際にアイデンティティ、レイアウト、動きを維持します。カスタムサンプラーがガイドされたノイズから編集されたAV潜在に向けてデノイズし、プロンプトの忠実度と構造保存のバランスを取ります。サンプリング後、ビデオ潜在がデコードされ、ファーストパスの編集フレームが生成されます。
空の潜在#
このパスはサンプラーで使用されるオーディオ/ビデオ潜在を準備します。デフォルトでは空のオーディオ潜在が連結され、オーディオを編集しない場合でもレンダリングできます。ローカル編集のために、SolidMaskとともにSetLatentNoiseMaskを使用して新しいノイズが注入される場所を制限し、シーン全体を触らずに単一のオブジェクトを置換するのに役立ちます。
オーディオ#
ソースクリップにオーディオが含まれている場合、変更せずに通過できます。そうでない場合、グラフは信頼性のあるエクスポートのためにサイレントトラックを作成します。カスタムオーディオをロードまたは録音し、期間に合わせてトリムすることもできます。ビジュアルに専念した編集の場合、最終結合ステップからオーディオを削除できます。
1パス結果#
このエリアは編集フレームをプレビューし、コントロールビデオを使用して「ビフォーアフター」比較を組み立てます。LTX 2.3 Edit Anythingプロンプトが正しい領域をターゲットにし、動きを維持し、シーンの構成を尊重したかどうかを迅速に確認するのに理想的です。この比較を迅速に共有可能なアーティファクトとしてエクスポートできます。
後処理#
スムーズな動きを望む場合、RIFE VFIステージがフレーム間を補間し、FPSを倍増させます。VideoAdaptiveAAがエッジをクリーンアップするために軽量なアンチエイリアシングを適用し、最終エンコード前にエクスポートします。エクスポーターは元のFPSの2倍で結果を書き出すため、初期サンプリングコストを増やさずに動きが自然に感じられます。
Comfyui LTX 2.3 Edit Anythingワークフローの重要なノード#
TextGenerate (#178)#
非公式のリクエストをLTX-2.3がよく理解するトレーニングスタイルのキャプションに変換し、編集精度と時間的安定性を向上させます。プロジェクト間で一貫したフレージングを望む場合に使用します。正確な言葉が必要な場合は、「Manual Prompt」に直接入力してください。参照：LTX-2.3プロンプト処理の公式リポジトリは条件付け動作の広範な文脈を提供します。Docs
LTXVConditioning (#51)#
ポジティブおよびネガティブの条件付けを意図したフレームレートでパッケージ化し、時間的トークンがクリップに整合するようにします。エクスポートと一致するようにframe_rateを一貫して保ち、ドリフトを避けます。これにより、LTX 2.3 Edit Anythingが変更を適用しながら動きを維持します。重いネガティブはほとんど必要ありません。不要なアーティファクトを抑えるために簡潔なネガティブで十分です。
LTXVAddGuideMulti (#104)#
コントロールビデオからの1つまたは複数のガイドフレームを潜在にアタッチし、編集が元の構造とタイミングを追跡するようにします。どのフレームでガイドするかを変更すると、アイデンティティの保存とポーズの一貫性に影響を与える可能性があります。ローカライズされた編集には、ターゲット領域にのみ意味のあるノイズが受け取られるように、マスクと組み合わせて使用します。
SetLatentNoiseMask (#75)#
サンプラーがノイズを追加または保持することを許可される場所を定義し、編集領域を効果的に制御します。フルホワイトマスクはフレーム全体を編集し、ソフトマスクは忙しい背景に置換をブレンドするのに理想的です。正確な空間制御が必要な場合は、SolidMaskをペイントされたマスクに置き換えます。
SamplerCustomAdvanced (#38)#
選択したサンプラーとスケジュールを使用してデノイズプロセスを駆動します。短いスケジュールは速いですが、蒸留LoRAから利益を得ます。長いスケジュールは忠実度を高めることができますが、時間を犠牲にします。異なる外観や安定性プロファイルを望む場合は、同じガイド設定を維持しながら代替サンプラーを試してください。参照：ComfyUIサンプラードキュメントは、サンプラーとシグマスケジュールがどのように相互作用するかを説明します。ComfyUI
RIFE VFI (#205)#
拡散モデルを再サンプリングせずにスムーズさを増すために中間フレームを補間します。これはコンテンツを保持しながら動きのリズムを改善する後処理ステップです。参照：RIFEモデルとComfyUI統合。Model • Extension
オプションの追加#
- ローカル編集は最初に:
SetLatentNoiseMaskを使用してLTX 2.3 Edit Anythingが変更を適用する場所を厳密に制限し、エッジが鋭すぎる場合はマスクを広げます。 - より速い反復: クイックプルーフのために
Downscale Video Factorを下げ、最終レンダリングには1.0に戻すか、追加のシャープさのために空間/時間的アップスケーラーを追加します。 - オーディオのないソース: 入力にオーディオがない場合、最終結合でオーディオを無効にしてマクシングエラーを避けるか、提供されたノードでサイレントトラックを供給します。
- スケジューリングの注意: グラフに示された"bong_tangent"スケジュールはRES4LYFノードパックを必要とします。選択する場合は、最初に拡張機能をインストールしてください。Repo
- 比較: 組み込みのサイドバイサイドエクスポートを使用して、アイデンティティ、照明、カメラの動きが長いレンダリングに移行する前に保存されていることを確認します。
このComfyUIテンプレートは、LTX-2.3の高忠実度バックボーンとLTX 2.3 Edit Anything LoRAを組み合わせ、クリップ内の要素を追加、削除、置換、または再スタイル化し、シーンのリズムを維持します。
謝辞#
このワークフローは、以下の作品とリソースを実装し、それに基づいて構築されています。我々は、LTX 2.3 Edit Anything Workflow SourceのためのLTXの貢献とメンテナンスに感謝します。権威ある詳細については、以下にリンクされた元のドキュメントとリポジトリを参照してください。
リソース#
- LTX/LTX 2.3 Edit Anything Workflow Source
- Docs / Release Notes @Benjson ji’s AI Playground: LTX 2.3 Edit Anything Workflow Source
Note: Use of the referenced models, datasets, and code is subject to the respective licenses and terms provided by their authors and maintainers.