LTX 2.3 IC-LoRA カメラコントロール for ComfyUI#
LTX 2.3 IC-LoRA Camera Controlは、ComfyUIのLTX-Video 2.3向けの参照駆動型カメラモーションワークフローです。短い参照ビデオとクリエイティブなプロンプトを与えると、参照から新しく生成されたシーンへのカメラの軌跡を転送し、被写体の構図と時間的整合性を保持しながら、コンテンツ、照明、ムードに集中できます。
映画製作者、VFXアーティスト、AIクリエイター向けに構築されたこのComfyUIワークフローは、パン、ティルト、ドリー、ズーム、オービットムーブを調整可能なモーション強度で再現します。LTX-2.3の統合されたオーディオビデオ生成をカメラコントロール用に調整されたIn-Context LoRAと組み合わせることで、滑らかな動き、一貫したフレーミング、同期されたオーディオを一度に取得できます。
Comfyui LTX 2.3 IC-LoRA カメラコントロールワークフローの主なモデル#
- Lightricks LTX-2.3。ビデオとオーディオを共同生成するディフュージョントランスフォーマーで、1回のフォワードパスで強力な時間的整合性と同期されたサウンドを提供します。このワークフローのコアジェネレーターであり、IC-LoRAガイダンスのターゲットです。モデルカード
- LTX-Video VAE。LTXによって使用される時空間ビデオVAEは、フレームをコンパクトな潜在空間に圧縮し、効率的なノイズ除去を行い、サンプリングの最後に高品質なフレームをデコードします。技術レポートのアーキテクチャの背景を参照してください。LTX-Video および LTX-2。
- Gemma インストラクションチューニングテキストエンコーダー。インストラクションチューニングされたGemmaテキストエンコーダーは、プロンプトを生成器が従うことができる条件付けベクトルに変換し、詳細なショットの説明とスタイルコントロールを可能にします。
- LTX 2.3 IC-LoRA カメラコントロール用。参照ビデオからカメラモーションの手がかりを抽出し、LTX-2.3に注入して新しいシーンの仮想カメラを参照パスに合わせる特化型In-Context LoRAアダプター。
Comfyui LTX 2.3 IC-LoRA カメラコントロールワークフローの使用方法#
このワークフローは、参照を準備し、条件付けを構築し、サンプリングを実行してからオーディオとビデオをマックスするグループに整理されています。IC-LoRAは参照からカメラの動きを抽出し、プロンプトが画面に表示される内容を定義します。
入力ビデオ設定#
このグループの入力を使用して、フレーム毎秒、クリップの長さ、およびターゲットの長辺の寸法を設定します。これらの3つの値は、フレームバジェットと実行全体の作業解像度を決定します。FPSと持続時間を参照に合わせて保持すると、IC-LoRAが元の動きのタイミングと速度を再現するのに役立ちます。配信アスペクト比とパフォーマンスバジェットに合った寸法を選択してください。実験中の場合は、動きが正しく見えるようになったら、控えめに始めてスケールアップしてください。
リファレンスビデオを準備する#
VHS_LoadVideo (#5983)を使用して、カメラの参照をロードします。パイプラインは、モデルのためにフレームをスケーリングし正規化し、サイズとカウントを計算するためにそれらを分析し、LTX-2.3とよく連携する寸法を保証します。カットのない滑らかなワンテイクショットがLTX 2.3 IC-LoRA カメラコントロールに最適です。アダプターはストーリー編集ではなくカメラパスを学習するためです。パン、ティルト、ドリー、ズーム、オービットのすべてがサポートされていますが、揺れの多いクリップや急速なシーンの変化を避けてください。参照がターゲットより長い場合は、最も代表的なセグメントにトリミングしてください。
前処理#
ワークフローは、選択した解像度と持続時間に合わせた空のビデオ潜在を作成し、オプションでLTXVImgToVideoConditionOnly (#5904)を使用して静止画像から外観をアンカーします。スタイルに合った静止画像を提供することで、IC-LoRAに動きを任せながら被写体とパレットの一貫性を向上させることができます。このステージでは、安全でモデルに優しい寸法を計算し、潜在タイムラインが参照のペースに一致していることを確認します。結果はカメラコントロールに最適化されたクリーンなスタートポイントです。
条件付け#
ポジティブプロンプトに主なショットの説明を書き、ネガティブプロンプトに望ましくないアーティファクトをリストします。プロンプトはエンコードされ、時間を意識した条件付けがLTXVConditioning (#164)で組み立てられます。LTX 2.3 IC-LoRA カメラコントロールは、参照ビデオから抽出されたカメラモーションのトークンでこの条件付けを強化します。テキストを被写体、設定、照明、アートディレクションに集中させ、カメラの動きは参照に任せて、ガイダンスが衝突しないようにします。トーンとスタイルを繰り返し調整し、毎回参照を変更せずに済みます。
モデル#
ワークフローはLTX-2.3ベースモデルをロードし、パフォーマンスに優れたアテンションパッチとフィードフォワードチャンクを大きな解像度に適用し、IC-LoRAをLTXICLoRALoaderModelOnly (#5924)で注入します。これにより、VRAMの使用を実用的に保ちながら、忠実性と動きの一貫性を維持します。IC-LoRAはまた、グラフが速度と詳細のバランスを取るために使用する潜在的なダウンスケールファクターを公開します。このグループをLTX 2.3 IC-LoRA カメラコントロールの実行時エンジンルームと考えてください。
サンプリング#
SamplerCustom (#561)は、KSamplerSelect (#154)で選択されたサンプラーと手で調整されたシグマスケジュールを使用してノイズ除去プロセスを実行します。サンプリング中に、LTXAddVideoICLoRAGuide (#5899)はプロンプトの条件付け、外観アンカー、参照駆動カメラパスを潜在に融合します。ノイズ除去が完了すると、ビデオとオーディオの潜在が分割されデコードされ、VHS_VideoCombine (#604)が選択したフレームレートでフレームとオーディオをマックスします。結果として、記述したコンテンツと参照したカメラの動きを持つ共有可能なMP4が得られます。カメラが硬すぎるまたは緩すぎると感じたら、モーションの強度を調整して再サンプルしてください。
空のオーディオ#
生成されたビデオと同期してサウンドを合成できるように、整列されたオーディオ潜在が作成されます。これにより、モーションタイミングに一致するアンビエントでフォーリーのようなトラックが余分な作業なしで得られます。ポストプロダクションでクリップをスコアリングする予定がある場合、生成されたオーディオを無視し、後でミュートまたは置き換えることができます。モーションテストの場合、オーディオをオンにしておくとタイミングと強度を判断するのに役立ちます。
Comfyui LTX 2.3 IC-LoRA カメラコントロールワークフローの主なノード#
VHS_LoadVideo (#5983)#
カメラの動きを供給する参照クリップをロードします。転送したい軌跡の正確なセグメントを選択し、ターゲットと有効なフレームレートを整合させるために使用します。短く安定したワンショットの入力は最も予測可能なモーショントランスファーを提供します。必要に応じて、参照をトリミングするかフレームキャップを減らして迅速に反復してください。
LTXICLoRALoaderModelOnly (#5924)#
LTX 2.3 IC-LoRA カメラコントロールアダプターをベースモデルに注入し、効率のためにグラフが使用する潜在的なダウンスケールファクターを公開します。参照カメラパスにより厳密に従うためにその強度を増加させ、プロンプトが動きを緩めることを望む場合はそれを下げてください。最良の結果を得るために、モデルとアダプターバージョンを一致させてください。プロジェクトの途中でアダプターを変更すると、カメラの解釈が変わります。
LTXAddVideoICLoRAGuide (#5899)#
条件付けと潜在の両方にIC-LoRAガイダンスを付加します。ここでの主要なコントロールはモーションの強度で、生成されたカメラが参照にどれだけ忠実に従うかを管理します。正確な転送と技術的な一致のためにそれを上げ、創造的な解釈のためにそれを下げます。強い被写体プロンプトと組み合わせて構図を維持しながら微小な変動を許可します。
LTXVImgToVideoConditionOnly (#5904)#
静止画像をモーションを課さない外観専用ガイダンスに変換し、キャラクター、パレット、またはアートディレクションをロックするのに理想的です。最初のフレームが静止画像から逸脱している場合は従属性を高め、外観が過度に制約されている場合はそれを減らします。このノードはオプションです。静止画像を省略する場合は、プロンプトとIC-LoRAが外観を完全に駆動します。
SamplerCustom (#561)#
選択したサンプラーとシグマ曲線でノイズ除去を実行します。KSamplerSelect (#154)からのeuler_ancestral_cfg_ppのようなサンプラーを提供されたシグマスケジュールと組み合わせて、詳細と時間的安定性のバランスを取ります。モーションの強度を高く押し上げる場合、過度の矯正を避けるために穏やかなスケジュールを考慮してください。同じカメラパスを維持しながら代替案を探るために再シードしてください。
VHS_VideoCombine (#604)#
プレビューまたは配信用にMP4にデコードされたフレームとオーディオをマックスします。パイプラインに一致するようにフォーマットと出力フレームレートを設定します。デイリーの場合、圧縮を高くしてエクスポートし、仕上げの場合は品質を高めてハイライトとモーションのリズムを保持します。出力には設定を後でトレースできるようにメタデータが含まれています。
オプションの追加機能#
- LTX 2.3 IC-LoRA カメラコントロールでのクリーントランスファーには、単一の連続した動き、最小限の被写体の動き、カットのない参照を選択してください。
- ターゲットのFPSと持続時間を参照に合わせて1:1のタイミングにし、スローまたはファストレンディションを望む場合は意図的に逸脱してください。
- プロンプトをコンテンツとスタイルに集中させ、カメラの言語はIC-LoRAに任せて衝突する信号を避けてください。
- エッジアーティファクトが見られる場合は、わずかに小さい長辺の寸法または穏やかなサンプラーを試して安定性を向上させてください。
- LTXリソースと例を探求して、モデルの動作とコントロールの理解を深めてください。Lightricks/LTX-2.3, Lightricks/ComfyUI-LTXVideo, AVControl。
謝辞#
このワークフローは、以下の作品とリソースを実装し、それに基づいて構築されています。我々は、LTX 2.3 IC-LoRA Camera Control Workflow Sourceの貢献とメンテナンスに感謝します。詳細な情報については、以下にリンクされた元のドキュメントとリポジトリを参照してください。
リソース#
- Innovate Futures @ Benji/LTX 2.3 IC-LoRA Camera Control Workflow Source
- Docs / Release Notes: LTX 2.3 IC-LoRA Camera Control Workflow Source
注意: 参照されたモデル、データセット、コードの使用は、それぞれの著者とメンテナによって提供されるライセjson
ンスと条件に従います。