LTX 2.3 Sulphur 2 Prompt Relayワークフロー: ComfyUIでのイメージからビデオへのマイクロアクションシーケンシング#
このComfyUIワークフローは、単一の参照画像とセグメント化されたモーションプロンプトを映画的な短編クリップに変換します。LTX‑2.3蒸留ビデオ生成とSulphur 2モーションLoRAおよびPrompt Relayスマートエンコーディングを組み合わせて、フラットなプロンプトに頼らずにマイクロアクションをシーケンスとして記述できます。グラフは、同期されたオーディオラテント、検証済みの雨の街画像からビデオへの例、およびクラウド再生用に正規化された入出力に事前に配線されています。
このLTX 2.3 Sulphur 2 Prompt Relayワークフローを使用して、参照フレームへのビジュアルアンカーリングとビートごとに展開する制御されたモーションを行いたいときに使用してください。映画製作者、編集者、およびモーションデザイナーは、「雨の中を歩く | 髪をとかす | 振り返って手を振る | 退出する」といった「ビート」を配置し、ショット全体にわたって一貫したモーションとフレーミングを得ることができます。
Comfyui LTX 2.3 Sulphur 2 Prompt Relayワークフローの主要モデル#
- LTX‑2.3 オーディオビジュアル基盤モデル(蒸留、トランスフォーマーのみ)。1回の拡散パスでビデオと同期されたオーディオトークンを生成します。このワークフローは、ComfyUI用にパッケージ化された蒸留22Bバリアントを使用しています。重み: Lightricks/LTX‑2.3 およびノード/ユーティリティ: Lightricks/ComfyUI‑LTXVideo。研究背景については、LTX‑Video および論文 LTX‑Video: Realtime Video Latent Diffusion を参照してください。
- LTX‑Video VAEペア(ビデオVAE + オーディオVAE)。ラテントビデオフレームとタイミングアライメントに使用されるオーディオストリームをエンコード/デコードします。ComfyUIに適した事前構築済みVAEファイルは、LTX‑2.3パックで利用可能です。例えば、Kijai/LTX2.3_comfy および公式の ComfyUI‑LTXVideo リポジトリ。
- GemmaベースのテキストエンコーダーとLTXテキストプロジェクション。LTX‑2.3のためのCLIPスタイルエンコーダーとLTX統合にバンドルされたモデル固有のプロジェクションレイヤーを介して、長コンテキストプロンプトの理解を提供します。ComfyUI‑LTXVideo内のエンコーダーと設定を参照してください。
- Sulphur 2モーションLoRA(オプション)。モーションのペースと連続性をバイアスするためにLoRAとしてロードされるファインチューンです。Prompt Relayと組み合わせると、明確なビートごとの制御が可能になります。
Comfyui LTX 2.3 Sulphur 2 Prompt Relayワークフローの使用方法#
ワークフローは参照画像からラテントセットアップ、モデルとLoRA、プロンプトシーケンシング、サンプリング、デコード、エクスポートまでの明確なパスをたどります。デモ入力を自分のものに置き換え、以下で呼び出されているいくつかのコントロールに焦点を当ててください。
- 参照画像とサイズ調整
LoadImage(#620) はアンカー画像を選択できます。次のノードImageScaleByAspectRatio V2(#621) は、構図を安定させながら作業キャンバスに合わせます。LTXVPreprocess(#586) は、LTXに適した前処理を適用し、最初のフレームが被写体、照明、パレットを固定します。すでに希望するフレーミングに一致するクリーンで適切に照らされた参照を使用してください。
- ラテントセットアップ(ビデオ + オーディオ)
EmptyLTXVLatentVideo(#577) はキャンバスサイズとショット長を定義します。Get_video_vae(#583) とLTXVImgToVideoInplaceKJ(#617) は、参照静止画像をラテントビデオに直接注入し、フレーム1から見た目を一貫させます。同時に、Get_audio_vae(#576) とLTXVEmptyLatentAudio(#547) は、タイミングを合わせるために同期されたオーディオラテント(デフォルトでは無音)を作成します。LTXVConcatAVLatent(#548) は、両方のストリームを統一された拡散のためにマージします。
- モデルの読み込みとモーションコントロール
UNETLoader(#632) は蒸留されたLTX‑2.3トランスフォーマーをロードします。LoRAスタックは動作を追加します:LoraLoaderModelOnly(#630) は蒸留されたLTXヘルパーを適用し、LoraLoaderModelOnly(#628) はSulphur 2モーションLoRAをロードし、LoraLoaderModelOnly(#606) はI2Vスタビライザーを追加できます。PathchSageAttentionKJ(#542) はパフォーマンス/一貫性のために注意をパッチします。これらのノードは一緒になって、プロンプトがどれだけ強くモーションを操縦するか、参照を保持するかを決定します。
- Prompt Relayを使用したプロンプトシーケンシング
DualCLIPLoader(#416) はテキストエンコーダーをロードします。PromptRelaySmartEncode(#610) は、永続的な詳細のためのglobal_promptとアクションシーケンスのためのsmart_promptを受け入れます。パイプで区切られたセグメントを使用して「女性が雨の中を歩く | 髪をとかす | 振り返って手を振る | 遠くに歩く」など、または「シーン1: … シーン2: …」のようなブロックヘッダーを使用して画面時間を重み付けします。このノードはセグメント全体に時間を自動分配するため、フレームを数える代わりにビートを書くことができます。ComfyUI‑PromptRelay の構文リファレンスを参照してください。
- コンディショニングとフレームレート
LTXVConditioning(#164) は、正のガイダンスと最小限の負のベースライン(ConditioningZeroOut, #420)を得るためにPrompt Relay出力を受け取ります。また、ショットの目標フレームレートを設定し、下流のノードがセグメントの重み付けと一致するようにタイミングを一貫させます。
- サンプラーとプレビュー
BasicScheduler(#514) はノイズスケジュールを形成し、KSamplerSelect(#154) はサンプラーを選びます。VisualizeSigmasKJ(#358) はスケジュールをプレビューし、ノイズ除去曲線がどのように進行するかを確認できます。LTX2SamplingPreviewOverride(#588) は、拡散中の応答性のあるプレビューを可能にします。SamplerCustom(#561) は、AVラテント、プロンプト、LoRA、スケジュールを使用して統一されたオーディオビデオ拡散を実行します。
- デコードとエクスポート
LTXVSeparateAVLatent(#549) は最終AVラテントを分割します。VAEDecode(#471) はフレームを生成し、LTXVAudioVAEDecode(#550) はオーディオラテントをデコードします。VHS_VideoCombine(#604) はフレームとオーディオを標準のyuv420pフォーマットでH.264 MP4にマルチプレックスし、再生と編集の準備が整います。
Comfyui LTX 2.3 Sulphur 2 Prompt Relayワークフローの主要ノード#
PromptRelaySmartEncode(#610)- 目的: ビートごとの「スマートプロンプト」をクリップ全体に適切にタイミングされたテキストコンディショニングに変換します。
global_promptには変わらない詳細(スタイル、被写体、照明)を、smart_promptにはアクションシーケンスを使用します。2つのオーサリングスタイルがサポートされています:|で区切られたインラインセグメントと、[0-50]のようなオプションの比率タグ、または「シーン1:」のようなブロックヘッダーでセグメントを範囲で重み付けします。曖昧さを避けるために、プロンプトごとに1つの構文を保持してください。参照: ComfyUI‑PromptRelay。
- 目的: ビートごとの「スマートプロンプト」をクリップ全体に適切にタイミングされたテキストコンディショニングに変換します。
LTXVImgToVideoInplaceKJ(#617)- 目的: 最初のフレームの外観を固定し、モーションを通じて穏やかに伝播します。アイデンティティや衣装が流れる場合は、画像の順守を高め、モーションが制約されているように見える場合は、より多くの動力学を許可するためにそれを下げます。これをSulphur 2 LoRAの強さとバランスを取って、参照が安定しすぎずにモーションが凍結しすぎないようにしてください。
LoraLoaderModelOnly(#628) — Sulphur 2モーションLoRA- 目的: モーションの連続性、軌道の滑らかさ、アクションのステージングをバイアスするためにSulphur 2ファインチューンを注入します。
strength_modelを上げると、セグメント全体にわたってガイドされた動きを強調します。過剰な制約やパターンの繰り返しが見られる場合は、それを減らしてください。被写体の忠実度とモーションのエネルギーを調和させるために、ImgToVideoInplaceの強さと一緒に調整してください。
- 目的: モーションの連続性、軌道の滑らかさ、アクションのステージングをバイアスするためにSulphur 2ファインチューンを注入します。
LTXVConditioning(#164)- 目的: LTX‑2.3の正/負のコンディショニングを統合し、クリップのフレームレートを設定します。ショットを長くする場合は、Prompt Relayのセグメントの重み付けを見直し、相対的なタイミングが意図したビートに一致するようにしてください。
SamplerCustom(#561)- 目的: 選択したサンプラーとスケジュールを使用してノイズ除去パスを実行します。モーションが揺れる場合は、少しスムーズなスケジュールや時間的安定性で知られるサンプラーを試してみてください。プロンプトが過小操縦している場合は、ガイダンスをわずかに上げ、過剰な飽和に注意してください。長時間の実行の前にスケジュールの形状を確認するために
VisualizeSigmasKJを使用してください。
- 目的: 選択したサンプラーとスケジュールを使用してノイズ除去パスを実行します。モーションが揺れる場合は、少しスムーズなスケジュールや時間的安定性で知られるサンプラーを試してみてください。プロンプトが過小操縦している場合は、ガイダンスをわずかに上げ、過剰な飽和に注意してください。長時間の実行の前にスケジュールの形状を確認するために
オプションの追加#
- Prompt Relayを使用した効果的なマイクロアクションの作成
- インラインスタイル: “walks under rain | brushes hair | turns and waves | exits”。1つのアクションにより多くの時間を与えるには、
[0-200]vs[200-260]のような重みタグを追加します。範囲のみが重要です。 - ブロックスタイル: 「シーン1:」や「シーン2-4:」のようなヘッダーを独自の行に使用します。ヘッダーの範囲は相対的な持続時間を設定し、ヘッダーはトークン化の前に削除されます。
- インラインスタイル: “walks under rain | brushes hair | turns and waves | exits”。1つのアクションにより多くの時間を与えるには、
- 簡単なトラブルシューティング
- アイデンティティの流れ:
LTXVImgToVideoInplaceKJで画像の順守を高めるか、Sulphur 2strength_modelを減らします。 - モーションが遅すぎる/速すぎる: スマートプロンプト内のセグメントの範囲を再調整し、重要なビートがより多くまたは少なく時間を得るようにします。
- フリッカーやアーティファクト: より安定したサンプラーとスケジュールを試すか、ガイダンスを少し上げ、過剰なシャープ化に注意してください。
- アイデンティティの流れ:
- 有用なリファレンス
- LTX‑2.3モデルの重みとドキュメント: Hugging Face: Lightricks/LTX‑2.3
- ComfyUIノードと例のフロー: Lightricks/ComfyUI‑LTXVideo
- Prompt Relayの構文と例: kijai/ComfyUI‑PromptRelay
- このグラフで使用されるLTX対応ヘルパー: kijai/ComfyUI‑KJNodes
謝辞#
このワークフローは以下の作品とリソースを実装および構築しています。LightricksのLTX-Video、KijaiのComfyUI-PromptRelayノードとComfyUI-KJNodesヘルパー、RunningHubとRunComfyのワークフローリファレンスとCloud Saveセットアップに感謝の意を表します。詳細については、以下にリンクされている元のドキュメントとリポジjson トリを参照してください。
リソース#
- RunningHub/Workflow reference
- Docs / Release Notes: RunningHub workflow reference
- RunComfy/Cloud Save setup
- Docs / Release Notes: RunComfy Cloud Save setup
- Lightricks/LTX-Video
- GitHub: Lightricks/LTX-Video
- Hugging Face: Lightricks/LTX-Video-0.9.7-dev
- arXiv: arXiv:2501.00103
- kijai/ComfyUI-PromptRelay
- GitHub: kijai/ComfyUI-PromptRelay
- kijai/ComfyUI-KJNodes
- GitHub: kijai/ComfyUI-KJNodes
Note: Use of the referenced models, datasets, and code is subject to the respective licenses and terms provided by their authors and maintainers.


