LTX 2.3 Sulphur 2 提示中繼工作流程 | 電影製作工具

LTX 2.3 Sulphur 2 提示中繼工作流程：ComfyUI 中的圖像到影片微動作序列#

此 ComfyUI 工作流程將單個參考圖像和分段的動作提示轉換為短片電影剪輯。它結合了 LTX-2.3 精煉影片生成、Sulphur 2 動作 LoRA 和提示中繼智能編碼，因此您可以將微動作描述為序列，而不是依賴於單一的平面提示。圖表已預先連接同步音頻潛在層、一個經驗證的雨天街道圖像到影片範例，以及正常化的輸入/輸出，用於直接雲端播放。

當您需要緊密的視覺錨定到參考框架和逐拍展開的控制動作時，請使用此 LTX 2.3 Sulphur 2 提示中繼工作流程。電影製作人、編輯和動作設計師可以佈置如“在雨中行走 | 撥弄頭髮 | 轉身並揮手 | 離開”等“節拍”，並在整個鏡頭中獲得一致的動作和取景。

Comfyui LTX 2.3 Sulphur 2 提示中繼工作流程中的關鍵模型#

• LTX-2.3 音視頻基礎模型（精煉，僅變壓器）。在一個擴散通道中生成視頻和同步音頻標記；此工作流程使用為 ComfyUI 打包的 22B 變體。權重：Lightricks/LTX-2.3 和節點/工具：Lightricks/ComfyUI-LTXVideo。另見 LTX-Video 的研究背景和論文 LTX-Video: Realtime Video Latent Diffusion。
• LTX-Video VAE 對（視頻 VAE + 音頻 VAE）。編碼/解碼用於時間對齊的潛在視頻幀和音頻流。適用於 ComfyUI 的預建 VAE 文件可在 LTX-2.3 包中找到，例如 Kijai/LTX2.3_comfy 和官方 ComfyUI-LTXVideo 存儲庫。
• 基於 Gemma 的文本編碼器和 LTX 文本投影。通過 CLIP 風格編碼器和與 LTX 集成捆綁的模型特定投影層，提供 LTX-2.3 的長上下文提示理解。請參見 ComfyUI-LTXVideo 中的編碼器和配置。
• Sulphur 2 動作 LoRA（可選）。作為 LoRA 加載的精細調整，用於偏向動作節奏和連續性，以實現圖像到影片的轉換。當您需要明確的節拍控制時，它與提示中繼配合良好。

如何使用 Comfyui LTX 2.3 Sulphur 2 提示中繼工作流程#

工作流程遵循從參考圖像到潛在設置、模型和 LoRAs、提示序列、取樣，然後解碼和導出的明確路徑。用您自己的演示輸入替換演示輸入，並專注於下面列出的少數控制項。

• 參考圖像和尺寸
  • LoadImage (#620) 讓您選擇錨定圖像。下一個節點，ImageScaleByAspectRatio V2 (#621)，將其適應工作畫布，同時保持構圖穩定。LTXVPreprocess (#586) 應用 LTX 友好的預處理，因此第一幀鎖定主題、照明和調色板。使用乾淨、光線充足的參考，已經符合您所需的取景。
• 潛在設置（視頻 + 音頻）
  • EmptyLTXVLatentVideo (#577) 定義畫布尺寸和鏡頭長度。Get_video_vae (#583) 和 LTXVImgToVideoInplaceKJ (#617) 將參考靜止圖像直接注入潛在視頻中，因此從第一幀開始保持一致的外觀。與此同時，Get_audio_vae (#576) 和 LTXVEmptyLatentAudio (#547) 創建同步音頻潛在（默認為靜音）以保持時間對齊。LTXVConcatAVLatent (#548) 合併兩個流以進行統一擴散。
• 模型加載和動作控制
  • UNETLoader (#632) 加載精煉的 LTX-2.3 變壓器。LoRA 堆疊添加行為：LoraLoaderModelOnly (#630) 應用精煉的 LTX 幫助器，LoraLoaderModelOnly (#628) 加載 Sulphur 2 動作 LoRA，並且 LoraLoaderModelOnly (#606) 可以添加 I2V 穩定器。PathchSageAttentionKJ (#542) 修補注意力以提高性能/一致性。這些節點共同決定您的提示在多大程度上引導動作與保持參考的關係。
• 使用提示中繼的提示序列
  • DualCLIPLoader (#416) 加載文本編碼器。PromptRelaySmartEncode (#610) 接受 global_prompt 用於持久細節和 smart_prompt 用於動作序列。使用管道分隔的段落，如“woman walks under rain | brushes hair | turns and waves | walks into distance”，或使用如“Scene 1: … Scene 2: …”的區塊標題來加權屏幕時間。該節點自動分配時間給各段，因此您可以撰寫節拍而不是計算幀。請參見 ComfyUI-PromptRelay 中的語法參考。
• 調節和幀率
  • LTXVConditioning (#164) 接收提示中繼輸出以進行正面指導和最小負面基線（ConditioningZeroOut, #420）。它還設置了鏡頭的目標幀率，下游節點使用該幀率來保持與您的段權重一致的時間。
• 取樣器和預覽
  • BasicScheduler (#514) 形狀化噪聲計劃；KSamplerSelect (#154) 選擇取樣器。VisualizeSigmasKJ (#358) 預覽計劃，以便您可以看到去噪曲線將如何進展。LTX2SamplingPreviewOverride (#588) 使在擴散期間的響應預覽成為可能。SamplerCustom (#561) 使用您的 AV 潛在、提示、LoRAs 和計劃運行統一的音視頻擴散。
• 解碼和導出
  • LTXVSeparateAVLatent (#549) 分離最終的 AV 潛在。VAEDecode (#471) 生成幀；LTXVAudioVAEDecode (#550) 解碼音頻潛在。VHS_VideoCombine (#604) 將幀和音頻合併為 H.264 MP4，使用標準 yuv420p 格式，準備就緒進行播放和編輯。

Comfyui LTX 2.3 Sulphur 2 提示中繼工作流程中的關鍵節點#

• PromptRelaySmartEncode (#610)
  • 目的：將您的逐拍“智能提示”轉換為全片適當計時的文本調節。使用 global_prompt 用於不變的細節（風格、主題、照明），使用 smart_prompt 用於動作序列。支持兩種創作風格：用 | 分隔的內聯段落，帶有可選的比例標籤如 [0-50]，或區塊標題如“Scene 1:”按範圍加權段落。每個提示保持一個語法，以避免歧義。參考：ComfyUI-PromptRelay。
• LTXVImgToVideoInplaceKJ (#617)
  • 目的：鎖定第一幀的外觀並輕柔地通過動作傳播。如果身份或服裝漂移，提高其圖像附著力；如果動作似乎受限，降低它以允許更多動態。將此與您的 Sulphur 2 LoRA 強度平衡，以便參考保持穩定而不過度凍結動作。
• LoraLoaderModelOnly (#628) — Sulphur 2 動作 LoRA
  • 目的：注入 Sulphur 2 精細調整，以偏向動作的連續性、軌跡平滑性和動作分段。增加 strength_model 來強調跨段的引導運動；如果您看到過度限制或重複模式，請減少它。與 ImgToVideoInplace 強度一起調整，以保持主題保真度和動作能量的和諧。
• LTXVConditioning (#164)
  • 目的：整合 LTX-2.3 的正面/負面調節並設置影片的幀率。如果您延長鏡頭，請重新檢查您的提示中繼段權重，以便相對時間仍匹配預期的節拍。
• SamplerCustom (#561)
  • 目的：使用您選擇的取樣器和計劃運行去噪過程。如果動作抖動，嘗試稍微平滑的計劃或已知具有時間穩定性的取樣器；如果提示引導不足，適度提高指導，同時注意過度飽和。在長時間運行之前使用 VisualizeSigmasKJ 確認計劃的形狀。

可選的額外功能#

• 使用提示中繼撰寫有效的微動作
  • 內聯風格：“在雨中行走 | 撥弄頭髮 | 轉身並揮手 | 離開”。要給某一動作更多時間，添加一個權重標籤如 “[0-200]” vs “[200-260]”；只有跨度重要。
  • 區塊風格：使用如“Scene 1:”和“Scene 2-4:”的標題在自己的行上。標題中的範圍設置相對持續時間，並且標題在標記化之前被剝去。
• 快速故障排除
  • 身份漂移：增加 LTXVImgToVideoInplaceKJ 中的圖像附著力或減少 Sulphur 2 strength_model。
  • 動作過慢/過快：在智能提示中重新平衡段跨度，以便重要節拍獲得更多或更少的時間。
  • 閃爍或工件：嘗試更穩定的取樣器和計劃，或略微提高指導；注意過度銳化。
• 有用的參考
  • LTX-2.3 模型權重和文檔：Hugging Face: Lightricks/LTX-2.3
  • ComfyUI 節點和範例流程：Lightricks/ComfyUI-LTXVideo
  • 提示中繼語法和範例：kijai/ComfyUI-PromptRelay
  • 此圖中使用的 LTX 友好的助手：kijai/ComfyUI-KJNodes

致謝#

此工作流程實施並基於以下作品和資源構建。我們感謝 Lightricks 提供 LTX-Video，Kijai 提供 ComfyUI-PromptRelay 節點和 ComfyUI-KJNodes 幫助器，以及 RunningHub 和 RunComfy 提供的工作流程參考和 Cloud Save 設置的貢獻和維護。詳細信息，請參閱以下鏈接的原始文檔和存儲庫。

資源#

• RunningHub/Workflow reference
  • Docs / Release Notes: RunningHub workflow reference
• RunComfy/Cloud Save setup
  • Docs / Release Notes: RunComfy Cloud Save setup
• Lightricks/LTX-Video
  • GitHub: Lightricks/LTX-Video
  • Hugging Face: Lightricks/LTX-Video-0.9.7-dev
  • arXiv: arXiv:2501.00103
• kijai/ComfyUI-PromptRelay
  • GitHub: kijai/ComfyUI-PromptRelay
• kijai/ComfyUI-KJNodes
  • GitHub: kijai/ComfyUI-KJNodes

注意：使用所引用的模型、數據集和代碼需遵循其作者和維護者提供的各自許可和條款。