LTX 2.3 Prompt Relay: ComfyUI 中的多節拍圖像到視頻生成#
LTX 2.3 Prompt Relay 是一個 ComfyUI 工作流程，用於在一個剪輯中通過分段提示路由來指導圖像到視頻。它使用 PromptRelayEncode 作為無需訓練的推理時間控制器，將不同的文本指令分配到不同的時間跨度，因此您可以在每個節拍中腳本化攝像機移動和動作，同時保持主題連續性和順暢過渡。Qwen VLM 助手可以在生成之前自動起草或完善參考圖像的故事節拍。
這個 ComfyUI LTX 2.3 Prompt Relay 工作流程非常適合電影短片、產品拍攝和敘事預告片，您希望場景逐一控制而無需微調。它生成同步視頻，解碼音頻並寫入保留元數據的 H.264 MP4。
Comfyui LTX 2.3 Prompt Relay 工作流程中的關鍵模型#
- LTX‑Video 2.3 基礎檢查點。生成骨幹，從文本和可選的參考框架合成時間一致的視頻。請參閱 Hugging Face 上的社區構建和權重上下文，適用於 ComfyUI 用戶。Kijai/LTX2.3_comfy
- LTX‑Video 2.3 Video VAE 和 Audio VAE。解碼器將模型的潛在視頻和潛在音頻轉換為 RGB 幀和用於多工的波形，此處用於導出 MP4。Kijai/LTX2.3_comfy
- Qwen VLM (Instruct)。一種讀取參考圖像並起草工作流程用作當地提示的多節拍動作線的視覺語言模型。通過 ComfyUI‑QwenVL 擴展集成。1038lab/ComfyUI-QwenVL
- 可選 LTX 2.3 LoRAs。樣式或效率適配器，例如蒸餾 LoRA 和清晰增強 LoRA 預先接線以便於切換以更改紋理和清晰度而不改變您的提示。Kijai/LTX2.3_comfy
如何使用 Comfyui LTX 2.3 Prompt Relay 工作流程#
整體流程#
工作流程將單個圖像讀取為開場幀，收集全局提示加上節拍特定的本地提示，使用 Prompt Relay 編碼它們，採樣聯合音視頻潛在，然後解碼並將幀和音頻組合成 MP4。組織為模型、輸入視頻設置、VLM、條件設置、創建潛在、採樣和解碼。
模型#
首先加載基礎 LTX‑Video 2.3 檢查點，然後按順序應用兩個可選的 LoRAs 來調整清晰度和效率。啟用注意力修補以提高長提示下的保真度。您可以保留兩個 LoRAs，禁用一個，或完全繞過它們以獲得中性基線外觀。
輸入視頻設置#
選擇剪輯的寬度、高度、總秒數和 FPS。工作流程自動計算幀數作為秒數和 FPS 的乘積，保持圖像和音頻長度同步。在書寫提示之前設置這些，以便您知道有多少節拍可以舒適地適應。
VLM#
加載或拖放參考圖像。圖像經過預處理並發送到 Qwen VLM，該 VLM 遵循簡短的指令模板，提出四個由管道字符“|”分隔的簡潔節拍線。您可以在生成文本移動之前在屏幕查看器中查看和編輯生成的文本，或者跳過 VLM 並自行撰寫行。
使用 Prompt Relay 進行條件設置#
PromptRelayEncode 接受風格和設置的全局提示以及每節拍動作的本地提示。在本地提示中用“|”分隔節拍；編碼器將每個片段路由到其時間跨度，並在它們之間進行混合以實現平滑的交接。該節點輸出提示條件和修補模型，以便採樣器忠實地遵循您的節拍腳本。參考和用法由 ComfyUI‑PromptRelay 項目提供。kijai/ComfyUI-PromptRelay
創建潛在#
初始化為您選擇的分辨率和長度的空視頻潛在。預處理過的參考圖像被寫入時間線的第一幀以固定身份、姿勢和照明。創建具有匹配持續時間的空音頻潛在，因此解碼會生成一個準備多工的波形與幀一起。
採樣#
調度程序創建噪聲計劃，視覺化工具預覽它，並且採樣器使用修補的 LTX 2.3 模型和 Prompt Relay 條件在連接的音視頻潛在上運行。如果您更喜歡不同的清晰度和穩定性之間的權衡，可以更改採樣器類型。結果是一個單一的潛在，已經編碼了視頻和音頻。
解碼和導出#
潛在被拆分為視頻和音頻分支，然後由 LTX 2.3 Video VAE 和 Audio VAE 解碼。VideoHelperSuite 將幀和波形組合成具有廣泛播放器兼容性的標準像素格式的 H.264 MP4，並保存元數據以便重現性。ComfyUI-VideoHelperSuite
Comfyui LTX 2.3 Prompt Relay 工作流程中的關鍵節點#
PromptRelayEncode (#605)#
在推理時應用分段提示路由的核心控制器。使用 global_prompt 表示應持續的風格、設置、主題和鏡頭語言，使用 local_prompts 表示用 | 分隔的節拍特定動作。保持節拍簡潔和專注；3 到 6 個節拍通常能夠清晰地閱讀。如果您希望手動調整過渡時間，請保持相鄰節拍語義相容，以便混合自然。參考：kijai/ComfyUI-PromptRelay
AILab_QwenVL_Advanced (#610)#
一個 VLM 助手，閱讀參考圖像並使用簡短的指令提示將您的想法擴展為節拍線。編輯指令文本以微調語氣或鏡頭詞彙，然後在查看器中查看生成的節拍。輸出直接輸入 local_prompts，您可以隨時用自己的寫作覆蓋它。參考：1038lab/ComfyUI-QwenVL
LTXVImgToVideoInplaceKJ (#582)#
用您的輸入圖像為潛在視頻的第一幀播種，促進節拍之間的身份和照明穩定性。對於純文本到視頻，繞過此節點並從空視頻潛在開始。為了更強的遵從種子幀，保持您的全局提示與圖像內容一致。
BasicScheduler (#514) 和 VisualizeSigmasKJ (#358)#
控制和預覽採樣器使用的去噪計劃。使用可視化工具在切換採樣器或步數時檢查曲線形狀。更平滑的計劃通常會產生更穩定的運動，而更激進的計劃會推動細節。
VHS_VideoCombine (#604)#
將解碼的幀和音頻合併成一個具有廣泛兼容像素格式的 MP4。確保其幀率與您的輸入視頻設置組匹配以確保準確同步。如果您想要靜音導出，請在此處斷開音頻輸入。參考：ComfyUI-VideoHelperSuite
可選的額外#
- 節拍寫作技巧：用現在時寫作，每個節拍保持一個動作，僅在推進節拍時添加簡短對話，並以攝像機動詞如“推入”，“向右平移”或“手持漂移”開頭。
- 使用全局提示進行藝術指導和光學（照明、鏡頭、氛圍）；使用本地提示進行動作、姿勢和構圖變化。
- 為了更快的迭代，在編寫節拍時保持分辨率適中，然後在最終渲染時提高它。
- 如果 LoRAs 過度銳化或改變顏色，降低其權重或禁用其中之一以恢復中立。
致謝#
此工作流程實現並建立在以下作品和資源的基礎上。我們感謝 gordonchen19 提供 Prompt-Relay，kijai 提供 ComfyUI-PromptRelay，Kijai 提供 LTX2.3_comfy（ComfyUI 模型上下文），1038lab 提供 ComfyUI-QwenVL，以及 Patreon 帖子作者（Innovate Futures @ Benji）提供工作流程來源，感謝他們的貢獻和維護。有關權威詳細信息，請參閱以下鏈接的原始文檔和存儲庫。
資源#
- Patreon/工作流程來源
- 文檔 / 發布說明: post @Benji
- gordonchen19/Prompt-Relay
- GitHub: gordonchen19/Prompt-Relay
- 文檔 / 發布說明: site
- kijai/ComfyUI-PromptRelay
- GitHub: kijai/ComfyUI-PromptRelay
- Kijai/LTX2.3_comfy
- Hugging Face: Kijai/LTX2.3_comfy
- 文檔 / 發布說明: discussion #51
- 1038lab/ComfyUI-QwenVL
- GitHub: 1038lab/ComfyUI-QwenVL
注意：使用引用的模型、數據集和代碼需遵循其作者和維護者提供的各自許可和條款。