Stable Video Infinity 2.0 ComfyUI 工作流程，用於長篇連貫的圖像到視頻轉換在 Wan 2.2
此工作流程將單個圖像轉換為長篇、故事驅動的視頻，同時保留身份、運動流和場景一致性。它將 Wan 2.2 I2V A14B 模型與 Stable Video Infinity 2.0 LoRA 配對，將時間連續性擴展到遠超過短片的限制。管道組織為五個階段，將運動潛變從一個部分傳遞到下一個部分，通過重疊混合來平滑過渡，最終渲染將所有內容拼接在一起。
需要擴展動畫、敘事節奏或電影級 AI 視頻的創作者會發現 Stable Video Infinity 在場景演變時保持角色和風格的穩定性。您可以快速查看中間通過的視頻和最終的主渲染，所有內容都直接從 ComfyUI 圖表生成。
ComfyUI Stable Video Infinity 工作流程中的關鍵模型
- Wan 2.2 I2V A14B UNet 配對 (HighNoise 和 LowNoise)，量化 GGUF 變體。這些從圖像潛變中生成運動，交替使用以平衡探索和細節優化。來源：Comfy-Org/Wan_2.2_ComfyUI_Repackaged。
- Stable Video Infinity 2.0 LoRA 用於 Wan 2.2 I2V A14B，提供 HIGH 和 LOW 變體以匹配兩個 UNets。它為長序列擴展時間連貫性。來源：Kijai/WanVideo_comfy – Stable-Video-Infinity v2.0。
- Wan 文本編碼器 UMT5 XXL。將每個通過的提示編碼為視頻生成器的條件。來源：Comfy-Org/Wan_2.1_ComfyUI_repackaged。
- Wan 2.1 VAE。將起始圖像編碼為潛變空間，並在每個通過中將幀解碼回圖像。來源：Comfy-Org/Wan_2.2_ComfyUI_Repackaged – VAE。
- 可選 Wan 2.2 LightX2V LoRA 集 (HighNoise 和 LowNoise)。這些輔助 LoRAs 在採樣期間補充 Stable Video Infinity。來源：Comfy-Org/Wan_2.2_ComfyUI_Repackaged – loras。
如何使用 ComfyUI Stable Video Infinity 工作流程
該工作流程採用單個參考圖像，以您選擇的分辨率準備，然後運行五個連續的階段。每個階段都使用 Stable Video Infinity 生成一個段，將幾幀的重疊與上一段混合，並將其運動潛變傳遞到下一個階段。您可以將每個通過預覽為 MP4，還可以生成最終拼接的渲染。
群組：模型
該組加載 Wan 2.2 I2V A14B UNet 配對、Wan VAE 和 UMT5 XXL 文本編碼器。然後將 LightX2V LoRA 集和 Stable Video Infinity 2.0 LoRA 應用於 HighNoise 和 LowNoise 分支，以便所有通過共享相同的功能。如果您調整 LoRA 強度，請保持 HighNoise 和 LowNoise 分支的平衡，以避免風格或運動行為的漂移。
群組：提示
提示根據每個通過創建敘事節奏來編寫。正面提示位於五個 CLIPTextEncode 節點中，如 CLIPTextEncode (#93, #152, #284, #297, #310)。負面提示預填充了一些常見的質量過濾器，可以在 CLIPTextEncode (#89, #157, #279, #293, #306) 中編輯。保持一致的主題描述符跨通過，僅改變動作動詞或攝影機提示，以在演變場景時保持身份。
輸入圖像和分辨率
使用 LoadImage (#97) 加載單個參考圖像，然後使用 Resolution (LayerUtility: ImageScaleByAspectRatio V2 (#398)) 將其縮放到目標比例。圖像由 VAEEncode (#135) 編碼為潛變，這也建立了用於保持整個運行過程中身份穩定的錨定潛變。如果您更改輸入或比例，請在運行通過之前重新編碼。
通過 1 - 建立場景
WanImageToVideoSVIPro (#134) 使用您的第一個通過提示和錨定潛變生成運動。兩個採樣器 KSamplerAdvanced (#277 用於 HighNoise, #278 用於 LowNoise) 協作探索運動然後優化細節。結果由 VAEDecode (#87) 解碼，並通過 VHS_VideoCombine (#126) 預覽為 MP4。使用此通過設置主題、照明和整體風格，Stable Video Infinity 將繼續推進。
通過 2 - 繼續動作
WanImageToVideoSVIPro (#160) 接收來自通過 1 的 prev_samples，因此它可以在沒有視覺跳躍的情況下擴展運動。相同的雙階段採樣模式通過 KSamplerAdvanced (#276 HighNoise, #275 LowNoise) 運行，幀由 VAEDecode (#162) 解碼。ImageBatchExtendWithOverlap (#168) 將短重疊與通過 1 的尾部混合以隱藏接縫，並由 VHS_VideoCombine (#167) 寫入段預覽。
通過 3 - 中序擴展
WanImageToVideoSVIPro (#290) 繼續從通過 2 的潛變並遵循相同的雙採樣器優化，使用 KSamplerAdvanced (#291, #287)。在 VAEDecode (#282) 中解碼後，ImageBatchExtendWithOverlap (#292) 將新幀附加到時間線。更新提示以演變微動作，同時保持主題術語一致。
通過 4 - 朝著節拍構建
WanImageToVideoSVIPro (#305) 從通過 3 接過接力棒，再次使用 HighNoise 和 LowNoise 採樣器 KSamplerAdvanced (#303, #300)。VAEDecode (#295) 和 ImageBatchExtendWithOverlap (#304) 生成連續的序列，您可以通過 VHS_VideoCombine (#296) 預覽。使用此通過添加攝影機運動或次要動作，保持描述符穩定以保持身份。
通過 5 - 解決和渲染
WanImageToVideoSVIPro (#318) 完成故事並將幀交給 KSamplerAdvanced (#316, #313) 進行優化。使用 VAEDecode (#308) 解碼後，幀由 ImageBatchExtendWithOverlap (#317) 添加。VHS_VideoCombine (#319) 生成最終拼接的 MP4；調整其 frame_rate 和 filename_prefix 以適應交付。
ComfyUI Stable Video Infinity 工作流程中的關鍵節點
WanImageToVideoSVIPro (#134)
此節點將錨定潛變和您的提示轉換為運動潛變，並可以接受 prev_samples 以從早期通過繼續。使用 length 定義通過生成的幀數，使用 motion_latent_count 控制引入多少新運動能量。通過反饋 prev_samples 連接通過，讓 Stable Video Infinity 構建長序列而不會突然彈出。
KSamplerAdvanced (#276)
每個通過將 HighNoise 採樣器與 LowNoise 採樣器配對，首先探索然後鞏固細節。工作流程公開 steps 和次要分割控制，以便您可以決定如何在兩者之間劃分通過預算。保持跨通過的一致性分割，以避免在交接處閃爍。
ImageBatchExtendWithOverlap (#168)
此工具將少量尾部幀從上一個通過與新的一個頭部混合。調整 overlap 並保持模式在平滑混合狀態，以隱藏接縫同時保持運動方向。這是讓 Stable Video Infinity 段感覺像一個連續鏡頭的關鍵。
VHS_VideoCombine (#319)
將解碼的幀組合為 MP4 以進行預覽和最終渲染。調整 frame_rate、format 和 crf 以適應您的交付目標和文件大小。使用不同的 filename_prefix 值將預覽與最終輸出分開。
LoraLoaderModelOnly (#141, #142)
將 Stable Video Infinity 2.0 LoRA 變體應用於 Wan 2.2 UNet 配對。strength_model 控制允許您微調 LoRA 在運動和連貫性方面的影響。保持 HIGH 和 LOW 分支對齊，以便兩個採樣器相似地解釋提示。
可選額外功能
- 保持主題描述符在所有五個提示中保持一致，只改變動詞或攝影機提示以保持身份。
- 如果運動感覺過於膽怯，請在下一個通過稍微提高
motion_latent_count，而不是大幅重寫提示。 - 如果細節在通過之間搖擺不定，請減少 HighNoise 的
steps份額或均勻降低 LoRA 強度。 - 使用短重疊進行快速動作，使用長重疊進行慢速、微妙的場景，以平衡接縫隱藏和運行時間。
- 為了快速剪裁，僅渲染通過 1 和通過 3 的預覽，以在承諾完整運行之前驗證身份和運動。
致謝
此工作流程實施並基於以下作品和資源。我們對 Kijai 表示感謝，感謝他們對 Stable-Video-Infinity v2.0 (SVI 2.0) 的貢獻和維護。欲了解詳細信息，請參閱以下鏈接的原始文檔和存儲庫。
資源
- Kijai/Stable-Video-Infinity v2.0 (SVI 2.0)
- Hugging Face: SVI 2.0 Source
注意：使用參考模型、數據集和代碼需遵循其作者和維護者提供的相應許可和條款。