Wan2.2 VACE Fun 是一個創意的、以提示為驅動的 ComfyUI 參考到視頻工作流程。提供單個參考圖像和文本描述,圖表將您的主體動畫化為一致的視頻,同時保留身份和風格。基於 Wan 2.2 VACE 模塊和分段採樣器,它在運動、保真度和運行時之間取得平衡,非常適合概念卷軸、角色測試和短篇故事片段。
此 ComfyUI Wan2.2 VACE Fun 工作流程專注於三個方面:來自參考圖像的強烈主體遵從性、由您的提示引導的表現動作以及可靠的 MP4 視頻導出。當您需要快速迭代且仍然感覺像電影時使用它,或者當您想將靜止圖像轉換為動態場景而不需要複雜的關鍵幀時使用它。
工作流程分階段運行:設置全局控制,準備參考圖像,撰寫提示,生成 VACE 條件潛在視頻,通過分段採樣進行改進,然後解碼並導出。組織良好,您可以從上到下順暢工作。
此組集中控制圖表其餘部分的讀取:width
、height
、length
(幀數)、fps
、steps
、sampling_shift
和 seed
。更改一次,每個下游節點通過 SetNode
/GetNode
對獲取值。分辨率和長度影響質量和 VRAM,而 fps
控制最終 MP4 中的感知運動。保持 width
和 height
與參考圖像的比例一致以避免拉伸。為重現性暴露種子。
使用 LoadImage
(#118) 加載您的主體,然後在 ImageResizeKJv2
(#112) 中將圖像調整到目標分辨率。RMBG
(#73) 移除背景,使 VACE 能夠更可靠地鎖定前景主體,有助於跨幀保持身份一致性。預覽節點可讓您在生成之前快速檢查剪裁。處理後的圖像作為參考並被下游使用。
提示使用 CLIP Text Encode (Positive Prompt)
(#56) 和 CLIP Text Encode (Negative Prompt)
(#54) 使用 UMT5-XXL 編碼器進行編碼。在正面提示中撰寫清晰的動作動詞、鏡頭語言和場景背景,以指導運動和構圖。使用負面提示抑制不需要的工件、風格或雜物;多語言短語效果很好。輸出為 VACE 步驟和隨後的採樣器提供了豐富的條件。
圖表加載 Wan 2.2 T2V A14B 權重並應用 Wan2.2 VACE Fun 模塊,然後增強注意力和調度以提高穩定性。HIGH 分支通過 PathchSageAttentionKJ
(#8) 和 ModelSamplingSD3
(#57),而 LOW 分支使用 LoraLoaderModelOnly
(#61)、PathchSageAttentionKJ
(#66) 和 ModelSamplingSD3
(#20)。此分割給您一個細節優先的早期通過和一個運動專注的改進。所有模型選擇都是預先連接的;設置和提示準備好後,只需運行圖表即可。
WanVaceToVideo
(#43) 注入您的 reference_image
、正/負條件和 VAE,然後生成初始視頻潛在序列,按 width
、height
和 length
調整大小。把這想像成靜止圖像根據您的提示“學會”移動的時刻。該節點返回兩個條件流以供重用,並提供一個整數以修剪潛在變量,保持管道幀一致性。除非您想嘗試,否則不需要手動遮罩或控制視頻。
三階段採樣器堆疊塑造結果。第一遍 KSamplerAdvanced
(#108) 為整體構圖和運動提示播種潛在序列。第二遍 KSamplerAdvanced
(#107) 使用相同的條件加深細節和時間穩定性,同時保留場景佈局。最終通過 KSamplerAdvanced
(#109) 在 LOW 變體上運行,以拋光運動並減少工件,實現速度和質量之間的實用平衡。TrimVideoLatent
(#65) 在解碼之前將幀對齊到目標長度。
VAEDecode
(#19) 將精煉的潛在變量轉換為 RGB 幀。VHS_VideoCombine
(#69) 然後將這些幀組裝成 MP4,按照您選擇的 fps
,並以合理的文件名模式保存。此組針對快速審查循環進行優化,因此您可以在不接觸其餘圖表的情況下對提示、長度或分辨率進行迭代。當滿意時,保持相同的種子以確保重複性,或更改以探索變化。
WanVaceToVideo
(#43)
Wan2.2 VACE Fun 的核心:將提示語義綁定到您的參考圖像並產生初始視頻潛在變量。在此處調整 width
、height
和 length
,通過共享設置匹配您的創意目標和 VRAM 預算。保持參考主體居中且光線充足,以獲得最佳身份保留。如果運動感覺不對,請修改正面提示以強調動作、鏡頭移動和時間詞。
KSamplerAdvanced
(#108, #107, #109)
逐步改進構圖、細節和運動平滑度的分段採樣器鏈。當您需要更多細節或時間穩定性時增加 steps
,並重用相同的 seed
以公平比較更改。LOW 變體上的最終通過通常可以清除細微的工件;如果結果看起來太柔和,請將一些步驟移到早期通過。sampling_shift
暴露於向運動強調或更細膩的紋理調整時間表。
RMBG
(#73)
自動背景移除改善了 Wan2.2 VACE Fun 的主體遵從性,尤其是在繁忙或低對比度場景中。使用高質量、非模糊的參考可最大限度地減少剪裁錯誤。如果您想要自然背景,請稍後在後期中替換它們,或在解碼幀後面合成一個板。
TrimVideoLatent
(#65)
保持潛在序列與請求的 length
對齊。如果您延長或縮短剪輯,讓此節點處理記賬;它防止在採樣器階段出現微妙的幀漂移。
VHS_VideoCombine
(#69)
將最終幀編碼為 MP4。調整 frame_rate
以控制剪輯相對於 length
的持續時間(持續時間等於幀數除以 fps)。提高質量以進行最終交付或降低以進行快速預覽;更高的質量增加文件大小和編碼時間。
width
和 height
匹配的參考圖像開始,以避免拉伸和不必要的裁剪。length
和 fps
與您的目標同步:更高的 fps 看起來更流暢,但對於相同的幀數縮短了總持續時間。RMBG
簡化背景,並在提示中添加簡短的身份條款(服裝、顏色或裝備)。此工作流程實現並基於以下作品和資源構建。我們衷心感謝 @BenjisAIPlayground 提供的“Wan2.2 VACE Fun Demo”工作流程以及他們的貢獻和維護。有關權威詳細信息,請參閱以下鏈接的原始文檔和存儲庫。
注意:所引用的模型、數據集和代碼的使用受其作者和維護者提供的各自許可和條款的約束。
RunComfy 是首選的 ComfyUI 平台,提供 ComfyUI 在線 環境和服務,以及 ComfyUI 工作流程 具有驚豔的視覺效果。 RunComfy還提供 AI Playground, 幫助藝術家利用最新的AI工具創作出令人驚艷的藝術作品。