PAN2 ComfyUI 工作流程:使用本地提示編寫器從文字或圖像到影片#
此 PAN2 ComfyUI 工作流程將短場景想法或第一幀圖像轉換為連貫的影片。它運行 PAN 2 世界模型進行生成,並添加一個本地提示編寫器,將簡短概念擴展為涵蓋主題、行動和鏡頭移動的定時字幕。
該工作流程專為希望獲得可靠運動、一致照明和穩定幾何形狀的創作者而設計,無需手寫長提示。文字到影片和圖像到影片都在同一畫布上運行,分享一組解析度和持續時間控制,並直接導出為 MP4。
Comfyui PAN2 ComfyUI 工作流程的關鍵模型#
- IFM PAN 2 世界模型。核心生成器,從文字或圖像條件預測時間一致的影片,專注於穩定的世界建模和鏡頭運動。來源:IFM/PAN2。
- PAN 2 權重用於 ComfyUI。維護的 PAN2 權重包裝,兼容 ComfyUI 加載器和取樣器,實現快速設置此圖表。來源:Comfy-Org/PAN2。
- Hunyuan風格潛在視頻 VAE。視頻 VAE,將幀編碼和解碼到視頻管道使用的緊湊潛在空間,提高多秒剪輯的速度和內存使用。背景:Tencent/HunyuanVideo。
- PAN2兼容文本編碼器。Qwen家族編碼器,與 PAN2 權重一起打包,將提示編寫器的定時字幕轉換為取樣器的正負條件。
如何使用 Comfyui PAN2 ComfyUI 工作流程#
一目了然,圖表提供兩條平行路徑,合併在取樣前。選擇 Text2Video 或 Image2Video,寫下短想法,設置解析度和持續時間一次,然後讓提示編寫器為 PAN2 生成結構化條件。最終取樣器渲染潛在幀,解碼並組合成 MP4。
Image2Video 組#
當您希望使用參考靜止圖像錨定外觀時,使用此路徑。在 LoadImage (#32) 中加載第一幀;根據 ResolutionSelector (#21) 由 ResizeImageMaskNode (#33) 調整大小,然後在 Wan22ImageToVideoLatent (#31) 中轉換為時間潛在。持續時間來自共享秒控制,自動轉換為幀數。這個潛在然後流入合併點,因此 PAN2 ComfyUI 工作流程的其餘部分可以取樣、解碼和導出影片。
Text2Video 組#
當您希望從文字生成整個場景時選擇此選項。EmptyHunyuanLatentVideo (#14) 創建一個基於與 Image2Video 相同解析度和持續時間控制的乾淨時間潛在。場景的運動和節奏來自提示編寫器的字幕,因此您可以在不需要手動關鍵幀的情況下設計鏡頭運動和主題行動。此路徑使用 Image2Video 使用的相同合併點,並繼續通過取樣和導出。
共享核心:提示編寫器和條件#
在 PAN2PromptWriter (#22) 中寫下一到三句話的場景想法。節點將其擴展為定時字幕和伴隨的負庫,抑制常見的工件;兩個輸出在 PreviewAny (#9) 和 PreviewAny (#24) 中預覽,以便您可以根據需要複製或完善文本。CLIPTextEncode (#10) 和 CLIPTextEncode (#11) 將這些字符串轉換為模型的正負條件。您可以保持提示簡單,因為編寫器會自動添加主題行動、鏡頭運動和連續性提示。
取樣、解碼和導出#
模型路徑加載 PAN2 並配置高效注意力,然後 KSampler (#7) 使用您的條件和活動潛在路徑生成潛在影片。VAEDecode (#12) 將潛在轉換回幀。VHS_VideoCombine (#13) 將這些幀組合成 MP4,具有您選擇的幀速率和質量,嵌入工作流程元數據以便重現。
Comfyui PAN2 ComfyUI 工作流程的關鍵節點#
PAN2PromptWriter (#22)#
將短而自然的描述擴展為適合影片的定時字幕,外加穩健的負提示。調整 prompt 以用普通語言描述主題、環境和鏡頭意圖;使用 duration 以目標整體剪輯長度。如果希望在鏡頭間有更多或更少的創意變化,調整 temperature 或 top_p。對於可重複的敘事節拍,保持 seed 固定。
ResolutionSelector (#21)#
從比例和百萬像素目標設置兩個路徑的工作寬度和高度。先選擇您的比例,然後提高或降低像素數以平衡質量和速度。保持 Image2Video 和 Text2Video 在相同的選擇器上可以防止在切換模式時比例不匹配。
Wan22ImageToVideoLatent (#31)#
將第一張圖像轉換為 Image2Video 路徑的時間一致潛在序列。提供已經匹配目標比例的清晰、光線良好的幀,以避免裁剪意外。長度自動提供;您可以通過更改共享秒控制來重新訪問。
EmptyHunyuanLatentVideo (#14)#
使用選擇的解析度和持續時間為 Text2Video 路徑創建一個空白時間潛在。這是讓模型僅從提示編寫器的指導中創建運動的最乾淨方式。對於較長的剪輯,考慮生成幾個較短的鏡頭以最小化漂移,然後將它們編輯在一起。
Any Switch (rgthree) (#35)#
選擇哪個潛在路徑驅動生成。當您希望從參考幀中獲得嚴格的視覺連續性時,選擇 Image2Video 潛在,或切換到空潛在以完全由文字驅動的影片。在不重新接線圖表的情況下,可以安全地在運行間切換。
KSampler (#7)#
在時間上執行核心去噪步驟,使用合併模型和您的條件。調整 steps 以平衡質量和速度,cfg 以平衡提示符合性和自然性,denoise 以從 Image2Video 潛在進行細化。保持 scheduler 和 sampler_name 合理配對;此處的小變化可以明顯改變運動平滑度。
VHS_VideoCombine (#13)#
從解碼的幀寫入最終 MP4。設置 frame_rate 以匹配目標交付,調整 crf 以在文件大小和質量之間進行權衡。如果您打算稍後編輯,請偏好略高的質量設置。
可選額外功能#
- 保持場景想法簡短。一到兩句話具有清晰的主題、設定和鏡頭意圖產生最可靠的提示編寫器字幕。
- 對於 Image2Video,提供已經匹配目標比例和光照的第一幀;避免在導入前進行大量升級或裁剪。
- 從短剪輯開始(6 到 12 秒)。較長的持續時間會增強漂移,並需要更仔細的提示。
- 使用提供的負庫保持原樣,然後僅添加對您的主題有意義的幾個禁令;過長的負面可能會壓制所需的細節。
- 固定取樣器
seed以迭代措辭,然後一旦構圖和時間感覺正確,變更它以探索替代方案。 - 如果運動看起來太快或太慢,先調整秒控制,而不是先調整鏡頭措辭;時間變化會在字幕中一致傳播。
鏈接和參考
- PAN 2 世界模型:IFM/PAN2
- PAN 2 權重用於 ComfyUI:Comfy-Org/PAN2
- 提示編寫器節點:benjiyaya/ComfyUI-PAN2-PromptWriter
- 潛在視頻背景:Tencent/HunyuanVideo
致謝#
此工作流程實施並建立在以下作品和資源之上。我們感謝 IFM 提供 PAN2 模型,Comfy-Org 提供 PAN2 權重,benjiyaya 和 AI Future Tech 提供 PAN2 提示編寫器和創作者演練以及樣本工作流程,感謝他們的貢獻和維護。欲了解權威詳情,請參閱以下鏈接的原始文檔和庫。
資源#
- IFM/PAN2
- Hugging Face: IFM/PAN2
- Comfy-Org/PAN2
- Hugging Face: Comfy-Org/PAN2
- benjiyaya/ComfyUI-PAN2-PromptWriter
- AI Future Tech/PAN2 演練和樣本工作流程
- Docs / Release Notes: 創作者演練和樣本工作流程
注意:所引用的模型、數據集和代碼的使用受其作者和維護者提供的相應許可和條款約束。

