ComfyUI>工作流程>PAN2 ComfyUI 工作流程:從文字和圖像到影片

PAN2 ComfyUI 工作流程:從文字和圖像到影片

Workflow Name: RunComfy/PAN2-ComfyUI
Workflow ID: 0000...1566
使用 PAN2 將您的場景想法轉換為短影片。從文字或第一幀圖像開始。使用本地提示編寫器擴展簡短的提示。通過定時字幕引導主題行動和鏡頭移動。在一個畫布上切換輸入模式。

PAN2 ComfyUI Workflow Workflow

PAN2 ComfyUI Workflow - T2V I2V with Prompt Writer
Want to run this workflow?
  • Fully operational workflows
  • No missing nodes or models
  • No manual setups required
  • Features stunning visuals

PAN2 ComfyUI Workflow Examples

PAN2 ComfyUI 工作流程:使用本地提示編寫器從文字或圖像到影片#

此 PAN2 ComfyUI 工作流程將短場景想法或第一幀圖像轉換為連貫的影片。它運行 PAN 2 世界模型進行生成,並添加一個本地提示編寫器,將簡短概念擴展為涵蓋主題、行動和鏡頭移動的定時字幕。

該工作流程專為希望獲得可靠運動、一致照明和穩定幾何形狀的創作者而設計,無需手寫長提示。文字到影片和圖像到影片都在同一畫布上運行,分享一組解析度和持續時間控制,並直接導出為 MP4。

Comfyui PAN2 ComfyUI 工作流程的關鍵模型#

  • IFM PAN 2 世界模型。核心生成器,從文字或圖像條件預測時間一致的影片,專注於穩定的世界建模和鏡頭運動。來源:IFM/PAN2。
  • PAN 2 權重用於 ComfyUI。維護的 PAN2 權重包裝,兼容 ComfyUI 加載器和取樣器,實現快速設置此圖表。來源:Comfy-Org/PAN2。
  • Hunyuan風格潛在視頻 VAE。視頻 VAE,將幀編碼和解碼到視頻管道使用的緊湊潛在空間,提高多秒剪輯的速度和內存使用。背景:Tencent/HunyuanVideo。
  • PAN2兼容文本編碼器。Qwen家族編碼器,與 PAN2 權重一起打包,將提示編寫器的定時字幕轉換為取樣器的正負條件。

如何使用 Comfyui PAN2 ComfyUI 工作流程#

一目了然,圖表提供兩條平行路徑,合併在取樣前。選擇 Text2Video 或 Image2Video,寫下短想法,設置解析度和持續時間一次,然後讓提示編寫器為 PAN2 生成結構化條件。最終取樣器渲染潛在幀,解碼並組合成 MP4。

Image2Video 組#

當您希望使用參考靜止圖像錨定外觀時,使用此路徑。在 LoadImage (#32) 中加載第一幀;根據 ResolutionSelector (#21) 由 ResizeImageMaskNode (#33) 調整大小,然後在 Wan22ImageToVideoLatent (#31) 中轉換為時間潛在。持續時間來自共享秒控制,自動轉換為幀數。這個潛在然後流入合併點,因此 PAN2 ComfyUI 工作流程的其餘部分可以取樣、解碼和導出影片。

Text2Video 組#

當您希望從文字生成整個場景時選擇此選項。EmptyHunyuanLatentVideo (#14) 創建一個基於與 Image2Video 相同解析度和持續時間控制的乾淨時間潛在。場景的運動和節奏來自提示編寫器的字幕,因此您可以在不需要手動關鍵幀的情況下設計鏡頭運動和主題行動。此路徑使用 Image2Video 使用的相同合併點,並繼續通過取樣和導出。

共享核心:提示編寫器和條件#

在 PAN2PromptWriter (#22) 中寫下一到三句話的場景想法。節點將其擴展為定時字幕和伴隨的負庫,抑制常見的工件;兩個輸出在 PreviewAny (#9) 和 PreviewAny (#24) 中預覽,以便您可以根據需要複製或完善文本。CLIPTextEncode (#10) 和 CLIPTextEncode (#11) 將這些字符串轉換為模型的正負條件。您可以保持提示簡單,因為編寫器會自動添加主題行動、鏡頭運動和連續性提示。

取樣、解碼和導出#

模型路徑加載 PAN2 並配置高效注意力,然後 KSampler (#7) 使用您的條件和活動潛在路徑生成潛在影片。VAEDecode (#12) 將潛在轉換回幀。VHS_VideoCombine (#13) 將這些幀組合成 MP4,具有您選擇的幀速率和質量,嵌入工作流程元數據以便重現。

Comfyui PAN2 ComfyUI 工作流程的關鍵節點#

PAN2PromptWriter (#22)#

將短而自然的描述擴展為適合影片的定時字幕,外加穩健的負提示。調整 prompt 以用普通語言描述主題、環境和鏡頭意圖;使用 duration 以目標整體剪輯長度。如果希望在鏡頭間有更多或更少的創意變化,調整 temperature 或 top_p。對於可重複的敘事節拍,保持 seed 固定。

ResolutionSelector (#21)#

從比例和百萬像素目標設置兩個路徑的工作寬度和高度。先選擇您的比例,然後提高或降低像素數以平衡質量和速度。保持 Image2Video 和 Text2Video 在相同的選擇器上可以防止在切換模式時比例不匹配。

Wan22ImageToVideoLatent (#31)#

將第一張圖像轉換為 Image2Video 路徑的時間一致潛在序列。提供已經匹配目標比例的清晰、光線良好的幀,以避免裁剪意外。長度自動提供;您可以通過更改共享秒控制來重新訪問。

EmptyHunyuanLatentVideo (#14)#

使用選擇的解析度和持續時間為 Text2Video 路徑創建一個空白時間潛在。這是讓模型僅從提示編寫器的指導中創建運動的最乾淨方式。對於較長的剪輯,考慮生成幾個較短的鏡頭以最小化漂移,然後將它們編輯在一起。

Any Switch (rgthree) (#35)#

選擇哪個潛在路徑驅動生成。當您希望從參考幀中獲得嚴格的視覺連續性時,選擇 Image2Video 潛在,或切換到空潛在以完全由文字驅動的影片。在不重新接線圖表的情況下,可以安全地在運行間切換。

KSampler (#7)#

在時間上執行核心去噪步驟,使用合併模型和您的條件。調整 steps 以平衡質量和速度,cfg 以平衡提示符合性和自然性,denoise 以從 Image2Video 潛在進行細化。保持 scheduler 和 sampler_name 合理配對;此處的小變化可以明顯改變運動平滑度。

VHS_VideoCombine (#13)#

從解碼的幀寫入最終 MP4。設置 frame_rate 以匹配目標交付,調整 crf 以在文件大小和質量之間進行權衡。如果您打算稍後編輯,請偏好略高的質量設置。

可選額外功能#

  • 保持場景想法簡短。一到兩句話具有清晰的主題、設定和鏡頭意圖產生最可靠的提示編寫器字幕。
  • 對於 Image2Video,提供已經匹配目標比例和光照的第一幀;避免在導入前進行大量升級或裁剪。
  • 從短剪輯開始(6 到 12 秒)。較長的持續時間會增強漂移,並需要更仔細的提示。
  • 使用提供的負庫保持原樣,然後僅添加對您的主題有意義的幾個禁令;過長的負面可能會壓制所需的細節。
  • 固定取樣器 seed 以迭代措辭,然後一旦構圖和時間感覺正確,變更它以探索替代方案。
  • 如果運動看起來太快或太慢,先調整秒控制,而不是先調整鏡頭措辭;時間變化會在字幕中一致傳播。

鏈接和參考

致謝#

此工作流程實施並建立在以下作品和資源之上。我們感謝 IFM 提供 PAN2 模型,Comfy-Org 提供 PAN2 權重,benjiyaya 和 AI Future Tech 提供 PAN2 提示編寫器和創作者演練以及樣本工作流程,感謝他們的貢獻和維護。欲了解權威詳情,請參閱以下鏈接的原始文檔和庫。

資源#

注意:所引用的模型、數據集和代碼的使用受其作者和維護者提供的相應許可和條款約束。

RunComfy
版權 2026 RunComfy. 保留所有權利。

RunComfy 是首選的 ComfyUI 平台,提供 ComfyUI 在線 環境和服務,以及 ComfyUI 工作流程 具有驚豔的視覺效果。 RunComfy還提供 AI Models, 幫助藝術家利用最新的AI工具創作出令人驚艷的藝術作品。