ComfyUI  >  工作流程  >  FramePack Wrapper | 高效長視頻生成

FramePack Wrapper | 高效長視頻生成

更新於 2025/6/16:ComfyUI 版本更新至 v0.3.39,以提高穩定性和兼容性,安裝 SageAttn 以提升 30% 生成速度。ComfyUI 的 FramePack 工作流程將斯坦福大學的革命性視頻生成技術帶入 RunComfy。FramePack 使您能夠創建專業品質的視頻,長達 60+ 秒,保持完整的 30 FPS,從開始到結束保持一致的品質。它通過其獨特的雙向採樣方法解決了兩個關鍵的視頻生成問題:"遺忘"(先前內容記憶的衰退)和"漂移"(隨時間的品質下降)。生成數千幀而沒有常見的品質下降問題——同時使用最少的雲端資源!

ComfyUI FramePack 工作流程

FramePack Wrapper for ComfyUI | Long Video Generation with Low Memory
想要運行這個工作流程嗎?
  • 完全可操作的工作流程
  • 沒有缺失的節點或模型
  • 無需手動設置
  • 具有驚豔的視覺效果

ComfyUI FramePack 範例

ComfyUI FramePack 說明

ComfyUI FramePack Wrapper 說明

1. ComfyUI FramePack Wrapper 是什麼?

ComfyUI FramePack Wrapper 將斯坦福大學的先進 FramePack 技術整合到 ComfyUI 環境中。FramePack 基於創新的幀上下文打包技術,使得在使用最少計算資源的情況下高效且高品質地生成長視頻。FramePack 技術允許您使用甚至是 6GB 筆記本 GPU 這樣的普通 GPU 配置,以全 30fps 生成數千幀,讓專業視頻創作對每個人都變得可及。FramePack 對視頻生成的獨特方法感覺像圖像擴散,但提供了卓越的視頻效果。

2. ComfyUI FramePack Wrapper 的好處:

  • 資源使用效率高: FramePack 在較小的雲端機器上生成視頻,對 GPU 記憶體要求最低
  • O(1) 計算複雜度: FramePack 不論視頻長度如何,保持恆定的處理速度
  • 抗漂移技術: FramePack 解決了視頻品質隨時間下降的常見問題
  • 長視頻的一致品質: FramePack 即使對於 30-60+ 秒的視頻也保持高視覺品質,沒有其他視頻生成模型中常見的降解
  • 無時間步蒸餾: FramePack 在保持效率的同時保持品質

3. 如何使用 ComfyUI FramePack Wrapper

3.1 使用 ComfyUI FramePack 的生成方法

FramePack 的示例設置:

  1. 準備輸入:
    • Load Image 節點:上傳將被動畫化成視頻的參考圖像
  2. 配置關鍵參數:
    • FramePackSampler:設置視頻長度(例如,5.0 秒)
    • Video Combine:設置幀率(例如,30)和輸出格式(例如,video/h264-mp4)
  3. 點擊 run 按鈕運行 FramePack 工作流程
  4. 生成的 FramePack 視頻將根據您的 Video Combine 節點中的設置保存

3.2 ComfyUI FramePack 的參數參考

FramePackSampler 節點:

  • steps:擴散步數(例如,30)- 較高的值會產生更好的品質,但在 FramePack 中需要更長時間
  • guidance_scale:FramePack 中的附加指導強度(例如,10.00)- 較高的值更嚴格地遵循提示
  • seed:FramePack 中可重複結果的隨機種子(例如,47)
  • total_second_length:FramePack 中生成視頻的持續時間(例如,5.0 秒)
  • control_after_generate:控制 FramePack 中的抗漂移採樣方法(保持為 "fixed" 以獲得最佳結果)

Video Combine 節點:

  • frame_rate:輸出 FramePack 視頻的每秒幀數(例如,30)
  • crf:壓縮品質因數(例如,19)- 較低的值 = 更高品質的 FramePack 視頻

3.3. ComfyUI FramePack 的高級優化

使用 FramePack 生成更長的視頻: FramePack 的一個關鍵優勢是能夠高效生成延長視頻。要創建更長的視頻:

  • 增加 FramePackSampler 節點中的 total_second_length 參數(例如,從 5.0 增加到 10.0、30.0 或甚至 60.0+)
  • 保持 control_after_generate 設置為 "fixed" 以利用 FramePack 的先進抗漂移採樣技術
  • 當生成超過 10 秒的視頻時,考慮稍微增加 gpu_memory_preservation 值以管理內存使用
  • 對於非常長的視頻(30+ 秒),您可能需要減少 latent_window_size 參數
  • FramePack 的 O(1) 計算複雜度確保不論視頻長度如何,生成速度保持一致
  • 編寫時間提示: 對於更長的視頻,包含 "gradually," "slowly," "then" 等詞以引導時間流動並描述元素如何隨時間變化

調整視頻分辨率: 要更改輸出 FramePack 視頻的分辨率,調整工作流程中的 "Resize Image" 節點:

  • 修改 widthheight 參數以設置您想要的 FramePack 視頻尺寸
  • 建議保持尺寸為 8 的倍數,以獲得最佳 FramePack 結果
  • 注意:更高的分辨率將需要更多的 GPU 記憶體和處理時間
  • 對於更大的分辨率,您可能需要調整 gpu_memory_preservation 參數以平衡內存使用

FramePack 提示技巧:

  • 在提示中對運動和過渡進行高度描述,以獲得更好的 FramePack 結果
  • 包含具體的動作動詞來描述在 FramePack 中所需的運動
  • 為了獲得最佳效果,描述場景以及元素在 FramePack 視頻中應如何移動/改變

更多有關 FramePack 的信息

FramePack 技術使用創新的雙向採樣方法來打破傳統因果關係約束,防止長視頻中的品質下降。特別是在圖像到視頻生成中,FramePack 採用 "反轉抗漂移採樣",將第一幀作為生成過程中的近似目標,確保即使是長達 60 秒或更多(1800+ 幀)的視頻也能獲得高品質的結果。

有關更多詳細信息和 FramePack 模型下載:

  • FramePack 原創研究由
  • ComfyUI FramePack Wrapper 實現由

致謝

此工作流程由 Lvmin Zhang 和 Maneesh Agrawala 在 Stanford University 開發的 FramePack 提供支持。ComfyUI FramePack Wrapperkijai 提供,包括定制的工作流程和集成,使得使用 FramePack 技術高效生成長視頻。全部功勞歸於原作者在 FramePack 上的開創性工作。

想要更多 ComfyUI 工作流程嗎?