FramePack Wrapper | 高效長視頻生成

ComfyUI FramePack Wrapper 說明

1. ComfyUI FramePack Wrapper 是什麼？

ComfyUI FramePack Wrapper 將斯坦福大學的先進 FramePack 技術整合到 ComfyUI 環境中。FramePack 基於創新的幀上下文打包技術，使得在使用最少計算資源的情況下高效且高品質地生成長視頻。FramePack 技術允許您使用甚至是 6GB 筆記本 GPU 這樣的普通 GPU 配置，以全 30fps 生成數千幀，讓專業視頻創作對每個人都變得可及。FramePack 對視頻生成的獨特方法感覺像圖像擴散，但提供了卓越的視頻效果。

2. ComfyUI FramePack Wrapper 的好處：

• 資源使用效率高： FramePack 在較小的雲端機器上生成視頻，對 GPU 記憶體要求最低
• O(1) 計算複雜度： FramePack 不論視頻長度如何，保持恆定的處理速度
• 抗漂移技術： FramePack 解決了視頻品質隨時間下降的常見問題
• 長視頻的一致品質： FramePack 即使對於 30-60+ 秒的視頻也保持高視覺品質，沒有其他視頻生成模型中常見的降解
• 無時間步蒸餾： FramePack 在保持效率的同時保持品質

3. 如何使用 ComfyUI FramePack Wrapper

3.1 使用 ComfyUI FramePack 的生成方法

FramePack 的示例設置：

1. 準備輸入：
   • 在 Load Image 節點：上傳將被動畫化成視頻的參考圖像
2. 配置關鍵參數：
   • 在 FramePackSampler：設置視頻長度（例如，5.0 秒）
   • 在 Video Combine：設置幀率（例如，30）和輸出格式（例如，video/h264-mp4）
3. 點擊 run 按鈕運行 FramePack 工作流程
4. 生成的 FramePack 視頻將根據您的 Video Combine 節點中的設置保存

3.2 ComfyUI FramePack 的參數參考

FramePackSampler 節點：

• steps：擴散步數（例如，30）- 較高的值會產生更好的品質，但在 FramePack 中需要更長時間
• guidance_scale：FramePack 中的附加指導強度（例如，10.00）- 較高的值更嚴格地遵循提示
• seed：FramePack 中可重複結果的隨機種子（例如，47）
• total_second_length：FramePack 中生成視頻的持續時間（例如，5.0 秒）
• control_after_generate：控制 FramePack 中的抗漂移採樣方法（保持為 "fixed" 以獲得最佳結果）

Video Combine 節點：

• frame_rate：輸出 FramePack 視頻的每秒幀數（例如，30）
• crf：壓縮品質因數（例如，19）- 較低的值 = 更高品質的 FramePack 視頻

3.3. ComfyUI FramePack 的高級優化

使用 FramePack 生成更長的視頻： FramePack 的一個關鍵優勢是能夠高效生成延長視頻。要創建更長的視頻：

• 增加 FramePackSampler 節點中的 total_second_length 參數（例如，從 5.0 增加到 10.0、30.0 或甚至 60.0+）
• 保持 control_after_generate 設置為 "fixed" 以利用 FramePack 的先進抗漂移採樣技術
• 當生成超過 10 秒的視頻時，考慮稍微增加 gpu_memory_preservation 值以管理內存使用
• 對於非常長的視頻（30+ 秒），您可能需要減少 latent_window_size 參數
• FramePack 的 O(1) 計算複雜度確保不論視頻長度如何，生成速度保持一致
• 編寫時間提示： 對於更長的視頻，包含 "gradually," "slowly," "then" 等詞以引導時間流動並描述元素如何隨時間變化

調整視頻分辨率： 要更改輸出 FramePack 視頻的分辨率，調整工作流程中的 "Resize Image" 節點：

• 修改 width 和 height 參數以設置您想要的 FramePack 視頻尺寸
• 建議保持尺寸為 8 的倍數，以獲得最佳 FramePack 結果
• 注意：更高的分辨率將需要更多的 GPU 記憶體和處理時間
• 對於更大的分辨率，您可能需要調整 gpu_memory_preservation 參數以平衡內存使用

FramePack 提示技巧：

• 在提示中對運動和過渡進行高度描述，以獲得更好的 FramePack 結果
• 包含具體的動作動詞來描述在 FramePack 中所需的運動
• 為了獲得最佳效果，描述場景以及元素在 FramePack 視頻中應如何移動/改變

更多有關 FramePack 的信息

FramePack 技術使用創新的雙向採樣方法來打破傳統因果關係約束，防止長視頻中的品質下降。特別是在圖像到視頻生成中，FramePack 採用 "反轉抗漂移採樣"，將第一幀作為生成過程中的近似目標，確保即使是長達 60 秒或更多（1800+ 幀）的視頻也能獲得高品質的結果。

有關更多詳細信息和 FramePack 模型下載：

• FramePack 原創研究由
• ComfyUI FramePack Wrapper 實現由

致謝

此工作流程由 Lvmin Zhang 和 Maneesh Agrawala 在 Stanford University 開發的 FramePack 提供支持。ComfyUI FramePack Wrapper 由 kijai 提供，包括定制的工作流程和集成，使得使用 FramePack 技術高效生成長視頻。全部功勞歸於原作者在 FramePack 上的開創性工作。