ComfyUI Nvidia Cosmos 文本與圖像至視頻工作流程
什麼是 Nvidia Cosmos 工作流程
使用 ComfyUI 中新推出的 Nvidia Cosmos 模型將您的想像力轉化為流暢的視頻。此工作流程展示了 Nvidia Cosmos 強大的 AI 功能，其文本到視頻和圖像到視頻生成功能。由 Nvidia Cosmos 的最先進 7B 和 14B 模型提供支持，您可以從文本描述或靜態圖像創建高質量視頻。由於 Nvidia Cosmos 引擎的超高效視頻處理能力，提供出色的結果。
Nvidia Cosmos 的主要特點
- 雙生成模式: Nvidia Cosmos 提供文本到視頻和圖像到視頻生成
- 保證運動: 使用 121 幀時始終生成帶有運動的視頻
- 有效的負面提示: 未經蒸餾的模型可通過負面提示實現更好的控制
- 靈活的圖像控制: 從最後一幀生成或在圖像之間創建過渡
- 超高效 VAE: Nvidia Cosmos 使用精緻的 VAE 系統生成流暢、高質量的視頻
- 高分辨率支持: 創建 704x704 及以上分辨率的視頻
- 精確的幀控制: 專為 121 幀序列優化
- 智能圖像插值: 在參考圖像之間生成平滑過渡
如何使用 Nvidia Cosmos 工作流程
Nvidia Cosmos 工作流程包含兩個主要部分：_文本到視頻_ 和 _圖像到視頻_ 生成。默認情況下，_圖像到視頻_ 組被繞過。要在兩種模式之間切換：
- 對於 _文本到視頻_：保持 _圖像到視頻_ 組繞過（默認設置）
- 對於 _圖像到視頻_：右鍵單擊 _圖像到視頻_ 組，選擇
Set Group Nodes to Always
1. 使用 Nvidia Cosmos 進行文本到視頻生成
設置和要求
- 選擇您偏好的 Nvidia Cosmos 模型大小（建議從 7B 開始）
- 設置分辨率（默認 1280x704；最低 704x704）
- 幀設置：
- 長度：121 幀（模型在 121 長度時表現最佳；偏離太多可能導致視頻質量下降。）
- 幀率：24.00（最佳質量的默認速率） <img src="https://cdn.runcomfy.net/workflow_assets/1184/readme02.webp" alt="Nvidia Cosmos" width="350"/> <img src="https://cdn.runcomfy.net/workflow_assets/1184/readme03.webp" alt="Nvidia Cosmos" width="350"/>
Nvidia Cosmos 的採樣參數
- 採樣器：
res_multistep（Nvidia 為 Cosmos 推薦的採樣器） - 調度器：
karras（穩定性的默認值） - 步驟：
20（步驟越高=質量越好但速度越慢；步驟越低=速度越快但細節較少） - CFG：
6.5（提示指導強度） - 去噪：
1.00（1.00=完全轉換；較低值保留更多原始內容）
Nvidia Cosmos 的提示技巧
- 使用詳細的多句提示以獲得更好的結果
- 包括全面的負面提示
- 短提示可能生成連貫的視頻，但可能不嚴格遵循指示
2. 使用 Nvidia Cosmos 進行圖像到視頻生成
設置和要求
- 與 Nvidia Cosmos 文本到視頻相同的基本要求
- 支持
start_image和end_image輸入
參考圖像選項
- 設置
start_image或end_image，或同時設置 - 圖像在風格和內容相似時效果最佳（以獲得平滑過渡）
主要參數
- 與文本到視頻模式相同的採樣設置
- 保持相同的視頻質量標準
Nvidia Cosmos 的高級提示
- 對於具有更多 VRAM 的更高質量結果，嘗試使用 Nvidia Cosmos 14B 模型
- 確保提示是描述性和詳細的，以獲得最佳結果
- 嘗試不同的圖像對以獲得獨特的過渡效果
有關 Nvidia Cosmos 的更多信息
有關 Nvidia Cosmos 的更多詳情和更新，請訪問 Nvidia Cosmos 官方頁面。
