ComfyUI  >  工作流程  >  Nvidia Cosmos | 文本與圖像至視頻創建

Nvidia Cosmos | 文本與圖像至視頻創建

體驗 Nvidia 新發布的 Cosmos 模型(7B 和 14B),在 ComfyUI 中實現最先進的視頻生成。此綜合工作流程提供文本到視頻生成和圖像插值功能。對於文本到視頻,使用詳細的文本描述創建流暢的 121 幀視頻。對於圖像到視頻,您可以設置 start_image 和 end_image 以生成它們之間的平滑過渡。由於其超高效的 VAE,它可以在 12GB 的 GPU 上處理 1280x704 的視頻,效率比其他選擇高出 50 倍。非常適合創建既現實又風格化的動畫,並保證每個序列的運動效果。

ComfyUI Nvidia Cosmos 工作流程

Nvidia Cosmos Text or Image-to-Video Workflow in ComfyUI | Video Generation
想要運行這個工作流程嗎?
  • 完全可操作的工作流程
  • 沒有缺失的節點或模型
  • 無需手動設置
  • 具有驚豔的視覺效果

ComfyUI Nvidia Cosmos 範例

nvidia-cosmos-text-or-image-to-video-workflow-in-comfyUI-video-generation-1184-example_1.webp
nvidia-cosmos-text-or-image-to-video-workflow-in-comfyUI-video-generation-1184-example_2.webp
nvidia-cosmos-text-or-image-to-video-workflow-in-comfyUI-video-generation-1184-example_3.webp
nvidia-cosmos-text-or-image-to-video-workflow-in-comfyUI-video-generation-1184-example_4.webp

ComfyUI Nvidia Cosmos 說明

ComfyUI Nvidia Cosmos 文本與圖像至視頻工作流程

什麼是 Nvidia Cosmos 工作流程

使用 ComfyUI 中新推出的 Nvidia Cosmos 模型將您的想像力轉化為流暢的視頻。此工作流程展示了 Nvidia Cosmos 強大的 AI 功能,其文本到視頻和圖像到視頻生成功能。由 Nvidia Cosmos 的最先進 7B 和 14B 模型提供支持,您可以從文本描述或靜態圖像創建高質量視頻。由於 Nvidia Cosmos 引擎的超高效視頻處理能力,提供出色的結果。


Nvidia Cosmos 的主要特點

  • 雙生成模式: Nvidia Cosmos 提供文本到視頻和圖像到視頻生成
  • 保證運動: 使用 121 幀時始終生成帶有運動的視頻
  • 有效的負面提示: 未經蒸餾的模型可通過負面提示實現更好的控制
  • 靈活的圖像控制: 從最後一幀生成或在圖像之間創建過渡
  • 超高效 VAE: Nvidia Cosmos 使用精緻的 VAE 系統生成流暢、高質量的視頻
  • 高分辨率支持: 創建 704x704 及以上分辨率的視頻
  • 精確的幀控制: 專為 121 幀序列優化
  • 智能圖像插值: 在參考圖像之間生成平滑過渡

如何使用 Nvidia Cosmos 工作流程

Nvidia Cosmos 工作流程包含兩個主要部分:文本到視頻圖像到視頻 生成。默認情況下,圖像到視頻 組被繞過。要在兩種模式之間切換:

  • 對於 文本到視頻:保持 圖像到視頻 組繞過(默認設置)
  • 對於 圖像到視頻:右鍵單擊 圖像到視頻 組,選擇 Set Group Nodes to Always

1. 使用 Nvidia Cosmos 進行文本到視頻生成

設置和要求

  • 選擇您偏好的 Nvidia Cosmos 模型大小(建議從 7B 開始)
Nvidia Cosmos
  • 設置分辨率(默認 1280x704;最低 704x704)
  • 幀設置:
    • 長度:121 幀(模型在 121 長度時表現最佳;偏離太多可能導致視頻質量下降。)
    • 幀率:24.00(最佳質量的默認速率)
    Nvidia Cosmos Nvidia Cosmos

Nvidia Cosmos 的採樣參數

  • 採樣器:res_multistep(Nvidia 為 Cosmos 推薦的採樣器)
  • 調度器:karras(穩定性的默認值)
  • 步驟:20(步驟越高=質量越好但速度越慢;步驟越低=速度越快但細節較少)
  • CFG:6.5(提示指導強度)
  • 去噪:1.00(1.00=完全轉換;較低值保留更多原始內容)
Nvidia Cosmos

Nvidia Cosmos 的提示技巧

  • 使用詳細的多句提示以獲得更好的結果
  • 包括全面的負面提示
  • 短提示可能生成連貫的視頻,但可能不嚴格遵循指示

2. 使用 Nvidia Cosmos 進行圖像到視頻生成

設置和要求

  • 與 Nvidia Cosmos 文本到視頻相同的基本要求
  • 支持 start_imageend_image 輸入

參考圖像選項

  • 設置 start_imageend_image,或同時設置
  • 圖像在風格和內容相似時效果最佳(以獲得平滑過渡)
Nvidia Cosmos

主要參數

  • 與文本到視頻模式相同的採樣設置
  • 保持相同的視頻質量標準

Nvidia Cosmos 的高級提示

  • 對於具有更多 VRAM 的更高質量結果,嘗試使用 Nvidia Cosmos 14B 模型
  • 確保提示是描述性和詳細的,以獲得最佳結果
  • 嘗試不同的圖像對以獲得獨特的過渡效果

有關 Nvidia Cosmos 的更多信息

有關 Nvidia Cosmos 的更多詳情和更新,請訪問

想要更多 ComfyUI 工作流程嗎?