Cosmos-Predict2 | Text2Image & Video2World

什麼是 Cosmos-Predict2 ComfyUI 工作流程？

Cosmos-Predict2 ComfyUI 工作流程將 NVIDIA 的下一代物理世界基礎模型帶到您的指尖，既能進行高品質的文本到圖像生成，也能實現創新的視頻到世界轉換。可以把它想像成一個數位水晶球，不僅能從文本描述中創建令人驚嘆的圖像，還能預測並生成遵循物理定律的真實視頻序列。

這個 Cosmos-Predict2 工作流程利用了一個專門為物理 AI 場景設計的複雜 2B 參數基礎模型。Cosmos-Predict2 的特別之處是什麼？它不僅僅是生成漂亮的圖片——它理解物理學、環境互動和真實的動態，使其成為工業模擬、自主駕駛場景、城市規劃和科學研究應用的理想選擇。

Cosmos-Predict2 的主要特點和優勢

雙重生成模式：Cosmos-Predict2 支持文本到圖像生成，用於創建靜態視覺效果，以及視頻到世界轉換，用於動態場景預測，所有這些都在單一的 Cosmos-Predict2 ComfyUI 工作流程中完成。

物理準確性：與標準圖像生成器不同，Cosmos-Predict2 保持卓越的物理準確性和環境互動性，確保 Cosmos-Predict2 生成的內容遵循現實世界的物理和動態。

專業應用：Cosmos-Predict2 專為包括工業模擬、自主駕駛開發、城市規劃可視化和科學研究在內的嚴肅應用而設計，這些應用中準確性至關重要。

靈活的視頻控制：Cosmos-Predict2 視頻生成組件包括可選的第一幀和最後一幀控制，允許在 Cosmos-Predict2 工作流程中對時間序列和場景過渡進行精確指導。

如何在 ComfyUI 中使用 Cosmos-Predict2

Cosmos-Predict2 文本到圖像工作流程

設置圖像尺寸

• 使用 EmptySD3LatentImage 節點定義 Cosmos-Predict2 生成的輸出尺寸：
  • 默認：1024x1024 像素
  • 根據 Cosmos-Predict2 要求調整寬度和高度
  • 對於單個圖像生成，將 batch_size 保持在 1 創建您的文本提示
• 在 Cosmos-Predict2 的 CLIP Text Encode (Prompt) 節點中：
  • 編寫詳細、描述性的提示以獲得最佳 Cosmos-Predict2 結果
  • Cosmos-Predict2 在物理世界描述中表現出色
  • 在 Cosmos-Predict2 提示中包含環境細節和空間關係
  
• 生成並保存
  • 點擊 Run 以創建您的 Cosmos-Predict2 圖像，自動保存到輸出目錄。

Cosmos-Predict2 視頻到世界工作流程

• 上傳您的輸入圖像
  • 使用 Load Image 節點導入您的 Cosmos-Predict2 視頻生成起始幀。
• 配置視頻參數
  • 在 CosmosPredict2ImageToVideoLatent 節點中：
    • 寬度/高度：設置為 848x480 以獲得最佳 Cosmos-Predict2 性能
    • 長度：33 幀，用於 ~2 秒 Cosmos-Predict2 視頻，16fps
    • Batch_size：保持在 1 以進行 Cosmos-Predict2 處理
  
• 可選幀控制
  • 啟用繞過節點 (Ctrl+B) 以控制 Cosmos-Predict2 的第一幀和最後一幀：
    • 上傳額外圖像以指導 Cosmos-Predict2 視頻的開始和結束點
    • 非常適合使用 Cosmos-Predict2 創建特定敘事序列
• 運行視頻生成
  • 執行 Cosmos-Predict2 工作流程以創建保持時間一致性的物理感知視頻序列。

Cosmos-Predict2 的基本設置

• KSampler 設置 Cosmos-Predict2：
  • 步驟：35（Cosmos-Predict2 質量平衡的默認值）
  • CFG：4.0 以獲得適當的 Cosmos-Predict2 指導強度
  • Sampler：euler（推薦的 Cosmos-Predict2）
  • Scheduler：karras 以平滑 Cosmos-Predict2 生成
• Cosmos-Predict2 視頻生成設置：
  • FPS：16 幀每秒（Cosmos-Predict2 的最佳值）
  • 格式：自動檢測最適合 Cosmos-Predict2 系統的編解碼器
  • 幀數越少 = Cosmos-Predict2 生成速度越快，幀數越多 = 運動更流暢

致謝

這個 Cosmos-Predict2 ComfyUI 工作流程集成了 NVIDIA 的 Cosmos-Predict2 基礎模型，這是物理世界 AI 生成的一項突破。特別感謝 NVIDIA 研究團隊開發了這個先進的 Cosmos-Predict2 物理模擬模型，並感謝 ComfyUI 社區實現了無縫 Cosmos-Predict2 集成。Cosmos-Predict2 模型權重和技術實施遵循 NVIDIA 的官方 Cosmos-Predict2 規範，確保專業應用的真實性能。

更多 Cosmos-Predict2 資源

探索與 Cosmos-Predict2 相關的技術資源和文檔：

• GitHub Repository – 官方 Cosmos-Predict2 實施和模型文件。
• HuggingFace Hub – 預訓練的 Cosmos-Predict2 模型權重和 ComfyUI 集成文檔。