Cosmos-Predict2 | 文本到图像 & 视频到世界

什么是 Cosmos-Predict2 ComfyUI 工作流程？

Cosmos-Predict2 ComfyUI 工作流程将 NVIDIA 的下一代物理世界基础模型带到您的指尖，既能进行高质量的文本到图像生成，也能进行创新的视频到世界转换。可以将其视为一个数字水晶球，不仅可以从文本描述中创建令人惊叹的图像，还可以预测和生成符合物理定律的真实视频序列。

这个 Cosmos-Predict2 工作流程利用了一个专门为物理 AI 场景设计的复杂 2B 参数基础模型。Cosmos-Predict2 的特别之处在于，它不仅仅是生成漂亮的图片——它理解物理、环境交互和真实的动态，使 Cosmos-Predict2 非常适合工业模拟、自动驾驶场景、城市规划和科学研究应用。

Cosmos-Predict2 的关键特性和优势

双重生成模式：Cosmos-Predict2 支持文本到图像生成以创建静态视觉效果，和视频到世界转换以预测动态场景，所有这些都在单个 Cosmos-Predict2 ComfyUI 工作流程中实现。

物理精确性：与标准图像生成器不同，Cosmos-Predict2 保持卓越的物理精确性和环境交互性，确保 Cosmos-Predict2 生成的内容符合现实世界的物理和动态。

专业应用：Cosmos-Predict2 设计用于严肃的使用案例，包括工业模拟、自动驾驶开发、城市规划可视化和科学研究，其中准确性至关重要。

灵活的视频控制：Cosmos-Predict2 视频生成组件包括可选的首尾帧控制，允许对时间序列和场景转换进行精确指导，适用于 Cosmos-Predict2 工作流程。

如何在 ComfyUI 中使用 Cosmos-Predict2

Cosmos-Predict2 文本到图像工作流程

设置你的图像尺寸

• 使用 EmptySD3LatentImage 节点定义你的 Cosmos-Predict2 生成的输出尺寸：
  • 默认：1024x1024 像素
  • 根据你的 Cosmos-Predict2 需求调整宽度和高度
  • 保持 batch_size 为 1 以生成单个图像 设计你的文本提示
• 在 Cosmos-Predict2 中的 CLIP Text Encode (Prompt) 节点中：
  • 编写详细的描述性提示以获得最佳的 Cosmos-Predict2 结果
  • Cosmos-Predict2 在物理世界描述方面表现出色
  • 在你的 Cosmos-Predict2 提示中包含环境细节和空间关系
  
• 生成并保存
  • 点击 Run 以创建你的 Cosmos-Predict2 图像，图像会自动保存到输出目录。

Cosmos-Predict2 视频到世界工作流程

• 上传你的输入图像
  • 使用 Load Image 节点导入 Cosmos-Predict2 视频生成的起始帧。
• 配置视频参数
  • 在 CosmosPredict2ImageToVideoLatent 节点中：
    • 宽度/高度：设置为 848x480 以获得最佳 Cosmos-Predict2 性能
    • 长度：33 帧，约 2 秒 Cosmos-Predict2 视频，16fps
    • Batch_size：保持为 1 进行 Cosmos-Predict2 处理
  
• 可选帧控制
  • 启用旁路节点 (Ctrl+B) 以进行 Cosmos-Predict2 的首尾帧控制：
    • 上传额外图像以指导 Cosmos-Predict2 视频的起始和结束点
    • 非常适合创建特定叙述序列的 Cosmos-Predict2
• 运行视频生成
  • 执行 Cosmos-Predict2 工作流程以创建符合物理的时间一致性视频序列。

Cosmos-Predict2 的基本设置

• Cosmos-Predict2 的 KSampler 配置：
  • 步骤：35（Cosmos-Predict2 质量平衡的默认值）
  • CFG：4.0，以获得适当的 Cosmos-Predict2 指导强度
  • 采样器：euler（推荐用于 Cosmos-Predict2）
  • 调度器：karras，以获得平滑的 Cosmos-Predict2 生成
• Cosmos-Predict2 视频生成设置：
  • FPS：16 帧每秒（Cosmos-Predict2 的最佳效果）
  • 格式：自动检测最佳编解码器以适应你的 Cosmos-Predict2 系统
  • 较低的帧数 = 更快的 Cosmos-Predict2 生成，较高 = 更流畅的运动

致谢

这个 Cosmos-Predict2 ComfyUI 工作流程整合了 NVIDIA 的 Cosmos-Predict2 基础模型，这是物理世界 AI 生成领域的突破。特别感谢 NVIDIA 研究团队开发了这个先进的 Cosmos-Predict2 物理模拟模型，以及 ComfyUI 社区为无缝的 Cosmos-Predict2 集成提供的支持。Cosmos-Predict2 模型权重和技术实现遵循 NVIDIA 的官方 Cosmos-Predict2 规范，确保在专业应用中实现真实的性能。

更多关于 Cosmos-Predict2 的资源

探索与 Cosmos-Predict2 相关的技术资源和文档：

• GitHub 仓库 – 官方 Cosmos-Predict2 实现和模型文件。
• HuggingFace Hub – 预训练的 Cosmos-Predict2 模型权重和 ComfyUI 集成文档。