Cosmos-Predict2 | Text2Image & Video2World

Cosmos-Predict2 ComfyUI ワークフローとは？

Cosmos-Predict2 ComfyUI ワークフローは、NVIDIAの次世代物理世界基盤モデルを提供し、高品質なテキストから画像生成と革新的なビデオから世界への変換を可能にします。それは、テキスト説明から美しい画像を作成するだけでなく、物理法則に従ったリアルなビデオシーケンスを予測し生成するデジタルクリスタルボールのようなものです。

このCosmos-Predict2ワークフローは、物理AIシナリオのために特別に設計された洗練された2Bパラメータ基盤モデルを活用しています。Cosmos-Predict2の特別な点は何ですか？単に美しい絵を生成するだけではなく、物理学、環境の相互作用、リアルなダイナミクスを理解しており、産業シミュレーション、自動運転シナリオ、都市計画、科学研究のアプリケーションに最適です。

Cosmos-Predict2の主な機能と利点

デュアル生成モード: Cosmos-Predict2は、静的なビジュアルを作成するテキストから画像生成と、動的なシーン予測のためのビデオから世界への変換の両方をサポートし、すべてを単一のCosmos-Predict2 ComfyUIワークフロー内で実現します。

物理的精度: 標準的な画像生成器とは異なり、Cosmos-Predict2は優れた物理的精度と環境のインタラクティビティを維持し、Cosmos-Predict2が生成するコンテンツが現実世界の物理学とダイナミクスに従います。

プロフェッショナルなアプリケーション: Cosmos-Predict2は、産業シミュレーション、自動運転開発、都市計画の可視化、科学研究など、精度が最も重要なシリアスなユースケースに設計されています。

柔軟なビデオ制御: Cosmos-Predict2ビデオ生成コンポーネントには、オプションの最初と最後のフレーム制御が含まれており、時間的シーケンスとシーンの遷移に対する正確な指示が可能です。

ComfyUIでCosmos-Predict2を使用する方法

Cosmos-Predict2 テキストから画像へのワークフロー

画像の寸法を設定する

• EmptySD3LatentImageノードを使用して、Cosmos-Predict2生成の出力サイズを定義します:
  • デフォルト: 1024x1024ピクセル
  • 必要に応じて幅と高さを調整します
  • バッチサイズは単一の画像生成のために1に保ちます テキストプロンプトを作成する
• Cosmos-Predict2のために CLIP Text Encode (Prompt) ノードで:
  • 詳細で記述的なプロンプトを書くことで、Cosmos-Predict2の最良の結果を得られます
  • Cosmos-Predict2は物理世界の説明に優れています
  • 環境の詳細や空間関係を含めてください
  
• 生成して保存する
  • Runを押して、出力ディレクトリに自動的に保存されるCosmos-Predict2画像を作成します。

Cosmos-Predict2 ビデオから世界へのワークフロー

• 入力画像をアップロードする
  • Load Imageノードを使用して、Cosmos-Predict2ビデオ生成のための開始フレームをインポートします。
• ビデオパラメータを構成する
  • CosmosPredict2ImageToVideoLatentノードで:
    • 幅/高さ: Cosmos-Predict2の最適なパフォーマンスのために848x480に設定します
    • 長さ: 16fpsで約2秒のCosmos-Predict2ビデオ用に33フレーム
    • バッチサイズ: Cosmos-Predict2処理のために1に保ちます
  
• オプションのフレーム制御
  • Cosmos-Predict2で最初と最後のフレーム制御のためにバイパスされたノードを有効にします（Ctrl+B）:
    • 追加の画像をアップロードして、Cosmos-Predict2ビデオの開始点と終了点をガイドします
    • Cosmos-Predict2を使用して特定の物語のシーケンスを作成するのに最適です
• ビデオ生成を実行する
  • 物理に配慮したビデオシーケンスを作成するCosmos-Predict2ワークフローを実行し、時間的な一貫性を保ちます。

Cosmos-Predict2の必須設定

• Cosmos-Predict2のためのKSampler設定:
  • ステップ: 35（Cosmos-Predict2の品質バランスのためのデフォルト）
  • CFG: Cosmos-Predict2の適切なガイダンス強度のための4.0
  • サンプラー: euler（Cosmos-Predict2に推奨）
  • スケジューラー: Cosmos-Predict2生成に滑らかなkarras
• Cosmos-Predict2ビデオ生成設定:
  • FPS: Cosmos-Predict2に最適な16フレーム/秒
  • フォーマット: Cosmos-Predict2システムに最適なコーデックを自動検出
  • フレーム数が少ないほどCosmos-Predict2の生成が速く、多いほど動きが滑らかに

謝辞

このCosmos-Predict2 ComfyUIワークフローは、物理世界AI生成におけるブレークスルーであるNVIDIAのCosmos-Predict2基盤モデルを統合しています。この高度なCosmos-Predict2物理シミュレーションモデルを開発したNVIDIA研究チームと、シームレスなCosmos-Predict2統合を可能にしたComfyUIコミュニティに特別な感謝を捧げます。Cosmos-Predict2モデルの重みと技術的な実装は、NVIDIAの公式Cosmos-Predict2仕様に従い、プロフェッショナルなアプリケーションのための本格的なパフォーマンスを保証します。

Cosmos-Predict2に関するリソース

Cosmos-Predict2に関連する技術リソースやドキュメントを探索してください:

• GitHubリポジトリ – 公式Cosmos-Predict2実装とモデルファイル。
• HuggingFace Hub – ComfyUI統合用の事前トレーニングされたCosmos-Predict2モデルの重みとドキュメント。