MiniMax H3 Video to Video with SolarRenderer + FastH3-Omni + Singularity V2

MiniMax H3 Video to Video with SolarRenderer#

MiniMax H3 Video to Video with SolarRendererは、外観リファレンスとビデオから抽出されたノーマルマップを使用してソースクリップを再レンダリングするComfyUIワークフローです。シーン構造とカメラモーションを保持しながら、マテリアル、ライティング、全体の外観を変更します。これは、建築プレビュー、野生動物映像の洗練、シネマティックシーンのリスタイリングにおいて、一貫したジオメトリと動きが重要な場合に強力な選択肢となります。

ワークフローは、FastH3-Omniを使用してリファレンスからビデオへの生成を行い、SolarRendererコントロールLoRAsとSelfLiftサンプリングを組み合わせます。ノーマルマップがジオメトリとモーションをガイドし、SolarRenderer LoRAsが物理的に妥当なシェーディングとマテリアルを導きます。結果として、元のショットのタイミングと軌道に従った一貫したリスタイルされたシーケンスが得られます。

Comfyui MiniMax H3 Video to Video with SolarRendererワークフローの主要なモデル#

• FastH3-Omni for ComfyUI。リファレンスからビデオへの生成を実行し、モーションとレイアウトを尊重しながら外観転送を可能にするMiniMax H3拡散モデル。リファレンスの条件付けと時間的挙動の詳細はモデルカードを参照してください。 FastH3-Omni-Comfy on Hugging Face
• SolarRenderer LoRAs。フレーム全体で安定したライティング、マテリアル、シャドウを実現するためのレンダラースタイルのコントロールを注入するLoRAsのペア。建築や製品のようなリアリズムに役立ちます。プロジェクトと重みはこちらで探索してください: SolarRenderer on GitHub と SolarRenderer on Hugging Face
• MiniMax H3 VAEs。別々のビデオおよびオーディオのVAEが潜在的なエンコードとデコードを処理し、生成中に視覚フレームと音声を同期させます。公式のMiniMax H3アセットはコレクションで見つけることができます: Comfy-Org/MiniMax-H3
• ControlNet Auxiliary Normal Map Estimator。Metric3Dベースのノーマルプリプロセッサがソースクリップからフレームごとのサーフェスノーマルを抽出し、信頼性のある構造とモーションガイダンスを提供します。ComfyUI内の実装は補助プロセッサによって提供されています: comfyui_controlnet_aux

Comfyui MiniMax H3 Video to Video with SolarRendererワークフローの使用方法#

このワークフローはグループに編成されています。リファレンスイメージとソースビデオを提供し、ビデオからノーマルが抽出され、条件付けが構築され、SelfLiftサンプリングが新しいシーケンスをレンダリングした後、MP4にデコードされます（オプションでオーディオも）。

• リファレンス入力
  • LoadImage (#278) を使用して、マテリアル、パレット、サーフェスクオリティを定義する外観リファレンスを提供します。VHS_LoadVideo (#273) でソースクリップをロードします。
  • ソースクリップは AIO_Preprocessor (#274) を通じてMetric3Dノーマルエクストラクタに設定され、ノーマルマップシーケンスを生成します。VHS_VideoCombine (#276) でこれらのノーマルをプレビューでき、ジオメトリがきれいにキャプチャされていることを確認できます。
  • ImageScaleToTotalPixels (#226) は、アスペクト比を維持しながらターゲットピクセル予算にリファレンスイメージをスケールし、ディテールとスピードのバランスを確保します。
  • 入力を変更した場合は、レンダリング前にモーションやライティングのアーティファクトをキャッチするために、ノーマルを再プレビューします。
• モデル
  • ワークフローはMiniMax H3コンポーネントをロードします: UNet、テキストエンコーダー、およびビデオとオーディオのVAEを含みます。次に、SolarRendererコントロールLoRAとSolarRenderer 4ステップLoRAを適用してレンダリングスタイルを誘導します。
  • これらのモデル選択は、安定したモーションとレンダラースタイルの一貫性を優先します。通常、LoRAを選択または交換する以外に触れる必要はありません。
• 条件付け
  • MiniMaxH3ReferenceToVideo (#11) は、外観、構造、タイミングが出会う場所です。リファレンスイメージ、ノーマルマップビデオ、プロンプト、および選択した幅、高さ、フレーム長を消費して、正の条件付けと初期潜在シーケンスを生成します。
  • 負の条件付けはゼロストリームを介して処理され、モデルがリファレンス、ノーマル、プロンプトからの正の信号に集中できるようにします。
  • 特定の被写体や環境の制約が必要な場合は、プロンプトにフレーズを追加し、ショット間で一貫性を保ちます。
• アテンションパッチ
  • ワークフローには、メモリ効率の高いアテンションパッチと、長いクリップや制約されたVRAM用のスパースアテンションバックエンドの両方が含まれています。競合を避けるために一度に一つのパスのみを使用し、他方を無効にしておいてください。
  • このセクションは、スループットと安定性に関するものであり、画像スタイルには関係ありません。VRAMエラーや遅延が発生した場合は、アプローチを切り替えてください。
• サンプリング
  • BasicScheduler と KSamplerSelect がステッピング戦略を提供します。メインレンダリングは SelfLiftH3Sampler (#233) で行われ、低解像度の潜在パスをノーマルマップ構造とリファレンス外観を尊重しながら高い忠実度に上げます。
  • サンプラーは高解像度コンテンツをタイル化し、専門の3D潜在アップスケーラーを使用し、ジオメトリの忠実度とマテリアルリスタイリングのバランスをとります。
  • 最後に、VAEDecode がフレームを再構築し、オプションの VAEDecodeAudio がオーディオを復元し、VHS_VideoCombine (#243) が選択したファイル名とフレームレートでMP4を書き込みます。
• config
  • ResolutionSelector (#20) は、アスペクトとメガピクセルによって出力サイズを定義し、幅と高さをグラフに保存します。配信と計算予算に一致するサイズを選択してください。
  • 持続時間は秒で表され、ワークフローはフレームに変換し、サンプラースタビリティと時間的スムーズさのために17の倍数にスナップします。
  • ソースクリップとのアスペクトの一致を保つことで、最も忠実なカメラモーションと構図が得られます。

Comfyui MiniMax H3 Video to Video with SolarRendererワークフローの主要なノード#

• MiniMaxH3ReferenceToVideo (#11)
  • プロンプト、リファレンスイメージ、ソースクリップのノーマルマップから正の条件付けと初期潜在シーケンスを構築します。幅、高さ、フレーム長を設定するために使用します。解像度に合わせて外観機能が一貫して転送されるようにref_image_size戦略を選択してください。コンテキストのためにベースモデルファミリーを参照してください: FastH3-Omni-Comfy
• SelfLiftH3Sampler (#233)
  • 時間的に認識したサンプリングを統合された高解像度リフトで実行します。主要な調整には、プロンプトの遵守のためのcfg、サンプラーが粗から細部に切り替わるtransition_step、構造ガイダンスをバランスするためのw_minとw_max、初期パスのためのlowres_scale、VRAMが制限されている場合のhighres_tilingが含まれます。ノードは、よりシャープで安定したディテールのために3D潜在アップスケーラーもサポートしています。方法に関する背景: comfyui-SelfLift およびarXivの論文要約: SelfLift
• AIO_Preprocessor (#274)
  • ソースフレームに対してMetric3Dノーマルマップエクストラクタを実行して、頑丈なジオメトリックキューを提供します。プレビューでエッジやサーフェスが柔らかく見える場合は、プリプロセッサの解像度を上げるか、入力ビデオの品質を向上させてください。実装リファレンス: comfyui_controlnet_aux
• LoraLoaderModelOnly SolarRenderer Control (#281)および4ステップ (#121)
  • これらの2つのLoRAsは、一貫したライティング、シェーディング、マテリアルの応答をガイドします。最初にControlを開始し、追加のレンダラースタイルの安定性のために4ステップを追加します。テクスチャが焼きすぎたように見える場合は、strength_modelを優しく下げてください。プロジェクトと重み: SolarRenderer on GitHub と SolarRenderer on Hugging Face
• ResolutionSelector (#20)
  • アスペクトとメガピクセルによって出力サイズを設定し、幅と高さをグラフにルートします。ターゲットショットのフレーミングと計算予算に合うように使用してください。MiniMax H3での時間的安定性を改善するために倍数を一貫して保ちます。
• VHS_VideoCombine (#243)
  • フレームとオプションのオーディオを最終的なMP4にミックスします。filename_prefix、frame_rate、および出力を保存するかどうかを設定します。このノードは、プレビューとエクスポートを簡素化するVideo Helper Suiteに属します。リファレンス: ComfyUI-VideoHelperSuite

オプションのエクストラ#

• 最も忠実なモーションを得るために、出力アスペクトをソースに近づけ、レンダリング前にジオメトリを確認するためにノーマルマッププレビューを使用してください。
• VRAMプレッシャーが発生した場合は、SelfLiftH3Samplerでタイル化を有効にするか、メモリ効率の高いアテンションとスパースアテンションの間を切り替えてください。一度に両方のパスを有効にしないでください。
• 結果が光沢すぎるまたは人工的に見える場合は、SolarRenderer LoRAの強度を下げるか、プロンプトにテクスチャのヒントを追加し、シーンの制約を安定させます。
• LoRAの強度やプロンプトのバリエーションを比較する際に再現性を高めるためにランダムシードを固定してください。

謝辞#

このワークフローは、以下の作品やリソースを実装および基にしています。ワークフローソースの提供者であるInnovate Futures、SolarRendererプロジェクトとモデルの提供者であるEnderfga、FastH3-Omni ComfyUIモデルの提供者であるFastVideo、SelfLiftサンプリングノードの提供者であるfacokに感謝します。公式の詳細については、以下にリンクされたオリジナルのドキュメントとリポジトリを参照してください。

リソース#

• Innovate Futuresによるワークフローソース
  • ドキュメント / リリースノート: Patreon post
• SolarRendererプロジェクト
  • GitHub: Enderfga/SolarRenderer
  • Hugging Face: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• SolarRendererモデル
  • Hugging Face: Enderfga/SolarRenderer
  • GitHub: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• FastH3-Omni ComfyUIモデル
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• SelfLiftサンプリングノード
  • GitHub: facok/comfyui-SelfLift
  • arXiv: arXiv:2609.02036

注: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナーによって提供されるライセンスおよび条件に従います。