Blender to ComfyUI AI Renderer 2.0 | モーションビデオメイカー

Blender to ComfyUI AI Renderer 2.0

Blender to ComfyUI AI Renderer 2.0は、Blenderの出力を映画的でプロンプトに従ったAIビデオに変換し、動きとシーンのレイアウトを保持します。深度、アウトライン、またはポーズパスから構造を読み取り、それをWan VACEビデオ生成に利用して、最終映像が元のアニメーションの意図と一致するようにします。このワークフローには、高速な静止画像パスも含まれており、ルック開発やキーフレームチェックに最適です。

その核心には、Blender to ComfyUI AI Renderer 2.0がコントロールビデオを構築または取り込み、開始または参照フレームとマージし、強力な時間的安定性を持つ一貫したシーケンスをレンダリングします。プロンプトと参照画像を通じて創造的な制御を得ることができ、深度とエッジが構図と動きを保持します。

Comfyui Blender to ComfyUI AI Renderer 2.0 ワークフローの主要モデル

• Wan 2.1 VACE 14B (SkyReels V3 R2V マージ)。構造認識生成と動きの調整に使用される基礎ビデオ拡散。VACEとSkyReels R2Vのマージとしてホストされ、開始から終了フレームの制御と参照に基づく一貫性に適しています。 Model
• Wan 2.1用のuMT5-XXLテキストエンコーダー。ComfyUI向けにパッケージ化された高容量テキストコンディショニングを提供します。 Files
• Wan 2.1 VAE。Wanパイプラインのためにビデオラテンをクリーンにエンコードおよびデコードするために使用されます。 Files
• Depth Anything 3 DA3-BASE。フッテージから高品質で時間的一貫性のある深度制御を導き出すための単眼深度推定器。 Model
• Z-Image Turbo。複数制御の条件付きでシングルフレーム探索を迅速に行うための高速画像拡散バックボーン。 Model
• Z-Image-Fun ControlNet Union 2.1。Z-Image Turboパスを使用する際のキャニー、深度、ポーズなどのマルチコントロールウェイト。 Model
• OpenPose (アルゴリズム)。ポーズラインをオプションの制御信号として導き出すためのクラシックな2Dキーポイント検出器。 Paper • GitHub

Comfyui Blender to ComfyUI AI Renderer 2.0 ワークフローの使用方法

ワークフローには、独立してまたは一緒に実行できる2つのトラックがあります。まず、前処理トラックがフッテージからコントロールビデオを構築します（深度、エッジ、またはポーズ）。次に、AI Renderer 2.0がそのコントロールビデオと開始または参照画像を融合させ、最終シーケンスを合成します。別のZ-IMAGE TURBO CN 1.0パスでは、コントロール戦略を反映した静止画の迅速な探索が可能です。

• ビデオ入力とサイズ選択（前処理）
  • このグループはビデオをインポートし、コントロールパスビルダーのために寸法とフレーム予算を標準化します。VHS_LoadVideo（#32）ノードがクリップを読み込み、fpsやフレーム数などの情報を下流ノードに公開します。幅、高さ、フレームキャップを配線するコンパクトな設定ブロックがあり、すべての下流前処理が同じ解像度で動作するようにします。まずこれを使用して、すべての前処理出力を整列させてから、コントロールタイプを選択します。
• 深度（前処理）
  • このグループは、入力フレームをDepthAnything_V3（#37）を使用して深度マップシーケンスに変換します。目的は、後のビデオ生成がスケール、遮蔽、視差を尊重するようにシーンのジオメトリを保持することです。内部リサイズノードがマップを作業サイズに適応させ、保存ブロックがコントロールクリップをプレビューできます。レイアウトとカメラの動きの忠実性を強く保持したい場合は、これを選択してください。
• キャニー（前処理）
  • このグループは、CannyEdgePreprocessor（#39）を使用してクリーンなエッジラインを抽出し、シェーディングなしで構造を提供します。エッジはプロジェクト設定に合わせてリサイズされ、プレビューとして保存できます。クリスプなシルエット、建築的なライン、または構図を保持しつつスタイルの柔軟性を持たせたい場合に使用してください。
• ポーズ（前処理）
  • このグループは、OpenposePreprocessor（#42）を使用して人体の骨格を計算し、軽量なラインフィギュアを生成して動き転送を行います。キャラクターの動きが優先され、生成的なディテールが演技やタイミングと一貫性を持たせたい場合に役立ちます。他の制御タイプと同様に、出力はリサイズされ、短いビデオとしてプレビューできます。
• Z-IMAGE TURBO CN 1.0
  • このパスは、単一フレームまたはロードされた画像からの迅速な静止画像探索のためのものです。QwenImageDiffsynthControlnet（#3）がZ-Image Turboをマルチコントロールパッチで適用し、CLIPTextEncode（#23）からのプロンプトに基づいてガイドされます。USE VIDEO?スイッチ（#20）を使用して、ビデオのフレームまたはディスクからの画像をフィードし、プロンプト、アートディレクション、または制御強度を検証するために迅速なフレームをサンプル保存します。
• STARTIMAGE（AI Renderer 2.0）
  • このグループは、開始画像と最大3つの追加参照画像を受け入れます。ワークフローは自動的にサイズを調整し、オプションでブレンドし、スタイルと一貫性を向上させるためにビデオをシードする参照スタックを構築します。複数の参照が存在する場合、小さなロジックブロックがVACE開始から終了ビルダーの開始フレーム入力を無効にし、参照が優先されるようにします。
• ビデオ入力とサイズ選択（AI Renderer 2.0）
  • この2番目のサイズ設定グループは、最終レンダーを駆動します。幅、高さ、fps、およびフレーム長を設定し、下流のWanノードで読み取られます。VHS_LoadVideo（#93および#105）は、補助クリップをインポートし、そのプロパティを使用して最終出力ライターのfpsをミラーリングすることもできます。このグループをBlenderエクスポートと同期させ、意図しないリサンプリングを避けてください。
• FP8モデルローダー
  • ここでは、主要なWan 2.1 VACE UNet、uMT5-XXLテキストエンコーダー、およびWan VAEがロードされ、オプションのLoRAウェイトも含まれています。これらのローダーは、AI Renderer 2.0パスが一貫した精度、トークナイザー、およびラテンコーデックで動作することを保証します。スタイルファミリーやチェックポイントを変更するために、ここでモデルを交換し、グラフの他の部分に触れずに済みます。
• サンプラー
  • Blender to ComfyUI AI Renderer 2.0の中核です。WanVideoVACEStartToEndFrame（#3261）が開始および参照画像と選択されたコントロールパスからコントロールビデオを形成し、WanVacePhantomSimpleV2（#3255）がWanモデル、コンディショニング、参照、および生成されたコントロールを結び付けます。KSampler（#3253）が一貫したフレームをレンダリングし、VAEDecodeおよびVHS_VideoCombine（#109）が目標fpsでMP4を保存します。ポジティブおよびネガティブプロンプトを一度入力すると、同じテキストが全シーケンスを駆動します。

Comfyui Blender to ComfyUI AI Renderer 2.0 ワークフローの主要ノード

• WanVacePhantomSimpleV2（#3255）
  • モデル、VAE、プロンプト、コントロールビデオ、および参照フレームをルーティングすることにより、Wan 2.1 VACE生成を調整します。コントロールに合わせて作業幅と高さを調整し、ターゲットショットに合わせてシーケンス長を設定します。強力な参照をいくつか使用する場合は、プロンプトを過剰に特定せずに記述的に保ち、参照ガイダンスと競合しないようにします。
• WanVideoVACEStartToEndFrame（#3261）
  • VACEが従うコントロールビデオを構築します。開始画像、オプションの終了または参照スタック、および前処理されたコントロールビデオを提供します。Wanルールの4n+1を使用してフレーム数を設定し、サンプラーを通じてトリミングが一貫して行われるようにします。これにより、テールでのオフバイワンアーティファクトを回避します。
• PreprocessSwitch（#3239）
  • サンプラーに到達するコントロールフィードを選択します。Blenderからエクスポートされたものや前処理で構築されたものに応じて、オリジナルフレーム、深度、キャニー、またはポーズを切り替えます。空間的忠実性が必要な場合は深度を使用し、クリーンな構図制御にはキャニーを、キャラクターに焦点を当てた動きにはポーズを使用します。
• VHS_LoadVideo（#93）
  • ビデオの取り込みを処理し、グラフ全体で使用されるフレームプロパティを公開します。Blenderからレンダーまでfpsとサイズを一貫して保つための信頼できる方法です。トリミングやヘッドやテールのスキップが必要な場合は、ここで行い、すべての下流パスが整列したままになるようにします。
• KSampler（#3253）
  • Wanモデルとコンディショニングを与えられた最終ラテントシーケンスを生成します。ガイダンス強度やサンプラーメソッドを変更する場合は、最初と最後の10フレームの安定性を再確認し、完全なショットをレンダリングします。

オプションの追加

• 生成されたコントロールパスをBlender固有のレンダーパスで置き換えることができます。WanVideoVACEStartToEndFrame（#3261）で使用されるコントロール入力に深度、アウトライン、またはポーズパスをプラグインして、Blenderの出力から直接VACEを駆動します。
• Blenderとワークフローの間でアスペクト比とfpsを同一に保ちます。出力ライターは入力設定からfpsをミラーリングし、編集のタイミングをロックします。
• アイデンティティやスタイルの保持には、STARTIMAGEに複数のクリーンな参照画像を提供します。ワークフローは参照セットを優先し、開始フレームのトグルを自動的に処理します。

このBlender to ComfyUI AI Renderer 2.0ワークフローを使用すると、レイアウトと動きを忠実に保ちながら、プロンプトと参照を使用して生産価値を高めることができます。前処理を使用してどれだけの構造を保持するかを決定し、Z-IMAGE TURBO CN 1.0で迅速に方向性を検証し、AI Renderer 2.0で自信を持って一貫したシーケンスをレンダリングします。

謝辞

このワークフローは、以下の作品やリソースを実装し、構築しています。@Mickmumpitzの「Blender to ComfyUI AI Renderer 2.0 Source」のクリエイターに感謝の意を表します。公式な詳細については、以下にリンクされたオリジナルのドキュメントとリポジトリを参照してください。

リソース

• Blender to ComfyUI AI Renderer 2.0 Source
  • ドキュメント / リリースノート: YouTube @ Mickmumpitz

注: 参照されているモデル、データセット、およびコードの使用には、著者およびメンテナーによって提供されるそれぞれのライセンスおよび条件が適用されます。