VACE 14B: オールインワンのビデオ作成と編集

ComfyUI VACE 14Bワークフローとは？

ComfyUI VACE 14Bは、さまざまなビデオ生成および編集機能を単一のモデルに統合した強力な統一フレームワークです。先進的なWan2.1基盤に基づいており、Alibaba GroupのTongyi Labによって開発されました。ComfyUI VACEを使用すると、専門的なツールを切り替えることなく、5つの重要なビデオ操作タスクを実行できます。このComfyUI VACE 14Bワークフローは、14Bパラメータモデルの力を活用して、直感的なインターフェースを通じて高品質のビデオ作成および編集機能を提供します。

1. ComfyUI VACE 14Bの利点

• オールインワンソリューション: ComfyUI VACEは、ツールを切り替えることなくビデオ作成と編集のための統一フレームワークを提供します
• 高品質の出力: 強力なVACE 14Bモデルを使用して最大720pの解像度でビデオを生成します
• 柔軟なコントロール: ComfyUI VACEワークフローは、リファレンス画像、マスク、深度マップ、テキストプロンプトなど、複数の入力モダリティを提供します
• アイデンティティの保存: ComfyUI VACEは、VACE 14Bを使用して変換および生成中に被写体のアイデンティティを保持します
• タスクの構成: ComfyUI VACEを使用して、VACE 14Bを介して複雑な変換のための異なる機能を組み合わせることができます

2. ComfyUI VACE 14Bワークフローの5つの主要機能

ComfyUI VACEワークフローには、VACE 14Bによって強化された5つの異なるコンポーネントが含まれており、それぞれがビデオ作成および編集タスクに特化しています。

1. リファレンス画像+ControlNet: ComfyUI VACEを使用すると、VACE 14Bのおかげで動きと構造を維持しながら、リファレンス画像からビデオの主役を交換できます
2. 2つの画像からビデオ: ComfyUI VACEを使用すると、2つの別々のリファレンス画像から取得されたキャラクターやオブジェクトを組み合わせてビデオを作成できます
3. 最初と最後のフレーム: ComfyUI VACEは、最初と最後のフレームを設定することで、ビデオ生成を正確にガイドし、VACE 14Bを通じてフレーム間のスムーズな動きを保証します
4. ビデオオブジェクト編集: ComfyUI VACEを使用すると、VACE 14Bを利用して他の要素を保持しながら、ビデオ内の特定のオブジェクトを選択的に変更できます
5. ビデオ拡張: ComfyUI VACEを使用して、VACE 14B技術を用いてビジュアルコヒーレンスを維持しながらビデオフレームを拡大するための空間的アウトペインティングを実行します

3. ComfyUI VACE 14Bのクイックスタートガイド

3.1 ComfyUI VACEリファレンス画像+ControlNetクイックスタート

1. ComfyUI VACEで「リファレンス画像+ControlNet」ワークフローグループを選択します
2. Load Video (Upload)ノードにソースビデオをロードします
3. Load Imageノードに新しい被写体のリファレンス画像をアップロードします
   • ヒント: VACE 14Bを使用する場合、白い背景のリファレンス画像を使用すると、被写体の統合がより良くなることがよくあります
4. 希望するシーンとスタイルに関する説明的なプロンプトを入力します
5. ComfyUI VACE でのVACE 14Bによる出力から不要な要素を避けるために、ネガティブプロンプトを使用します
6. 推奨解像度: ComfyUI VACE 14Bでのメモリ効率のために512x672を推奨します
7. サンプリングパラメータを調整します
8. ComfyUI VACE 14Bを使用してリファレンス画像のスタイル/被写体でビデオを生成するために「実行」をクリックします

3.2 ComfyUI VACE2つの画像からビデオクイックスタート

1. ComfyUI VACEで「2つの画像からビデオ」ワークフローグループを選択します
2. 最初のLoad Imageノードに最初のリファレンス画像をアップロードします
3. 2番目のLoad Imageノードに2番目のリファレンス画像をアップロードします
4. VACE 14Bによって強化されたこのComfyUI VACEメソッドは、特にeコマースアプリケーションに適しており、手を含む細部を効果的にレンダリングする能力で知られています
5. 希望するシーン、スタイル、および画像間の動きや遷移の特性を説明する詳細なプロンプトを入力します
6. ComfyUI VACE で生成されたVACE 14B出力のビデオのスムーズさを設定するために、Video Combineノードでframe_rateを調整します
7. WanVideo Samplerノードでサンプリングパラメータを構成します
8. ComfyUI VACE 14Bを使用してビデオ遷移を生成するために「実行」をクリックします

3.3 ComfyUI VACE最初と最後のフレームクイックスタート

1. ComfyUI VACEインターフェースで「最初と最後のフレーム」ワークフローグループを選択します
2. 最初のLoad Imageノードに開始フレームをアップロードします
3. 2番目のLoad Imageノードに終了フレームをアップロードします
4. 最適なVACE 14B結果のためにWanVideo VACE Start To End Frameノードパラメータを構成します
5. ComfyUI VACE処理のために希望する動きと遷移スタイルを説明するプロンプトを入力します
6. VACE 14B生成を微調整するためにサンプリングパラメータを調整します
7. ComfyUI VACE 14Bを使用してスムーズな遷移ビデオを作成するために「実行」をクリックします

3.4 ComfyUI VACEビデオオブジェクト編集クイックスタート

1. ComfyUI VACEで「ビデオオブジェクト編集」ワークフローグループを選択します
2. Load Video (Upload)ノードを使用してソースビデオをアップロードします
3. 任意のビデオプレーヤーを使用してビデオの1フレームを手動でスクリーンショットします
4. bg_image入力を介してこのフレームをPoints Editorノードにアップロードします - このフレームは、ComfyUI VACEでのVACE 14B処理のための手動ポイント注釈に使用されます
5. Load Imageノードを使用して挿入または置換用のオブジェクトのリファレンス画像をアップロードします
6. ComfyUI VACEのPoints Editorで次のように領域をマークします:
   • 緑色のポイント (Shift + 左クリック): 修正する領域をマーク (例: 置換するオブジェクト)
   • 赤色のポイント (Shift + 右クリック): 保持する領域をマーク (例: 背景または被写体)
   • 既存のポイントを右クリックして削除します
7. S2/SAM2 Segmentationモジュールは、注釈に基づいてマスクを生成します
8. (オプション) ComfyUI VACEのGrow Mask With Blurノードを使用してマスクを調整します
9. 新しいオブジェクトまたは修正を説明するポジティブプロンプトを入力します (例: "伝統的な赤い傘")
10. ComfyUI VACE でのVACE 14Bによる出力から不要な要素を除外するために、ネガティブプロンプトを入力します
11. ComfyUI VACE 14Bを使用して入力に従ってオブジェクトが置換された編集済みビデオを生成するために「実行」をクリックします

3.5 ComfyUI VACEビデオ拡張クイックスタート

1. ComfyUI VACEで「ビデオ拡張」ワークフローグループを選択します
2. Load Video (Upload)ノードにソースビデオをロードします
3. ImagePad KJノードで希望の拡張設定を構成します
4. ComfyUI VACE でのVACE 14B処理を通じて拡張領域に表示されるべきコンテンツを説明するプロンプトを入力します
5. VACE 14Bによって強化されたComfyUI VACEは、よりシームレスな拡張のための優れたエッジ処理を提供します
6. 元のビデオと一貫性を持たせるためにサンプリングパラメータを調整します
7. ComfyUI VACE 14Bを使用して拡張ビデオを作成するために「実行」をクリックします

4. ComfyUI VACE 14Bの主要パラメータ

ComfyUI VACEの共通サンプリングパラメータ:

• strength: 1.0 (ComfyUI VACE 14Bでの最大効果のためのデフォルト)
  • 高い = ComfyUI VACE内でのVACE 14Bアルゴリズムの影響が強い
  • 低い = 元のコンテンツの保存が多い
• guidance: 7-9 (VACE 14B使用時の最適なComfyUI VACE結果のために推奨)
  • 高い = 参照/条件に忠実だが創造性が低い
  • 低い = 創造的だが参照から逸れる可能性がある
• steps: 20-25 (ComfyUI VACE 14Bで推奨)
  • 高い = 高品質だが生成が遅い
  • 低い = 生成が速いが品質が低くなる可能性がある
• cfg: 4.0 (VACE 14Bと統合されたComfyUI VACEで推奨)
  • 高い = プロンプトの影響が強いが自然さが失われる可能性がある
  • 低い = より自然だがプロンプトの詳細を無視する可能性がある
• seed: 18 (ComfyUI VACE 14Bの例)
  • 同じシード + 同じ設定 = 同じ結果
  • ComfyUI VACEによって生成されたVACE 14B出力での異なるバリエーションのために変更
• shift: 5.0 (ComfyUI VACE 14Bでのデフォルト)
  • 高い = より多くの動きの変化
  • 低い = より保守的な動き

5. ComfyUI VACE 14Bの高度なパラメータ

WanVideo VACE:

• num_frames: 29 (ComfyUI VACE 14Bでのリファレンスワークフローのデフォルト)
  • 高い = 長いビデオだが処理時間が長い
  • 低い = 短いビデオだがComfyUI VACEを利用したVACE 14Bでの生成が速い
• vace_start_percent: 0.00 (VACE 14B使用時のComfyUI VACEでのデフォルト)
  • VACE効果が生成プロセスのどこで始まるかを制御
• vace_end_percent: 1.00 (ComfyUI VACE 14Bでのデフォルト)
  • VACE効果が生成プロセスのどこで終わるかを制御

WanVideo VACE Start To End Frame:

• num_frames: 40 (ComfyUI VACE 14Bでのデフォルト)
  • 高い = より長い、スムーズな遷移だが処理時間が長い
  • 低い = 短いビデオだがComfyUI VACEでのVACE 14Bを利用した生成が速い
• empty_frame_level: 0.50 (ComfyUI VACE 14Bのデフォルト)
  • 高い = より創造的な中間フレーム
  • 低い = より直接的な補間

ComfyUI VACEでのビデオ結合:

• frame_rate: 16 (VACE 14BサポートのComfyUI VACEでのデフォルト)
  • 高い = よりスムーズな動きだがファイルサイズが大きい
  • 低い = 動きがぎこちないがファイルサイズが小さい
• format: video/h264-mp4 (ComfyUI VACE 14Bでのデフォルト)
• pix_fmt: yuv420p (VACE 14Bを特徴とするComfyUI VACEでのデフォルト)

ComfyUI VACE 14Bの実験的パラメータ:

• cfg_zero_star: true (VACE 14Bと共に動作するComfyUI VACEでのデフォルト)
  • 生成品質に影響を与える可能性のある実験的パラメータ
• fresca_scale_high: 1.25 (ComfyUI VACE 14Bでのデフォルト) json
  • 高周波数の詳細保存を制御
• fresca_freq_cutoff: 20 (VACE 14Bによって強化されたComfyUI VACEでのデフォルト)
  • 詳細保存のための周波数カットオフ

謝辞

このComfyUI VACE 14Bワークフローは、VACE (Video All-in-one Creation and Editing) によって強化されており、Tongyi Lab, Alibaba GroupのZeyinzi Jiang, Zhen Han, Chaojie Mao, Jingfeng Zhang, Yulin Pan, Yu Liuによって開発されました。ComfyUI VACEの統合には、VACE 14Bを実装するためにKijai ()によるノードと適応が利用されています。VACE 14Bのオリジナル研究論文はで入手可能です。VACE 14Bを備えたこれらのComfyUI VACEワークフローは、十分なローカルハードウェアを持たない人々のためにRinghubでも実行可能です。