Wan2.2 VACE Funは、ComfyUI用の創造的な、プロンプト駆動の参照からビデオへのワークフローです。単一の参照画像とテキスト説明を提供し、グラフはアイデンティティとスタイルを保持しながら、被写体を一貫したビデオにアニメーション化します。Wan 2.2 VACEモジュールと段階的サンプラーに基づいて構築され、動き、忠実度、実行時間のバランスを取り、コンセプトリール、キャラクターテスト、短編ストーリークリップに最適です。
このComfyUI Wan2.2 VACE Funワークフローは、参照画像からの強い被写体の遵守、プロンプトによって導かれる表現豊かな動き、そしてMP4ビデオへの信頼性のあるエクスポートに焦点を当てています。シネマティックに感じる迅速な反復が必要なとき、または静止画像を動的シーンに変えたいときに使用してください。複雑なキーフレームを使わずに。
ワークフローは段階的に実行されます:グローバルコントロールを設定し、参照画像を準備し、プロンプトを書き、VACE条件付きの潜在ビデオを生成し、段階的サンプリングで洗練し、デコードしてエクスポートします。グループは、最小限の摩擦で上から下に作業できるように整理されています。
このグループは、グラフの残りが読み取るコントロールを集中させます:width
、height
、length
(フレーム)、fps
、steps
、sampling_shift
、およびseed
。これらを一度変更すると、すべての下流ノードがSetNode
/GetNode
ペアを介して値を取得します。解像度と長さは品質とVRAMの両方に影響を与え、fps
は最終MP4の見かけの動きを制御します。参照画像に合わせてwidth
とheight
のアスペクトを保つことで、伸びを避けます。シードは、実行間での再現性のために公開されています。
LoadImage
(#118)で被写体をロードし、次にImageResizeKJv2
(#112)でターゲット解像度に合わせて画像をリサイズします。RMBG
(#73)は背景を削除し、VACEが前景被写体をより確実にロックすることで、フレーム間のアイデンティティの一貫性を助けます。プレビューノードにより、生成前に切り抜きを迅速に確認できます。処理された画像は参照として保存され、下流に供給されます。
プロンプトは、CLIP Text Encode (Positive Prompt)
(#56)とCLIP Text Encode (Negative Prompt)
(#54)を使用してUMT5-XXLエンコーダーでエンコードされます。ポジティブプロンプトに明確なアクション動詞、カメラ言語、シーンコンテキストを書いて、動きと構図を指示します。ネガティブプロンプトを使用して、不要なアーティファクト、スタイル、または雑音を抑制します。多言語のフレーズが効果的です。出力は、VACEステップと後続のサンプラーに豊かな条件を提供します。
グラフはWan 2.2 T2V A14Bの重みをロードし、Wan2.2 VACE Funモジュールを適用し、安定性のために注意とスケジューリングを強化します。HIGHブランチはPathchSageAttentionKJ
(#8)とModelSamplingSD3
(#57)を通過し、LOWブランチはLoraLoaderModelOnly
(#61)、PathchSageAttentionKJ
(#66)、およびModelSamplingSD3
(#20)を使用します。この分割により、詳細優先の初期パスと動きに焦点を当てた洗練が得られます。すべてのモデル選択は事前に配線されており、設定とプロンプトが準備できたらグラフを一度実行するだけです。
WanVaceToVideo
(#43)は、reference_image
、ポジティブ/ネガティブの条件付け、およびVAEを挿入し、その後、width
、height
、およびlength
でサイズ指定された初期のビデオ潜在シーケンスを生成します。これは、静止画像がプロンプトに従って「動くことを学ぶ」瞬間と考えてください。このノードは、再利用のための条件付けストリームと、パイプラインフレームを一貫させるための潜在トリミング用の整数を返します。実験したい場合を除いて、手動のマスクやコントロールビデオは必要ありません。
3段階のサンプラースタックが結果を形作ります。最初のパスKSamplerAdvanced
(#108)は、全体の構成と動きの手がかりのために潜在シーケンスをシードします。2番目のパスKSamplerAdvanced
(#107)は、同じ条件付けを使用して詳細と時間的安定性を深めながら、シーンのレイアウトを保持します。最終パスKSamplerAdvanced
(#109)は、LOWバリアントで実行され、動きを磨き、アーティファクトを減らし、スピードと品質の間で実用的なバランスを取ります。TrimVideoLatent
(#65)は、デコード前にフレームをターゲットの長さに合わせます。
VAEDecode
(#19)は、洗練された潜在をRGBフレームに変換します。VHS_VideoCombine
(#69)は、選択したfps
でこれらのフレームをMP4に組み立て、合理的なファイル名パターンで保存します。このグループは迅速なレビューループのために最適化されているため、プロンプト、長さ、または解像度を変更してもグラフの残りに触れずに反復できます。満足したら、同じシードを保持して再現性を確保するか、バリエーションを探索するために変更してください。
WanVaceToVideo
(#43)
Wan2.2 VACE Funの心臓部:プロンプトの意味を参照画像に結びつけ、最初のビデオ潜在を生成します。共有設定を介してここでwidth
、height
、およびlength
を調整し、創造的なターゲットとVRAM予算に合わせてください。ベストなアイデンティティ保持のために、参照被写体を中心に配置し、良好な照明を当ててください。動きが不自然に感じる場合は、ポジティブプロンプトを修正して、アクション、カメラの動き、タイミングの言葉を強調してください。
KSamplerAdvanced
(#108、#107、#109)
構成、詳細、動きの滑らかさを段階的に改善するサンプラーチェーン。詳細または時間的安定性が必要な場合はsteps
を増やし、同じseed
を再使用して変更を公正に比較します。LOWバリアントでの最終パスはしばしば微細なアーティファクトを清掃します。結果が柔らかすぎる場合は、いくつかのステップを初期パスにシフトしてください。sampling_shift
は、スケジュールを動きの強調またはより細かいテクスチャに向けて微調整するために公開されています。
RMBG
(#73)
自動背景除去は、特に忙しいまたは低コントラストのシーンで、Wan2.2 VACE Funの被写体の遵守を改善します。高品質でぼやけていない参照を使用して、切り抜きエラーを最小限に抑えます。自然な背景が必要な場合は、後でポストで置き換えるか、デコードされたフレームの後ろにプレートを合成します。
TrimVideoLatent
(#65)
要求されたlength
に合わせて潜在シーケンスを整列させます。クリップを延長または短縮する場合、このノードにブックキーピングを任せてください。それはサンプラーステージ全体で微妙なフレームドリフトを防ぎます。
VHS_VideoCombine
(#69)
最終フレームをMP4にエンコードします。frame_rate
を調整して、length
に対するクリップの持続時間を制御します(持続時間はfpsで割ったフレーム数に等しい)。最終納品のために品質を上げるか、迅速なプレビューのために下げる。品質が高いほどファイルサイズとエンコード時間が増加します。
width
とheight
にマッチするアスペクトの参照画像から始めて、伸びや不要なクロップを避けます。length
とfps
を目標と同期させる:高いfpsは滑らかに見えますが、同じフレーム数で全体の持続時間が短くなります。RMBG
を使用して背景を簡素化し、プロンプトに簡単なアイデンティティの句(服装、色、ギア)を追加します。このワークフローは、以下の作品とリソースを実装および構築しています。@BenjisAIPlaygroundの「Wan2.2 VACE Fun Demo」ワークフローとその貢献および保守を心から感謝します。権威ある詳細については、以下にリンクされたオリジナルのドキュメントとリポジトリを参照してください。
注意:参照されたモデル、データセット、およびコードの使用は、それぞれの著者および管理者によって提供されたライセンスおよび条件に従います。
RunComfyは最高の ComfyUI プラットフォームです。次のものを提供しています: ComfyUIオンライン 環境とサービス、および ComfyUIワークフロー 魅力的なビジュアルが特徴です。 RunComfyはまた提供します AI Playground, アーティストが最新のAIツールを活用して素晴らしいアートを作成できるようにする。