CorridorKey ComfyUI: Guided Video Keying and Matting
このCorridorKey ComfyUIワークフローは、ソースビデオと粗いマスクパスをクリーンな前景プレート、高品質なマット、および迅速な反復のためのレビュー用プレビューに変換します。これは、CorridorKeyカスタムノードとモデルを中心に構築された制御可能で編集者に優しいキーイングパイプラインであり、ワンクリックの背景除去ではなく、精度と安定性を求めるライブアクションショット向けに設計されています。
グラフには4つの成果物が付属しています：前景のみのプレート、グレースケールマット、処理済みプレビュー、およびQCオーバーレイ。元のフレームレートを保持してNLEやコンポジターへのシームレスなラウンドトリップを実現します。CorridorKey ComfyUIノードはSeanBRVFX/ComfyUI-CorridorKeyによって提供され、nikopueringer/CorridorKey_v1.0からウェイトをロードします。
Comfyui CorridorKey ComfyUI ワークフローの主要なモデル
- CorridorKey v1.0。ユーザーが提供する粗いマスクをフレーム全体で詳細で時間的に一貫したマットに精製するガイド付きキーイングモデルです。髪や動きぼかしのエッジなどの微細な構造を保持しながら、ハローや穴を最小限に抑えることに焦点を当てています。モデルウェイトは、ComfyUI内でのスムーズな使用のためにHugging Faceにホストされています。
Comfyui CorridorKey ComfyUI ワークフローの使用方法
このワークフローは、同じ期間、解像度、およびfpsの2つの整列したクリップを使用します：ソースプレートと粗いマスクパス。それから、マスクフレームを単一チャネルマットに変換し、CorridorKeyを実行してフレームごとのアルファを精製し、4つの同期されたレビュー出力を組み立てます。
ステージ1 — フッテージとマスクの読み込み
LoadVideo (#26)でソースプレートを読み込み、LoadVideo (#29)で一致する粗いマスククリップを読み込みます。2つのクリップは、フレーム数、fps、および寸法が一致して、完全な同期を保証する必要があります。粗いマスクは、ラフなロト、しきい値を超えたパス、またはある程度の許容範囲で被写体をカバーする任意の関心領域マットである可能性があります。マスクを時間的に安定させることで、ショットごとの精製がより一貫性のあるものになります。
ステージ2 — フレームの分割とマスクの準備
両方のビデオはGetVideoComponents (#27, #30)を使用してフレームとfpsに分解されます。マスククリップはImageToMask (#31)で単一チャネルマットに変換されます。デフォルトでは、ノードは赤チャネルを読み取りますが、これはソリッドレッドグラフィックとしてエンコードされたマスクに適しています。マスクがグレースケールまたは緑または青にキーイングされている場合は、チャネルを切り替えてください。被写体の詳細を含むマスクを目指し、大きな背景領域を避けて後で誤検出を減らします。
ステージ3 — CorridorKeyによるガイド付きキーイング
ソースプレートからのフレームはimage入力に供給され、変換されたマットはCorridorKey (#28)のmask入力に供給されます。モデルは粗いマスクを強力な空間ガイダンスとして使用し、エッジを精製し、小さな穴を埋め、ディテール保持とノイズのバランスをとります。フレームごとに4つの出力を発行します：前景プレート用のfg、精製されたアルファ用のmatte、単純なビジュアルプレビュー用のprocessed、および問題領域を強調する一目でわかるオーバーレイ用のQCです。エクスポートをコミットする前に、ハロー、透明度エラー、またはエッジチャターを見つけるためにQCを使用します。
ステージ4 — 成果物の組み立てと保存
精製されたストリームは、元のfpsを継承しながらビデオに戻されます。CreateVideo (#33)はfgから前景プレートを構築し、SaveVideo (#32)はそれをディスクに書き込みます。matteマスクはMaskToImage (#35)を使用して表示可能なフレームに変換され、その後CreateVideo (#34)とSaveVideo (#36)を介してグレースケールリファレンスとしてエクスポートされます。processedおよびQCブランチも同様にCreateVideo (#37, #39)で組み立てられ、SaveVideo (#38, #40)を使用して迅速なレビューとショットごとの品質チェックのために保存されます。
Comfyui CorridorKey ComfyUI ワークフローの主要ノード
CorridorKey (#28)
これは、粗いガイドを制作準備済みのマットと前景に変換する中心的な要素です。ガイドマスクを主要な制御信号として扱います：あまりに厳しいと髪や動きぼかしをクリップする可能性があり、あまりに緩いとキーが背景に侵入する可能性があります。プレートとマスクの入力カラー空間を一貫させ、エクスポート前にエッジの整合性を判断するためにQC出力に依存します。難しいショットを精製する際は、下流のステップを過度に調整するのではなく、粗いマスクを反復してください。
ImageToMask (#31)
このノードは、マスククリップから単一チャネルマットを抽出します。マスクがエンコードされている方法にそのチャネルセレクターを一致させます。例えば、ソリッドレッドグラフィックの場合は赤、またはカラーコード化されたマットの場合は適切なチャネルを選択します。マスクがグレースケールの場合は、白が被写体を表し、黒が背景を表すように、輝度に適したチャネルを選択します。ここでのクリーンなバイナリまたはほぼバイナリの入力は、CorridorKeyの安定性を大幅に向上させます。
オプションの追加機能
- 両方の入力が同一のfps、解像度、およびフレーム数を共有して、出力でのドリフトやフレームスリップを回避します。
- 定常フレームレートソースを優先し、どちらの入力クリップでもレターボックスやピラーボックスを避けます。
QCでハローが見られる場合は、粗いマスクを少し拡張して再実行します。エッジが詰まっているように見える場合は、髪の毛や動きぼかしを含めるのに十分なだけマスクを緩めます。- 前景プレートとマットの両方をエクスポートします。NLEまたはコンポジターで、前景プレートのアルファとしてマットを使用して正確な制御を行います。
- バッチ作業のために、マスクの命名とエンコードを一貫させ、
ImageToMaskがショットごとに変更を必要としないようにします。
リンク
- CorridorKey カスタムノード: SeanBRVFX/ComfyUI-CorridorKey
- CorridorKey モデルウェイト: nikopueringer/CorridorKey_v1.0
謝辞
このワークフローは、以下の作品とリソースを実装し、それに基づいて構築されています。我々は、ComfyUI-CorridorKeyのSeanBRVFXとCorridorKey_v1.0のnikopueringerにその貢献と維持に感謝します。権威ある詳細については、以下にリンクされた元のドキュメントとリポジトリを参照してください。
リソース
- SeanBRVFX/ComfyUI-CorridorKey
- ソースリポジトリ: SeanBRVFX/ComfyUI-CorridorKey
- nikopueringer/CorridorKey_v1.0
- モデルソース: nikopueringer/CorridorKey_v1.0
注: 参照されたモデル、データセット、およびコードの使用は、それぞれの著者およびメンテナーによって提供されたライセンスおよび条件の対象となります。