製品リライティングビデオワークフローの概要
このワークフローでは、ビデオと1つ以上のライトマスクを入力してリライティングビデオを生成できます。以下の3つのシナリオをサポートします:
- 移動する被写体と移動するライトマスク
- 静止する被写体と移動するライトマスク
- 移動する被写体と静止するライトマスク
このリライティングビデオワークフローは実験的なものであり、完璧な結果を生むわけではありませんが、動画リライティングプロセスにおいて完璧なフレームのマージよりも製品の忠実度を優先する非-AnimateDiffパイプラインへの重要な一歩を示しています。
リライティングビデオの入力と変数
ワークフローを実行して望ましいビデオリライティング効果を達成するためには、以下の入力と変数を提供する必要があります:
- ソースビデオ: リライトする入力ビデオ
- フレーム数: 処理する総フレーム数
- 最初にスキップするフレーム数: ビデオの最初からスキップするフレーム数
- 静止または移動する被写体: 被写体が静止しているか移動しているかを示すブールスイッチ
- 長辺のサイズ（リサイズ）: フレームをリサイズする際の長辺のサイズ
- 2つのライトマスク: 初期および最終のライトマスク位置（移動するライトマスクの場合）または同じライトマスク（静止するライトマスクの場合）
- ライトプロンプト: 望ましい照明を説明するテキストプロンプト
- CFG: 照明の変化の強さを制御するための1.05から3の値（高い値はより目立つ変化を引き起こしますが、アーティファクトの可能性も高くなります）
- デノイズ: デノイズ強度を制御するための0.3から0.6の値（高い値はちらつきを減らしますが、ライトマスクがフィルターのように見える可能性があります）
ビデオリライティングワークフローの仕組み
- ワークフローはIC-Lightを使用して各フレームを個別にリライトします。
- 各フレームについて、被写体フレームと対応するライトマスクフレームのブレンドに基づいて潜在変数が生成されます。
- 潜在変数は低いデノイズ値で生成され、最終出力にライトマスクを強制的に適用します。
- IC-Lightは低いデノイズ値で詳細を失う可能性があるため、ワークフローの最後にFrequency Separationを使用して詳細と元の色を戻し、リライティング後のビデオ品質を維持します。
