產品重光影片 | Vid2Vid
這個工作流程使用影片和光源遮罩生成重光影片,支援移動主體與移動或靜止的光源遮罩,以及靜止主體與移動的光源遮罩。ComfyUI Relighting Video 工作流程
ComfyUI Relighting Video 範例
ComfyUI Relighting Video 說明
產品重光影片工作流程概述
此工作流程允許您輸入影片和一個或多個光源遮罩以生成重光影片。它支援三種場景:
- 移動主體與移動光源遮罩
- 靜止主體與移動光源遮罩
- 移動主體與靜止光源遮罩
雖然這個重光影片工作流程是實驗性的,可能無法產生完美的結果,但它代表著向非-AnimateDiff 管道邁出重要一步,在影片重光過程中優先考慮產品的保真度而不是完美的畫面合併。
重光影片的輸入和變數
要運行工作流程並達到預期的影片重光效果,您必須提供以下輸入和變數:
- 原影片:要進行重光的輸入影片
- 幀數:要處理的總幀數
- 跳過的初始幀數:從影片開始處要跳過的幀數
- 靜止或移動主體:一個布林開關,用來指示主體是靜止還是移動
- 長邊尺寸(調整大小):根據長邊調整幀的大小
- 兩個光源遮罩:初始和最終光源遮罩位置(對於移動光源遮罩)或相同的光源遮罩(對於靜止光源遮罩)
- 光源提示:描述所需光照的文字提示
- CFG:控制光照變化強度的值,範圍在1.05到3之間(較高值會導致更明顯的變化,但也有更高的產生瑕疵的可能性)
- 去噪:控制去噪強度的值,範圍在0.3到0.6之間(較高值會減少閃爍,但可能讓光源遮罩看起來更像濾鏡)
影片重光工作流程的運作方式
- 工作流程使用 IC-Light 獨立重光每一幀。
- 對於每一幀,根據主體幀和相應光源遮罩幀的混合生成一個潛在編碼。
- 潛在編碼在低去噪值下生成,以強制光源遮罩應用於最終輸出。
- 由於 IC-Light 在低去噪情況下可能失去細節,細節和原始顏色會在工作流程結尾通過頻率分離轉回,以在重光後保持影片質量。