LivePortrait | 動畫肖像 | Vid2Vid

感謝  節點和工作流程，現在在 ComfyUI 中創建逼真的 LivePortrait 動畫變得更加容易。以下是其工作流程的關鍵組件和參數的分解。

請先閱讀 描述，以了解工作流程步驟。在熟悉 LivePortrait Img2Vid 過程後，您會注意到 LivePortrait Vid2Vid 和 Img2Vid 工作流程之間的一些小差異。

ComfyUI LivePortrait Vid2Vid 和 Img2Vid 之間的區別

1. 使用 "VHS_LoadVideo" 加載視頻而不是圖片

• 在此 LivePortrait Img2Vid 工作流程中，您使用 "LoadImage" 節點將靜態圖像作為源加載。然而，在 Vid2Vid 工作流程中，您需要將視頻作為源加載。調整 "frame_load_cap" 以控制加載的幀數。
• 將源視頻調整到更高的分辨率，如 1024x1024，以獲得更好的質量。在使用 "VHS_LoadVideo" 加載源視頻後，使用 "ImageResizeKJ" 節點將幀升級到如 1024x1024 的分辨率。這將有助於在最終輸出中保持清晰度和細節。處理視頻時，建議使用比 Img2Vid 工作流程更高的源分辨率。雖然 512x512 通常對靜態圖像已經足夠，但視頻需要更高的分辨率以保留細節和質量。
• 驅動視頻幀仍可調整到較低的分辨率，如 480x480，以節省處理時間，因為它們只提供運動信息。

2. 使用 "source_video_smoothed" 相對運動模式以獲得更平滑的 LivePortrait Vid2Vid 結果

• "LivePortraitProcess" 節點具有 "relative_motion_mode" 參數，控制運動如何從驅動視頻轉移到源。對於 Vid2Vid，建議使用 "source_video_smoothed" 模式。
• 在此模式下，LivePortrait 運動根據輸入視頻隨時間平滑化，這有助於創建更具時間一致性和穩定的結果。這對於視頻特別重要，因為運動中的突然跳躍或抖動在單張圖片中可能不太明顯。
• 其他運動模式如 "relative" 或 "single_frame" 可能更適合 Img2Vid，但 "source_video_smoothed" 通常是 Vid2Vid 的最佳選擇。

3. 將源視頻的 FPS 和音頻連接到 "VHS_VideoCombine" 以保持 LivePortrait Vid2Vid 的音頻同步

• 在使用 "VHS_VideoCombine" 節點創建最終輸出視頻時，保持音頻與視頻幀的同步非常重要。這涉及兩個關鍵連接：
• 首先，使用 "Reroute" 節點將源視頻的音頻連接到 "VHS_VideoCombine" 的 "audio" 輸入。這將確保原始音頻用於輸出視頻。
• 其次，將源視頻的幀率 (FPS) 連接到 "VHS_VideoCombine" 的 "frame_rate" 輸入。您可以使用 "VHS_VideoInfo" 節點獲取 FPS，該節點從源視頻中提取元數據。這將確保輸出視頻的時間與源相匹配。
• 通過仔細處理音頻和幀率，您可以創建一個保持適當同步和時間的 LivePortrait Vid2Vid 輸出，這對於現實感和可觀看的結果至關重要。