CCSR | 一致性影像/視頻放大器

1. ComfyUI CCSR | ComfyUI 放大工作流程

此 ComfyUI 工作流程整合了 CCSR（內容一致性超高解析度）模型，旨在增強超高解析度任務中的內容一致性。在應用 CCSR 模型後，有一個可選步驟，涉及透過加入噪音和利用 ControlNet 重新著色模型進行再次放大。這是一個供用戶探索的實驗性功能。

預設情況下，此工作流程設置為影像放大。要放大視頻，只需將 "load image" 替換為 "load video"，並將 "save image" 改為 "combine video"。

2. CCSR 介紹

預訓練的潛在擴散模型已被認可為提升影像超高解析度（SR）結果感知質量的潛力。然而，這些模型在不同噪音條件下對相同低解析度影像常常產生可變結果。雖然這種變異性對於文本生成影像是有利的，但對於需要內容保留一致性的 SR 任務來說卻是挑戰。

為了增強基於擴散先驗的 SR 的可靠性，CCSR（內容一致性超高解析度）使用了一種結合擴散模型來細化影像結構與生成對抗網絡（GANs）來改善細節的策略。它引入了一種非均勻時間步學習策略來訓練緊湊的擴散網絡。這個網絡能夠有效且穩定地重建影像的主要結構，同時通過對抗訓練對變分自動編碼器（VAE）的預訓練解碼器進行微調以增強細節。這種方法幫助 CCSR 顯著減少與擴散先驗相關的 SR 方法的隨機性，從而增強 SR 輸出的內容一致性並加速影像生成過程。

3. 如何使用 ComfyUI CCSR 進行影像放大

3.1. CCSR 模型

real-world_ccsr.ckpt: 用於真實世界影像恢復的 CCSR 模型。

bicubic_ccsr.ckpt: 用於雙三次影像恢復的 CCSR 模型。

3.2. CCSR 的關鍵參數

-scale_by: 此參數指定超高解析度比例，決定輸入影像或視頻放大的程度。

-steps: 指擴散過程中的步驟數。它控制模型經過多少次迭代來細化影像細節和結構。

-t_max 和 -t_min: 這些參數設置 CCSR 模型中使用的非均勻時間步學習策略的最大和最小閾值。

-sampling_method:

• CCSR (Normal, Untiled): 此方法利用正常的、未分塊的取樣方法。它是直接的，且不將影像分塊處理。雖然這對於確保整個影像的一致性有效，但對於 VRAM 的使用要求較高。此方法最適合於 VRAM 充足且需要影像最高一致性的情境。
• CCSR_Tiled_MixDiff: 此分塊方法分別處理影像的每個塊，這有助於更高效地管理 VRAM 使用，因為不需要將整個影像置於記憶體中。然而，顯著的缺點是塊之間可能出現可見接縫，因為每個塊都是獨立處理的，導致塊邊界處可能不一致。
• CCSR_Tiled_VAE_Gaussian_Weights: 此方法旨在透過使用高斯權重更平滑地混合塊來修復 CCSR_Tiled_MixDiff 方法中出現的接縫問題。這可以顯著減少接縫的可見性，提供塊邊界更一致的外觀。然而，這種混合有時可能不夠精確，可能會在超高解析度影像中引入額外的噪音，影響整體影像質量。

-tile_size 和 -tile_stride: 這些參數是 CCSR 中整合的分塊擴散特徵的一部分，用於在推理過程中節省 GPU 記憶體。分塊指的是將影像分成小塊而不是整塊處理，這樣可以更有效地使用記憶體。-tile_size 指定每個塊的大小，而 -tile_diffusion_stride 控制塊之間的步幅或重疊。

-color_fix_type: 此參數指示在超高解析度過程中用於顏色校正或調整的方法。adain 是用於顏色校正的方法之一，確保超高解析度影像中的顏色與原始影像盡可能匹配。

4. CCSR 的更多細節

影像超高解析度旨在從低解析度（LR）對應物中恢復高解析度（HR）影像，旨在解決影像捕獲過程中質量下降的挑戰。雖然現有的基於深度學習的 SR 技術主要著重於針對簡單、已知降解的神經網絡架構優化，但在處理現實世界場景中遇到的複雜降解方面仍顯不足。最近的進展包括開發數據集和方法來模擬更複雜的影像降解，以逼近這些現實世界的挑戰。

研究還強調了傳統損失函數（如 ℓ1 和 MSE）的局限性，這些損失函數往往在 SR 輸出中產生過於平滑的細節。雖然 SSIM 損失和感知損失在某種程度上緩解了這一問題，但實現逼真的影像細節仍然具有挑戰性。GANs 已被證明是增強影像細節的成功方法，但其在自然影像中的應用常常因自然場景的多樣性而產生視覺假象。

去噪擴散概率模型（DDPMs）及其變體已顯示出顯著潛力，超越 GANs 在影像恢復（包括 SR）中生成多樣且高質量先驗的能力。然而，這些模型在適應現實應用中存在的複雜和多變降解方面仍然存在困難。

CCSR 方法旨在透過確保穩定且一致的超高解析度結果來應對這些挑戰。它利用擴散先驗生成連貫結構，並通過生成對抗訓練增強細節和紋理。透過採用非均勻時間步取樣策略並微調預訓練的 VAE 解碼器，CCSR 比現有的基於擴散先驗的 SR 方法更有效地實現穩定、內容一致的 SR 結果。

欲了解更多信息，請查看 或