PuLID | 精確的文本到圖像人臉嵌入

PuLID 是什麼？

PuLID (純粹和閃電ID自訂) 是一種創新的無調整身份 (ID) 自訂方法，用於文本生成圖像模型。它旨在將特定的ID（例如，某人的面孔）嵌入到預訓練的文本生成圖像模型中，而不干擾模型的原始功能。這允許生成特定人物的圖像，同時仍能使用文本提示修改屬性、風格、背景等。

PuLID 包含兩個關鍵組件：

1. 一個 "Lightning T2I" 分支，僅需幾步降噪即可根據ID快速生成高品質圖像，並與標準擴散分支一起使用。這使得計算準確的ID損失以提高生成面孔的保真度成為可能。
2. Lightning T2I 路徑之間的對比對齊損失，有和無ID條件。這指導模型如何嵌入ID信息，而不污染模型的原始提示跟隨和圖像生成能力。

PuLID 如何運作

PuLID 的架構由傳統的擴散訓練分支和新穎的 Lightning T2I 分支組成：

1. 在擴散分支中，PuLID 遵循標準擴散訓練過程的迭代降噪。ID條件從目標訓練圖像中裁剪出來。
2. Lightning T2I 分支利用最新的快速採樣方法，在僅4步降噪中生成基於ID提示的高品質圖像，從純噪音開始。
3. 在 Lightning T2I 分支中，構建了兩條路徑 - 一條僅根據文本提示，另一條根據ID和文本提示。這些路徑的UNET特徵使用對比損失對齊：
   • 語義對齊損失確保模型對文本提示的反應無論有無ID條件都相似。這保留了模型的原始提示跟隨能力。
   • 佈局對齊損失保持生成圖像佈局在ID插入前後的一致性。
4. Lightning T2I 分支允許在生成的面部嵌入和真實ID嵌入之間計算準確的ID損失，因為它產生乾淨的、去噪的輸出面孔。這提高了生成ID的保真度。

如何使用 ComfyUI PuLID

使用 ComfyUI PuLID 工作流程將ID自訂應用於模型涉及 "Apply PuLID" 節點中的幾個關鍵參數：

"Apply PuLID" 必要輸入：

• model: 要使用特定ID自訂的基礎文本生成圖像擴散模型。這通常是像 Stable Diffusion 這樣的預訓練模型。
• pulid: 加載的 PuLID 模型權重，定義如何將ID信息插入基礎模型。不同的 PuLID 權重文件可以訓練來優先考慮ID保真度或保留模型的原始生成風格。
• eva_clip: 加載的 Eva-CLIP 模型，用於從ID參考圖像編碼面部特徵。Eva-CLIP 生成有意義的面部特徵嵌入。
• face_analysis: 加載的 InsightFace 模型，用於識別和裁剪ID參考圖像中的面孔。這確保只編碼相關的面部特徵。
• image: 描繪要插入模型的特定ID的參考圖像或圖像。可以提供多張相同身份的圖像以改善ID嵌入。
• method: 選擇ID插入方法，選項有 "fidelity"，"style" 和 "neutral"。"fidelity" 優先考慮與ID參考的最大相似性，即使生成質量下降也是如此。"style" 專注於保留模型的原始生成能力，ID保真度較低。"neutral" 則平衡兩者。
• weight: 控制ID插入的強度，從0（無效）到5（極強）。默認為1。較高的權重提高ID保真度，但風險是覆蓋模型的原始生成。
• start_at: 開始應用 PuLID ID 自訂的降噪步驟（從0到1的百分比）。默認為0，從第一步降噪開始ID插入。可以增加以便在降噪過程中更晚開始ID插入。
• end_at: 停止應用 PuLID ID 自訂的降噪步驟（從0到1的百分比）。默認為1，將ID插入應用到降噪結束。可以減少以便在最後的降噪步驟之前停止ID插入。

"Apply PuLID" 可選輸入：

• attn_mask: 可選的灰度遮罩圖像，用於空間控制ID自訂的應用位置。遮罩的白色區域接收完整的ID插入效果，黑色區域不受影響，灰色區域接收部分效果。適用於將ID局限於面部區域。

"Apply PuLID" 輸出：

• MODEL: 應用了 PuLID ID 自訂的輸入模型。這個自訂模型可以在其他 ComfyUI 節點中用於圖像生成。生成的圖像將描繪ID，同時仍可通過提示進行控制。

調整這些參數可以微調 PuLID ID 插入，以達到所需的ID保真度和生成質量之間的平衡。通常，方法 "neutral" 的權重為1是可靠的起點，可以根據結果進行調整。start_at 和 end_at 參數提供了進一步控制ID在降噪中生效的時間，並可以選擇通過 attn_mask 局部化效果。

如需更多信息，請訪問