Flux & 10 In-Context LoRA 模型

由梁華、魏望、吳志凡及其在同一實驗室的合作者開發的 In-Context LoRA (IC-LoRA) 項目，代表了一種突破性的使用擴散變壓器（DiTs）進行任務無關圖像生成的方法。他們的創新框架通過引入最小調整和簡化的流程，利用 DiTs 的上下文生成能力，允許使用小數據集進行高效的任務特定調整。要了解更多關於他們的工作並訪問他們的資源，請訪問官方 GitHub 存儲庫：GitHub。

1. 關於 In-Context LoRA (IC-LoRA)

In-Context LoRA (IC-LoRA) 是一個強大且靈活的框架，可以讓現有的文本到圖像擴散變壓器模型以最小的額外訓練執行各種圖像生成任務。In-Context LoRA 背後的關鍵理念是通過提供精心策劃的訓練數據並使用簡單而有效的微調方法，利用這些模型的固有上下文學習能力。

以下是 In-Context LoRA 的工作原理概述：

1. 圖像拼接：IC-LoRA 不單獨生成圖像，而是將一組相關項目拼接成一個大的合成圖像。這使模型能夠學習跨組的一致性和關係。
2. 提示工程：該組的文本提示也被拼接成一個提示。這個提示首先描述整個組，然後提供每個單獨項目的具體細節。通過這種方式設計提示，模型能夠理解高層次任務以及低層次需求。
3. 低秩適應 (LoRA)：IC-LoRA 不對整個擴散模型進行微調，這樣做會非常昂貴，而是使用 LoRA 來調整模型以適應每個特定任務。LoRA 只訓練一小組輔助參數，保持原始模型權重不變。這使微調過程更加高效。
4. 小訓練數據集：IC-LoRA 的另一個關鍵見解是您不需要大數據集來觸發上下文學習能力。每個任務只需 20-100 組高質量圖像集即可達到令人印象深刻的效果。這大大減少了數據收集和計算負擔。

In-Context LoRA 的美妙之處在於它是一個任務無關的框架。相同的方法可以應用於廣泛的任務，例如故事板生成、字體設計、產品設計、視覺效果等。通過提供任務特定的訓練數據，IC-LoRA 可以適應每個任務，而無需對模型架構進行任何更改。

2. 10 個 In-Context LoRA 模型及其推薦設置

3. 在 ComfyUI 中使用 Flux 和 In-Context LoRA

此 Flux 和 In-Context LoRA 工作流程利用了 Flux 模型和 In-Context LoRA 的強大組合，根據文本提示生成一組相關圖像。讓我們逐步分解它的工作原理。

3.1. 預載的 Flux 和 In-Context LoRA 模型以提高工作效率

我們的平台已經為您準備了 Flux 模型和 10 個 In-Context LoRA 模型。這使得您的工作流程更輕鬆，並節省您的時間。只需選擇您想要的組，然後開始創作。

3.2. 根據預設提示創建完美提示

此工作流程中最重要的部分是捕捉您想要創建的主要想法的文本描述。我們已經為前面提到的每個 In-Context LoRA 模型編寫了提示。在您編寫自己的提示時，請使用這些示例作為指導。

3.3. 自定義分辨率和尺寸

要創建完全符合您需求的視覺效果，請更改寬度和高度設置以匹配您想要的大小。我們還提供了每個 In-Context LoRA 模型的推薦尺寸，供您作為起點使用。

3.4. Flux 取樣器

Flux 取樣器節點管理 Flux 取樣過程並優化生成參數以獲得更好的結果。關鍵參數包括：

• 種子 (1)：種子值確保在相同設置下產生一致的輸出。調整種子允許 Flux 生成產生不同的結果。
• 步驟 (50)：此參數定義 Flux 取樣過程中的步驟數。更高的步數提高質量，但需要更多的處理時間。在此，50 步提供了一個平衡的選擇。
• 指導 (3)：確定指導強度。更高的值（例如 3）使 Flux 生成的輸出更貼近輸入提示，確保準確地呈現您的意圖。
• 最大偏移量 (null)：此參數定義最大位移或變換範圍。"null" 設置表示使用默認或無限制範圍。
• 基本偏移量 (null)：類似於最大偏移量，它調整基本變換強度。將其設置為 "null" 即應用默認配置。
• 去噪 (1)：調整 Flux 生成過程中的去噪強度。值為 1 時應用輕微去噪，有效去除小的不一致性，同時保持清晰度。

Flux 和 In-Context LoRA 的結合為創建有趣的視覺內容開啟了無限可能。嘗試這些新模型，讓您的創造力前所未有地釋放。

許可證

查看許可文件：

flux/model_licenses/LICENSE-FLUX1-dev

flux/model_licenses/LICENSE-FLUX1-schnell

FLUX.1 [dev] 模型由 Black Forest Labs. Inc. 根據 FLUX.1 [dev] 非商業許可授權。版權所有 Black Forest Labs. Inc.

在任何情況下，Black Forest Labs, Inc. 均不對因使用此模型而產生的任何索賠、損害或其他責任承擔責任，無論是合同、侵權還是其他方面。