Flux & 10 In-Context LoRA Models

Lianghua Huang、Wei Wang、Zhi-Fan Wu、およびTongyi Labの彼らの協力者によって開発された In-Context LoRA (IC-LoRA) プロジェクトは、拡散変換器（DiTs）を使用したタスクに依存しない画像生成への画期的なアプローチを表しています。彼らの革新的なフレームワークは、DiTsのインコンテキスト生成能力を活用し、最小限の調整と合理化されたパイプラインを導入することで、小規模なデータセットで効率的なタスク固有の調整を可能にします。彼らの作業についてもっと知り、リソースにアクセスするには、公式リポジトリを訪れてください：。

1. In-Context LoRA (IC-LoRA) について

In-Context LoRA (IC-LoRA) は、既存のテキストから画像への拡散変換器モデルが、最小限の追加トレーニングで多様な画像生成タスクを実行できるようにする強力で柔軟なフレームワークです。In-Context LoRAのキーアイデアは、これらのモデルの本質的なインコンテキスト学習能力を活用し、慎重に選ばれたトレーニングデータを提供し、シンプルで効果的な微調整アプローチを使用することです。

In-Context LoRAの仕組みを簡単に説明します:

1. 画像の連結: 個々の画像を生成する代わりに、IC-LoRAは関連するアイテムのセットを1つの大きな合成物に連結します。これにより、モデルはセット全体に必要な関係性と一貫性を学ぶことができます。
2. プロンプトエンジニアリング: セットのテキストプロンプトも単一のプロンプトに連結されます。このプロンプトは、セット全体の説明から始まり、各個別アイテムの具体的な詳細が続きます。このようにプロンプトを作成することで、モデルは高レベルのタスクだけでなく、低レベルの要件も理解できます。
3. 低ランク適応 (LoRA): 拡散モデル全体を微調整する代わりに、計算コストがかかるため、IC-LoRAはLoRAを使用してモデルを各特定タスクに適応させます。LoRAは、補助パラメータの小セットのみをトレーニングし、元のモデルの重みを固定します。これにより、微調整プロセスがはるかに効率的になります。
4. 小規模トレーニングデータセット: IC-LoRAのもう1つの重要な洞察は、インコンテキスト学習能力を引き出すために大規模なデータセットが必要ないことです。タスクごとに20〜100の高品質な画像セットだけで、印象的な結果を達成するのに十分です。これにより、データ収集と計算負担が大幅に軽減されます。

In-Context LoRAの美しさは、それがタスクに依存しないフレームワークであることです。同じアプローチは、ストーリーボード生成、フォントデザイン、製品デザイン、視覚効果など、幅広いタスクに適用できます。タスク固有のトレーニングデータを提供することで、IC-LoRAはモデルアーキテクチャ自体に変更を加えることなく、各タスクに適応できます。

2. 10 In-Context LoRAモデルとその推奨設定

3. ComfyUIでFluxとIn-Context LoRAを使用する

このFluxとIn-Context LoRAワークフローは、FluxモデルとIn-Context LoRAを組み合わせて、テキストプロンプトに基づいて関連する画像のセットを生成します。ステップごとにその仕組みを説明します。

3.1. 効率的なワークフローのためのプリロードされたFluxとIn-Context LoRAモデル

私たちのプラットフォームには、Fluxモデルと10のIn-Context LoRAモデルがすでに用意されています。これにより、ワークフローが簡単になり、時間を節約できます。希望するグループを選択して作成を開始するだけです。

3.2. プリセットプロンプトに基づいた完璧なプロンプトの作成

このワークフローの最も重要な部分は、作成したい主要なアイデアを捉えるテキストの説明です。前述のリストにある各In-Context LoRAモデルのために、すでにプロンプトが書かれています。独自のプロンプトを書くときは、これらの例をガイドとして使用してください。

3.3. 解像度と寸法のカスタマイズ

ニーズに完全に合ったビジュアルを作成するには、幅と高さの設定を変更して、希望するサイズに合わせます。また、各In-Context LoRAモデルの推奨サイズを提供しているので、出発点として使用してください。

3.4. Fluxサンプラー

Fluxサンプラーノードは、Fluxサンプリングプロセスを管理し、より良い結果のために生成パラメータを最適化します。主なパラメータには以下が含まれます:

• Seed (1): シード値は、同じ設定で一貫した出力を保証します。シードを調整することで、Flux生成が多様な結果を生み出すことができます。
• Steps (50): このパラメータは、Fluxサンプリングプロセスのステップ数を定義します。ステップ数が多いほど品質が向上しますが、処理時間が長くなります。ここでは、50ステップがバランスの取れたオプションを提供します。
• Guidance (3): ガイダンスの強度を決定します。高い値（例: 3）は、Flux生成された出力を入力プロンプトにより密接に一致させ、意図の正確な表現を保証します。
• Max Shift (null): このパラメータは、最大の変位または変換範囲を定義します。"null"設定は、デフォルトまたは無制限の範囲の使用を示します。
• Base Shift (null): 最大シフトと同様に、ベース変換の強度を調整します。"null"に設定すると、デフォルトの構成が適用されます。
• Denoise (1): Flux生成中のノイズ除去の強度を調整します。値が1の場合、軽いノイズ除去を適用し、小さな不整合を効果的に取り除きながら、明瞭さを保ちます。

FluxとIn-Context LoRAの組み合わせは、興味深い視覚コンテンツを作成する可能性を広げます。これらの新しいモデルを試して、これまでにない創造性を解き放ってください。

ライセンス

ライセンスファイルを見る:

FLUX.1 [dev] モデルは、Black Forest Labs. Inc. によってFLUX.1 [dev] 非商用ライセンスの下でライセンスされています。著作権 Black Forest Labs. Inc.

いかなる場合においても、Black Forest Labs, Inc. は、このモデルの使用に起因するいかなる請求、損害、またはその他の責任についても責任を負いません。