FLUX LoRA Training

FLUX LoRA는 AI 커뮤니티에서 엄청난 인기를 얻고 있으며, 특히 사용자 고유의 데이터셋으로 AI 모델을 미세 조정하려는 사람들 사이에서 인기가 높습니다. 이 접근 방식은 기존 FLUX 모델을 고유한 데이터셋에 쉽게 적응시킬 수 있게 하여 매우 맞춤화되고 다양한 창의적 노력에 효율적입니다. 만약 ComfyUI에 익숙하다면, ComfyUI FLUX LoRA Training 워크플로우를 사용하여 FLUX LoRA 모델을 훈련하는 것은 매우 쉬울 것입니다. 워크플로우와 관련 노드는 Kijai에 의해 만들어졌으며, 그의 기여에 큰 감사를 드립니다! 더 많은 정보를 보려면 을 확인하세요.

ComfyUI FLUX LoRA Training Tutorial

ComfyUI FLUX LoRA Training 워크플로우는 FLUX LoRA 모델을 훈련하기 위해 설계된 강력한 프로세스입니다. ComfyUI를 사용한 훈련은 특히 인터페이스에 이미 익숙한 사용자에게 여러 가지 장점을 제공합니다. FLUX LoRA Training을 통해 추론에 사용되는 동일한 모델을 사용할 수 있어 동일한 Python 환경 내에서 호환성 문제 없이 작업할 수 있습니다. 또한 다양한 설정을 비교하기 위한 워크플로우를 구축하여 훈련 프로세스를 향상시킬 수 있습니다. 이 튜토리얼은 ComfyUI에서 FLUX LoRA Training을 설정하고 사용하는 단계를 안내합니다.

우리는 다음을 다룰 것입니다:

1. FLUX LoRA Training을 위한 데이터셋 준비
2. FLUX LoRA Training 프로세스
3. FLUX LoRA Training 실행
4. FLUX 및 FLUX LoRA 모델을 사용하는 방법 및 위치

1. FLUX LoRA Training을 위한 데이터셋 준비

FLUX LoRA Training을 위해 훈련 데이터를 준비할 때, 대상 주제에 대한 고품질 이미지를 갖추는 것이 중요합니다.

이 예제에서는 특정 인플루언서의 이미지를 생성하기 위해 FLUX LoRA 모델을 훈련하고 있습니다. 이를 위해 다양한 포즈와 설정의 인플루언서의 고품질 이미지를 세트로 준비해야 합니다. 이러한 이미지를 수집하는 편리한 방법은 를 사용하는 것입니다. 이는 동일한 캐릭터를 다른 포즈로 생성하면서 외형을 일관되게 유지하는 이미지 컬렉션을 쉽게 생성할 수 있게 합니다. 우리의 훈련 데이터셋을 위해 다양한 포즈와 설정의 인플루언서의 고품질 이미지 5장을 선택하여 데이터셋이 FLUX LoRA Training이 일관되고 정확한 출력을 생성하는 데 필요한 복잡한 세부 사항을 학습하기에 충분히 강력하도록 보장했습니다.

훈련 데이터 획득 프로세스

훈련 데이터 예시

필요에 따라 사용자 고유의 데이터셋을 수집할 수도 있습니다——FLUX LoRA Training은 다양한 유형의 데이터와 함께 유연하게 작동합니다.

2. FLUX LoRA Training 프로세스

FLUX LoRA Training 워크플로우는 모델을 훈련하고 검증하는 데 협력하는 여러 주요 노드로 구성됩니다. 데이터셋, 설정 및 초기화, 그리고 훈련 세 부분으로 나뉜 주요 노드의 세부 개요는 다음과 같습니다.

2.1. FLUX LoRA Training을 위한 데이터셋 설정

데이터셋 섹션은 훈련 데이터를 구성하고 사용자 지정하는 데 도움을 주는 두 개의 필수 노드로 구성되어 있습니다: TrainDatasetGeneralConfig와 TrainDatasetAdd.

2.1.1. TrainDatasetGeneralConfig

TrainDatasetGeneralConfig 노드는 FLUX LoRA Training에서 훈련 데이터셋의 전반적인 설정을 정의하는 곳입니다. 이 노드는 데이터 증강 및 전처리의 다양한 측면을 제어할 수 있는 기능을 제공합니다. 예를 들어, 모델의 다양한 색상 변형에 대한 일반화 능력을 향상시키는 데 도움이 될 수 있는 색상 증강을 활성화하거나 비활성화할 수 있습니다. 마찬가지로, 이미지를 가로로 무작위로 뒤집어 다양한 훈련 샘플을 제공하는 뒤집기 증강을 토글할 수 있습니다. 추가로, 각 이미지와 관련된 캡션을 섞어 무작위성을 도입하고 과적합을 줄일 수 있습니다. 캡션 드롭아웃 비율을 통해 훈련 중 캡션을 무작위로 드롭할 수 있으며, 이는 모델이 누락되거나 불완전한 캡션에 더 강력해지도록 도울 수 있습니다.

2.1.2. TrainDatasetAdd

TrainDatasetAdd 노드는 FLUX LoRA Training에 포함할 각 개별 데이터셋의 세부 사항을 지정하는 곳입니다.

입력 디렉토리: Train Dataset Path

이 노드를 최대한 활용하려면 훈련 데이터를 적절히 구성하는 것이 중요합니다. RunComfy의 파일 브라우저를 사용할 때, 훈련 데이터를 /home/user/ComfyUI/input/{file-name} 디렉토리에 배치하세요. 여기서 {file-name}은 데이터셋에 할당한 의미 있는 이름입니다.

훈련 데이터를 적절한 디렉토리에 배치한 후, TrainDatasetAdd 노드의 image_dir 매개변수에 해당 디렉토리 경로를 제공해야 합니다. 이는 노드에 훈련 이미지를 찾을 위치를 알려줍니다.

클래스 토큰

데이터셋이 특정 클래스 토큰이나 트리거 단어를 사용하는 것이 유익하다면, class_tokens 매개변수에 입력할 수 있습니다. 클래스 토큰은 각 캡션 앞에 추가되어 모델의 생성 과정을 안내하는 특별한 단어나 구문입니다. 예를 들어, 다양한 동물 종의 데이터셋을 훈련할 경우, 생성된 이미지에서 원하는 동물을 나타내기 위해 "dog", "cat", "bird"와 같은 클래스 토큰을 사용할 수 있습니다. 이후 이러한 클래스 토큰을 프롬프트에 사용할 때, 모델이 생성해야 할 특정 측면을 제어할 수 있습니다.

해상도(너비와 높이), 배치 크기 설정

image_dir 및 class_tokens 매개변수 외에도, TrainDatasetAdd 노드는 데이터셋을 미세 조정할 수 있는 여러 옵션을 제공합니다. 이미지의 해상도(너비와 높이)를 설정하고, 훈련을 위한 배치 크기를 지정하며, 에포크당 데이터셋을 반복해야 하는 횟수를 결정할 수 있습니다.

다중 데이터셋

FLUX LoRA Training의 강력한 기능 중 하나는 여러 데이터셋을 매끄럽게 결합할 수 있는 능력입니다. FLUX LoRA Training 워크플로우에는 세 개의 TrainDatasetAdd 노드가 순차적으로 연결되어 있습니다. 각 노드는 고유한 설정을 가진 별개의 데이터셋을 나타냅니다. 이러한 노드를 연결하여 다양한 출처의 이미지 및 캡션을 통합하는 풍부하고 다양한 훈련 세트를 만들 수 있습니다.

이를 설명하기 위해, 고양이, 개, 곰에 대한 세 개의 별도 데이터셋이 있는 시나리오를 고려해 보겠습니다. 각 데이터셋에 전념하는 세 개의 TrainDatasetAdd 노드를 설정할 수 있습니다. 첫 번째 노드에서는 image_dir 매개변수에 "cats" 데이터셋 경로를 지정하고, class token을 "cat"으로 설정하며, 해상도 및 배치 크기와 같은 기타 매개변수를 필요에 맞게 조정합니다. 마찬가지로 두 번째 및 세 번째 노드를 "dogs" 및 "bears" 데이터셋에 대해 구성합니다.

이 접근 방식은 FLUX LoRA Training 프로세스가 다양한 범주에 걸쳐 일반화할 수 있는 모델의 능력을 향상시키기 위해 다양한 이미지 소스를 활용할 수 있게 합니다.

예시

예제에서는 모델을 훈련하기 위해 하나의 데이터셋만 사용하므로, 하나의 TrainDatasetAdd 노드를 활성화하고 나머지 두 개를 우회합니다. 다음은 설정 방법입니다:

2.2. 설정 및 초기화

설정 및 초기화 섹션은 FLUX LoRA Training을 위한 주요 구성 요소 및 매개변수를 구성하는 곳입니다. 이 섹션에는 훈련 환경을 설정하기 위해 함께 작동하는 여러 필수 노드가 포함되어 있습니다.

2.2.1. FluxTrainModelSelect

먼저, FluxTrainModelSelect 노드는 FLUX LoRA Training 동안 사용할 FLUX 모델을 선택하는 역할을 합니다. 이 노드를 통해 변환기, VAE (Variational Autoencoder), CLIP_L (Contrastive Language-Image Pre-training), T5 (Text-to-Text Transfer Transformer)의 경로를 지정할 수 있습니다. 이러한 모델은 FLUX 훈련 프로세스의 중추를 이루며, 모두 RunComfy 플랫폼에 설정되어 있습니다.

2.2.2. OptimizerConfig

OptimizerConfig 노드는 FLUX LoRA Training 내에서 모델의 매개변수가 훈련 중에 업데이트되는 방식을 결정하는 옵티마이저를 설정하는 데 중요합니다. 옵티마이저 유형(예: AdamW, CAME)을 선택하고, 폭발적인 그래디언트를 방지하기 위한 최대 그래디언트 노름을 설정하며, 학습률 스케줄러(예: constant, cosine annealing)를 선택할 수 있습니다. 추가적으로, 워프업 단계 및 스케줄러 전력과 같은 옵티마이저 특정 매개변수를 미세 조정하고, 추가 인수를 제공하여 추가 사용자 지정을 할 수 있습니다.

대규모 모델을 처리하는 데 있어 메모리 효율성이 높고 잘 알려진 Adafactor 옵티마이저를 선호하는 경우, OptimizerConfigAdafactor 노드를 대신 사용할 수 있습니다.

2.2.3. InitFluxLoRATraining

InitFluxLoRATraining 노드는 모든 필수 구성 요소가 모여 FLUX LoRA Training 프로세스를 시작하는 중심 허브입니다.

출력 디렉토리: FLUX LoRA Path

InitFluxLoRATraining 노드에서 지정해야 하는 주요 항목 중 하나는 훈련된 모델이 저장될 출력 디렉토리입니다. RunComfy 플랫폼에서 /home/user/ComfyUI/output/{file_name}을 출력 위치로 선택할 수 있습니다. 훈련이 완료되면 파일 브라우저에서 이를 확인할 수 있습니다.

네트워크 차원 및 학습률

다음으로, 네트워크 차원 및 학습률을 설정하고자 할 것입니다. 네트워크 차원은 LoRA 네트워크의 크기 및 복잡성을 결정하며, 학습률은 모델이 학습하고 적응하는 속도를 제어합니다.

최대 훈련 단계

고려해야 할 또 다른 중요한 매개변수는 max_train_steps입니다. 이는 훈련 프로세스를 얼마나 오래 실행할지, 즉 모델이 완전히 구워지기 전에 얼마나 많은 단계를 수행할지를 결정합니다. 이는 특정 요구와 데이터셋 크기에 따라 조정할 수 있습니다. 모델이 매력적인 출력을 생성할 수 있도록 충분히 학습한 지점을 찾는 것이 중요합니다!

2.3.4. FluxTrainValidationSettings

마지막으로, FluxTrainValidationSettings 노드는 FLUX LoRA Training 프로세스 동안 모델의 성능을 평가하기 위한 검증 설정을 구성할 수 있게 합니다. 검증 단계 수, 이미지 크기, 가이던스 스케일, 재현성을 위한 시드를 설정할 수 있습니다. 추가로, 타임스텝 샘플링 방법을 선택하고, 시그모이드 스케일 및 시프트 매개변수를 조정하여 타임스텝 스케줄링을 제어하고 생성된 이미지의 품질을 향상시킬 수 있습니다.

3. 훈련

FLUX LoRA Training의 훈련 섹션은 마법이 일어나는 곳입니다. 이는 Train_01, Train_02, Train_03, Train_04의 네 부분으로 나뉘며, 각 부분은 FLUX LoRA Training 프로세스의 다른 단계를 나타내어 모델을 점진적으로 개선하고 개선할 수 있게 합니다.

3.1. Train_01

Train_01부터 시작하겠습니다. 여기에서 초기 훈련 루프가 실행됩니다. 이 섹션의 주인공은 FluxTrainLoop 노드로, 지정된 단계 수 동안 훈련 루프를 실행하는 역할을 합니다. 이 예제에서는 250단계로 설정했지만, 필요에 따라 이 값을 조정할 수 있습니다. 훈련 루프가 완료되면, 훈련된 모델은 FluxTrainSave 노드로 전달되어 정기적으로 모델을 저장합니다. 이는 다른 훈련 단계에서 모델의 진행 상황을 추적하고 예기치 않은 중단에서 복구하는 데 유용한 체크포인트를 보장합니다.

그러나 훈련json 뿐만 아니라, 모델의 성능을 확인하기 위해 검증이 필요합니다. 이때 FluxTrainValidate 노드가 사용됩니다. 이 노드는 훈련된 모델을 사용하여 검증 데이터셋을 통해 모델의 성능을 테스트합니다. 이 데이터셋은 훈련 데이터와 별도로, 보지 못한 예제에 대한 모델의 일반화 능력을 평가하는 데 도움이 됩니다. FluxTrainValidate 노드는 검증 데이터를 기반으로 샘플 이미지를 생성하여 모델의 출력을 시각적으로 확인할 수 있게 해줍니다.

훈련 진행 상황을 모니터링하려면 VisualizeLoss 노드가 필요합니다. 이 유용한 노드는 시간에 따른 훈련 손실을 시각화하여 모델이 얼마나 잘 학습하고 있으며 좋은 솔루션으로 수렴되고 있는지를 확인할 수 있게 합니다. 이는 마치 개인 트레이너가 진행 상황을 추적하고 올바른 길을 유지하도록 도와주는 것과 같습니다.

3.2. Train_02, Train_03, Train_04

Train_02에서는 FLUX LoRA Training에서 Train_01에서 이어지는 출력이 추가로 지정된 단계 수(예: 250단계) 동안 추가로 훈련됩니다. Train_03과 Train_04는 유사한 패턴을 따르며, 원활한 진행을 위해 업데이트된 연결로 훈련을 확장합니다. 각 단계는 FLUX LoRA 모델을 출력하여 성능을 테스트하고 비교할 수 있습니다.

예시

예제에서는 Train_01과 Train_02만 각각 250단계로 사용하기로 했습니다. 현재로서는 Train_03과 Train_04를 우회했습니다. 그러나 특정 요구와 자원에 따라 훈련 섹션 및 단계를 조정하고 실험해 보세요.

4. FLUX 및 FLUX LoRA 모델을 사용하는 방법 및 위치

FLUX LoRA 모델을 획득한 후, 에 통합할 수 있습니다. 기존 LoRA 모델을 훈련된 모델로 교체한 후, 결과를 테스트하여 성능을 평가합니다.

예시

예제에서는 FLUX LoRA 워크플로우를 사용하여 FLUX LoRA 모델을 적용하고 그 성능을 관찰하여 더 많은 인플루언서 이미지를 생성합니다.

라이선스

라이선스 파일 보기:

FLUX.1 [dev] 모델은 Black Forest Labs. Inc.에 의해 FLUX.1 [dev] 비상업적 라이선스 하에 라이선스가 부여됩니다. 저작권 Black Forest Labs. Inc.

Black Forest Labs, Inc.는 이 모델의 사용과 관련하여 계약, 불법 행위 또는 기타 방식으로 발생하는 모든 청구, 손해 또는 기타 책임에 대해 어떠한 경우에도 책임을 지지 않습니다.