FLUX.1 Dev LoRA 추론: ComfyUI에서 AI Toolkit 훈련 미리보기와 일치시키기

FLUX.1 Dev LoRA 추론: 훈련 일치, 최소 단계 생성 in ComfyUI FLUX.1 Dev LoRA 추론은 AI Toolkit으로 훈련된 FLUX.1 Dev LoRAs를 ComfyUI에서 훈련 미리보기와 가까운 결과로 적용하기 위한 준비된 RunComfy 워크플로우입니다. 이는 RC FLUX.1 Dev (RCFluxDev)—RunComfy에서 구축한 오픈 소스 커스텀 노드를 중심으로 구축되어, 일반적인 샘플러 그래프 대신 FLUX.1 Dev-특정 추론 파이프라인을 통해 생성을 라우팅하며, lora_path 및 lora_scale을 통해 어댑터를 주입합니다. 관련 소스 작업은 runcomfy-com GitHub 조직 저장소에서 찾아볼 수 있습니다.

AI Toolkit 샘플이 "올바른" 느낌을 주지만, 일반적인 ComfyUI 그래프로 전환하면 동일한 LoRA + 프롬프트가 스타일, 강도 또는 구성에서 드리프트할 때 이 워크플로우를 사용하십시오.

ComfyUI에서 FLUX.1 Dev LoRA 추론이 종종 다르게 보이는 이유

AI Toolkit 미리보기는 모델-특정 추론 파이프라인에 의해 생성됩니다. 많은 ComfyUI 그래프는 일반적인 구성 요소에서 FLUX를 재구성하므로 "숫자를 맞추기"(프롬프트/단계/가이드/시드)는 여전히 다른 기본값과 LoRA 응용 동작을 생성할 수 있습니다. 이 "훈련 미리보기 vs ComfyUI 추론" 간극은 보통 파이프라인 수준에서 발생하며, 단일 잘못된 노브가 아닙니다.

RCFluxDev 커스텀 노드가 하는 일

RCFluxDev는 AI Toolkit 스타일 샘플링에 사용되는 FLUX.1 Dev 추론 파이프라인을 캡슐화하고, 이 모델 패밀리에 대해 어댑터 동작이 일관되도록 LoRA를 그 파이프라인 내에서 적용합니다. 파이프라인 소스: `src/pipelines/flux_dev.py`

FLUX.1 Dev LoRA 추론 워크플로우 사용 방법

Step 1: LoRA 가져오기 (2가지 방법)

• 옵션 1 (RunComfy 훈련 결과): RunComfy → Trainer → LoRA Assets → LoRA 찾기 → ⋮ → LoRA 링크 복사
  
• 옵션 2 (RunComfy 외부에서 AI Toolkit LoRA 훈련):

LoRA에 대한 직접 .safetensors 다운로드 링크를 복사하여 그 URL을 lora_path에 붙여넣습니다.

Step 2: FLUX.1 Dev LoRA 추론을 위한 RCFluxDev 커스텀 노드 구성

1. 워크플로우에서 RC FLUX.1 Dev (RCFluxDev)를 선택하고 LoRA URL(또는 파일 경로)을 lora_path에 붙여넣습니다.

중요 (첫 실행에 필수): 이 커스텀 노드를 실행하려면 (1) 사용 중인 FLUX.1 Dev repo에 대한 Hugging Face 접근권이 있어야 하고, (2) Hugging Face 토큰을 hf_token에 붙여넣어야 합니다:

• Hugging Face 모델 페이지에서 로그인하고 Request access / Agree 클릭 (리포당 한 번).
• huggingface.co/settings/tokens에서 Read 권한으로 Hugging Face 사용자 접근 토큰 생성.
• RCFluxDev에 hf_token을 붙여넣고 워크플로우를 다시 실행합니다.

단계별 가이드: FLUX Hugging Face Token - 설정 및 문제 해결

1. 그런 다음 FLUX.1 Dev LoRA 추론의 나머지 설정을 구성합니다 (모두 노드 UI에서):

훈련 정렬 팁: 1:1 매치를 추구할 때, "느낌으로 조정"하지 말고, 미리보기를 위해 사용한 AI Toolkit 훈련 YAML의 샘플링 값을 반영하십시오 (특히 width, height, sample_steps, guidance_scale, seed). RunComfy에서 훈련했다면, Trainer → LoRA Assets → 설정을 열고 미리보기 설정을 재사용하십시오.

• prompt: 텍스트 프롬프트 (훈련 중 사용한 트리거 토큰을 포함하십시오, 있다면)
• negative_prompt: 선택 사항; 부정으로 샘플링하지 않았다면 비워두십시오
• width / height: 출력 해상도 (비교할 때 훈련 미리보기와 일치)
• sample_steps: 추론 단계 수
• guidance_scale: FLUX.1 Dev 파이프라인에서 사용한 가이드 값
• seed: 재생산할 고정 시드 설정; 변형 탐색을 위해 변경
• lora_scale: LoRA 강도 (미리보기 값에 가깝게 시작한 후 조정)
• hf_token: Hugging Face 접근 토큰 (게이트된 FLUX 리포에 필수)

Step 3: FLUX.1 Dev LoRA 추론 실행

• Queue/Run 클릭 → SaveImage가 결과를 자동으로 ComfyUI 출력 폴더에 저장합니다

FLUX.1 Dev LoRA 추론 문제 해결

대부분의 FLUX.1 Dev "미리보기 vs ComfyUI" 문제는 파이프라인 불일치(모델이 로드되는 방식, 조건이 구축되는 방법, 어댑터가 주입되는 위치/방법)로 인해 발생하며, 단순히 잘못된 매개변수 하나 때문이 아닙니다.

AI Toolkit으로 훈련된 FLUX.1 Dev LoRAs의 경우, ComfyUI에서 훈련 일치 동작을 복구하는 가장 신뢰할 수 있는 방법은 RC FLUX.1 Dev (RCFluxDev)를 통해 생성을 실행하여 추론을 파이프라인 수준에서 정렬하고 lora_path / lora_scale을 통해 어댑터를 일관되게 적용하는 것입니다. 고집스러운 문제를 디버깅하는 경우, 최소 참조 워크플로우에서 시작하고 기본이 작동하는지 확인한 후에만 복잡성을 추가하십시오.

（1）업데이트 후 높은 lora vram 사용

이유

FLUX.1 Dev와 함께, 일부 설정에서는 특정 LoRAs를 적용할 때 큰 VRAM 점프가 발생합니다 (AI Toolkit으로 훈련된 LoRAs 포함). 이는 종종 일반 로더 경로를 통해 LoRAs가 주입되거나 그래프가 추가 모델 복사/재로드 동작을 유발할 때 나타납니다.

해결 방법 (권장)

• RCFluxDev를 통해 추론을 실행하고 노드에서만 lora_path를 통해 어댑터를 로드하십시오 (동일한 모델에 대해 여러 LoRA 로더 노드를 혼합하여 사용하지 마십시오).
• 비교를 공정하게 유지하십시오: "이상해 보인다"고 판단하기 전에 훈련 미리보기 샘플링 값 (width, height, sample_steps, guidance_scale, seed)을 일치시키십시오.
• 여전히 OOM에 도달하면: 먼저 width/height를 줄이십시오 (FLUX에 대해 보통 가장 큰 레버입니다), 그런 다음 배치/추가 노드를 줄이고, 오래된 캐시를 지우기 위해 세션을 다시 시작하십시오. 더 나아가, RunComfy에서 더 높은 GPU 머신을 실행하여 실행할 수 있습니다.

（2）VAEDecode Given groups=1, weight of size [4, 4, 1, 1], expected input[1, 16, 144, 112] to have 4 channels, but got 16 channels instead

이유

FLUX 잠재 변수와 "클래식 SD" 잠재 변수는 상호 교환할 수 없습니다. 이 오류는 FLUX 잠재 변수를 비‑FLUX VAE(4‑채널 잠재 변수를 기대하는 VAE, FLUX 잠재 변수는 16‑채널일 수 있음)로 디코딩할 때의 일반적인 증상입니다.

해결 방법

• FLUX 잠재 변수를 SD/SDXL VAE 경로로 디코딩하지 마십시오.
• RCFluxDev 워크플로우를 사용하여 올바른 FLUX 디코딩 경로가 처음부터 끝까지 사용되도록 하십시오 (모델 로딩 → 샘플링 → 디코딩), 다른 파이프라인의 일반 VAE 노드를 혼합하여 사용하지 마십시오.
• 그래프를 수동으로 재구성하는 경우, 사용 중인 FLUX 오토인코더 자산이 올바른지, 남아있는 SD/SDXL VAE가 아닌지 두 번 확인하십시오.

（3）flux 모델이 작동하지 않음, flux1-dev-fp8.safetensors

이유

이는 보통 FLUX .safetensors UNet이 잘못된 유형의 로더를 사용하여 로드될 때 발생합니다 (예: SD/SDXL처럼 ComfyUI가 자동으로 감지해야 하는 "체크포인트"처럼 취급할 때).

해결 방법

• FLUX.1 Dev 워크플로우 (RCFluxDev)를 사용하고, 워크플로우/노드가 모델 로딩을 처리하도록 하십시오; lora_path를 통해 LoRA만 전달하십시오.
• FLUX UNets를 SD/SDXL 체크포인트 로더를 사용하여 로드하지 마십시오.
• 링크에서 파일을 다운로드한 경우, 그것이 완전하고 유효한 .safetensors인지 다시 확인하십시오 (부분 다운로드는 혼란스러운 감지 오류를 유발할 수 있습니다).

지금 FLUX.1 Dev LoRA 추론 실행

RunComfy FLUX.1 Dev LoRA 추론 워크플로우를 열고, lora_path를 설정하고, RCFluxDev로 생성하여 ComfyUI 결과가 AI Toolkit 훈련 미리보기와 일치하도록 유지하십시오.