Flex.1 LoRA 추론: AI Toolkit LoRA를 ComfyUI에서 훈련 일치 결과로 실행

Flex.1 LoRA 추론: 훈련 일치, 최소 단계 생성 in ComfyUI. Flex.1 LoRA 추론은 AI Toolkit이 훈련한 Flex.1 LoRA를 ComfyUI에서 훈련 일치 동작으로 실행하기 위한 생산 준비 완료된 RunComfy 워크플로우입니다. 이는 RC Flex.1 (RCFlex1)을 중심으로 구축되어 있으며, Flex.1 특정 추론 파이프라인을 감싸고 (일반적인 샘플러 그래프 대신) lora_path 및 lora_scale을 통해 LoRA를 일관되게 적용합니다; RunComfy는 이 노드를 구축하여 오픈 소스로 공개했습니다—코드는 runcomfy-com GitHub organization repositories에서 확인할 수 있습니다.

LoRA 추론이 훈련과 다르게 보일 때 사용하십시오—예를 들어, AI Toolkit 미리보기가 올바르게 보이지만 동일한 LoRA + 프롬프트가 ComfyUI로 전환하면 이상하게 느껴질 때.

왜 Flex.1 LoRA 추론이 ComfyUI에서 다르게 보이는지 & RCFlex1 사용자 정의 노드가 하는 일

AI Toolkit 미리보기는 Flex.1 특정 추론 파이프라인에서 나옵니다. 많은 ComfyUI 그래프는 일반 로더와 샘플러에서 스택을 재구성하므로 "숫자를 맞추는 것"(프롬프트/단계/CFG/시드)이 항상 충분하지 않습니다—파이프라인의 차이가 기본값과 LoRA가 적용되는 위치/방법을 변경할 수 있습니다.

RCFlex1은 AI Toolkit 미리보기와 정렬된 Flex.1 특정 파이프라인 래퍼를 통해 추론을 라우팅하여 Flex.1에 대해 LoRA 주입을 일관되게 유지합니다. 참조 구현: `src/pipelines/flex1_alpha.py`

Flex.1 LoRA 추론 워크플로우 사용 방법

Step 1: 워크플로우 열기

ComfyUI에서 RunComfy Flex.1 LoRA 추론 워크플로우를 엽니다.

Step 2: LoRA 가져오기 (2가지 옵션)

• 옵션 A (RunComfy 훈련 결과): RunComfy → Trainer → LoRA Assets → LoRA 찾기 → ⋮ → LoRA 링크 복사
  
• 옵션 B (RunComfy 외부에서 AI Toolkit LoRA 훈련): LoRA의 직접 .safetensors 다운로드 링크를 복사하여 lora_path에 붙여넣습니다 (ComfyUI/models/loras에 다운로드할 필요 없음).
  

Step 3: Flex.1 LoRA 추론을 위한 RCFlex1 구성

RCFlex1 Flex.1 LoRA 추론 노드 UI에서 나머지 매개변수를 설정합니다:

• prompt: 주요 텍스트 프롬프트 (훈련 중 사용한 트리거 토큰 포함)
• negative_prompt: 선택 사항; 미리보기 샘플링에서 사용하지 않았다면 비워 둡니다
• width / height: 출력 해상도
• sample_steps: 샘플링 단계 (결과 비교 시 미리보기 설정과 일치)
• guidance_scale: CFG / 가이드라인 (미리보기 CFG와 일치)
• seed: 재현성을 위해 고정된 시드 사용; 변형을 탐색하려면 변경
• lora_scale: LoRA 강도/강도

훈련 일치 결과를 위해 AI Toolkit 훈련 YAML을 열고 여기에서 동일한 샘플링 값을 적용하십시오—특히 width, height, sample_steps, guidance_scale, seed. RunComfy에서 훈련했다면 Trainer → LoRA Assets → Config를 열고 미리보기/샘플 값을 재사용하십시오.

Step 4: Flex.1 LoRA 추론 실행

• Queue/Run 클릭 → SaveImage가 출력을 자동으로 기록

Flex.1 LoRA 추론 문제 해결

대부분의 "훈련 미리보기 vs ComfyUI 추론" 불일치는 파이프라인 차이에서 비롯됩니다 (단일 잘못된 노브가 아님). 훈련 일치 결과를 복구하는 가장 빠른 방법은 RunComfy의 RC Flex.1 (RCFlex1) 사용자 정의 노드를 통해 추론을 실행하는 것입니다. 이는 Flex.1 샘플링 + LoRA 주입을 AI Toolkit의 미리보기 파이프라인과 파이프라인 레벨에서 정렬 상태로 유지합니다.

(1) AI Toolkit의 샘플 미리보기가 훌륭하지만, 같은 프롬프트가 ComfyUI에서 다르게 보이는 이유는 무엇인가요? ComfyUI에서 이를 어떻게 재현할 수 있나요?

이유

같은 프롬프트 / 시드 / 단계로도, ComfyUI가 AI Toolkit의 미리보기 파이프라인과 다른 추론 파이프라인을 실행할 때 결과가 드리프트할 수 있습니다. Flex.1의 경우 특히, 파이프라인 차이가 모델 기본값과 LoRA가 주입되는 위치/방법을 변경할 수 있어 "같은 프롬프트, 다른 모습"으로 나타납니다.

수정 방법 (추천)

• RCFlex1으로 추론을 실행하여 AI Toolkit 미리보기에 파이프라인 정렬 상태를 유지하십시오 (이것이 주요 레버입니다).
• AI Toolkit 미리보기 샘플링 설정을 미러링하십시오: width, height, sample_steps, guidance_scale, seed.
• 동일한 트리거 단어(훈련 시 사용했다면)와 lora_scale을 미리보기 강도로 유지하십시오.

(2) diffusers를 사용하여 플럭스 로라를 플렉스에 로드하는 방법

이유

Flex.1은 Flux에서 벗어났으므로 "일반 Flux LoRA처럼 로드"하면 부분 적용, 약한 효과, 예상치 못한 동작으로 이어질 수 있습니다—특히 LoRA가 Flex.1에 대해 훈련되지 않은 경우.

수정 방법 (가장 신뢰할 수 있음)

• AI Toolkit이 훈련한 Flex.1 LoRA의 경우: lora_path에서 RCFlex1을 통해 로드하여 LoRA 주입이 정렬된 Flex.1 추론 파이프라인 내부에서 이루어지도록 합니다.
• 다른 기본 모델에 대해 훈련된 LoRA의 경우, 완벽한 전환을 기대하지 마십시오—AI Toolkit에서 Flex.1에 대해 LoRA를 다시 훈련하여 가장 깨끗한 결과를 얻으십시오.

(3) Flux' object has no attribute 'process_timestep

이유

이는 보통 실행 중인 노드/코드와 실행하려고 하는 모델/파이프라인 간의 불일치(버전 드리프트, 잘못된 노드 세트, 호환되지 않는 Flex/Flux 도구 혼합)로 나타납니다.

수정 방법

• RCFlex1을 통해 Flex.1 추론을 실행하여 의도된 Flex.1 파이프라인 래퍼에 실행 경로를 유지하십시오.
• 최근에 ComfyUI나 사용자 정의 노드를 업데이트한 경우, 관련 노드를 업데이트하고 ComfyUI를 다시 시작하여 오래된 가져오기/캐시를 정리하십시오.
• 이 워크플로우의 기본 모델로 실제로 Flex.1을 로드하고 있는지 다시 확인하십시오 (다른 Flux 변형 아님).

지금 Flex.1 LoRA 추론 실행

RunComfy Flex.1 LoRA 추론 워크플로우를 열고, lora_path에 LoRA를 붙여넣고 RCFlex1을 실행하여 ComfyUI에서 훈련 일치 Flex.1 LoRA 추론을 수행하십시오.