LTX 2.3 LoRA ComfyUI 추론: 훈련-일치 AI Toolkit LoRA 출력과 LTX 2.3 파이프라인

이 프로덕션 준비 완료된 RunComfy 워크플로우는 LTX 2.3 LoRA 추론을 ComfyUI에서 RC LTX 2.3 (LTX2Pipeline)을 통해 실행합니다 (파이프라인 수준의 정렬, 일반적인 샘플러 그래프가 아닙니다). RunComfy는 이 사용자 정의 노드를 구축하고 오픈소스화했습니다—runcomfy-com 리포지토리를 참조하세요—그리고 lora_path 및 lora_scale로 어댑터 적용을 제어합니다.

참고: 이 워크플로우는 2X Large 또는 그 이상의 기계에서 실행이 필요합니다.

LTX 2.3 LoRA ComfyUI 추론이 ComfyUI에서 종종 다르게 보이는 이유

AI Toolkit 훈련 미리보기는 모델별 LTX 2.3 파이프라인을 통해 렌더링됩니다. 여기서 텍스트 인코딩, 스케줄링 및 LoRA 주입이 함께 작동하도록 설계되었습니다. ComfyUI에서 LTX 2.3을 다른 그래프(또는 다른 LoRA 로더 경로)로 재구성하면 이러한 상호작용이 변경될 수 있어 동일한 프롬프트, 단계, CFG 및 시드를 복사해도 눈에 띄는 드리프트가 발생할 수 있습니다. RunComfy RC 파이프라인 노드는 LTX 2.3을 처음부터 끝까지 LTX2Pipeline에서 실행하고 그 파이프라인 내에서 LoRA를 적용하여 추론을 미리보기 동작과 일치시켜 그 격차를 좁힙니다. 출처: RunComfy 오픈소스 리포지토리.

LTX 2.3 LoRA ComfyUI 추론 워크플로우 사용 방법

1단계: LoRA 경로를 가져와 워크플로우에 로드하기 (2가지 옵션)

옵션 A — RunComfy 훈련 결과 → 로컬 ComfyUI로 다운로드:

1. 트레이너 → LoRA 자산으로 이동
2. 사용하고 싶은 LoRA 찾기
3. 오른쪽의 ⋮ (세 점) 메뉴 클릭 → LoRA 링크 복사 선택
4. ComfyUI 워크플로우 페이지에서, 복사한 링크를 UI의 오른쪽 상단 코너에 있는 다운로드 입력 필드에 붙여넣기
5. 다운로드 클릭 전, 대상 폴더가 ComfyUI > models > loras로 설정되어 있는지 확인 (이 폴더가 다운로드 대상 폴더로 선택되어야 함)
6. 다운로드 클릭 — 이렇게 하면 LoRA 파일이 올바른 models/loras 디렉토리에 저장됩니다
7. 다운로드가 완료되면, 페이지 새로고침
8. 이제 LoRA가 워크플로우의 LoRA 선택 드롭다운에 나타납니다 — 선택하세요

옵션 B — 직접 LoRA URL (옵션 A를 무효화):

1. 직접 .safetensors 다운로드 URL을 LoRA 노드의 path / url 입력 필드에 붙여넣기
2. 여기서 URL을 제공하면, 옵션 A를 무효화 — 워크플로우는 런타임에 URL에서 직접 LoRA를 로드합니다
3. 로컬 다운로드나 파일 배치는 필요하지 않음

팁: URL이 실제 .safetensors 파일로 연결되는지 확인하세요 (랜딩 페이지나 리디렉션이 아님).

2단계: 추론 매개변수를 훈련 샘플 설정과 일치시키기

LoRA 노드에서, lora_path에 어댑터를 선택하거나 (옵션 A), path / url에 직접 .safetensors 링크를 붙여넣으세요 (옵션 B는 드롭다운을 무효화). 그런 다음 lora_scale을 훈련 미리보기 때 사용한 강도로 설정하고 거기서 조정하세요.

남은 매개변수는 생성 노드에 있으며, 그래프에 따라 파이프라인 로드 노드에 있을 수 있습니다:

• prompt: 텍스트 프롬프트 (훈련 시 사용한 트리거 단어 포함)
• width / height: 출력 해상도; 훈련 미리보기 크기와 일치시켜 가장 깨끗한 비교를 위해 (LTX 2.3에는 32의 배수가 권장됨)
• num_frames: 출력 비디오 프레임 수
• sample_steps: 추론 단계 수 (30은 일반적인 기본값)
• guidance_scale: CFG/가이드 값 (5.5는 일반적인 기본값; 7을 초과하지 마세요)
• seed: 재현을 위한 고정 시드; 변화를 탐색하려면 변경하세요
• seed_mode (존재하는 경우에만): fixed 또는 randomize 선택
• frame_rate: 출력 FPS; 훈련 설정과 일관되게 유지하여 모션 정렬

훈련 정렬 팁: 훈련 시 샘플링 값을 사용자 정의했다면 (seed, guidance_scale, sample_steps, 트리거 단어, 해상도), 여기서 정확히 동일한 값을 반영하세요. RunComfy에서 훈련했다면, 트레이너 → LoRA 자산 > 설정으로 이동하여 해결된 YAML을 보고 미리보기/샘플 설정을 워크플로우 노드에 복사하세요.

3단계: LTX 2.3 LoRA ComfyUI 추론 실행

대기/실행 클릭 — SaveVideo 노드가 결과를 ComfyUI 출력 폴더에 기록합니다.

빠른 체크리스트:

• ✓ LoRA가 다음 중 하나에 있음: ComfyUI/models/loras로 다운로드됨 (옵션 A), 또는 직접 .safetensors URL을 통해 로드됨 (옵션 B)
• ✓ 로컬 다운로드 후 페이지 새로고침 (옵션 A만)
• ✓ 추론 매개변수가 훈련 샘플 구성과 일치함 (사용자 정의된 경우)

위의 모든 것이 올바르면, 여기서의 추론 결과는 훈련 미리보기와 거의 일치해야 합니다.

LTX 2.3 LoRA ComfyUI 추론 문제 해결

대부분의 LTX 2.3 "훈련 미리보기 vs ComfyUI 추론" 격차는 파이프라인 수준의 차이(모델 로드 방식, 스케줄링, LoRA 병합 방식)에서 발생하며, 단일 잘못된 노브에서는 발생하지 않습니다. 이 RunComfy 워크플로우는 RC LTX 2.3 (LTX2Pipeline)을 통해 처음부터 끝까지 추론을 실행하여 가장 가까운 "훈련-일치" 기준선을 복원하고, lora_path / lora_scale을 통해 그 파이프라인 내에서 LoRA를 적용합니다 (일반적인 로더/샘플러 노드를 쌓지 않고).

(1) LoRA 모양 불일치 또는 "키를 로드하지 않음" 경고

이 현상이 발생하는 이유 LoRA가 다른 모델 계열이나 다른 LTX 변형을 위해 훈련되었습니다. lora key not loaded 라인이 많이 보이고 잠재적으로 모양 불일치 오류가 발생할 수 있습니다.

수정 방법 (권장)

• LoRA가 AI Toolkit으로 특정하게 LTX 2.3을 위해 훈련되었는지 확인하세요 (LTX 2.0 / 2.1 / 2.2 LoRA는 교환 불가).
• LoRA에 대해 그래프를 "단일 경로"로 유지하세요: 워크플로우의 lora_path 입력을 통해서만 어댑터를 로드하고 LTX2Pipeline이 병합을 처리하게 하세요. 추가적인 일반 LoRA 로더를 병렬로 쌓지 마세요.
• 불일치에 부딪혔고 ComfyUI가 이후에 관련 없는 CUDA/OOM 오류를 생성하기 시작했다면, ComfyUI 프로세스를 재시작하여 GPU + 모델 상태를 완전히 재설정하고 호환 가능한 LoRA로 다시 시도하세요.

(2) 추론 결과가 훈련 미리보기와 일치하지 않음

이 현상이 발생하는 이유 LoRA가 로드되더라도, ComfyUI 그래프가 훈련 미리보기 파이프라인과 일치하지 않으면 결과가 여전히 드리프트할 수 있습니다 (다른 기본값, 다른 LoRA 주입 경로, 다른 스케줄링).

수정 방법 (권장)

• 이 워크플로우를 사용하고 lora_path에 직접 .safetensors 링크를 붙여넣으세요.
• AI Toolkit 훈련 구성에서 샘플링 값을 복사하세요 (또는 RunComfy 트레이너 → LoRA 자산 설정): width, height, num_frames, sample_steps, guidance_scale, seed, frame_rate.
• "추가 속도 스택"을 비교에서 제외하세요, 훈련/샘플링 시 사용하지 않았다면.

(3) LoRA 사용 시 추론 시간이 크게 증가

이 현상이 발생하는 이유 LoRA 경로가 추가 패칭/디퀀타이제이션 작업을 강제하거나 기본 모델 단독보다 느린 코드 경로로 가중치를 적용할 때 LTX 2.3이 훨씬 느려질 수 있습니다.

수정 방법 (권장)

• 이 워크플로우의 RC LTX 2.3 (LTX2Pipeline) 경로를 사용하고 어댑터를 lora_path / lora_scale을 통해 전달하세요. 이 설정에서는, LoRA가 파이프라인 로드 동안 한 번 병합되므로 (AI Toolkit 스타일), 단계별 샘플링 비용이 기본 모델과 가깝게 유지됩니다.
• 미리보기-일치 동작을 추구할 때, 여러 LoRA 로더를 쌓거나 로더 경로를 혼합하지 마세요. 하나의 lora_path + 하나의 lora_scale로 기준선을 맞출 때까지 유지하세요.

(4) 큰 해상도나 긴 비디오에서 OOM 오류 발생

이 현상이 발생하는 이유 LTX 2.3은 22B 매개변수 모델이며 비디오 생성은 VRAM을 많이 소모합니다. 높은 해상도나 많은 프레임은 특히 LoRA 오버헤드와 함께 GPU 메모리를 초과할 수 있습니다.

수정 방법 (권장)

• 2X Large (80 GB VRAM) 또는 그 이상의 기계를 사용하세요. 이 워크플로우는 Medium, Large, X Large 기계와 호환되지 않습니다.
• 빠르게 반복해야 할 경우 해상도나 프레임 수를 줄이고, 최종 렌더링 시에는 확장하세요.
• 가능하다면 VAE 타일링을 활성화하세요 — 이는 최소한의 품질 손실로 ~3 GB VRAM을 절약할 수 있습니다.

LTX 2.3 LoRA ComfyUI 추론 지금 실행

워크플로우를 열고 lora_path를 설정한 후 Queue/Run을 클릭하여 AI Toolkit 훈련 미리보기에 가까운 LTX 2.3 LoRA 결과를 얻으세요.