LTX 2.3 Director: ComfyUI를 위한 타임라인 기반 AI 영화 제작#
LTX 2.3 Director는 정밀한 창의적 제어를 통해 구조화된 AI 비디오를 만드는 시네마틱, 타임라인 기반 워크플로우입니다. LTX‑2.3 비디오 모델을 중심으로 구축되어, 프롬프트, 참조 이미지, 전환 및 음악을 친숙한 타임라인에 따라 배열하여 다중 장면 시퀀스를 연출할 수 있습니다. 이 결과는 ComfyUI 내에서 모션 연속성, 샷 구성 및 오디오 동기화를 처음부터 끝까지 일관되게 처리하는 감독 스타일의 경험을 제공합니다.
이야기꾼, 뮤직 비디오 제작자, 트레일러 편집자 및 AI 영화 제작 파이프라인을 구축하는 모든 사람을 위해 설계된 LTX 2.3 Director는 프롬프트 엔지니어링을 전체 제작 흐름으로 변환합니다. 글로벌 톤을 설정하고 각 샷을 로컬 프롬프트로 세밀하게 조정한 후 고품질 업스케일 및 최종 내보내기에 커밋하기 전에 빠르게 미리 볼 수 있습니다.
Comfyui LTX 2.3 Director 워크플로우의 주요 모델#
- LTX‑2.3 22B (FP8) 비디오 생성 모델. 텍스트와 참조를 일관된 비디오 잠재공간으로 변환하는 핵심 확산 백본. Model repo
- LTX‑2.3 Video VAE (bf16). 효율적인 샘플링 및 고충실도 재구성을 위해 비디오 프레임을 압축된 잠재 공간으로 인코딩 및 디코딩. Model repo
- LTX‑2.3 Audio VAE (bf16). 모션과 사운드트랙이 동기화 상태를 유지할 수 있도록 공동 AV 잠재공간으로 오디오를 포장 및 복원. Model repo
- LTX‑2.3 Spatial Upscaler x2 v1.1. 세부 사항과 선명도를 향상시키는 전용 x2 잠재 업스케일러. Model repo
- LTX‑2.3 22B Distilled LoRA (384). 품질/효율성을 향상시킬 수 있는 선택적 LoRA, 모델의 외관을 변경 가능. Model card
- Tiny VAE (taeltx2_3). 업스케일 패스 전에 빠른 미리보기를 위한 경량 VAE. Model repo
- LTX‑2.3 Text Projection (bf16). 고품질 프롬프트 조건을 위해 사용되는 공식 텍스트‑투‑비디오 프로젝션. Model repo
Comfyui LTX 2.3 Director 워크플로우 사용 방법#
워크플로우는 두 단계로 실행됩니다. 1단계에서는 미리보기 속도로 구성, 모션 및 오디오 정렬을 설정합니다. 2단계에서는 업샘플링, 재가이드 및 세부 사항을 정제하여 최종 품질을 향상시킵니다. 마무리 블록은 디코딩, 오디오 믹싱 및 비디오 작성 작업을 수행합니다.
모델#
이 섹션은 LTX 2.3 Director를 구동하는 모델 스택과 텍스트 인코더를 준비합니다. LTX‑2.3 기본 모델을 로드하고, 스타일이나 효율성을 조정하려면 LoRA를 추가하세요. 전체 VAE가 나중에는 충실도를 보장하는 반면, 작은 VAE는 미리보기를 가속화합니다. LTX‑2.3과 함께 제공되는 이중 텍스트 컴포넌트는 추가 설정 없이 강력한 프롬프트 조건을 제공합니다.
주요 노드: CheckpointLoaderSimple (#77), DualCLIPLoader (#84), LoraLoaderModelOnly (#80, #93, #95), VAELoaderKJ (#78, #4, #3), LTX2SamplingPreviewOverride (#79).
1단계#
1단계에서는 타임라인을 일관된 첫 번째 비디오로 변환하고 동기화된 오디오를 제공합니다. 글로벌 톤과 샷별 프롬프트를 LTXDirector (#46)에 입력하고 이미지 및 지속 시간과 함께 세그먼트 시퀀스를 구성하세요; 노드는 결합된 AV 잠재공간, 가이드 데이터 및 프레임 속도를 반환합니다. LTXVConditioning (#5)와 LTXDirectorGuide (#8)는 이러한 방향을 구조화된 가이드로 변환합니다. CFGGuider (#9), BasicScheduler (#11), KSamplerSelect (#29), SamplerCustomAdvanced (#10)로 구성된 샘플러 스택은 전체 타임라인에 대한 초기 AV 잠재공간을 생성합니다. 이 패스를 사용하여 장면 순서, 페이싱 및 광범위한 모션을 검증한 후 업스케일링에 컴퓨팅을 투자하세요.
2단계 업스케일#
2단계에서는 첫 번째 패스의 의도를 유지하면서 해상도와 충실도를 향상시킵니다. LTXVCropGuides (#55)는 샷 전반에 걸쳐 구성을 정렬한 다음, LTXVLatentUpsampler (#52)는 LatentUpscaleModelLoader (#57)가 로드한 x2 공간 업스케일러를 적용합니다. 두 번째 LTXDirectorGuide (#58)는 업스케일링 후 타임라인 큐를 더 높은 세부 사항으로 다시 주입하며, 샘플러 스택(CFGGuider (#49), BasicScheduler (#54), KSamplerSelect (#53), SamplerCustomAdvanced (#47))은 텍스처, 얼굴 및 가장자리를 정제합니다. 그런 다음 AV 잠재공간은 최종 디코딩을 위해 분리되며 연결된 오디오 및 비디오 타이밍을 유지합니다.
비디오 처리#
마무리 블록은 프레임과 오디오를 디코딩하고, 시퀀스를 재구성하며, 결과를 저장합니다. LTXVCropGuides (#14)는 선택한 측면에 대한 커버리지를 보장하고, VAEDecodeTiled (#94)는 메모리 소모 없이 고해상도 비디오를 안전하게 디코딩합니다. LTXVAudioVAEDecode (#16)는 오디오 잠재공간에서 사운드트랙을 복원합니다. CreateVideo (#17)는 선택한 fps로 프레임과 오디오를 조립하고, SaveVideo (#30)는 최종 파일을 작성합니다.
Comfyui LTX 2.3 Director 워크플로우의 주요 노드#
LTXDirector(#46). LTX 2.3 Director의 핵심. 글로벌 프롬프트, 샷 세그먼트의 타임라인 및 선택적 샷별 로컬 프롬프트를 수용하여 구조화된 가이드와 동기화된 AV 잠재공간을 출력합니다. 각 샷이 자신의 설명을 얼마나 엄격하게 따르는지를 제어하기 위해 글로벌 및 로컬 프롬프트 간의 균형을 조정하세요. 컷 중심의 편집을 위해서는 세그먼트 정의를 명확하게 유지하고, 유연한 전환을 위해서는 중첩과 일관된 스타일 언어를 허용하세요.LTXDirectorGuide(#8). 1단계를 위한 감독의 큐를 실행 가능한 가이드로 변환합니다. 미리보기 패스 중 속도와 충실도를 교환하기 위해 스케일과 리샘플링 방법을 조정하세요. 장면이 너무 거칠어 보이면 그 영향을 증가시키고, 과도하게 제약된 경우 샘플러가 숨 쉴 수 있도록 줄이세요.LTXDirectorGuide(#58). 2단계를 위한 두 번째, 더 높은 충실도의 가이드. 업스케일링 후 프레이밍, 카메라 의도 및 스타일을 다시 주장하는 데 사용하세요. 이 노드와 업스케일러를 균형 있게 사용하세요: 강한 가이드는 구성을 고정하고, 가벼운 터치는 업스케일러가 세부 사항과 미세 텍스처를 강조할 수 있게 합니다.LTXVCropGuides(#55). 업스케일링 전에 구성을 정상화하고 측면 규칙을 시행합니다. 컷 전반에 걸쳐 수평선, 머리 공간 및 관심 중심을 안정화하는 데 사용하세요. 캐릭터가 프레임에서 프레임으로 이동하면, 리샘플링 전에 이러한 크롭 가이드를 강화하세요.LTXVLatentUpsampler(#52). 잠재공간에 LTX‑2.3 Spatial Upscaler x2를 적용합니다. 이는 1단계 미리보기에서 선명한 세부 사항을 복구하기 위한 주요 레버입니다. 선택한 업스케일러 모델이 VAE 쌍과 일치하도록 하여 불일치 아티팩트를 피하세요.CFGGuider(#9, #49). 샘플링 중 프롬프트 준수를 제어합니다. 낮은 값은 일반적으로 부드러운 모션과 자연스러운 전환을 제공하며, 높은 값은 텍스트 정확성을 강제합니다. 얼굴이나 소품이 이동하면 가이드를 약간 올리고, 모션이 딱딱해 보이면 완화하세요.BasicScheduler(#11, #54) 및KSamplerSelect(#29, #53). 노이즈 일정과 샘플링 방법을 정의합니다. 이 두 가지가 모션의 질감, 시간적 안정성 및 렌더 시간을 결정합니다. 깜박임이 보이면, 더 부드러운 일정이나 시간적 일관성으로 유명한 샘플러를 시도하세요; 결과가 세부 사항이 부족하면, 선명도를 선호하는 샘플러를 테스트하세요.SamplerCustomAdvanced(#10, #47). 두 패스의 작업 마스터 디노이저입니다. 노이즈 시드, 일정, 가이드 및 현재 잠재공간을 결합하여 AV 잠재공간을 생성합니다. 프롬프트를 비교할 때는 시드를 고정하여 사과 대 사과 비교를 하세요; 새로운 블로킹이나 타이밍을 원할 때는 시드를 변경하세요.VAEDecodeTiled(#94). 구성 가능한 타일로 고해상도 프레임을 디코딩합니다. 이음새가 보이면 중첩을 늘리고, 메모리 제한에 도달하면 타일 크기를 줄이세요. 중급 GPU에서도 일관된 안정성을 위해 타일 디코드를 사용하세요.CreateVideo(#17) 및SaveVideo(#30). 선택한 fps로 프레임과 오디오를 믹스하고 최종 컨테이너를 작성합니다. 타임라인과 fps를 일치시키지 않으면 페이싱이 변경됩니다. 아카이브 마스터의 경우, 네이티브 2단계 크기로 내보내고, 소셜 플랫폼의 경우 내보내기 중 크기를 조정할 수 있습니다.
선택적 추가 기능#
- 명확한 척추를 가진 타임라인을 구축하세요: 글로벌 프롬프트에 글로벌 스타일, 로컬 프롬프트에 샷 특수성, 세그먼트 전반에 걸쳐 캐릭터/카메라 명사를 일관되게 유지하세요.
- 참조 이미지는 외관과 레이아웃을 앵커링합니다. 설정 프레임이나 클로즈업과 같은 주요 샷에 사용하고, 인접 세그먼트는 유동성을 위해 텍스트에 더 의존하도록 하세요.
- 뮤직 비디오의 경우, 오디오를 일찍 추가하고 시드를 반복하여 모션 악센트가 비트에 맞도록 하세요; 그런 다음 시드를 고정하고 프롬프트를 정제하세요.
- 전환이 튄다면, 인접한 세그먼트 프롬프트를 길게 하여 스타일 언어를 공유하고 컷 전반에 걸쳐 구성 가이드를 유사하게 유지하세요.
- LoRA는 겹칠 수 있지만, 미세한 강도가 종종 가장 잘 작동합니다. 겸손하게 시작하고, 동시에 몇 개만 결합하며, 짧은 슬라이스에서 상호 작용을 테스트하세요.
- 재현 가능성이 중요합니다: 노이즈 시드, 샘플러 선택 및 승인한 외관에 사용한 모든 LoRA를 기록해 두세요.
- 업스케일링 후 얼굴이 흔들린다면, 2단계
LTXDirectorGuide(#58)에서 가이드 영향을 증가시키거나 시간적 안정성을 선호하는 일정으로 전환하세요. - 커뮤니티 큐레이션 목록을 통해 추가 LTX‑2.3 리소스 및 모델을 탐색하세요. awesome‑ltx2 on GitHub
LTX 2.3 Director로 Premiere나 After Effects와 같은 타임라인 편집기에 익숙한 방식으로 복잡한 다중 장면 비디오를 연출할 수 있으며, ComfyUI의 노드 그래프의 유연성을 유지할 수 있습니다. 1단계에서 스토리를 형성하고, 2단계에서 충실도를 추가하며, 하나의 일관된 워크플로우로 동기화된 오디오와 함께 시네마틱 결과를 배송하세요.
감사의 말#
이 워크플로우는 다음 작업 및 리소스를 구현하고 구축합니다. LTX 2.3 Director Workflow에 대한 기여 및 유지 관리에 대해 Aiwood爱屋研究室에 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하세요.
리소스#
- Aiwood爱屋研究室/LTX 2.3 Director Workflow Source
- 문서 / 릴리스 노트: LTX 2.3 Director Workflow Source
참고: 참조된 모델, 데이터 세트 및 코드의 사용은 해당 저자 및 유지 관리자가 제공한 라이선스 및 조건에 따릅니다.