ComfyUI용 3D 영화 파이프라인#
3D 영화 파이프라인은 Mickmumpitz.ai가 제작한 ComfyUI 워크플로우로, 구조화된 3D 장면 패스를 시네마틱 AI 비디오로 변환합니다. 깊이 레이아웃, 클레이 렌더, 카메라 움직임 및 선택적 입술 마스크를 LTX‑2.3 비디오 모델과 결합하여 공간적 레이아웃, 렌즈 및 연속성을 유지하면서 모션, 외관 및 타이밍을 조정할 수 있습니다.
영화 제작자, 애니메이터 및 시각적 스토리텔러를 위해 설계된 3D 영화 파이프라인은 다중 샷 제작을 간소화합니다. 프레임 배치 제어, 객체 및 영역 가이드를 위한 고급 주의 기능, 음성 트랙으로부터 선택적인 립 싱크, 빠른 샷‑룩 미리 보기를 위한 보조 이미지 스테이지 등을 ComfyUI 안에서 모두 제공합니다.
Comfyui 3D 영화 파이프라인 워크플로우의 주요 모델#
핵심 비디오 스택
- LTX‑2.3 (22B) by Lightricks. 텍스트, 제어 신호 및 3D 가이드를 따라 시간적으로 일관된 영상을 합성하는 기본 비디오 생성 모델. Model card
- LTX Audio VAE (LTX‑2.3과 함께 번들). 오디오를 오디오 잠재공간으로 인코딩 및 디코딩하여 모델이 입 모양 및 움직임을 음성에 맞출 수 있도록 합니다. Model bundle
- LTX‑2.3 Distilled LoRA 384‑1.1. 몇 단계 샘플링을 가속화하고 dev 체크포인트와 함께 사용할 때 외관을 안정화합니다. LoRA
- LTX‑2 19B IC‑LoRA Detailer. 생성된 비디오에서 로컬 디테일 및 가장자리 충실도를 향상시킵니다. LoRA
- LTX‑2.3 OmniNFT RL LoRA. 비디오 스택을 위한 스타일 강화 및 일관성 도우미. LoRA
- IC‑LoRA Union‑Control (ref 0.5). 가이드에 색상 및 구조를 충실하게 유지하기 위해 사용되는 참조‑정렬 LoRA; LTX‑2.3에 종종 선호되는 19B 빌드. LoRA family
선택적 미리 보기 이미지 스택
- FLUX.2 Klein 9B (FP8). Canny + Depth를 스타일화된 프레임으로 변환하는 데 사용되는 빠른 이미지 생성기. Model card
- Qwen 3 8B 텍스트 인코더 for FLUX‑2. Files
- Flux‑2 VAE. FLUX‑2에 맞춘 이미지 VAE. Files
- Flux2‑Klein‑9B‑Consistency‑V2 LoRA. 미리 보기 프레임에서 색상 및 콘텐츠 일관성을 향상시킵니다. LoRA
ComfyUI용 LTX 노드의 참조 구현: ComfyUI‑LTXVideo
Comfyui 3D 영화 파이프라인 워크플로우 사용 방법#
3D 영화 파이프라인은 DCC 또는 레이아웃 도구에서 가져온 깊이 영화, 클레이/레이아웃 영화 및 선택적 입 마스크 영화를 결합하여 LTX‑2.3을 고급 주의, 참조 프레임 및 선택적 립 싱크와 함께 실행하여 최종 샷을 렌더링합니다. FLUX.2를 사용한 이미지 미리 보기 브랜치는 전체 패스를 커밋하기 전에 외관을 조정하는 데 도움이 됩니다.
해상도 및 샷 설정#
ResolutionPicker (#6082)를 사용하여 작업 중인 너비 및 높이를 설정하세요. 파이프라인은 효율적인 타일링과 안정적인 주의를 위해 64로 나누어 떨어지는 치수를 기대합니다. 모든 입력에서 동일한 비율을 유지하여 3D 영화 파이프라인이 의도치 않은 자르기나 레터박스 없이 패스를 정렬할 수 있도록 합니다. 빠른 테스트를 원하면 FRAME LOAD CAP (#6214)를 사용하여 프레임 수를 줄이세요.
입력 프레임 (시작, 중간, 끝)#
START (LoadImage (#6108)), MIDDLE (#6139), END (#6102)에 참조 스틸을 로드하세요. 워크플로우는 GetImageSize+ (#6071)를 사용하여 크기를 읽고 가이드를 그에 맞게 조정합니다. 이러한 프레임은 타임라인의 특정 인덱스에 배치하여 주요 포즈를 고정하거나, 스토리 비트를 설정하거나, 외관 전환을 강제할 수 있습니다. 3D 영화 파이프라인은 이러한 참조를 앵커로 사용하여 그 사이의 모션 및 연속성을 보간합니다.
렌더 패스: 깊이, 클레이/레이아웃, 입 마스크#
DEPTH(VHS_LoadVideo(#5893))는 3D 앱에서 깊이 영화를 가져옵니다. 이는 LTX‑2.3이 카메라 움직임과 차단을 존중할 수 있도록 원근, 폐쇄 및 체적 배치를 안내합니다.CLAY / LAYOUT(VHS_LoadVideo(#6094))는 실루엣, 세트 디자인 및 조명 신호를 구동하기 위해 평면 음영 또는 회색 음영 렌더를 제공합니다. 이를 기반으로 구조적 지침을 선명하게 하기 위해 Canny 가장자리 패스 (CannyEdgePreprocessor(#6095))가 파생됩니다.MOUTH MASK(VHS_LoadVideo(#6059))는 선택 사항이며 프레임당 입 영역을 표시합니다. 3D 영화 파이프라인은 이를 주의 마스크로 사용하여 얼굴의 나머지 부분을 방해하지 않고 입 모션을 세밀하게 조정할 수 있습니다.
입 마스크 조정#
마스크 비디오를 제공하는 경우, ImageToMask (#6060)는 프레임을 마스크로 변환하고 GrowMaskWithBlur (#6197)는 가장자리를 확장하고 부드럽게 하여 더 관대한 인페인팅을 제공합니다. USE MASK VIDEO? (#6244)는 생성된 솔리드 마스크와 들어오는 마스크 비디오 간 전환을 허용합니다. 이는 립 싱크 편집을 엄격하게 범위 내로 유지하고 말하는 영역 외부의 아티팩트를 줄입니다.
비디오 어셈블리 구동#
깊이 및 레이아웃 스트림은 ImageResizeKJv2 (#6097, #6099, #6103)로 정규화됩니다. BatchColorCorrector (#6100)는 노출 및 팔레트를 일관되게 유지하도록 색조 및 색상을 균형 맞춥니다. 그런 다음 3D 영화 파이프라인은 ImageBlend (#6096)를 사용하여 수정된 레이아웃과 Canny 윤곽을 혼합하여 생성기가 따르는 통합 구동 비디오를 형성합니다.
음성 오버#
LoadAudio (#5883)를 사용하여 내레이션이나 대화를 추가하세요. 이는 Set_VoiceOver (#6248) 및 Get_VoiceOver (#6249)를 통해 모델로 라우팅됩니다. 샘플러에서 립 싱크가 활성화되면 3D 영화 파이프라인은 이 오디오를 사용하여 입 모양 및 미세 움직임을 음성 콘텐츠에 맞춥니다.
LTX‑2.3으로 생성#
샘플러 노드 LTX 2.3 (#6202)는 3D 영화 파이프라인의 중심입니다. 모델, 텍스트 인코더, VAE, 오디오 VAE; 혼합 구동 비디오; 선택적 주의 마스크; 그리고 PROMPT (#6203)에서 제공한 프롬프트를 수신합니다. 토글을 통해 시작/중간/끝 프레임을 정의된 위치에 배치하고, 그 영향을 혼합하며, 제어 신호를 활성화하거나 우회하며 립 싱크를 켤 수 있습니다. 고급 주의 경로는 LTX 비디오 가이드 노드를 통해 프레임과 영역의 가중치를 조정하여 중요한 주제가 모델에 맞게 유지되도록 합니다.
출력#
노드는 SaveVideo (#6109)를 사용하여 편집 가능한 영화를 작성합니다. 대체 파이프라인이나 나란히 미리 보기를 위해 워크플로우에는 VHS_VideoCombine (#6057)도 포함되어 있습니다. 모든 단계에서 동일한 프레임 속도를 사용하여 오디오, 마스크 및 가이드를 3D 영화 파이프라인에서 완벽하게 정렬할 수 있습니다.
FLUX.2를 사용한 선택적 이미지 미리 보기#
전체 샷을 다시 렌더링하지 않고 빠르게 외관을 개발하려면 이미지 브랜치에서 Canny (CANNY (#7468)) 및 깊이 (DEPTH (#7469)) 스틸을 로드하고, 이를 혼합 (ImageBlend (#7466))하며, FLUX.2 Klein 9B (SAMPLER (#7465))를 프롬프트합니다. 일관성 LoRA는 가이드에 충실한 색상 및 디테일을 유지하는 데 도움이 됩니다. SaveImage (#7444)를 사용하여 프롬프트 및 LoRA 선택에 정보를 제공하는 미리 보기 프레임을 내보내기 전에 전체 3D 영화 파이프라인을 실행하세요.
Comfyui 3D 영화 파이프라인 워크플로우의 주요 노드#
LTX 2.3 (#6202)
- 역할: 텍스트, 3D 가이드, 제어 패스 및 오디오를 최종 시퀀스로 융합하는 주요 비디오 생성기.
- 조정할 사항: 오디오 제공 시 립 싱크를 켜고, ControlNet 스타일 가이드를 켜거나 끄고 전체 강도를 조정하며,
START,MIDDLE,END프레임을 배치하고 그 영향을 혼합하여 중요한 비트를 고정합니다. 입력과 일치하는 프레임 속도를 유지하여 타이밍 드리프트를 피하세요.
DEPTH (#5893)
- 역할: 장면 기하학 및 카메라 움직임을 설정하는 깊이 영화를 로드합니다.
- 조정할 사항:
ResolutionPicker와 해상도를 일치시키고 레이아웃 및 마스크 클립과 동일한 길이를 유지합니다. 룩 개발 중 빠른 반복을 위해FRAME LOAD CAP을 사용하세요.
CLAY / LAYOUT (#6094)
- 역할: 실루엣, 구성, 조명 의도 및 실루엣을 유도하는 레이아웃 또는 클레이 렌더를 제공합니다.
- 조정할 사항: 깊이 패스 해상도에 맞추고, 업스트림에서 그레이딩을 변경하면
BatchColorCorrector를 다시 실행하여 가이드가 일관성을 유지하도록 하세요.
USE MASK VIDEO? (#6244)
- 역할: 생성된 솔리드 입 마스크와 들어오는 마스크 비디오 간 전환.
- 조정할 사항: 립 싱크가 프레임별 정밀도를 필요로 할 때 비디오 마스크를 사용하고, 넓은 보호 영역만 필요할 때 솔리드 마스크로 전환하세요.
LTXICLoRALoaderModelOnly (#6223)
- 역할: 참조 정렬 및 색상/구조 충실도를 위한 유니온 컨트롤 IC‑LoRA를 로드합니다.
- 조정할 사항: 테스트에서 LTX‑2.3과 가장 잘 맞는 변형을 선택하세요; 많은 제작에서는 3D 영화 파이프라인을 실행할 때 더 엄격한 준수를 위해 19B 빌드를 선호합니다.
선택적 추가 기능#
- 모든 입력을 동일한 지속 시간 및 프레임 속도로 유지하여 3D 영화 파이프라인 전체에서 동기화를 유지하세요.
- 깊이는 깨끗하고 시간적으로 안정적이어야 합니다. DCC가 EXR 또는 16‑비트 PNG를 내보내면 한 번 중간 형식으로 변환하여 모든 반복에 재사용하세요.
- 시작/중간/끝 프레임은 명확하고 스토리 관련 포즈 또는 조명 상태를 보여줄 때 가장 잘 작동합니다; 거의 중복된 상태는 피하세요.
- 입 영역이 깜빡이면
GrowMaskWithBlur에서 마스크를 약간 확장하여 입술, 치아 및 얇은 피부 경계를 포함하세요. - 큰 샷의 경우,
FRAME LOAD CAP및 작은 해상도로 반복한 다음 결정을 위해 전체 해상도로 전환하세요. - 개발 체크포인트에서 증류 체크포인트로 전환할 때, 과도한 제약을 방지하기 위해 증류 LoRA를 비활성화하세요.
- 실제 Canny 및 Depth 가이드와 함께 FLUX.2 미리 보기 브랜치를 사용하여 팔레트 및 스타일을 테스트한 다음 전체 3D 영화 파이프라인을 실행하세요.
감사의 말#
이 워크플로우는 다음 작품 및 리소스를 구현 및 기반으로 합니다. 3D 영화 파이프라인 워크플로우 소스를 제공해 주신 MickMumpitz.ai에게 그들의 기여 및 유지 관리를 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하세요.
리소스#
- MickMumpitz.ai/3D 영화 파이프라인 워크플로우 소스
- 문서 / 릴리즈 노트: 3D 영화 파이프라인 워크플로우 소스
참고: 참조된 모델, 데이터 세트 및 코드의 사용은 해당 저자 및 유지 관리자가 제공하는 라이선스 및 조건에 따릅니다.