LTX-2 First Last Frame: 시작에서 종료까지 제어된, 오디오 동기화 비디오 생성 in ComfyUI
LTX-2 First Last Frame은 ComfyUI에서 시작 프레임과 종료 프레임 간의 정밀하고 영화적인 모션을 원하는 크리에이터를 위한 워크플로우로, 하나의 패스로 동기화된 오디오와 비주얼을 생성합니다. 이미지(선택적으로 가이드 중간 프레임 포함)를 조건으로 하여, 파이프라인은 샷 전반의 정체성, 프레이밍 및 조명을 보존한 다음 모션을 조정하여 마지막 프레임에 정확히 도달하도록 합니다. 내러티브 비트, 타이틀 또는 씬 전환, 카메라 이동, 그리고 시간적 연속성과 오디오 정렬이 중요한 모든 순간을 위해 설계되었습니다.
LTX-2 실시간 모델에 의해 구동되는 워크플로우는 프롬프트, LoRAs를 통한 카메라 동작 및 첫/마지막 프레임 강도에 대한 세밀한 제어를 제공하면서 빠른 반복을 유지합니다. 결과는 첫 프레임에서 마지막 프레임까지의 지시를 따르는 부드럽고 일관된 시퀀스로, 타이밍, 외형 및 사운드를 포함합니다.
참고: 2x Large 이하의 머신 타입에서는 "ltx-2-19b-dev-fp8.safetensors" 모델을 사용하시기 바랍니다!
Comfyui LTX-2 First Last Frame 워크플로우의 주요 모델
- LTX-2 19B (dev). 텍스트 및 프레임 컨트롤에서 조인트 오디오-비디오 잠재를 생성하는 핵심 비디오 생성 모델; 실시간 반복 및 카메라 인식 LoRAs를 지원합니다. 공식 리포지토리 및 가중치 참조: Lightricks/LTX-2 on GitHub 및 Lightricks/LTX-2 on Hugging Face.
- Gemma 3 12B Instruct 텍스트 인코더 for LTX-2. 이 파이프라인에서 비주얼 및 오디오 프롬프트를 위한 견고한, 인스트럭션 튜닝된 언어 이해를 제공합니다; ComfyUI에 LTX 호환 텍스트 인코더로 패키지화되었습니다. 가중치 참조: Comfy-Org/ltx-2 split text encoders.
- LTXV Audio VAE (24 kHz vocoder). 사운드트랙이 비디오와 함께 생성되고 화면상의 액션과 동기화되도록 오디오 잠재를 인코딩하고 디코딩합니다. 모델 패밀리 컨텍스트 보기: Lightricks/LTX-2.
- LTX-2 Spatial Upscaler x2. 기본 패스 후 더 깨끗한 고해상도 결과를 위해 사용되는 잠재 업스케일러로, 업스케일 샘플링 단계에서 사용됩니다. 가중치는 Lightricks/LTX-2에서 제공됩니다.
- LTX-2 LoRA pack for 카메라 컨트롤 및 디테일. 카메라 모션 및 세부 사항을 형성하는 Dolly In/Out/Left/Right, Jib Up/Down, Static 및 이미지 조건화 디테일러와 같은 선택적 LoRAs. 공식 컬렉션 탐색: Lightricks LTX-2 LoRAs.
Comfyui LTX-2 First Last Frame 워크플로우 사용 방법
이 워크플로우는 입력 및 프롬프트에서 기본 오디오-비디오 샘플로 이동한 후, 오디오와 함께 MP4로 디코딩 및 멀티플렉싱하기 전에 2x 업스케일 패스를 수행합니다. 기본 및 업스케일 단계 모두에서 첫/마지막 프레임 컨트롤을 사용하며, 궤도를 안정화하기 위해 중간 프레임을 선택적으로 사용할 수 있습니다.
모델
모델 그룹은 LTX-2 체크포인트, Gemma 3 12B Instruct 텍스트 인코더 및 LTXV Audio VAE를 로드합니다. ckpt_name 패널을 사용하여 GPU에 따라 표준 및 FP8 버전 중 선택할 수 있습니다. 텍스트 인코더는 LTXAVTextEncoderLoader에 의해 제공되며 긍정적 및 부정적 프롬프트에 모두 피드됩니다. 오디오 VAE는 조인트 오디오-비디오 생성을 가능하게 하여 프롬프트에 설명된 대화, 효과 또는 분위기가 비주얼과 함께 나타나게 합니다.
프롬프트
긍정적 프롬프트에 장면을 작성하고 부정적 프롬프트에 바람직하지 않은 특성을 나열합니다. 시간이 지남에 따라 액션, 주요 비주얼 세부 사항 및 사운드 이벤트를 발생 순서대로 설명합니다. LTXVConditioning 블록은 선택한 프레임 속도와 함께 프롬프트를 적용하여 타이밍과 모션이 일관되게 해석되도록 합니다. 대화, 효과 또는 분위기가 필요할 때 오디오를 프롬프트의 일부로 취급하십시오.
비디오 설정
Width, Height 및 총 Video Frames를 설정한 다음, 필요에 따라 첫/마지막 컨트롤 간격을 위한 Length를 선택합니다. 워크플로우는 모델 요구 사항에 맞게 차원을 보장하고 입력을 적절히 스케일링합니다. 입력 이미지가 더 큰 경우, 그래프는 잠재 캔버스를 초기화하기 위해 크기를 읽고 제공된 프레임을 맞추기 위해 크기를 조정합니다. 의도한 전달에 맞는 프레임 속도를 선택하십시오.
잠재
이 그룹은 빈 비디오 잠재와 일치하는 오디오 잠재를 빌드한 후, 모델이 오디오와 비디오를 함께 샘플링할 수 있도록 이를 연결합니다. 기본 패스에서 첫/마지막 프레임 가이드가 처음 주입되는 곳입니다. 중간 프레임을 제공하는 것은 선택 사항이지만 중간 샷의 정체성 또는 키 포즈를 안정화하는 데 유용합니다. 결과는 기본 샘플링을 위한 단일 AV 잠재입니다.
기본 샘플러
기본 패스는 랜덤 노이즈, 스케줄러 및 구성된 가이더를 사용하여 프롬프트를 일관된 AV 잠재로 해결합니다. 가이더는 긍정적 및 부정적 조건화와 함께 LoRA 수정 모델을 받습니다. 샘플링 후, 잠재는 비디오와 오디오로 다시 분할되어 비디오는 업스케일되는 동안 오디오는 정렬된 상태로 유지됩니다. 이 단계는 업스케일 패스가 다듬을 전역 모션, 페이싱 및 오디오 리듬을 설정합니다.
업스케일
업스케일러는 두 번째 샘플링 패스 전에 잠재를 더 높은 공간 해상도로 끌어올립니다. 첫/마지막 프레임 컨트롤은 이 높은 해상도에서 다시 적용되어 시작과 종료 프레임을 정확히 고정합니다. 여기에서 중간 프레임을 피드하여 업스케일을 통해 기능을 안정적으로 유지할 수도 있습니다. 결과는 계획된 모션을 보존하는 더 선명한 AV 잠재입니다.
모델
이 모델 그룹은 업스케일 그룹에서 사용되는 LTX-2 잠재 업스케일러를 로드합니다. 특정 x2 공간 모델을 준비하고 이를 잠재 업샘플러 노드에 노출합니다. 여러 업스케일러를 유지하는 경우 여기에서 모델을 전환하십시오. 기본 x2 동작에 만족하는 경우 이 그룹은 그대로 두십시오.
업스케일 샘플링(2x)
두 번째 패스는 별도의 샘플러와 시그마 스케줄을 사용하여 업스케일된 잠재에서 가이드 샘플링을 수행합니다. 크롭 인식 가이드는 새로운 해상도에 조건화를 맞춰 세부 사항이 일관되게 유지되도록 합니다. 출력은 다시 비디오와 오디오로 분할되어 디코딩됩니다. 이 패스는 주로 가장자리를 선명하게 하고, 작은 텍스트나 질감을 개선하며, 첫/마지막 프레임 일치를 유지합니다.
LTX-2-19b-IC-LoRA-Detailer
이 그룹은 LTX-2의 이미지-조건화 경로에 맞춰 튜닝된 디테일 지향 LoRA를 적용합니다. 실제 이미지에 조건화한 후 더 많은 미세 디테일이나 더 타이트한 텍스처가 필요할 때 활성화하십시오. 프롬프트나 프레임 제약 조건을 과도하게 압도하지 않도록 강도를 적절히 유지하십시오. 입력이 이미 선명하고 잘 조명된 경우 이 LoRA를 우회할 수 있습니다.
카메라-컨트롤-Dolly-In
시간이 지남에 따라 카메라가 피사체로 밀어야 할 때 이 LoRA를 사용하십시오. 첫/마지막 목표를 존중하면서 모델을 앞으로의 모션으로 편향시킵니다. 이동을 설명하는 텍스트 큐와 함께 사용하여 가장 강력한 효과를 얻으십시오. 모션이 의도한 프레이밍을 초과하는 경우 강도를 줄이십시오.
카메라-컨트롤-Dolly-Out
샷이 피사체에서 멀어져야 할 때 선택하십시오. 시퀀스가 진행됨에 따라 음의 시차와 넓어지는 컨텍스트를 생성하는 데 도움이 됩니다. 마지막 프레임이 출구 구성과 일치하여 이동이 깔끔하게 끝나도록 유지하십시오. 영화적 공개를 위한 분위기 오디오 프롬프트와 결합하십시오.
카메라-컨트롤-Dolly-Left
왼쪽으로의 측면 이동을 적용하여 돌리나 트럭으로 읽힙니다. 대화 비트 또는 세트를 가로지르는 공개에 적합합니다. 객체가 번지거나 이동하는 경우 첫/마지막 강도를 약간 증가시키거나 중간 프레임을 추가하십시오. LoRA를 보완하기 위해 "천천히 왼쪽으로 이동"과 같은 작은 텍스트 힌트와 균형을 맞추십시오.
카메라-컨트롤-Dolly-Right
Dolly-Left의 반대편으로, 모션을 오른쪽으로 편향시킵니다. 캐릭터를 따르거나 새로운 피사체로 패닝할 때 잘 작동합니다. 푸시 인을 요청하는 경우 LoRA 강도를 적당히 유지하여 상충되는 신호를 피하십시오. 마지막 프레임의 구성이 원하는 끝점과 일치하는지 확인하십시오.
카메라-컨트롤-Jib-Up
수직 상승을 생성하여 공개를 들어 올리거나 설정 샷에 유용합니다. 시점 변경 및 지평선 이동에 대한 얕은 프롬프트와 결합하여 명확성을 제공합니다. 이동이 강할 때 천장이나 하늘 노출을 주시하십시오; 불투명 하이라이트를 피하기 위해 부정적 프롬프트를 조정하십시오. 필요한 경우 중간 상승 프레이밍을 보여주는 중간 프레임을 추가하십시오.
카메라-컨트롤-Jib-Down
종종 디테일이나 캐릭터에 정착하기 위해 사용되는 제어된 하강을 생성합니다. 강조를 위해 조용한 오디오 베드와 결합할 수 있습니다. 마지막 프레임에 타겟 객체나 얼굴이 포함되어 모션이 결정적으로 해결되도록 하십시오. 하강이 너무 빠르게 느껴지면 LoRA 강도를 조정하십시오.
카메라-컨트롤-Static
카메라가 모션 없이 가상으로 고정되어 피사체만 움직이는 액션이 필요할 때 사용합니다. 대화나 제품 샷에 유용하며, 첫/마지막 프레임 컨트롤과 결합하여 구성을 완벽하게 안정적으로 유지합니다. 카메라 LoRA 대신 텍스트 프롬프트를 통해 미세한 모션을 추가하십시오.
Comfyui LTX-2 First Last Frame 워크플로우의 주요 노드
LTXVFirstLastFrameControl_TTP (#227)
기본 AV 잠재에 첫 번째 및 마지막 이미지 제약을 주입합니다. first_strength를 조정하여 첫 번째 프레임이 얼마나 엄격히 일치하는지를 제어하고 last_strength를 조정하여 시퀀스가 최종 프레임에 얼마나 강하게 도달하는지를 결정합니다. 클립 중간이 드리프트하는 경우, LTXVMiddleFrame_TTP를 통해 중간 프레임을 제공하고 모션을 과도하게 제약하지 않도록 강도를 적절히 유지하십시오.
LTXVMiddleFrame_TTP (#181)
시작과 끝 사이의 선택한 position에서 가이드 프레임을 삽입하여 정체성이나 포즈를 안정화합니다. 피사체가 중간 샷에서 너무 많이 변경될 때 strength를 증가시키십시오. 신중하게 사용하십시오; 많은 경쟁 제약보다는 단일, 잘 선택된 중간 참조에서 최상의 결과가 나옵니다.
LTXVLatentUpsampler (#217)
LTX-2 공간 업스케일러를 사용하여 잠재 공간에서 x2 공간 업스케일을 수행합니다. 더 높은 해상도 세부 사항이 모델에 의해 정제되도록 2x 샘플링 패스 전에 이것을 사용하십시오. 메모리가 부족한 경우, 이 단계에서 LoRA 사용을 최소화하십시오.
LTXVFirstLastFrameControl_TTP (#223)
2x 업스케일 후 시작/종료(및 선택적 중간) 가이드를 재적용합니다. 이것은 최종 디코딩된 프레임이 전달 해상도에서 첫 번째 및 마지막 참조와 정확히 일치하도록 보장합니다. 업스케일이 미세한 이동을 도입할 경우, 기본 단계에서가 아니라 여기에서 last_strength를 약간 높이십시오.
LTXVSpatioTemporalTiledVAEDecode (#230)
공간-시간 타일링을 사용하여 고해상도 비디오 잠재를 프레임으로 디코딩합니다. 이음새나 시간적 깜박임이 보일 때만 타일 및 중첩 설정을 조정하십시오; 더 큰 중첩은 더 많은 VRAM을 소모하지만 일관성을 개선합니다. 마지막 프레임이 미세한 드리프트를 보이는 경우 last_frame_fix를 유지하십시오.
VHS_VideoCombine (#254)
디코딩된 프레임과 생성된 오디오를 단일 MP4로 멀티플렉싱합니다. 출력 format, pix_fmt, 및 crf를 전달 목표에 맞게 설정하고, 조건화와 일치하는 frame_rate를 선택하십시오. 각 렌더링과 함께 재현 가능성 기록을 유지하기 위해 메타데이터 저장을 활성화하십시오.
선택적 추가 사항
- GPU가 제한된 경우 LTX-2의 FP8 가중치를 사용하십시오; VRAM이 허용할 때 전체 정밀도로 전환하여 최고의 충실도를 얻으십시오. 가중치는 Lightricks/LTX-2에서 제공됩니다.
- 너비와 높이가 32n + 1 형식일 때 치수가 가장 잘 작동합니다; 총 프레임은 8n + 1 형식일 때 가장 잘 작동합니다. 워크플로우는 필요한 경우 가장 가까운 유효 값으로 자동 수정합니다.
- 긍정적 프롬프트에 직접 오디오 큐를 설명하십시오(대화, 효과, 분위기). 모델의 조인트 AV 잠재는 입술json
, 행동 및 소리를 정렬된 상태로 유지합니다.
- 첫 번째/마지막 강도를 중간으로 시작하십시오; 최종 포즈를 고정하려면 마지막 강도를 높이거나 정체성을 안정화하기 위해 중간 프레임을 추가하십시오.
- 명확한 의도를 위해 한 번에 하나의 카메라 LoRA만 적용하십시오. Lightricks LTX-2 LoRA collection에서 공식 옵션을 탐색하십시오.
감사의 말
이 워크플로우는 다음의 작업 및 리소스를 구현하고 구축합니다. 우리는 LTX-2 First Last Frame Workflow Reference의 기여와 유지보수에 대해 @AIKSK에게 감사를 표합니다. 권위 있는 세부 사항은 아래에 연결된 원본 문서 및 리포지토리를 참조하십시오.
리소스
- RunningHub/LTX-2 First Last Frame Workflow Reference
- 문서 / 릴리스 노트: LTX-2 First Last Frame Workflow Reference from AIKSK
참고: 참조된 모델, 데이터 세트 및 코드의 사용은 해당 저자 및 유지 관리자가 제공한 라이선스 및 조건에 따릅니다.