ComfyUI를 위한 LTX 2.3 IC-LoRA 카메라 제어#
LTX 2.3 IC-LoRA 카메라 제어는 ComfyUI에서 LTX-Video 2.3을 위한 참조 기반 카메라 모션 워크플로우입니다. 짧은 참조 비디오와 창의적인 프롬프트를 제공하면 참조에서 새로 생성된 장면으로 카메라 경로를 전송하여 피사체 구성과 시간적 일관성을 유지하면서 콘텐츠, 조명 및 분위기에 집중할 수 있습니다.
영화 제작자, VFX 아티스트 및 AI 창작자를 위해 구축된 이 ComfyUI 워크플로우는 팬, 틸트, 돌리, 줌, 오르빗 무브를 조정 가능한 모션 강도로 재현합니다. LTX-2.3의 통합 오디오-비디오 생성과 카메라 제어를 위한 In-Context LoRA를 결합하여 부드러운 움직임, 일관된 프레이밍 및 동기화된 오디오를 한 번에 제공합니다.
Comfyui LTX 2.3 IC-LoRA 카메라 제어 워크플로우의 주요 모델#
- Lightricks LTX-2.3. 비디오 및 오디오를 공동으로 생성하는 확산 변환기로, 하나의 전방 패스에서 강력한 시간적 일관성과 동기화된 사운드를 제공합니다. 이 워크플로우의 핵심 생성기이며 IC-LoRA 안내의 목표입니다. 모델 카드
- LTX-Video VAE. LTX가 사용하는 시공간 비디오 VAE로, 프레임을 효율적으로 디노이징하기 위해 압축된 잠재 공간으로 압축한 후 샘플링이 끝날 때 고품질 프레임을 디코딩합니다. LTX-Video 및 LTX-2에 대한 기술 보고서에서 아키텍처 배경을 참조하십시오.
- Gemma 명령 조정 텍스트 인코더. 명령 조정된 Gemma 텍스트 인코더는 생성기가 따를 수 있는 조건 벡터로 프롬프트를 변환하여 세부적인 샷 설명 및 스타일 제어를 가능하게 합니다.
- LTX 2.3 IC-LoRA 카메라 제어용. 참조 비디오에서 카메라 모션 큐를 추출하여 LTX-2.3에 주입하여 새 장면의 가상 카메라를 참조 경로에 맞추는 특수한 In-Context LoRA 어댑터입니다.
Comfyui LTX 2.3 IC-LoRA 카메라 제어 워크플로우 사용 방법#
이 워크플로우는 참조를 준비하고 조건을 구축하고 샘플링을 실행한 후 오디오와 비디오를 믹싱하는 그룹으로 구성되어 있습니다. IC-LoRA는 참조에서 카메라 움직임을 추출하고 프롬프트는 화면에 나타날 내용을 정의합니다.
입력 비디오 설정#
이 그룹의 입력을 사용하여 초당 프레임 수, 클립 지속 시간 및 대상 긴 면 치수를 설정합니다. 이 세 가지 값은 프레임 예산과 전체 실행을 위한 작업 해상도를 결정합니다. FPS와 지속 시간을 참조에 맞추면 IC-LoRA가 원래 움직임의 타이밍과 속도를 재현하는 데 도움이 됩니다. 전달 비율과 성능 예산에 맞는 치수를 선택하십시오. 실험 중이라면, 모션이 적절해 보일 때까지 적당히 시작하고 점차적으로 규모를 늘리십시오.
참조 비디오 준비#
VHS_LoadVideo (#5983)를 사용하여 카메라 참조를 로드합니다. 파이프라인은 모델에 맞게 프레임을 스케일링하고 정규화한 후 크기와 개수를 계산하여 LTX-2.3과 잘 작동하는 치수를 보장합니다. 컷 없이 부드럽고 단일 테이크 샷이 LTX 2.3 IC-LoRA 카메라 제어에 가장 적합합니다. 어댑터는 스토리 편집이 아닌 카메라 경로를 학습하기 때문입니다. 팬, 틸트, 돌리, 줌, 오르빗 모두 지원되며 흔들리는 클립이나 급격한 장면 변화를 피하십시오. 참조가 대상보다 길면 가장 대표적인 세그먼트로 자르십시오.
전처리#
워크플로우는 선택한 해상도와 지속 시간에 맞춰 정렬된 빈 비디오 잠재를 생성한 후 LTXVImgToVideoConditionOnly (#5904)를 사용하여 정지 이미지에서 외모를 고정할 수 있습니다. 스타일에 맞는 정지를 제공하면 모션은 IC-LoRA에 맡기면서 피사체 및 팔레트 일관성을 개선할 수 있습니다. 이 단계는 또한 안전하고 모델 친화적인 치수를 계산하고 잠재 타임라인이 참조의 속도와 일치하도록 보장합니다. 결과는 카메라 제어를 위한 깨끗한 시작점입니다.
조건 설정#
긍정적 프롬프트에 주요 샷 설명을 작성하고 부정적 프롬프트에 원하지 않는 아티팩트를 나열합니다. 프롬프트는 인코딩되고 시간 인식 조건이 LTXVConditioning (#164)에서 조립됩니다. LTX 2.3 IC-LoRA 카메라 제어는 참조 비디오에서 추출한 카메라 모션 토큰으로 이 조건을 보강합니다. 텍스트를 피사체, 설정, 조명 및 예술 방향에 집중시키고 카메라 움직임은 참조에 맡겨 충돌하지 않도록 합니다. 각 번역 시 참조를 건드리지 않고도 톤과 스타일을 반복할 수 있습니다.
모델#
워크플로우는 LTX-2.3 기본 모델을 로드하고 대규모 해상도를 위한 성능 친화적인 주의 패치 및 피드 포워드 청킹을 적용하며 LTXICLoRALoaderModelOnly (#5924)를 사용하여 IC-LoRA를 주입합니다. 이는 VRAM 사용을 실용적으로 유지하면서 충실도와 모션 일관성을 보존합니다. IC-LoRA는 또한 그래프가 속도와 세부 사항을 균형 있게 조정하는 데 사용하는 잠재 다운스케일 팩터를 노출합니다. 이 그룹을 LTX 2.3 IC-LoRA 카메라 제어의 런타임 엔진 룸으로 생각하십시오.
샘플링#
SamplerCustom (#561)은 KSamplerSelect (#154)에서 선택한 샘플러와 수동 조정된 시그마 스케줄을 사용하여 디노이징 프로세스를 실행합니다. 샘플링 중 LTXAddVideoICLoRAGuide (#5899)는 프롬프트 조건, 외모 앵커 및 참조 기반 카메라 경로를 잠재에 융합합니다. 디노이징이 완료되면 비디오 및 오디오 잠재가 분할되고 디코딩된 후 VHS_VideoCombine (#604)이 프레임과 오디오를 선택한 프레임 속도로 믹싱합니다. 설명한 콘텐츠와 참조한 카메라 움직임을 모두 담은 공유 가능한 MP4를 얻을 수 있습니다. 카메라가 너무 경직되거나 느슨하다고 느끼면 모션 강도를 조정하고 다시 샘플링하십시오.
빈 오디오#
생성된 비디오와 동기화된 사운드를 합성할 수 있도록 LTX-2.3에 정렬된 오디오 잠재가 생성됩니다. 추가 작업 없이 움직임 타이밍에 맞는 주변, 폴리 같은 트랙을 제공합니다. 후반 작업에서 클립에 음악을 추가할 계획이라면 생성된 오디오를 무시하고 나중에 음소거하거나 교체할 수 있습니다. 모션 테스트 시 오디오를 켜 두면 타이밍과 강도를 판단하는 데 도움이 될 수 있습니다.
Comfyui LTX 2.3 IC-LoRA 카메라 제어 워크플로우의 주요 노드#
VHS_LoadVideo (#5983)#
카메라 모션을 제공하는 참조 클립을 로드합니다. 전송하려는 경로의 정확한 세그먼트를 선택하고 대상과 효과적인 프레임 속도를 일치시키는 데 사용하십시오. 짧고 안정적이며 단일 샷 입력이 가장 예측 가능한 모션 전송을 제공합니다. 필요하면 참조를 자르거나 프레임 한도를 줄여 더 빠르게 반복하십시오.
LTXICLoRALoaderModelOnly (#5924)#
기본 모델에 LTX 2.3 IC-LoRA 카메라 제어 어댑터를 주입하고 그래프가 효율성을 위해 사용하는 잠재 다운스케일 팩터를 노출합니다. 참조 카메라 경로에 더 엄격하게 따르려면 강도를 높이고, 모션을 느슨하게 하려면 낮추십시오. 최상의 결과를 위해 모델과 어댑터 버전을 일치시키십시오. 프로젝트 중간에 어댑터를 변경하면 카메라 해석 방식이 변경됩니다.
LTXAddVideoICLoRAGuide (#5899)#
조건 및 잠재에 IC-LoRA 안내를 첨부합니다. 여기의 주요 제어는 모션 강도로, 생성된 카메라가 참조를 얼마나 충실하게 따르는지를 조정합니다. 정확한 전송과 기술적 일치를 위해 높이고, 창의적 재해석을 위해 낮추십시오. 강력한 피사체 프롬프트와 결합하여 구성을 보존하면서 미세한 변화를 허용하십시오.
LTXVImgToVideoConditionOnly (#5904)#
정지 이미지를 모션을 부과하지 않는 외모 기반 안내로 바꿔 캐릭터, 팔레트 또는 예술 방향을 고정하는 데 이상적입니다. 첫 프레임이 정지에서 벗어난 경우 일치를 높이고, 외모가 과도하게 제약된 경우 낮추십시오. 이 노드는 선택 사항이며, 프롬프트와 IC-LoRA가 외모를 완전히 주도하도록 하려면 생략하십시오.
SamplerCustom (#561)#
선택한 샘플러 및 시그마 곡선으로 디노이징을 실행합니다. KSamplerSelect (#154)에서 euler_ancestral_cfg_pp와 같은 샘플러를 제공된 시그마 스케줄과 짝지어 세부 사항과 시간 안정성을 균형 있게 유지하십시오. 모션 강도를 높게 설정하면 과교정을 피하기 위해 부드러운 스케줄을 고려하십시오. 동일한 카메라 경로를 유지하면서 대안을 탐색하려면 다시 시드하십시오.
VHS_VideoCombine (#604)#
디코딩된 프레임과 오디오를 MP4로 믹싱하여 미리보기 또는 제공에 사용합니다. 파이프라인에 맞춰 형식과 출력 프레임 속도를 설정하십시오. 데일리용으로는 더 높은 압축으로 내보내고, 마무리 작업에는 하이라이트와 모션 리듬을 보존하기 위해 품질을 높이십시오. 출력에는 나중에 설정을 추적할 수 있도록 메타데이터가 포함됩니다.
선택적 추가 기능#
- LTX 2.3 IC-LoRA 카메라 제어에서 깨끗한 전송을 위해 단일 연속 이동, 최소한의 피사체 움직임, 컷 없는 참조를 선택하십시오.
- 대상 FPS 및 지속 시간을 참조와 일치시켜 1:1 타이밍을 달성하고, 느리거나 빠른 렌디션을 원할 경우 의도적으로 다르게 설정하십시오.
- 프롬프트를 콘텐츠 및 스타일에 집중시키고, 카메라 언어는 IC-LoRA에 맡겨 충돌 신호를 피하십시오.
- 가장자리 아티팩트가 보이면 조금 더 작은 긴 면 치수나 부드러운 샘플러를 시도하여 안정성을 개선하십시오.
- LTX 리소스 및 예제를 탐색하여 모델의 동작과 제어에 대한 이해를 심화하십시오: Lightricks/LTX-2.3, Lightricks/ComfyUI-LTXVideo, AVControl.
감사#
이 워크플로우는 다음의 작업 및 리소스를 구현하고 기반으로 합니다. 우리는 LTX 2.3 IC-LoRA 카메라 제어 워크플로우 소스에 대한 기여와 유지보수에 대해 Innovate Futures @ Benji에게 감사의 뜻을 표합니다. 권위 있는 세부 사항은 아래에 연결된 원본 문서 및 저장소를 참조하십시오.
리소스#
- Innovate Futures @ Benji/LTX 2.3 IC-LoRA 카메라 제어 워크플로우 소스
- 문서 / 릴리스 노트: LTX 2.3 IC-LoRA 카메라 제어 워크플로우 소스
참고: 참조된 모델, 데이터셋 및 코드의 사용은 해당 작성자 및 유지보수자가 제공하는 각각의 라이선스 및 조건에 따릅니다.