LTX Video | 이미지+텍스트를 비디오로

LTX Video는 Lightricks가 개발한 확산 기반 비디오 생성 모델입니다. 이 모델은 텍스트 프롬프트(텍스트-비디오) 또는 이미지와 텍스트 프롬프트의 조합(이미지+텍스트-비디오)에서 비디오를 생성할 수 있습니다. LTX Video는 768x512 해상도에서 초당 24 프레임(FPS)의 비디오를 생성하며, 시청 속도보다 빠르게 비디오를 생성합니다. 이 모델은 다양한 비디오를 포함하는 대규모 데이터셋으로 훈련되어, 높은 해상도에서 현실적이고 다양한 비디오 콘텐츠를 생성할 수 있습니다.

LTX Video Model과 ComfyUI-LTXVideo Nodes는 Lightricks에 의해 개발되었습니다. LTX Video를 만드는 데 기여한 모든 공로는 그들에게 돌아갑니다. LTX Video 및 Lightricks의 프로젝트에 대한 자세한 정보는 그들의 GitHub 저장소(https://github.com/Lightricks/LTX-Video) 또는 웹사이트(https://www.lightricks.com/ltxv)를 방문하세요.

LTX 모델의 기술

LTX Video는 비디오 생성을 위해 확산 기반 접근 방식을 사용합니다. 확산 모델은 여러 시간 단계에 걸쳐 노이즈가 있는 입력을 점차적으로 제거하여 최종 출력을 생성합니다. LTX Video의 경우, 모델은 노이즈가 있는 잠재 표현을 입력으로 받아 반복적으로 제거하여 비디오 프레임의 시퀀스를 생성합니다. 제거 과정은 제공된 텍스트 또는 이미지+텍스트 프롬프트에 의해 안내되어 생성된 비디오의 콘텐츠와 스타일을 제어합니다.

LTX Video가 사용하는 주요 기술은 다음과 같습니다:

• 확산 기반 비디오 생성: 확산 모델을 활용하여, LTX Video는 현실적인 움직임과 프레임 간 일관성을 갖춘 고품질 비디오를 생성할 수 있습니다.
• 텍스트-비디오 합성: LTX Video는 텍스트 설명에만 기반하여 비디오를 생성할 수 있어, 사용자가 자연어 프롬프트를 사용하여 처음부터 사용자 정의 비디오를 만들 수 있습니다.
• 이미지+텍스트-비디오 합성: LTX Video는 초기 이미지를 텍스트 프롬프트와 결합하여 비디오를 생성하는 것도 지원합니다. 이는 사용자가 비디오의 시작점을 제공하고 텍스트를 사용하여 콘텐츠와 스타일을 안내할 수 있게 합니다.

ComfyUI에서 LTX Video 워크플로우 사용 방법

1. 입력 준비:
   • 기본 워크플로우는 이미지 + 텍스트-비디오 생성입니다. 초기 이미지와 함께 텍스트 프롬프트를 제공하세요. 이미지는 시작점으로 사용되며, 모델은 이미지와 함께 제공된 텍스트에 기반하여 비디오를 생성합니다. 이 모델은 길고 설명적인 프롬프트가 필요합니다; 프롬프트가 너무 짧으면 품질이 크게 저하됩니다.
2. 모델 매개변수 구성:
   • 생성된 콘텐츠에 대한 원하는 해상도와 프레임 수를 설정하세요. 해상도는 32로 나누어 떨어져야 하고, 프레임 수는 8 + 1로 나누어 떨어져야 합니다(예: 257 프레임). LTX는 720x1280 픽셀 이하의 해상도와 257 프레임 미만에서 가장 잘 작동합니다.
   • 확산 단계, 노이즈 일정, 가이드 스케일 등 다른 매개변수를 요구 사항에 따라 조정하세요. 이러한 매개변수는 생성된 출력의 품질과 다양성을 제어합니다.
3. 콘텐츠 생성:
   • 출력은 지정된 해상도와 프레임 수를 갖게 되며, 제공된 입력 프롬프트에 맞춰 정렬됩니다.

LTX 모델의 한계

• LTX Video는 사실적인 정보를 제공하거나 의도하지 않습니다.
• 통계적 모델로서, LTX Video는 훈련 데이터에 존재하는 기존 사회적 편견을 증폭시킬 수 있습니다.
• 생성된 비디오는 제공된 프롬프트와 완벽하게 일치하지 않을 수 있습니다.
• 프롬프트에 대한 품질은 사용된 프롬프트 스타일에 크게 의존합니다.

라이선스

모델을 사용하려면 하에서 목적에 맞게 사용하세요.