LTX 2.3 프롬프트 릴레이: ComfyUI에서 다중 비트 이미지-비디오 생성#
LTX 2.3 프롬프트 릴레이는 ComfyUI 워크플로우로, 하나의 클립에서 여러 비트에 걸쳐 세그먼트화된 프롬프트 라우팅을 통해 이미지-비디오를 지시합니다. PromptRelayEncode를 훈련 없이 추론 시간 컨트롤러로 사용하여 다른 시간 범위에 다른 텍스트 지침을 할당할 수 있어, 비트당 카메라 움직임과 동작을 스크립트로 작성하면서 주제의 연속성과 부드러운 전환을 유지할 수 있습니다. Qwen VLM 도우미는 생성 전에 참조 이미지에서 스토리 비트를 자동 초안하거나 정제할 수 있습니다.
이 ComfyUI LTX 2.3 프롬프트 릴레이 워크플로우는 영화 단편, 제품 촬영, 내러티브 티저에 이상적이며, 장면별 제어가 필요하지만 미세 조정 없이도 가능합니다. 메타데이터가 보존된 H.264 MP4와 디코딩된 오디오가 포함된 동기화된 비디오를 생성합니다.
Comfyui LTX 2.3 프롬프트 릴레이 워크플로우의 주요 모델#
- LTX-Video 2.3 기본 체크포인트. 텍스트와 선택적 참조 프레임에서 시간적으로 일관된 비디오를 합성하는 생성 백본입니다. ComfyUI 사용자를 위한 커뮤니티 빌드 및 가중치 컨텍스트를 Hugging Face에서 참조하십시오. Kijai/LTX2.3_comfy
- LTX-Video 2.3 Video VAE 및 Audio VAE. 모델의 잠재 비디오와 잠재 오디오를 RGB 프레임과 파형으로 변환하여 MP4로 내보내는 데 사용됩니다. Kijai/LTX2.3_comfy
- Qwen VLM (Instruct). 참조 이미지를 읽고 워크플로우에서 로컬 프롬프트로 사용하는 다중 비트 액션 라인을 초안하는 비전-언어 모델입니다. ComfyUI-QwenVL 확장을 통해 통합되었습니다. 1038lab/ComfyUI-QwenVL
- 선택적 LTX 2.3 LoRAs. 스타일 또는 효율성을 위한 어댑터로, 텍스처와 선명도를 변경하면서 프롬프트를 변경하지 않고 쉽게 토글할 수 있도록 사전 연결되어 있습니다. Kijai/LTX2.3_comfy
Comfyui LTX 2.3 프롬프트 릴레이 워크플로우 사용 방법#
전체 흐름#
워크플로우는 단일 이미지를 시작 프레임으로 읽고, 전역 프롬프트와 비트별 로컬 프롬프트를 수집하여 Prompt Relay로 인코딩하고, 조합된 오디오-비디오 잠재 샘플을 추출한 후 프레임과 오디오를 MP4로 결합합니다. 그룹은 모델, 입력 비디오 설정, VLM, 조건화, 잠재 생성, 샘플링, 디코딩으로 구성됩니다.
모델#
기본 LTX-Video 2.3 체크포인트가 먼저 로드되고, 두 개의 선택적 LoRA가 순차적으로 적용되어 선명도와 효율성을 조정합니다. 긴 프롬프트에서 충실도를 향상시키기 위해 주의 패칭이 활성화됩니다. 두 개의 LoRA를 모두 유지하거나 하나를 비활성화하거나 중립적인 기본 외관을 선호하는 경우 완전히 우회할 수 있습니다.
입력 비디오 설정#
클립의 너비, 높이, 전체 초, 및 FPS를 선택하십시오. 워크플로우는 초와 FPS의 곱으로 프레임 수를 자동으로 계산하여 이미지와 오디오 길이를 동기화합니다. 프롬프트를 작성하기 전에 이들을 설정하여 몇 개의 비트가 편안하게 맞을지 알 수 있습니다.
VLM#
참조 이미지를 로드하거나 드롭합니다. 이미지는 전처리되어 Qwen VLM에 전송되며, 짧은 지침 템플릿을 따라 파이프 문자 "|"로 구분된 네 개의 간결한 비트 라인을 제안합니다. 생성된 텍스트를 화면 뷰어에서 검토하고 편집할 수 있으며, VLM을 건너뛰고 직접 작성할 수도 있습니다.
프롬프트 릴레이 조건화#
PromptRelayEncode는 스타일과 설정을 위한 전역 프롬프트와 비트별 동작을 위한 로컬 프롬프트를 받습니다. 로컬 프롬프트에서 "|"로 비트를 구분하십시오; 인코더는 각 세그먼트를 시간 범위에 라우팅하고 그 사이를 블렌딩하여 매끄러운 핸드오프를 제공합니다. 노드 출력은 프롬프트 조건화와 패치된 모델을 제공하여 샘플러가 비트 스크립트를 충실히 따릅니다. 참조 및 사용법은 ComfyUI-PromptRelay 프로젝트에서 제공합니다. kijai/ComfyUI-PromptRelay
잠재 생성#
선택한 해상도와 길이에 맞춰 빈 비디오 잠재가 초기화됩니다. 전처리된 참조 이미지는 정체성, 포즈, 조명을 고정하기 위해 타임라인의 첫 번째 프레임에 기록됩니다. 매칭되는 지속 시간의 빈 오디오 잠재가 생성되어 디코딩이 프레임과 함께 준비된 파형을 생성합니다.
샘플링#
스케줄러는 노이즈 스케줄을 생성하고, 비주얼라이저는 이를 미리 보고, 샘플러는 패치된 LTX 2.3 모델과 프롬프트 릴레이 조건화를 사용하여 결합된 오디오-비디오 잠재에서 실행됩니다. 샤프니스와 안정성 간의 다른 절충을 선호하는 경우 샘플러 유형을 변경할 수 있습니다. 결과는 이미 비디오와 오디오를 인코딩한 단일 잠재입니다.
디코딩 및 내보내기#
잠재는 비디오 및 오디오 브랜치로 분할된 후 LTX 2.3 Video VAE 및 Audio VAE에 의해 디코딩됩니다. VideoHelperSuite는 프레임과 파형을 표준 픽셀 형식의 H.264 MP4로 결합하여 널리 호환되는 플레이어와 호환성을 유지하고 메타데이터를 저장하여 재현성을 확보합니다. ComfyUI-VideoHelperSuite
Comfyui LTX 2.3 프롬프트 릴레이 워크플로우의 주요 노드#
PromptRelayEncode (#605)#
추론 시간에 세그먼트화된 프롬프트 라우팅을 적용하는 핵심 컨트롤러입니다. 지속해야 하는 스타일, 설정, 주제, 렌즈 언어에 대해 global_prompt를 사용하고, local_prompts는 비트별 동작을 위해 |로 구분합니다. 비트를 간결하고 집중되게 유지하십시오; 보통 3에서 6개의 비트가 깔끔하게 읽힙니다. 전환을 수동으로 타이밍하고 싶다면 인접 비트를 의미적으로 호환 가능하게 유지하여 블렌딩이 자연스럽게 이루어지도록 하십시오. 참조: kijai/ComfyUI-PromptRelay
AILab_QwenVL_Advanced (#610)#
참조 이미지를 읽고 짧은 지침 프롬프트를 사용하여 비트 라인으로 아이디어를 확장하는 VLM 어시스턴트입니다. 지침 텍스트를 편집하여 톤이나 카메라 어휘를 조정한 후, 뷰어에서 생성된 비트를 검토하십시오. 출력은 local_prompts로 직접 피드되며, 언제든지 자신의 작성으로 이를 대체할 수 있습니다. 참조: 1038lab/ComfyUI-QwenVL
LTXVImgToVideoInplaceKJ (#582)#
입력 이미지로 잠재 비디오의 첫 번째 프레임을 시드하여 비트 전반에 걸쳐 정체성과 조명 안정성을 촉진합니다. 순수 텍스트-비디오의 경우, 이 노드를 우회하고 빈 비디오 잠재에서 시작하십시오. 시드 프레임에 대한 강한 일치를 원한다면, 글로벌 프롬프트를 이미지 내용과 일치시키십시오.
BasicScheduler (#514) 및 VisualizeSigmasKJ (#358)#
샘플러가 사용하는 디노이징 스케줄을 제어하고 미리 봅니다. 샘플러 또는 단계 수를 전환할 때 곡선 모양을 확인하기 위해 비주얼라이저를 사용하십시오. 부드러운 스케줄은 종종 더 안정적인 움직임을 제공하며, 더 공격적인 스케줄은 디테일을 밀어냅니다.
VHS_VideoCombine (#604)#
디코딩된 프레임과 오디오를 단일 MP4로 묶어 널리 호환되는 픽셀 형식을 제공합니다. 입력 비디오 설정 그룹의 프레임 속도와 일치하여 정확한 동기화를 보장하십시오. 무음 내보내기를 원한다면 여기에서 오디오 입력을 분리하십시오. 참조: ComfyUI-VideoHelperSuite
선택적 추가 사항#
- 비트 작성 팁: 현재 시제로 작성하고, 각 비트를 하나의 동작으로 유지하며, 비트를 진행시키는 짧은 대화만 추가하고, "밀어넣기," "오른쪽으로 팬," 또는 "핸드헬드 드리프트"와 같은 카메라 동사로 시작하십시오.
- 글로벌 프롬프트를 예술적 방향과 광학(조명, 렌즈, 분위기)에 사용하고, 로컬 프롬프트를 동작, 제스처, 프레이밍 변경에 사용하십시오.
- 더 빠른 반복을 위해 비트를 작성하는 동안 해상도를 적당히 유지하고, 최종 렌더링 시 해상도를 높이십시오.
- LoRA가 과도하게 선명해지거나 색상을 변경하면 가중치를 낮추거나 하나를 비활성화하여 중립성을 회복하십시오.
감사의 말#
이 워크플로우는 다음 작업과 리소스를 구현 및 기반으로 합니다. 우리는 Prompt-Relay의 gordonchen19, ComfyUI-PromptRelay의 kijai, LTX2.3_comfy (ComfyUI 모델 컨텍스트)의 Kijai, ComfyUI-QwenVL의 1038lab, 그리고 워크플로우 소스의 Patreon 게시물 작성자(Innovate Futures @ Benji)에 대해 깊이 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하십시오.
리소스#
- Patreon/워크플로우 소스
- 문서 / 릴리즈 노트: post @Benji
- gordonchen19/Prompt-Relay
- GitHub: gordonchen19/Prompt-Relay
- 문서 / 릴리즈 노트: site
- kijai/ComfyUI-PromptRelay
- GitHub: kijai/ComfyUI-PromptRelay
- Kijai/LTX2.3_comfy
- Hugging Face: Kijai/LTX2.3_comfy
- 문서 / 릴리즈 노트: discussion #51
- 1038lab/ComfyUI-QwenVL
- GitHub: 1038lab/ComfyUI-QwenVL
참고: 참조된 모델, 데이터셋 및 코드의 사용은 해당 저자 및 유지 관리자가 제공한 라이센스 및 조건에 따릅니다.