LTX 2.3 Sulphur 2 프롬프트 릴레이 워크플로우: ComfyUI에서 이미지-비디오 마이크로 액션 시퀀싱#
이 ComfyUI 워크플로우는 단일 참조 이미지와 분할된 모션 프롬프트를 짧은 시네마틱 클립으로 변환합니다. LTX‑2.3 증류 비디오 생성과 Sulphur 2 모션 LoRA 및 프롬프트 릴레이 스마트 인코딩을 결합하여 하나의 평면 프롬프트에 의존하는 대신 시퀀스로 마이크로 액션을 설명할 수 있습니다. 그래프는 동기화된 오디오 잠재, 검증된 비 내리는 거리 이미지-비디오 예제, 직접 클라우드 재생을 위한 정규화된 입력/출력을 위해 사전 연결되어 있습니다.
이 LTX 2.3 Sulphur 2 프롬프트 릴레이 워크플로우를 사용할 때 참조 프레임에 대한 강력한 시각적 고정을 원하고 비트별로 펼쳐지는 제어된 모션을 원할 때 사용하십시오. 영화 제작자, 편집자 및 모션 디자이너는 "비를 맞으며 걷기 | 머리 빗기 | 돌아서 손을 흔들기 | 퇴장"과 같은 "비트"를 배치하여 전체 샷에 걸쳐 일관된 모션과 프레이밍을 얻을 수 있습니다.
Comfyui LTX 2.3 Sulphur 2 프롬프트 릴레이 워크플로우의 주요 모델#
- LTX‑2.3 오디오-비주얼 기초 모델 (증류, 변환기 전용). 하나의 확산 패스에서 비디오 및 동기화된 오디오 토큰을 생성합니다; 이 워크플로우는 ComfyUI용으로 패키지된 증류된 22B 변형을 사용합니다. 가중치: Lightricks/LTX‑2.3 및 노드/유틸리티: Lightricks/ComfyUI‑LTXVideo. 연구 배경은 LTX‑Video 및 논문 LTX‑Video: Realtime Video Latent Diffusion에서도 참조하십시오.
- LTX‑Video VAE 쌍 (비디오 VAE + 오디오 VAE). 잠재 비디오 프레임과 타이밍 정렬에 사용되는 오디오 스트림을 인코딩/디코딩합니다. ComfyUI에 적합한 사전 구축된 VAE 파일은 LTX‑2.3 팩에서 사용할 수 있으며 예를 들어 Kijai/LTX2.3_comfy 및 공식 ComfyUI‑LTXVideo 저장소에서 사용할 수 있습니다.
- Gemma 기반 텍스트 인코더 및 LTX 텍스트 프로젝션. CLIP 스타일 인코더와 LTX 통합과 함께 번들로 제공되는 모델별 프로젝션 레이어를 통해 LTX‑2.3에 대한 장기 컨텍스트 프롬프트 이해를 제공합니다. 인코더 및 구성 파일은 ComfyUI‑LTXVideo에서 참조하십시오.
- Sulphur 2 모션 LoRA (선택 사항). 이미지-비디오 모션 페이싱 및 연속성을 편향시키기 위해 로드된 미세 조정 LoRA. 프롬프트 릴레이와 잘 어울리며 명시적인 비트-비트 제어를 원할 때 사용합니다.
Comfyui LTX 2.3 Sulphur 2 프롬프트 릴레이 워크플로우 사용 방법#
워크플로우는 참조 이미지에서 잠재 설정, 모델 및 LoRA, 프롬프트 시퀀싱, 샘플링, 디코딩 및 내보내기에 이르는 명확한 경로를 따릅니다. 데모 입력을 자신의 것으로 교체하고 아래에 설명된 몇 가지 컨트롤에 집중하십시오.
- 참조 이미지 및 크기 조정
LoadImage(#620)를 사용하여 앵커 이미지를 선택할 수 있습니다. 다음 노드인ImageScaleByAspectRatio V2(#621)는 구성을 안정적으로 유지하면서 작업 캔버스에 맞춥니다.LTXVPreprocess(#586)는 LTX 친화적 전처리를 적용하여 첫 번째 프레임이 주제, 조명 및 팔레트를 고정합니다. 이미 원하는 프레이밍과 일치하는 깨끗하고 잘 조명된 참조를 사용하십시오.
- 잠재 설정 (비디오 + 오디오)
EmptyLTXVLatentVideo(#577)는 캔버스 크기와 샷 길이를 정의합니다.Get_video_vae(#583) 및LTXVImgToVideoInplaceKJ(#617)는 참조 정지 이미지를 직접 잠재 비디오에 주입하여 첫 번째 프레임부터 일관된 모습을 유지합니다. 병렬로,Get_audio_vae(#576)와LTXVEmptyLatentAudio(#547)는 타이밍을 일치시키기 위해 (기본적으로 무음인) 동기화된 오디오 잠재를 만듭니다.LTXVConcatAVLatent(#548)는 통합 확산을 위해 두 스트림을 병합합니다.
- 모델 로딩 및 모션 제어
UNETLoader(#632)는 증류된 LTX‑2.3 변환기를 로드합니다. LoRA 스택은 동작을 추가합니다:LoraLoaderModelOnly(#630)는 증류된 LTX 도우미를 적용하고,LoraLoaderModelOnly(#628)는 Sulphur 2 모션 LoRA를 로드하며,LoraLoaderModelOnly(#606)는 I2V 안정화를 추가할 수 있습니다.PathchSageAttentionKJ(#542)는 성능/일관성을 위한 주의를 패치합니다. 이 노드들은 프롬프트가 모션을 얼마나 강하게 이끄는지와 참조를 유지하는지 결정합니다.
- 프롬프트 시퀀싱과 프롬프트 릴레이
DualCLIPLoader(#416)는 텍스트 인코더를 로드합니다.PromptRelaySmartEncode(#610)는 지속적인 세부 사항을 위한global_prompt와 액션 시퀀스를 위한smart_prompt를 수용합니다. "여자가 비를 맞으며 걷기 | 머리 빗기 | 돌아서 손을 흔들기 | 멀리 걸어가기"와 같은 파이프로 구분된 세그먼트를 사용하거나 "장면 1: … 장면 2: …"와 같은 블록 헤더를 사용하여 화면 시간을 가중치 할 수 있습니다. 노드는 세그먼트 전반에 걸쳐 시간을 자동으로 분배하므로 프레임을 세지 않고 비트를 작성할 수 있습니다. 구문 참조는 ComfyUI‑PromptRelay에서 참조하십시오.
- 컨디셔닝 및 프레임 속도
LTXVConditioning(#164)는 긍정적인 가이던스를 위한 프롬프트 릴레이 출력을 받고 최소한의 부정적인 기준선을 설정합니다 (ConditioningZeroOut, #420). 또한 샷의 목표 프레임 속도를 설정하여 다운스트림 노드가 세그먼트 가중치와 일치하도록 타이밍을 유지합니다.
- 샘플러 및 미리보기
BasicScheduler(#514)는 노이즈 스케줄을 형성합니다;KSamplerSelect(#154)는 샘플러를 선택합니다.VisualizeSigmasKJ(#358)는 스케줄을 미리보기하여 디노이징 곡선이 어떻게 진행될지 볼 수 있습니다.LTX2SamplingPreviewOverride(#588)는 확산 중 응답성 있는 미리보기를 가능하게 합니다.SamplerCustom(#561)는 AV 잠재, 프롬프트, LoRA 및 스케줄을 사용하여 통합 오디오-비디오 확산을 실행합니다.
- 디코드 및 내보내기
LTXVSeparateAVLatent(#549)는 최종 AV 잠재를 분리합니다.VAEDecode(#471)는 프레임을 생성하고,LTXVAudioVAEDecode(#550)는 오디오 잠재를 디코딩합니다.VHS_VideoCombine(#604)는 프레임과 오디오를 표준 yuv420p 포맷의 H.264 MP4로 믹싱하여 재생 및 편집에 준비된 상태로 만듭니다.
Comfyui LTX 2.3 Sulphur 2 프롬프트 릴레이 워크플로우의 주요 노드#
PromptRelaySmartEncode(#610)- 목적: 비트별 "스마트 프롬프트"를 전체 클립에 적절히 타이밍된 텍스트 컨디셔닝으로 변환합니다.
global_prompt를 사용하여 변하지 않는 세부 사항(스타일, 주제, 조명)을 설정하고smart_prompt를 사용하여 액션 시퀀스를 설정합니다. 두 가지 저작 스타일이 지원됩니다:|로 구분된 인라인 세그먼트와[0-50]과 같은 비례 태그가 있는 경우, 또는 범위에 따라 세그먼트를 가중치하는 "장면 1:"과 같은 블록 헤더 사용. 모호성을 피하기 위해 프롬프트당 한 가지 구문을 유지하십시오. 참조: ComfyUI‑PromptRelay.
- 목적: 비트별 "스마트 프롬프트"를 전체 클립에 적절히 타이밍된 텍스트 컨디셔닝으로 변환합니다.
LTXVImgToVideoInplaceKJ(#617)- 목적: 첫 번째 프레임의 모습을 고정하고 모션을 통해 부드럽게 전파합니다. 정체성이나 의상이 변하면 이미지 고착성을 높이고, 모션이 제약되어 보이면 이를 낮추어 더 많은 역동성을 허용하십시오. Sulphur 2 LoRA 강도와 균형을 맞춰서 참조가 안정적으로 유지되면서 모션이 과도하게 얼지 않도록 하십시오.
LoraLoaderModelOnly(#628) — Sulphur 2 모션 LoRA- 목적: Sulphur 2 미세 조정을 주입하여 모션 연속성, 경로 매끄러움 및 액션 스테이징을 편향시킵니다.
strength_model을 증가시켜 세그먼트 전반에 걸쳐 유도된 움직임을 강조하십시오; 과도한 제약이나 반복 패턴이 보이면 줄이십시오. 주제 충실도와 모션 에너지를 조화롭게 유지하기 위해ImgToVideoInplace강도와 함께 조정하십시오.
- 목적: Sulphur 2 미세 조정을 주입하여 모션 연속성, 경로 매끄러움 및 액션 스테이징을 편향시킵니다.
LTXVConditioning(#164)- 목적: LTX‑2.3에 대한 긍정적/부정적 컨디셔닝을 통합하고 클립의 프레임 속도를 설정합니다. 샷을 길게 하면 프롬프트 릴레이 세그먼트 가중치를 다시 방문하여 상대 타이밍이 의도한 비트와 여전히 일치하도록 하십시오.
SamplerCustom(#561)- 목적: 선택한 샘플러와 스케줄을 사용하여 디노이징 패스를 실행합니다. 모션이 불안정하면 약간 더 부드러운 스케줄 또는 시간적 안정성으로 알려진 샘플러를 시도하십시오; 프롬프트가 부족하면 가이던스를 약간 높이되 과도한 포화에 주의하십시오. 긴 실행 전에 스케줄의 모양을 sanity-check하기 위해
VisualizeSigmasKJ를 사용하십시오.
- 목적: 선택한 샘플러와 스케줄을 사용하여 디노이징 패스를 실행합니다. 모션이 불안정하면 약간 더 부드러운 스케줄 또는 시간적 안정성으로 알려진 샘플러를 시도하십시오; 프롬프트가 부족하면 가이던스를 약간 높이되 과도한 포화에 주의하십시오. 긴 실행 전에 스케줄의 모양을 sanity-check하기 위해
선택적 추가 기능#
- 프롬프트 릴레이로 효과적인 마이크로 액션 작성
- 인라인 스타일: "비를 맞으며 걷기 | 머리 빗기 | 돌아서 손을 흔들기 | 퇴장." 한 액션에 더 많은 시간을 주려면 "[0-200]" vs "[200-260]"와 같은 가중치 태그를 추가하십시오; 범위만 중요합니다.
- 블록 스타일: "장면 1:"과 같은 헤더를 자신의 줄에 사용하십시오. 헤더의 범위는 상대적인 지속 시간을 설정하고, 헤더는 토큰화 전 제거됩니다.
- 빠른 문제 해결
- 정체성 드리프트:
LTXVImgToVideoInplaceKJ에서 이미지 고착성을 증가시키거나 Sulphur 2strength_model을 줄이십시오. - 모션이 너무 느리거나 빠름: 스마트 프롬프트에서 세그먼트 스팬을 재조정하여 중요한 비트가 더 많은 시간 또는 더 적은 시간을 갖도록 하십시오.
- 깜박임 또는 아티팩트: 더 안정적인 샘플러와 스케줄을 시도하거나 가이던스를 약간 높이십시오; 과도한 선명도에 주의하십시오.
- 정체성 드리프트:
- 유용한 참조
- LTX‑2.3 모델 가중치 및 문서: Hugging Face: Lightricks/LTX‑2.3
- ComfyUI 노드 및 예제 흐름: Lightricks/ComfyUI‑LTXVideo
- 프롬프트 릴레이 구문 및 예제: kijai/ComfyUI‑PromptRelay
- 이 그래프에 사용된 LTX 친화적 도우미: kijai/ComfyUI‑KJNodes
감사#
이 워크플로우는 다음 작업 및 리소스를 구현하고 구축합니다. Lightricks의 LTX-Video, Kijai의 ComfyUI-PromptRelay 노드 및 ComfyUI-KJNodes 도우미, 그리고 그들의 기여 및 유지보수에 대한 RunningHub 및 RunComfy의 워크플로우 참조 및 Cloud Save 설정에 대해 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하십시오.
리소스#
- RunningHub/워크플로우 참조
- 문서 / 릴리스 노트: RunningHub 워크플로우 참조
- RunComfy/Cloud Save 설정
- 문서 / 릴리스 노트: RunComfy Cloud Save 설정
- Lightricks/LTX-Video
- GitHub: Lightricks/LTX-Video
- Hugging Face: Lightricks/LTX-Video-0.9.7-dev
- arXiv: arXiv:2501.00103
- kijai/ComfyUI-PromptRelay
- GitHub: kijai/ComfyUI-PromptRelay
- kijai/ComfyUI-KJNodes
- GitHub: kijai/ComfyUI-KJNodes
참고: 참조json
된 모델, 데이터세트 및 코드를 사용하는 것은 해당 저자 및 유지보수자가 제공하는 라이선스 및 약관에 따릅니다.

