LTX 2.3 무엇이든 편집하기: ComfyUI를 위한 프롬프트 기반 비디오-비디오 편집 워크플로우#
이 워크플로우는 LTX-2.3와 LTX 2.3 Edit Anything LoRA를 사용하여 평범한 영어 편집 요청을 시간적으로 일관된 비디오 편집으로 바꿉니다. 장면을 재생성하는 대신, 입력 클립에 고정하고 모션, 정체성, 타이밍을 유지하면서 국부적이거나 전역적인 변경을 적용합니다. 일반적인 사용에는 객체 삽입 또는 제거, 배경 정리, 목표 교체, 창의적 스타일링이 포함됩니다.
그래프는 프롬프트 정규화, 가이드-프레임 조건 설정, 선택적 프레임 보간 및 앤티앨리어싱이 뒤따르는 일회성 생성 경로를 번들로 제공합니다. 편집된 클립과 소스와의 병렬 비교를 내보낼 수 있습니다. LTX 2.3 Edit Anything는 이 워크플로우의 중심입니다: LTX-2.3의 고충실도 룩을 유지하면서 광범위한 프롬프트 기반 편집 제어를 제공합니다.
Comfyui LTX 2.3 Edit Anything 워크플로우의 주요 모델#
- Lightricks의 LTX-2.3 기반 비디오 확산 변환기. 텍스트와 가이드를 통해 시간적으로 일관된 프레임을 예측하는 핵심 비디오 생성 백본. Model card • Repo
- LTX 2.3 Edit Anything LoRA. 장면 구조를 잃지 않고 추가/제거/교체/스타일 작업을 가능하게 하는 편집 특화 LoRA. Model
- LTX-2.3 증류 LoRA 384. 품질을 유지하면서 짧은 샘플링 일정을 가능하게 하는 증류; 빠른 편집을 원할 때 유용합니다. Model
- Gemma 3 12B Instruct 텍스트 인코더 + LTX-2.3 텍스트 프로젝션. LTX-2.3에 대한 조건 임베딩으로 정규화된 캡션을 인코딩합니다. Files
- LTX-2.3 비디오 VAE 및 오디오 VAE. 파이프라인 전반에 사용되는 비디오 및 오디오 잠재를 압축하고 디코딩합니다. Files
- LTX-2.3 공간 및 시간 업스케일러. 첫 번째 패스 해상도 이상을 목표로 할 때 더 선명한 프레임과 더 안정적인 모션을 위한 선택적 잠재 업스케일러. Spatial x2 • Temporal x2
- RIFE (실시간 중간 흐름 추정). 최종 내보내기에서 더 부드러운 모션을 위해 재생 FPS를 두 배로 늘리는 프레임 보간 모델. Repo • ComfyUI 확장
Comfyui LTX 2.3 Edit Anything 워크플로우 사용 방법#
높은 수준에서 비디오를 로드하고, 편집을 설명하고, 생성을 실행합니다. 워크플로우는 요청을 훈련 스타일 캡션으로 정규화하고, 소스 클립에서 가이드 프레임과 함께 LTX-2.3을 조건화하며, 편집된 결과를 샘플링합니다. 선택적 후처리는 프레임을 보간하고 내보내기 전에 적응형 앤티앨리어싱을 적용합니다.
비디오 설정#
이 그룹을 사용하여 클립 시간 및 출력 크기를 정의합니다. 목표에 맞게 FPS 및 Duration (Seconds)를 설정하세요; 그래프는 안정적인 샘플링에 맞춰 프레임 수를 계산합니다. 목표 긴 면에 대한 Resolution (Longer dimension)을 선택한 다음, 더 빠르고 작은 첫 번째 패스를 원할 경우 Downscale Video Factor를 설정하세요. 단일 패스를 유지할 계획이라면, 네이티브 크기 출력을 위해 1.0 계수를 선호하세요.
입력#
소스 클립을 VHS_LoadVideo에 로드하고 워크플로우가 리사이징을 처리하도록 하세요. 프레임은 선택한 긴 면으로 리사이즈되고, 속도를 위해 선택적으로 다운스케일되어 LTX-2.3을 준비하기 위해 LTXVPreprocess를 통과합니다. 동일한 입력이 나중에 모션과 콘텐츠를 고정하여 편집이 원래 장면을 따르도록 하는 "제어 비디오"로 저장됩니다.
프롬프트#
Describe the task here (Prompt)에 요청을 입력하세요. 내장된 TextGenerate 단계가 이를 데이터셋 스타일 캡션으로 다시 작성합니다. 예를 들어 “배경의 작은 빨간 차를 제거하세요.”와 같이 됩니다. 정규화된 캡션은 “Final Prompt”에 표시된 후 조건화를 위해 인코딩됩니다. 전체 제어를 원한다면 “Manual Prompt” 인코더에 정확한 캡션을 입력할 수도 있습니다.
모델#
로더는 LTX-2.3 백본을 초기화하고 LoRAs를 부착합니다. 일반적인 충실도를 위해 기본 모델을 사용하고 편집 가능성을 위해 LTX 2.3 Edit Anything LoRA를 추가하세요. 일정을 짧게 하면서도 일관성을 유지하고 싶다면 증류 LoRA를 선택적으로 포함하세요. 비디오 및 오디오 VAE는 잠재 인코딩/디코딩을 위해 여기에 준비됩니다.
저해상도 생성#
워크플로우는 캡션을 긍정/부정 조건으로 변환하고, 시간 안내가 목표에 맞도록 비디오 프레임 속도를 설정합니다. LTXVAddGuideMulti는 제어 비디오에서 가이드 정보를 주입하여 편집이 적용될 때 정체성, 레이아웃, 모션을 유지하는 데 도움을 줍니다. 사용자 정의 샘플러는 프롬프트 준수와 구조 보존을 균형 있게 맞추면서 안내된 노이즈에서 편집된 AV 잠재로 디노이징합니다. 샘플링 후, 비디오 잠재는 디코딩되어 첫 번째 패스 편집 프레임을 생성합니다.
빈 잠재#
이 경로는 샘플러가 사용하는 오디오/비디오 잠재를 준비합니다. 기본적으로 빈 오디오 잠재가 연결되어 있어 오디오를 편집하지 않을 때도 렌더링할 수 있습니다. 편집을 지역화하려면, SolidMask와 함께 SetLatentNoiseMask를 사용하여 새 노이즈가 주입될 위치를 제한할 수 있습니다. 이는 장면의 나머지를 건드리지 않고 단일 객체를 교체하는 데 유용합니다.
오디오#
소스 클립에 오디오가 포함되어 있다면, 변경 없이 통과시킬 수 있습니다; 그렇지 않으면, 그래프가 신뢰할 수 있는 내보내기를 위해 무음 트랙을 생성합니다. 사용자 지정 오디오를 로드하거나 녹음하여 기간에 맞게 잘라낼 수도 있습니다. 시각적 편집에만 집중한다면, 최종 결합 단계에서 오디오를 제거할 수 있습니다.
1 패스 결과#
이 영역은 편집된 프레임을 미리보고 제어 비디오를 사용하여 병렬적인 “전 vs 후” 비교를 조립합니다. LTX 2.3 Edit Anything 프롬프트가 올바른 영역을 타겟팅하고, 모션을 유지하며, 장면의 구성을 존중했는지 빠르게 확인하는 데 이상적입니다. 이 비교를 빠르게 공유 가능한 아티팩트로 내보낼 수 있습니다.
후처리#
더 부드러운 모션을 원한다면, RIFE VFI 단계가 프레임 사이를 보간하여 FPS를 두 배로 늘립니다. VideoAdaptiveAA는 최종 인코딩 전에 에지를 정리하기 위해 가벼운 앤티앨리어싱을 적용합니다. 수출업자는 모션이 자연스럽게 느껴지도록 원래 FPS의 두 배로 결과를 작성합니다.
Comfyui LTX 2.3 Edit Anything 워크플로우의 주요 노드#
TextGenerate (#178)#
비공식적인 요청을 LTX-2.3이 잘 이해하는 단일 트레이닝 스타일 캡션으로 변환하여 편집 정확도와 시간적 안정성을 향상시킵니다. 프로젝트 전반에 일관된 구문을 원할 때 사용하세요; 정확한 단어를 원한다면 “Manual Prompt”에 직접 입력하세요. 참조: LTX-2.3 프롬프트 처리에 대한 공식 저장소는 조건화 행동의 더 넓은 맥락을 제공합니다. Docs
LTXVConditioning (#51)#
긍정적 및 부정적 조건을 예정된 프레임 속도로 패키지하여 시간적 토큰이 클립에 맞게 정렬되도록 합니다. 내보내기와 일치하도록 frame_rate를 유지하여 드리프트를 피하세요; 이는 LTX 2.3 Edit Anything가 모션을 유지하면서 변경을 적용하는 데 도움을 줍니다. 무거운 부정적이 거의 필요하지 않으며, 간결한 부정적이 원치 않는 아티팩트를 억제하는 데 충분할 수 있습니다.
LTXVAddGuideMulti (#104)#
제어 비디오에서 하나 이상의 가이드 프레임을 잠재에 연결하여 편집이 원래 구조와 타이밍을 추적하도록 합니다. 가이드로 사용할 프레임을 변경하면 정체성 보존과 자세 일관성에 영향을 미칠 수 있습니다. 지역적 편집을 위해서는 마스크와 함께 사용하여 목표 지역에만 의미 있는 노이즈가 주입되도록 하세요.
SetLatentNoiseMask (#75)#
샘플러가 노이즈를 추가하거나 유지할 수 있는 위치를 정의하여 편집 영역을 효과적으로 제어합니다. 전체 흰색 마스크는 전체 프레임을 편집하며, 소프트 마스크는 바쁜 배경에 교체를 혼합하는 데 이상적입니다. 정밀한 공간적 제어가 필요할 때는 SolidMask를 페인팅된 마스크로 교체하세요.
SamplerCustomAdvanced (#38)#
선택한 샘플러와 일정을 사용하여 디노이징 프로세스를 구동합니다. 짧은 일정은 더 빠르지만 증류 LoRA에서 혜택을 받으며, 긴 일정은 시간의 대가로 준수성을 증가시킬 수 있습니다. 다른 룩이나 안정성 프로파일을 원한다면 동일한 가이드 설정을 유지하면서 대체 샘플러를 시도하세요. 참조: ComfyUI 샘플러 문서에서는 샘플러와 시그마 일정이 상호 작용하는 방식을 설명합니다. ComfyUI
RIFE VFI (#205)#
중간 프레임을 보간하여 확산 모델을 다시 샘플링하지 않고 부드러움을 증가시킵니다. 이는 콘텐츠를 보존하면서 모션 리듬을 개선하는 후처리 단계입니다. 참조: RIFE 모델 및 ComfyUI 통합. Model • Extension
선택적 추가 사항#
- 지역 편집 우선:
SetLatentNoiseMask와 페인팅된 마스크를 사용하여 LTX 2.3 Edit Anything가 변경을 적용하는 위치를 엄격히 제한한 후, 가장자리가 너무 뚜렷해 보이면 마스크를 넓히십시오. - 빠른 반복: 빠른 증명을 위해
Downscale Video Factor를 낮추고, 최종 렌더링을 위해1.0으로 돌아가거나 추가 선명도를 위해 공간/시간 업스케일러를 추가하십시오. - 오디오 없는 소스: 입력에 오디오가 없는 경우, 최종 결합에서 오디오를 비활성화하여 멀티플렉싱 오류를 피하거나 제공된 노드를 통해 무음 트랙을 제공하십시오.
- 일정 참고: 그래프에 표시된 “bong_tangent” 일정은 RES4LYF 노드 팩을 필요로 하며, 선택할 경우 확장을 먼저 설치하십시오. Repo
- 비교: 내장된 병렬 내보내기를 사용하여 정체성, 조명, 카메라 모션이 긴 렌더링을 시작하기 전에 보존되었는지 확인하십시오.
이 ComfyUI 템플릿은 LTX-2.3의 고충실도 백본과 LTX 2.3 Edit Anything LoRA를 결합하여 클립에서 요소를 추가, 제거, 교체 또는 스타일링하면서도 장면의 리듬을 유지할 수 있습니다.
감사의 말씀#
이 워크플로우는 다음 작업 및 리소스를 구현하고 기반으로 합니다. 우리는 그들의 기여와 유지 관리에 대해 LTX의 LTX 2.3 Edit Anything Workflow Source에 감사드립니다. 권위 있는 세부사항은 아래에 링크된 원본 문서 및 저장소를 참조하십시오.
리소스#
- LTX/LTX 2.3 Edit Anything Workflow Source
- 문서 / 릴리즈 노트 @Benji’s AI Playground: LTX 2.3 Edit Anything Workflow Source
참고: 참조된 모델, 데이터셋 및 코드의 사용은 해당 저자 및 유지 보수자가 제공하는 각각의 라이센스 및 조건에 따릅니다.