LTX 2.3 인페인트 비디오 워크플로우로 정밀하고 마스크 기반의 편집
이 ComfyUI 워크플로우는 LTX‑2.3에 타겟 비디오 편집을 가져오며, 기본 모델과 LTX 2.3 Inpaint LoRA를 결합합니다. 변경할 영역 위에 마스크를 정의하면 파이프라인은 장면의 나머지 부분에서 움직임, 정체성, 조명, 시간적 일관성을 유지하면서 그 영역만 재생성합니다. 아티팩트 제거, 객체 교체, 세부사항 다듬기 또는 새로운 요소 삽입에 이상적입니다.
LTX 2.3 Inpaint는 처음부터 끝까지 통합되어 있습니다: 참조 비디오를 로드하고, 마스크를 생성하거나 자동 생성하며, 마스크가 적용된 프레임으로 모델을 안내하고, 초기 패스를 샘플링한 후 잠재적 업스케일러와 선택적 두 번째 인페인트 패스로 정제합니다. 오디오는 지원되며 편집된 클립의 지속 시간에 맞춰 침묵으로 생성될 수 있습니다.
ComfyUI LTX 2.3 Inpaint 워크플로우의 주요 모델
- LTX‑2.3 22B Transformer Only (dev 또는 distilled). 텍스트와 가이드를 사용하여 시간적으로 일관된 프레임을 합성하는 핵심 비디오 확산 트랜스포머입니다. 빠른 8단계 추론을 위해 디스틸드 빌드를 사용하세요. Hugging Face: Lightricks/LTX‑2.3 및 GitHub: LTX‑2
- LTX 2.3 Inpaint LoRA. LTX‑2.3에 맞춰 조정된 편집 LoRA로, 마스크된 영역 내에서 콘텐츠를 제거, 교체 또는 정제하면서 배경 움직임을 안정적으로 유지합니다. Hugging Face: Alissonerdx/LTX‑LoRAs
- Gemma 3 12B Instruct 텍스트 인코더 + LTX‑2.3 텍스트 투영. LTX‑2.3 트랜스포머를 위한 정렬된 텍스트 임베딩을 제공합니다. ComfyUI 사용을 위한 사전 패키지 가중치가 제공됩니다. Hugging Face: Comfy‑Org/ltx‑2 (split files)
- LTX‑2.3 Video VAE 및 Audio VAE. 트랜스포머 및 오디오 모듈이 사용하는 비디오 및 오디오 잠재를 압축하고 디코딩하여 효율적인 샘플링 및 동기화된 출력을 가능하게 합니다. ComfyUI를 위한 큐레이션된 바이너리가 제공됩니다. Hugging Face collection
- LTX‑2.3 Spatial Upscaler x2 및 Temporal Upscaler x2. 두 번째 패스에서 콘텐츠를 변경하지 않고 공간 세부사항을 향상시키고 시간적 역학을 안정화하는 선택적 잠재적 업스케일러입니다. Hugging Face: Lightricks/LTX‑2.3
- Segment Anything 2 (SAM 2). 비디오 프레임에서 자동, 포인트 기반 마스크 생성을 위해 사용되며, LTX 2.3 Inpaint 설정을 가속화합니다. GitHub: facebookresearch/segment‑anything‑2
ComfyUI LTX 2.3 Inpaint 워크플로우 사용 방법
워크플로우는 두 개의 조정된 단계로 실행됩니다. 먼저, 입력 비디오에서 마스크된 제어 스트림을 생성하고 편집된 첫 번째 패스를 생성합니다. 두 번째로, 잠재적 업스케일링으로 품질을 개선하고, 활성화된 경우 마스크된 고해상도 인페인트 패스를 추가합니다.
비디오 설정
이 그룹은 LTX 2.3 Inpaint를 위한 클립 길이와 프레임 간격을 계산합니다. FPS 및 Duration (Seconds)를 설정하여 타이밍을 정의하면 그래프가 total_frames를 계산합니다. 워크플로우는 또한 더 긴 이미지 차원을 타겟 해상도로 선택할 수 있게 하여, 입력을 일관되게 리사이즈하여 프롬프트, 마스크 및 가이드가 정렬되도록 합니다.
입력
VHS_LoadVideo로 짧은 참조 클립을 로드하고, 그래프가 프레임을 선택한 해상도로 사전 스케일링하도록 합니다. 파이프라인은 마스크 생성용으로 input_video라는 내부 복사본을 저장하고, 샘플링 중 LTX 2.3 Inpaint를 안내할 control_video를 저장합니다. 언제든지 컨트롤 스트림을 미리 보고 프레이밍 및 간격을 확인할 수 있습니다.
세분화
LTX 2.3 Inpaint를 위한 마스크를 어떻게 만들지 선택하십시오. Sam2Segmentation (#800)을 사용하여 포인트 기반, 자동 마스크를 생성하거나 PointsEditor (#860)로 세밀한 제어를 수행하십시오. GrowMaskWithBlur로 결과를 후처리하여 작은 안전 마진을 추가하고 BlockifyMask로 노이즈가 있는 가장자리를 줄이십시오; 워크플로우는 정리된 출력을 final_masks로 저장합니다.
제어 비디오 미리보기
그래프는 중립 프레임 위에 마스크된 영역을 합성하여 모델이 변경이 필요한 부분만 "볼" 수 있도록 합니다. ImageCompositeFromMaskBatch+는 마스크된 안내 프레임을 생성하고, VHS_VideoCombine은 타겟 FPS에서 시퀀스를 미리 봅니다. 이 집중된 제어 스트림은 LTX 2.3 Inpaint의 중추이며, 마스크되지 않은 콘텐츠를 보존하는 데 도움이 됩니다.
프롬프트
편집 후 나타날 것을 작성하고 변경되지 않을 측면을 명시적으로 유지하십시오. 메인 Manual Prompt 인코더 (#389)를 긍정적인 부분에 사용하고, 포함된 부정적 인코더를 사용하여 블러 및 워터마크와 같은 품질 억제기를 사용하십시오. 좋은 LTX 2.3 Inpaint 프롬프트는 새로운 객체, 그 재료, 규모 및 기존 구성과 조명 내에서 어떻게 앉아야 하는지를 설명합니다.
저해상도 생성
첫 번째 패스는 프롬프트와 제어 프레임을 모델의 가이드에 결합합니다. LTXVAddGuideMulti (#440)는 마스크된 가이드를 조건부와 연결하고, CFGGuider (#396)는 텍스트에 대한 준수를 균형 있게 하고, SamplerCustomAdvanced (#382)는 선택한 샘플러와 스케줄러로 추론을 실행합니다. 결과는 LTX 2.3 Inpaint 마스크를 이미 존중하는 시간적으로 일관된 편집된 클립입니다.
잠재적 업스케일
콘텐츠를 변경하지 않고 더 많은 세부사항을 원한다면 업샘플러를 활성화하십시오. LTXVLatentUpsampler (#818)는 잠재 공간에서 LTX 공간 업스케일러를 적용하고, VAEDecodeTiled로 메모리 효율적인 재구성을 위해 디코딩합니다. 내장된 나란히 비교 노드로 전후를 비교할 수 있습니다.
고해상도 생성
첫 번째 패스에 의해 안내된 더 높은 충실도의 인페인트를 위해, 워크플로우는 가이드를 자르고 다시 연결하며 LTXVAddGuideMulti (#877)로 샘플링하고 SamplerCustomAdvanced (#816)로 샘플링합니다. 이 단계는 여전히 마스크 인식 상태이며, 장면의 움직임을 안정적으로 유지하면서도 선명한 가장자리와 더 나은 질감을 추가합니다. 시간이 허락할 때 LTX 2.3 Inpaint 샷을 마무리하는 데 선호됩니다.
마스크 스위치
간단한 Automatic Segmentation 스위치는 수동 또는 자동 마스크를 인페인트 경로로 라우팅합니다. 대상이 배경에서 잘 분리된 경우 자동을 사용하고, 가장자리가 복잡하거나 LTX 2.3 Inpaint 동작에 대해 외과적인 제어가 필요한 경우 수동 포인트로 전환하십시오. 정리된 선택은 final_masks로 저장되어 재사용됩니다.
마스크된 인페인트 두 번째 패스
전용 고해상도 인페인트 분기는 마스킹을 더욱 발전시킵니다. SetLatentNoiseMask (#1010)는 마스크가 활성화된 곳에만 노이즈를 주입하여 모델이 편집된 영역을 재샘플링하면서 다른 모든 것을 동결합니다. 이 패스는 레이블을 교체하거나, 작은 아티팩트를 수정하거나, 최대 구성 잠금으로 소품을 교체하는 데 이상적입니다.
오디오
자신의 오디오를 로드하거나, 그래프가 클립 길이에 맞는 무음 베드를 생성하도록 할 수 있습니다. 오디오는 동기화를 위해 잠재로 인코딩되며, 선택적으로 미리보기된 후 저장 시 다시 혼합됩니다. LTX 2.3 Inpaint 설정을 조정하는 동안 순수한 비주얼을 선호한다면, 무음 경로를 활성화된 상태로 유지하십시오.
내보내기 및 비교
미리보기 노드는 타겟 FPS에서 제어 스트림, 패스 1 및 정제된 출력을 보여주어 빠른 품질 검사를 제공합니다. 나란히 비교 비디오는 LTX 2.3 Inpaint가 마스크된 영역에 미친 영향을 평가할 수 있도록 자동으로 생성됩니다.
ComfyUI LTX 2.3 Inpaint 워크플로우의 주요 노드
LoraLoaderModelOnly (#419)
LTX 2.3 Inpaint LoRA를 로드된 LTX‑2.3 트랜스포머에 부착하여 편집이 마스크에 국한되도록 합니다. strength를 증가시켜 인페인트 동작에 더 강하게 편향되도록 하거나 줄여서 기본 모델이 스타일에 더 영향을 미치도록 하십시오. 패스 간 일관성을 유지하여 외관 드리프트를 방지하십시오. 참조 모델 카드: LTX‑2.3, LTX 2.3 Inpaint LoRA.
Sam2Segmentation (#800)
input_video의 긍정적 포인트로부터 깨끗한 객체 마스크를 생성합니다. PointsEditor (#860)에서 포인트를 공급하여 빠르게 대상에 잠금하고, 마스크 성장 및 블록화로 정제하십시오. 신뢰할 수 있는 마스크는 색상 번짐을 줄이고 LTX 2.3 Inpaint가 더 빠르게 수렴하도록 합니다. 프로젝트 페이지: Segment Anything 2.
SetLatentNoiseMask (#417)
이진 마스크를 잠재에 직접 적용하여 선택된 영역만 재샘플링되도록 합니다. 경계에서 솔기가 보이는 경우 GrowMaskWithBlur로 마스크를 약간 확장하거나 매우 얇은 세부사항이 깜박이는 경우 블록 크기를 늘리십시오. 이 노드는 프레임 간 마스크되지 않은 콘텐츠를 완벽하게 안정적으로 유지하는 데 중심이 됩니다.
LTXVAddGuideMulti (#440)
마스크된 제어 프레임을 텍스트 조건화와 융합하여 모델이 프롬프트와 공간적으로 변경된 내용을 모두 안내받도록 합니다. 관련 영역에 계산을 집중하기 위해 크롭도 지원합니다. 저해상도 및 고해상도 패스 모두에서 사용하여 일관된 LTX 2.3 Inpaint 동작을 유지하십시오.
LTXVLatentUpsampler (#818)
LTX의 전용 x2 모델로 잠재를 업스케일한 후 타일링된 VAE로 메모리 효율적인 디코딩을 수행합니다. 가장자리, 미세 질감 및 작은 텍스트를 개선하지만 장면 레이아웃을 다시 해석하지 않습니다. 성공적인 첫 번째 패스 후 품질을 높이면서 타이밍과 정체성을 안정적으로 유지하기 위해 사용하십시오.
CFGGuider (#396)
모델이 프롬프트와 가이드를 얼마나 강하게 따라야 하는지를 제어합니다. 낮은 값은 텍스트에 대한 과적합을 줄이고 미묘한 움직임을 보존할 수 있으며, 높은 값은 마스크 내부의 강한 준수를 강제합니다. LTX 2.3 Inpaint가 너무 자유롭거나 너무 제한적으로 보일 때 LoRA 강도와 함께 조정하십시오.
BasicScheduler (#575)
샘플러가 사용하는 노이즈 스케줄을 설정합니다. 포함된 bong_tangent 스케줄은 RES4LYF 노드를 통해 지원되며, 해당 정확한 동작을 원할 경우 설치하십시오. 참조: RES4LYF 노드.
SamplerCustomAdvanced (#382)
선택한 샘플러 사전 설정으로 디노이징 루프를 실행합니다. 가장 일관된 LTX 2.3 Inpaint 외관을 위해 패스 간 동일한 샘플러를 사용하십시오. 추가 안정성이 필요한 경우 수동 또는 기본 시그마와 쌍을 이루어 노이즈 흐름을 미세 조정하십시오.
선택적 추가 기능
- LTX 2.3 Inpaint를 위한 프롬프트 작성: 새로운 객체를 정확하게 설명하고, 재료, 색상, 규모 및 기존 조명 내에 어떻게 앉아야 하는지를 포함하십시오; 블러 또는 오버레이를 억제하기 위해 부정적을 활성 상태로 유지하십시오.
- 마스킹 팁: 자연스러운 부드러운 가장자리를 덮기 위해 마스크를 약간 확장하십시오; 많은 불확실한 포인트보다는 SAM 2를 위해 몇 개의 확실한 포인트를 선호하십시오.
- 성능: 마스크 및 프롬프트에 대해 빠르게 반복하려면 축소 요인을 사용한 후 최종 패스 및 잠재 업스케일링을 위해 전체 스케일로 돌아가십시오.
- 일관성: 패스 간 LoRA 강도, CFG 및 샘플러 선택을 안정적으로 유지하여 시간적 또는 스타일 변화를 최소화하십시오.
감사의 말
이 워크플로우는 다음 작업 및 리소스를 구현하고 확장합니다. LTX 2.3 Inpaint Workflow Source의 기여 및 유지 관리에 대해 Alissonerdx에게 감사드립니다. 권위 있는 세부사항은 아래에 링크된 원래 문서 및 리포지토리를 참조하십시오.
리소스
- Alissonerdx/LTX 2.3 Inpaint Workflow Source
- Hugging Face: Alissonerdx/LTX-LoRAs
참고: 참조된 모델, 데이터셋 및 코드는 저자 및 관리자에 의해 제공된 해당 라이선스 및 조건에 따라 사용됩니다.
