FlashVSR | 실시간 비디오 업스케일러

FlashVSR 비디오 슈퍼 해상도 for ComfyUI: 초고속 복원, 스트리밍 품질, WanVideo 통합

이 워크플로우는 FlashVSR을 ComfyUI에 도입하여 세 가지 실행 준비가 된 경로를 제공합니다: 빠른 전환을 위한 초고속 업스케일러, 더 높은 충실도를 위한 스트리밍 품질 샘플러, FlashVSR 조건부와 텍스트-비디오 백본을 융합한 WanVideo 통합 경로. 실시간 비디오 슈퍼 해상도와 복원이 필요한 편집자, 컬러리스트, 창작자를 위해 설계되었습니다.

FlashVSR은 한 단계 확산, 지역적으로 제한된 희소 주의, 작은 조건부 디코더를 사용하여 저해상도 또는 AI 생성 영상의 업스케일링 및 정리를 최소한의 계산으로 수행합니다. 그래프는 오디오를 유지하고, 나란히 비교하는 렌더링을 제공하며, 각 브랜치별로 별도의 결과물을 작성하여 최상의 결과를 선택할 수 있도록 합니다.

Comfyui FlashVSR 워크플로우의 주요 모델

• FlashVSR (Ultra Fast). 한 단계 확산 및 실시간 추론을 위해 최적화된 경량 구현; 빠른 개선 및 라이브 미리보기에 이상적입니다. ComfyUI Ultra Fast 구현에 대한 플러그인과 노트는 여기에서 확인하세요.
• FlashVSR (Streaming/SM weights). 높은 충실도 변형으로, 견고한 시간적 디테일과 복원을 위한 작은 조건부 디코더를 갖추고 있습니다; KSampler 브랜치에서 사용됩니다. 핵심 노드 구현 및 가중치는 ComfyUI FlashVSR 저장소에 여기 문서화되어 있습니다.
• Wan 2.1 text-to-video 1.3B (FlashVSR-tuned). FlashVSR 조건부를 수용하도록 준비된 WanVideo 백본으로, Wan 샘플러 내에서 한 단계 복원을 제공합니다; FlashVSR TCDecoder를 통해 디코드합니다.
• uMT5-XXL text encoder. 프롬프트가 사용될 때 Wan 샘플러에 텍스트 임베딩을 제공합니다; 모델 참조: google/umt5-xxl.

Comfyui FlashVSR 워크플로우 사용 방법

한눈에 보기: 소스 클립을 로드한 후 렌더링할 하나 이상의 브랜치를 선택하세요. 모든 브랜치는 동일한 입력과 오디오를 상속받고 독립적으로 실행되어 자체 출력 파일과 선택적 비교 비디오를 생성할 수 있습니다.

전역 매개변수

• VHS_LoadVideo (#123)은 소스 클립을 로드하고 모든 렌더러에 오디오를 전달하여 사운드를 보존합니다. VHS_VideoInfo (#129)는 일관된 내보내기를 위해 FPS를 노출합니다. 두 개의 도우미 노드, “Before Resize” GetImageSizeAndCount (#162) 및 “After Resize” GetImageSizeAndCount (#163)은 각 브랜치가 처리하는 차원과 프레임 수를 보고하므로 항상 알고 있을 수 있습니다.
• LayerUtility: ImageScaleByAspectRatio V2 (#140, #154, #155)는 각 경로에 대해 레터박스 스케일링을 사용하여 프레임을 정규화합니다. 품질과 속도 간의 절충을 제어하기 위해 각 브랜치에 대해 긴 쪽 목표를 선택하세요.

FlashVSR Ultra-Fast

• 이 경로는 통과량을 우선시하면서 FlashVSR의 특유의 시간적 안정성을 유지합니다. 프레임은 크기가 조정되고 (ImageScaleByAspectRatio V2 (#154)), 두 가지 변형의 FlashVSRNode (#152는 “full”, #143은 “tiny”로 설정됨)로 전송되어 속도와 선명도를 비교할 수 있습니다.
• 각 변형은 오디오 패스스루와 함께 자체 비디오를 VHS_VideoCombine (#144 및 #153)을 통해 작성합니다. 빠른 클라이언트 확인, 데일리 업스케일링, 빠른 AI 영상 정리가 필요할 때 사용하세요.

FlashVSR_SM_KSampler

• 스트리밍 브랜치는 FlashVSR SM 가중치를 사용하여 더 높은 충실도를 목표로 합니다. 두 개의 FlashVSR_SM_Model 로더 (#158 TCDecoder 포함, #150 미포함)는 두 개의 FlashVSR_SM_KSampler 패스를 공급합니다 (#146 및 #148) 도전적인 영상을 위한 A/B 비교를 위해.
• 프레임은 작업 해상도로 크기가 조정된 후 (ImageScaleByAspectRatio V2 (#155)), Pass 1 및 Pass 2에서 처리됩니다. LayerUtility: PurgeVRAM V2 (#145, #147)는 제한된 GPU에서의 안정성을 위해 패스 간 메모리를 해제합니다.
• 각 패스는 결과를 작성합니다 (VHS_VideoCombine #157 “Pass_1”, #156 “Pass_2”). 두 개의 비교 컴포저 (ImageConcanate #165 및 #167)는 소스 대 결과의 나란히 비디오를 생성하므로 어떤 패스를 유지할지 빠르게 판단할 수 있습니다 (VHS_VideoCombine #166, #168).

KJ Wan Flash VSR

• 이 경로는 플래시VSR 조건부를 WanVideo 샘플러에 주입하여 선택적 텍스트 프롬프트에 의해 안내되는 한 단계 복원을 수행합니다. WanVideoModelLoader (#22)는 FlashVSR 조정된 Wan 모델을 로드하고, LoadWanVideoT5TextEncoder (#11) 및 WanVideoTextEncode (#104)는 스타일 가이드를 원하는 경우 프롬프트 임베딩을 제공합니다.
• 프레임은 크기가 조정되고 (ImageScaleByAspectRatio V2 (#140)), WanVideoEmptyEmbeds (#78)가 올바른 너비, 높이 및 프레임 수를 설정합니다. WanVideoAddFlashVSRInput (#114)는 샘플러가 기대하는 FlashVSR 임베드와 준비된 이미지를 융합합니다.
• WanVideoSampler (#27)는 한 단계 추론을 수행하며, WanVideoDecode (#121)는 FlashVSR TCDecoder 로더 (#119)를 사용하여 프레임을 재구성합니다. ColorMatch (#142) 단계는 원래의 모습을 복원하고, 선택적으로 나란히 조인 (ImageConcatMulti #117)을 수행합니다. 최종 출력은 VHS_VideoCombine (#135, #30)을 통해 작성됩니다.

Comfyui FlashVSR 워크플로우의 주요 노드

FlashVSRNode (#152, full)

• "full" 모드에서의 핵심 초고속 업스케일러. scale을 조정하여 2x/4x 작업을 수행하고, color_fix를 활성화하여 휘도를 안정화하며, 더 큰 해상도에서 작업할 때 tiled_vae 또는 tiled_dit을 사용하세요. 움직임의 부드러움이나 시간적 드리프트가 보일 때만 sparse_ratio, kv_ratio, local_range를 조정하세요. 구현 참조: ComfyUI-FlashVSR_Ultra_Fast.

FlashVSRNode (#143, tiny)

• 최대 속도를 위한 초고속 "tiny" 모드. 미리보기 또는 매우 긴 시퀀스에 사용하세요. 전체 노드와 같은 제어를 제공하지만 약간 부드러운 미세 디테일을 기대하세요. 참조: ComfyUI-FlashVSR_Ultra_Fast.

FlashVSR_SM_KSampler (#146, Pass 1)

• TCDecoder가 활성화된 모델과 쌍을 이루는 스트리밍 품질 샘플러 (#158). 먼저 scale을 설정한 다음, 디테일과 속도 간의 균형을 맞추기 위해 cfg 및 steps를 조정하세요. 고해상도에서 VRAM이 부족할 경우 full_tiled를 활성화하고 split_num을 줄이세요. 구현 세부사항 및 가중치: ComfyUI_FlashVSR.

FlashVSR_SM_KSampler (#148, Pass 2)

• 동일한 프레임에서 대체 TCDecoder/임베딩 조합을 테스트하기 위한 두 번째 스트리밍 패스. 제어된 A/B를 원할 때 패스 간 kv_ratio 및 local_range를 일관되게 유지하세요.

WanVideoAddFlashVSRInput (#114)

• 사전 처리된 프레임을 Wan 샘플러에 FlashVSR 조건부로 연결합니다. strength 제어는 프롬프트 영향에 비해 FlashVSR 복원이 얼마나 강하게 적용되는지를 결정합니다. 소스가 매우 압축되었거나 AI 생성된 경우 강도를 높이세요.

WanVideoSampler (#27)

• Wan 파이프라인 내에서 한 단계 추론을 수행합니다. 프롬프트를 사용할 경우 중립적으로 시작하고 강한 부정적 목록을 피하세요; FlashVSR이 복원을 처리하고 텍스트가 톤이나 장면 해석을 약간 조정하게 하세요. 이 경로에서 진정한 FlashVSR 동작을 위해 steps를 하나로 유지하세요.

ColorMatch (#142)

• 복원 후 원본 색상을 조화시킵니다. 비교를 내보낼 때 의도하지 않은 색조나 감마 변화를 피하기 위해 사용하세요.

선택적 추가 기능

• 브랜치 선택
  • 실시간 편집, 빠른 데일리, 긴 런타임에 FlashVSR Ultra-Fast를 사용하세요.
  • 소음이 많거나 압축되거나 깜박이는 영상에 추가적인 견고함이 필요할 때 FlashVSR SM KSampler를 사용하세요.
  • Wan 샘플러 내부에서 가벼운 프롬프트 가이드를 통해 한 단계 복원을 원할 경우 KJ Wan Flash VSR을 사용하세요.
• VRAM 위생
  • 스트리밍 브랜치는 안정성을 위한 명시적 VRAM 정리를 포함합니다. 긴 샷을 연결하는 경우 이를 활성화 상태로 유지하세요.
• 비교 및 전달
  • 워크플로우는 브랜치별 출력과 나란히 비교를 작성합니다. “Compare_” 파일을 먼저 검토한 후, 장면에 가장 적합한 패스를 유지하세요.
• 참조
  • Ultra Fast 구현: ComfyUI-FlashVSR_Ultra_Fast
  • FlashVSR 노드 및 SM 샘플러: ComfyUI_FlashVSR
  • uMT5-XXL 인코더: google/umt5-xxl

감사의 글

이 워크플로우는 다음의 작업 및 리소스를 구현하고 구축합니다. 우리는 ComfyUI FlashVSR 노드 (FlashVSR Source)와 ComfyUI FlashVSR Ultra Fast 노드 (FlashVSR Ultra Fast)를 제공하고 유지관리해주신 smthemex와 lihaoyun6에게 감사드립니다. 권위 있는 세부사항은 아래에 링크된 원본 문서 및 저장소를 참조하시기 바랍니다.

리소스

• FlashVSR Source
  • GitHub: smthemex/ComfyUI_FlashVSR
• FlashVSR Ultra Fast
  • GitHub: lihaoyun6/ComfyUI-FlashVSR_Ultra_Fast

참고: 참조된 모델, 데이터셋, 코드의 사용은 각 저자 및 유지관리자가 제공한 해당 라이선스 및 조건에 따릅니다.