FlashVSR | Echtzeit-Video-Hochskalierer

FlashVSR Video-Superauflösung für ComfyUI: ultraschnelle Restaurierung, Streaming-Qualität und WanVideo-Integration

Dieser Workflow bringt FlashVSR zu ComfyUI mit drei sofort einsatzbereiten Pfaden: einem ultraschnellen Hochskalierer für schnelle Durchläufe, einem Streaming-Qualität-Sampler für höhere Wiedergabetreue und einer WanVideo-integrierten Route, die FlashVSR-Konditionierung mit einem Text-zu-Video-Backbone verbindet. Es ist für Editoren, Coloristen und Kreative konzipiert, die Echtzeit-Video-Superauflösung und Restaurierung benötigen, während sie zeitliche Konsistenz bewahren.

FlashVSR nutzt Ein-Schritt-Diffusion, lokalitätsbeschränkte Sparse Attention und einen winzigen bedingten Decoder, um niedrig aufgelöste oder KI-generierte Aufnahmen mit minimalem Rechenaufwand hochzuskalieren und zu bereinigen. Der Graph behält Ihr Audio bei, bietet Vergleichsrenders nebeneinander und schreibt separate Lieferungen pro Zweig, sodass Sie das beste Ergebnis für Ihren Shot auswählen können.

Wichtige Modelle im ComfyUI FlashVSR-Workflow

• FlashVSR (Ultra Fast). Die leichte Implementierung optimiert für Ein-Schritt-Diffusion und Echtzeit-Inferenz; ideal für schnelle Verbesserungen und Live-Vorschauen. Siehe das Plugin und die Notizen in der ComfyUI Ultra Fast Implementierung hier.
• FlashVSR (Streaming/SM Gewichte). Variante mit höherer Wiedergabetreue und einem winzigen bedingten Decoder für robuste zeitliche Details und Restaurierung; verwendet vom KSampler-Zweig. Kernknoten-Implementierung und Gewichte sind im ComfyUI FlashVSR-Repo hier dokumentiert.
• Wan 2.1 Text-zu-Video 1.3B (FlashVSR-getunt). Ein WanVideo-Backbone, vorbereitet, um FlashVSR-Konditionierung für Ein-Schritt-Restaurierung innerhalb des Wan-Samplers zu akzeptieren; bietet Decodierung über den FlashVSR TCDecoder.
• uMT5-XXL Text-Encoder. Liefert Texteingebungen an den Wan-Sampler, wenn Eingabeaufforderungen verwendet werden; Modellreferenz: google/umt5-xxl.

So verwenden Sie den ComfyUI FlashVSR-Workflow

Auf einen Blick: Laden Sie einen Quellclip, wählen Sie dann einen oder mehrere Zweige zum Rendern. Alle Zweige erben denselben Input und Audio und können unabhängig laufen, wobei sie ihre eigenen Ausgabedateien und optionalen Vergleichsvideos produzieren.

Globale Parameter

• VHS_LoadVideo (#123) lädt Ihren Quellclip und übergibt Audio an jeden Renderer, um den Sound zu erhalten. VHS_VideoInfo (#129) zeigt die FPS für konsistente Exporte an. Zwei Hilfsknoten, „Before Resize“ GetImageSizeAndCount (#162) und „After Resize“ GetImageSizeAndCount (#163), melden Abmessungen und Frame-Anzahl, sodass Sie immer wissen, was jeder Zweig verarbeitet.
• LayerUtility: ImageScaleByAspectRatio V2 (#140, #154, #155) normalisiert Frames für jeden Pfad unter Verwendung von Letterbox-Skalierung. Wählen Sie Ihr Langseitenziel pro Zweig, um Kompromisse zwischen Qualität und Geschwindigkeit zu steuern.

FlashVSR Ultra-Fast

• Dieser Pfad priorisiert den Durchsatz, während er die charakteristische FlashVSR-zeitliche Stabilität beibehält. Frames werden (ImageScaleByAspectRatio V2 (#154)) und an zwei Varianten von FlashVSRNode (#152 auf „full“ gesetzt, #143 auf „tiny“ gesetzt) gesendet, damit Sie Geschwindigkeit und Schärfe vergleichen können.
• Jede Variante schreibt ihr eigenes Video über VHS_VideoCombine (#144 und #153) mit Audio-Passthrough. Verwenden Sie dies, wenn Sie schnelle Kundenüberprüfungen, Hochskalierung von Tagesmaterial oder schnelle KI-Footage-Bereinigung benötigen.

FlashVSR_SM_KSampler

• Der Streaming-Zweig zielt mit den FlashVSR SM-Gewichten auf höhere Wiedergabetreue ab. Zwei FlashVSR_SM_Model-Lader (#158 mit TCDecoder, #150 ohne) speisen zwei FlashVSR_SM_KSampler-Durchgänge (#146 und #148) für A/B-Vergleiche bei herausforderndem Filmmaterial.
• Frames werden auf eine Arbeitsauflösung (ImageScaleByAspectRatio V2 (#155)) skaliert und dann in Durchgang 1 und Durchgang 2 verarbeitet. LayerUtility: PurgeVRAM V2 (#145, #147) gibt zwischen den Durchgängen Speicher frei, um Stabilität auf begrenzten GPUs zu gewährleisten.
• Jeder Durchgang schreibt ein Ergebnis (VHS_VideoCombine #157 „Pass_1“, #156 „Pass_2“). Zwei Vergleichskomponisten (ImageConcanate #165 und #167) erzeugen Videos mit der Gegenüberstellung von Quelle und Ergebnis (VHS_VideoCombine #166, #168), sodass Sie schnell beurteilen können, welchen Durchgang Sie behalten möchten.

KJ Wan Flash VSR

• Dieser Weg injiziert FlashVSR-Konditionierung in einen WanVideo-Sampler für Ein-Schritt-Restaurierung, die durch optionale Texteingaben geleitet wird. WanVideoModelLoader (#22) lädt das FlashVSR-getunte Wan-Modell, während LoadWanVideoT5TextEncoder (#11) und WanVideoTextEncode (#104) Eingabeaufforderungseingebungen bereitstellen, wenn Sie stilistische Anleitung wünschen.
• Ihre Frames werden (ImageScaleByAspectRatio V2 (#140)) skaliert, dann setzt WanVideoEmptyEmbeds (#78) die richtige Breite, Höhe und Frame-Anzahl. WanVideoAddFlashVSRInput (#114) verbindet die vorbereiteten Bilder mit den FlashVSR-Einbettungen, die der Sampler erwartet.
• WanVideoSampler (#27) führt eine Ein-Schritt-Inferenz durch; WanVideoDecode (#121) rekonstruiert Frames mit dem FlashVSR TCDecoder-Lader (#119). Eine ColorMatch (#142) Stufe stellt das ursprüngliche Aussehen wieder her, gefolgt von einem optionalen nebeneinander Zusammenschluss (ImageConcatMulti #117). Die endgültigen Ausgaben werden über VHS_VideoCombine (#135, #30) geschrieben.

Schlüssel-Knoten im ComfyUI FlashVSR-Workflow

FlashVSRNode (#152, full)

• Kern-Ultraschnell-Hochskalierer im „full“-Modus. Passen Sie scale für 2x/4x-Arbeit an, aktivieren Sie color_fix, um die Luminanz zu stabilisieren, und verwenden Sie tiled_vae oder tiled_dit, wenn Sie in größeren Auflösungen arbeiten. Passen Sie sparse_ratio, kv_ratio und local_range nur an, wenn Sie Bewegungsweichheit oder zeitliches Driften feststellen. Implementierungsreferenz: ComfyUI-FlashVSR_Ultra_Fast.

FlashVSRNode (#143, tiny)

• Ultraschneller „tiny“-Modus für maximale Geschwindigkeit. Verwenden Sie es für Vorschauen oder sehr lange Sequenzen. Dieselben Steuerungen wie der Vollknoten, erwarten Sie jedoch leicht weichere Mikrodetails. Referenz: ComfyUI-FlashVSR_Ultra_Fast.

FlashVSR_SM_KSampler (#146, Pass 1)

• Streaming-Qualität Sampler, gepaart mit einem TCDecoder-fähigen Modell (#158). Setzen Sie zuerst scale, dann balancieren Sie cfg und steps für Detail vs. Geschwindigkeit. Wenn VRAM bei hohen Auflösungen knapp ist, aktivieren Sie full_tiled und reduzieren Sie split_num. Implementierungsdetails und Gewichte: ComfyUI_FlashVSR.

FlashVSR_SM_KSampler (#148, Pass 2)

• Zweiter Streaming-Durchgang mit einem komplementären Modell-Setup (#150). Verwenden Sie es, um alternative TCDecoder/Einbettungskombinationen auf denselben Frames zu testen. Halten Sie kv_ratio und local_range konsistent über die Durchgänge, wenn Sie einen kontrollierten A/B-Vergleich wünschen.

WanVideoAddFlashVSRInput (#114)

• Verbindet Ihre vorverarbeiteten Frames in den Wan-Sampler als FlashVSR-Konditionierung. Die strength-Kontrolle bestimmt, wie stark die FlashVSR-Restaurierung im Vergleich zu jedem Eingabeaufforderungseinfluss angewendet wird. Erhöhen Sie die Stärke, wenn die Quelle stark komprimiert oder KI-generiert ist.

WanVideoSampler (#27)

• Ein-Schritt-Inferenz innerhalb der Wan-Pipeline. Wenn Sie Eingabeaufforderungen verwenden, beginnen Sie neutral und vermeiden Sie starke negative Listen; lassen Sie FlashVSR die Restaurierung übernehmen, während der Text den Ton oder die Szeneninterpretation leicht beeinflusst. Halten Sie steps auf eins, um das wahre FlashVSR-Verhalten in diesem Weg zu erhalten.

ColorMatch (#142)

• Harmonisiert die Farbe nach der Restaurierung zurück zur Quelle. Verwenden Sie es, um unbeabsichtigte Farbton- oder Gamma-Verschiebungen zu vermeiden, insbesondere beim Exportieren von Vergleichen.

Optionale Extras

• Auswahl eines Zweigs
  • Verwenden Sie FlashVSR Ultra-Fast für Echtzeit-Bearbeitungen, schnelle Tagesmaterialien oder lange Laufzeiten.
  • Verwenden Sie FlashVSR SM KSampler, wenn Sie zusätzliche Robustheit bei rauschendem, komprimiertem oder flackerndem Filmmaterial benötigen.
  • Verwenden Sie KJ Wan Flash VSR, wenn Sie eine Ein-Schritt-Restaurierung mit leichter Eingabeaufforderung innerhalb eines Wan-Samplers wünschen.
• VRAM-Hygiene
  • Der Streaming-Zweig umfasst explizite VRAM-Bereinigungen für Stabilität. Wenn Sie lange Aufnahmen aneinanderreihen, halten Sie sie aktiviert.
• Vergleiche und Lieferung
  • Der Workflow schreibt pro Zweig Ausgaben plus Vergleiche nebeneinander. Überprüfen Sie zuerst die „Compare_“-Dateien, dann behalten Sie den Durchgang, der für Ihre Szene am besten aussieht.
• Referenzen
  • Ultra Fast Implementierung: ComfyUI-FlashVSR_Ultra_Fast
  • FlashVSR-Knoten und SM-Sampler: ComfyUI_FlashVSR
  • uMT5-XXL Encoder: google/umt5-xxl

Danksagungen

Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken smthemex für den ComfyUI FlashVSR-Knoten (FlashVSR Source) und lihaoyun6 für den ComfyUI FlashVSR Ultra Fast-Knoten (FlashVSR Ultra Fast) für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die Originaldokumentation und die unten verlinkten Repositories.

Ressourcen

• FlashVSR Source
  • GitHub: smthemex/ComfyUI_FlashVSR
• FlashVSR Ultra Fast
  • GitHub: lihaoyun6/ComfyUI-FlashVSR_Ultra_Fast

Hinweis: Die Verwendung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen der Autoren und Betreuer.