VACE 14B: All-in-One Videoerstellung und -bearbeitung

Was ist der ComfyUI VACE 14B Workflow?

ComfyUI VACE 14B ist ein leistungsstarkes einheitliches Framework, das verschiedene Videogenerierungs- und Bearbeitungsfunktionen in einem einzigen Modell integriert. Aufgebaut auf der fortschrittlichen Wan2.1-Grundlage und entwickelt von Tongyi Lab bei der Alibaba Group, ermöglicht ComfyUI VACE Erstellern, 5 wesentliche Videomanipulationsaufgaben durchzuführen, ohne zwischen spezialisierten Tools wechseln zu müssen. Dieser ComfyUI VACE 14B Workflow nutzt die Kraft des 14B-Parameter-Modells, um hochwertige Videoerstellungs- und Bearbeitungsfunktionen über eine intuitive Schnittstelle bereitzustellen.

1. Vorteile von ComfyUI VACE 14B

• All-in-One-Lösung: ComfyUI VACE bietet ein einheitliches Framework für Videoerstellung und -bearbeitung, ohne zwischen Tools wechseln zu müssen
• Hochwertige Ausgabe: Erstellen Sie Videos mit bis zu 720p Auflösung mit dem leistungsstarken VACE 14B Modell
• Flexible Steuerungen: Der ComfyUI VACE Workflow bietet mehrere Eingabemodalitäten, einschließlich Referenzbilder, Masken, Tiefenkarten und Text-Prompts
• Identitätserhaltung: ComfyUI VACE bewahrt die Subjektidentität während Transformationen und Generierung bei Verwendung von VACE 14B
• Aufgabenkomposition: ComfyUI VACE ermöglicht es Ihnen, verschiedene Fähigkeiten für komplexe Transformationen durch VACE 14B zu kombinieren

2. Fünf Hauptfähigkeiten im ComfyUI VACE 14B Workflow

Der ComfyUI VACE Workflow umfasst 5 verschiedene Komponenten, die jeweils auf verschiedene Videoerstellungs- und Bearbeitungsaufgaben spezialisiert sind, die von VACE 14B unterstützt werden:

1. Referenzbild+ControlNet: ComfyUI VACE ermöglicht es Ihnen, die Hauptfigur in Ihrem Video mit einer aus einem Referenzbild zu tauschen, während Bewegung und Struktur dank VACE 14B intakt bleiben
2. Zwei Bilder zu Video: Mit ComfyUI VACE erstellen Sie ein Video, das zwei Charaktere oder Objekte kombiniert, die jeweils aus einem separaten Referenzbild durch VACE 14B stammen
3. Erste und letzte Bilder: ComfyUI VACE leitet die Videogenerierung präzise, indem sowohl das erste als auch das letzte Bild festgelegt werden, um flüssige Bewegungen über die Bilder hinweg durch VACE 14B zu gewährleisten
4. Video-Objektbearbeitung: ComfyUI VACE ermöglicht es Ihnen, spezifische Objekte in Videos selektiv zu modifizieren, während andere mithilfe von VACE 14B erhalten bleiben
5. Videoerweiterung: Mithilfe von ComfyUI VACE führen Sie räumliches Outpainting durch, um den Videorahmen zu vergrößern und die visuelle Kohärenz mit der VACE 14B Technologie zu bewahren

3. Schnellstartanleitung für ComfyUI VACE 14B

3.1 ComfyUI VACE Referenzbild+ControlNet Schnellstart

1. Wählen Sie die "Referenzbild+ControlNet" Workflow-Gruppe in ComfyUI VACE
2. Laden Sie Ihr Quellvideo im Load Video (Upload) Knoten hoch
3. Laden Sie ein Referenzbild des neuen Subjekts im Load Image Knoten hoch
   • Tipp: Die Verwendung von Referenzbildern mit weißem Hintergrund führt häufig zu einer besseren Subjektintegration bei Verwendung von VACE 14B
4. Geben Sie beschreibende Prompts über die gewünschte Szene und den Stil ein
5. Verwenden Sie negative Prompts, um unerwünschte Elemente in Ihrem ComfyUI VACE-Output zu vermeiden, der von VACE 14B generiert wird
6. Empfohlene Auflösung: 512x672 wird für Speicher Effizienz mit ComfyUI VACE 14B empfohlen
7. Passen Sie die Abtastparameter an
8. Klicken Sie auf "Run", um das Video mit dem Stil/Subject des Referenzbildes mithilfe von ComfyUI VACE 14B zu generieren

3.2 ComfyUI VACE Zwei Bilder zu Video Schnellstart

1. Wählen Sie die "Zwei Bilder zu Video" Workflow-Gruppe in ComfyUI VACE
2. Laden Sie Ihr erstes Referenzbild in den ersten Load Image Knoten hoch
3. Laden Sie Ihr zweites Referenzbild in den zweiten Load Image Knoten hoch
4. Diese ComfyUI VACE Methode, unterstützt von VACE 14B, ist besonders gut geeignet für E-Commerce-Anwendungen und bekannt für ihre Fähigkeit, feine Details effektiv darzustellen, einschließlich Hände
5. Geben Sie detaillierte Prompts ein, die die gewünschte Szene, den Stil und die Bewegungs- oder Übergangseigenschaften zwischen den Bildern beschreiben
6. Passen Sie frame_rate im Video Combine Knoten an, um die Videoglatte in Ihrem ComfyUI VACE-Output, erstellt von VACE 14B, festzulegen
7. Konfigurieren Sie die Abtastparameter im WanVideo Sampler Knoten
8. Klicken Sie auf "Run", um den Videoübergang mit ComfyUI VACE 14B zu generieren

3.3 ComfyUI VACE Erste und Letzte Bilder Schnellstart

1. Wählen Sie die "Erste und letzte Bilder" Workflow-Gruppe in der ComfyUI VACE-Schnittstelle
2. Laden Sie Ihr Startbild in den ersten Load Image Knoten hoch
3. Laden Sie Ihr Endbild in den zweiten Load Image Knoten hoch
4. Konfigurieren Sie die WanVideo VACE Start To End Frame Knotenparameter für optimale VACE 14B Ergebnisse
5. Geben Sie Prompts ein, die die gewünschte Bewegung und den Übergangsstil für die ComfyUI VACE Verarbeitung beschreiben
6. Passen Sie die Abtastparameter an, um die VACE 14B Generierung fein abzustimmen
7. Klicken Sie auf "Run", um ein flüssiges Übergangsvideo mit ComfyUI VACE 14B zu erstellen

3.4 ComfyUI VACE Video-Objektbearbeitung Schnellstart

1. Wählen Sie die "Video-Objektbearbeitung" Workflow-Gruppe in ComfyUI VACE
2. Laden Sie Ihr Quellvideo mit dem Load Video (Upload) Knoten hoch
3. Machen Sie manuell einen Screenshot eines Rahmens aus Ihrem Video mit einem beliebigen Videoplayer
4. Laden Sie diesen Rahmen in den Points Editor Knoten über den bg_image Eingang hoch — dieser Rahmen wird für die manuelle Punktannotation in ComfyUI VACE für die VACE 14B Verarbeitung verwendet
5. Laden Sie das Referenzbild des Objekts, das Sie einfügen oder ersetzen möchten, mit dem Load Image Knoten hoch
6. Markieren Sie im ComfyUI VACE Points Editor Bereiche wie folgt:
   • Grüne Punkte (Shift + Linksklick): markieren Sie Bereiche, die modifiziert werden sollen (z.B. das zu ersetzende Objekt)
   • Rote Punkte (Shift + Rechtsklick): markieren Sie Bereiche, die erhalten bleiben sollen (z.B. Hintergrund oder Subjekt)
   • Rechtsklick auf einen vorhandenen Punkt, um ihn zu löschen
7. Das S2/SAM2 Segmentation Modul generiert eine Maske basierend auf Ihren Anmerkungen
8. (Optional) Verfeinern Sie die Maske mit dem Grow Mask With Blur Knoten in ComfyUI VACE
9. Geben Sie positive Prompts ein, um das neue Objekt oder die Änderung zu beschreiben (z.B. "ein traditioneller roter Regenschirm")
10. Geben Sie negative Prompts ein, um unerwünschte Elemente aus Ihrem ComfyUI VACE-Output, generiert von VACE 14B, auszuschließen
11. Klicken Sie auf "Run", um das bearbeitete Video mit dem Objekt zu generieren, das gemäß Ihren Eingaben mit ComfyUI VACE 14B ersetzt wurde

3.5 ComfyUI VACE Videoerweiterung Schnellstart

1. Wählen Sie die "Videoerweiterung" Workflow-Gruppe in ComfyUI VACE
2. Laden Sie Ihr Quellvideo im Load Video (Upload) Knoten hoch
3. Konfigurieren Sie den ImagePad KJ Knoten mit Ihren gewünschten Erweiterungseinstellungen
4. Geben Sie Prompts ein, die beschreiben, welche Inhalte in den erweiterten Bereichen für die ComfyUI VACE Verarbeitung durch VACE 14B erscheinen sollen
5. Der ComfyUI VACE, verbessert durch VACE 14B, bietet eine bessere Randbehandlung für nahtlosere Erweiterungen
6. Passen Sie die Abtastparameter an, um die Konsistenz mit dem Originalvideo zu gewährleisten
7. Klicken Sie auf "Run", um das erweiterte Video mit ComfyUI VACE 14B zu erstellen

4. Schlüsselparameter für ComfyUI VACE 14B

Gemeinsame Abtastparameter für ComfyUI VACE:

• strength: 1.0 (Standard für maximale Wirkung in ComfyUI VACE 14B)
  • Höher = stärkere Wirkung des VACE 14B Algorithmus innerhalb von ComfyUI VACE
  • Niedriger = mehr Erhaltung des Originalinhalts
• guidance: 7-9 (empfohlen für optimale ComfyUI VACE Ergebnisse bei Verwendung von VACE 14B)
  • Höher = treuer zu Referenzen/Bedingungen, aber weniger kreativ
  • Niedriger = kreativer, kann aber von Referenzen abweichen
• steps: 20-25 (empfohlen für ComfyUI VACE 14B)
  • Höher = bessere Qualität, aber langsamere Generierung
  • Niedriger = schnellere Generierung, aber potenziell niedrigere Qualität
• cfg: 4.0 (empfohlen für ComfyUI VACE integriert mit VACE 14B)
  • Höher = stärkere Einfluss des Prompts, aber potenziell weniger natürliche Ergebnisse
  • Niedriger = natürlicher, kann aber Prompt-Details ignorieren
• seed: 18 (Beispiel für ComfyUI VACE 14B)
  • Gleicher Seed + gleiche Einstellungen = gleiche Ergebnisse
  • Ändern Sie für verschiedene Variationen in Ihren ComfyUI VACE-Outputs, generiert über VACE 14B
• shift: 5.0 (Standard in ComfyUI VACE 14B)
  • Höher = mehr Bewegungsvariation
  • Niedriger = konservativere Bewegung

5. Erweiterte Parameter für ComfyUI VACE 14B

WanVideo VACE:

• num_frames: 29 (Standard für Referenz-Workflows in ComfyUI VACE 14B)
  • Höher = längeres Video, aber mehr Verarbeitungszeit
  • Niedriger = kürzeres Video, aber schnellere Generierung mit ComfyUI VACE unter Verwendung von VACE 14B
• vace_start_percent: 0.00 (Standard in ComfyUI VACE bei Verwendung von VACE 14B)
  • Steuert, wann im Generierungsprozess der VACE-Effekt beginnt
• vace_end_percent: 1.00 (Standard in ComfyUI VACE 14B)
  • Steuert, wann im Generierungsprozess der VACE-Effekt endet

WanVideo VACE Start To End Frame:

• num_frames: 40 (Standard in ComfyUI VACE 14B)
  • Höher = längere, flüssigere Übergänge, aber mehr Verarbeitungszeit
  • Niedriger = kürzeres Video, aber schnellere Generierung mit ComfyUI VACE, unterstützt von VACE 14B
• empty_frame_level: 0.50 (Standard für ComfyUI VACE 14B)
  • Höher = kreativere mittlere Frames
  • Niedriger = direktere Interpolation

Video Combine in ComfyUI VACE:

• frame_rate: 16 (Standard für ComfyUI VACE mit VACE 14B Unterstützung)
  • Höher = flüssigere Bewegung, aber größere Dateigröße
  • Niedriger = abgehacktere Bewegung, aber kleinere Dateigröße
• format: video/h264-mp4 (Standard in ComfyUI VACE 14B)
• pix_fmt: yuv420p (Standard in ComfyUI VACE mit VACE 14B)

Experimentelle Parameter für ComfyUI VACE 14B:

• cfg_zero_star: true (Standard in ComfyUI VACE mit VACE 14B)
  • Experimenteller Parameter, der die Generierungsqualität beeinflussen kann
• fresca_scale_high: 1.25 (Standard für ComfyUI VACE 14B)
  • Steuert die Erhaltung hochfrequenter Details
• fresca_freq_cutoff: 20 (Standard in ComfyUI VACE, verbessert durch VACE 14B)
  • Frequenzgrenze für die Detailerhaltung

Danksagungen

Dieser ComfyUI VACE 14B Workflow wird von VACE (Video All-in-one Creation and Editing) angetrieben, entwickelt von Zeyinzi Jiang, Zhen Han, Chaojie Mao, Jingfeng Zhang, Yulin Pan und Yu Liu bei Tongyi Lab, Alibaba Group. Die ComfyUI VACE-Integration nutzt Knoten und Anpassungen von Kijai () zur Implementierung von VACE 14B. Das ursprüngliche Forschungspapier für VACE 14B ist verfügbar unter . Diese ComfyUI VACE Workflows mit VACE 14B können auch auf Ringhub ausgeführt werden für diejenigen ohne ausreichende lokale Hardware.