LivePortrait | Animate Portraits | Vid2Vid

Dank des -Knotens und Workflows ist das Erstellen realistischer LivePortrait-Animationen in ComfyUI jetzt einfacher. Im Folgenden finden Sie eine Aufschlüsselung der wichtigsten Komponenten und Parameter seines Workflows.

Bitte lesen Sie zuerst die -Beschreibung, um die Workflow-Schritte zu verstehen. Nachdem Sie sich mit dem LivePortrait Img2Vid-Prozess vertraut gemacht haben, werden Sie einige kleine Unterschiede zwischen den LivePortrait Vid2Vid- und Img2Vid-Workflows feststellen.

Der Unterschied zwischen ComfyUI LivePortrait Vid2Vid und Img2Vid

1. Videos mit "VHS_LoadVideo" anstelle von Bildern laden

• In diesem LivePortrait Img2Vid-Workflow laden Sie ein statisches Bild als Quelle mit dem "LoadImage"-Knoten. Im Vid2Vid-Workflow müssen Sie jedoch ein Video als Quelle laden. Passen Sie den "frame_load_cap" an, um zu steuern, wie viele Frames geladen werden.
• Ändern Sie die Auflösung des Quellvideos auf eine höhere Auflösung wie 1024x1024 für bessere Qualität. Nachdem Sie das Quellvideo mit "VHS_LoadVideo" geladen haben, verwenden Sie den "ImageResizeKJ"-Knoten, um die Frames auf eine Auflösung wie 1024x1024 hochzuskalieren. Dies hilft, die Schärfe und Detailgenauigkeit im Endergebnis zu erhalten. Bei der Arbeit mit Videos wird empfohlen, eine höhere Auflösung für die Quelle im Vergleich zum Img2Vid-Workflow zu verwenden. Während 512x512 oft für statische Bilder ausreicht, profitieren Videos von höheren Auflösungen, um Details und Qualität zu bewahren.
• Die Frames des Steuerungsvideos können immer noch auf eine niedrigere Auflösung wie 480x480 verkleinert werden, um die Verarbeitungszeit zu sparen, da sie nur Bewegungsinformationen liefern.

2. Verwenden Sie den "source_video_smoothed"-Modus für relative Bewegungen für glattere LivePortrait Vid2Vid-Ergebnisse

• Der "LivePortraitProcess"-Knoten verfügt über einen "relative_motion_mode"-Parameter, der steuert, wie die Bewegung vom Steuerungsvideo auf die Quelle übertragen wird. Für Vid2Vid wird empfohlen, den "source_video_smoothed"-Modus zu verwenden.
• In diesem Modus wird die LivePortrait-Bewegung im Laufe der Zeit basierend auf dem Eingabevideo geglättet, was hilft, zeitlich kohärentere und stabilere Ergebnisse zu erzeugen. Dies ist besonders wichtig für Videos, bei denen plötzliche Sprünge oder Zittern in der Bewegung auffälliger sein können als bei Einzelbildern.
• Andere Bewegungsmodi wie "relative" oder "single_frame" können besser für Img2Vid funktionieren, aber "source_video_smoothed" ist typischerweise die beste Wahl für Vid2Vid.

3. Verbinden Sie die FPS und den Ton des Quellvideos mit "VHS_VideoCombine", um die Audiosynchronisation für LivePortrait Vid2Vid aufrechtzuerhalten

• Beim Erstellen des endgültigen Ausgabevideos mit dem "VHS_VideoCombine"-Knoten ist es wichtig, die Audiosynchronisation mit den Videoframes aufrechtzuerhalten. Dies beinhaltet zwei wichtige Verbindungen:
• Erstens, verbinden Sie den Ton des Quellvideos mit dem "audio"-Eingang von "VHS_VideoCombine" unter Verwendung eines "Reroute"-Knotens. Dies stellt sicher, dass der Originalton im Ausgabevideo verwendet wird.
• Zweitens, verbinden Sie die Bildrate (FPS) des Quellvideos mit dem "frame_rate"-Eingang von "VHS_VideoCombine". Sie können die FPS mit dem "VHS_VideoInfo"-Knoten erhalten, der Metadaten aus dem Quellvideo extrahiert. Dies stellt sicher, dass das Ausgabevideo mit dem Timing der Quelle übereinstimmt.
• Durch die sorgfältige Handhabung von Audio und Bildrate können Sie ein LivePortrait Vid2Vid-Ergebnis erstellen, das die richtige Synchronisation und Timing beibehält, was für ein realistisches und anschaubares Ergebnis entscheidend ist.