Pika H3 Flex ComfyUI Workflow: zwei Referenzbilder zu Video mit Stereo-Audio und A/B Turbo-Vergleich#
Dieser Pika H3 Flex ComfyUI Workflow verwandelt zwei Referenzbilder plus eine Szenenbeschreibung in ein kurzes Video mit synchronisiertem Stereo-Audio. Er ist für Künstler und Forscher konzipiert, die schnelle, hochwertige Referenz-zu-Video-Ergebnisse und einen fairen A/B-Vergleich zwischen dem Pika H3 Flex Turbo Ref2VA Pfad und einem MiniMax H3 Turbo Pfad mit denselben Motiven, Prompt, Dimensionen und Seed wünschen.
Unter der Haube baut der Workflow eine einzelne Konditionierung und ein Latent aus Ihren Referenzen auf, dann laufen zwei parallele achtstufige Sampling-Zweige. Jeder Zweig dekodiert Video und Audio und schreibt seine eigene MP4, was es einfach macht, Stil, Bewegungsgenauigkeit und Audio-Plastizität zu beurteilen, während alles andere konstant gehalten wird.
Schlüsselmodelle im Comfyui Pika H3 Flex ComfyUI Workflow#
- Pika-Labs Pika H3 Flex. Basis-Video-Modell und Assets, die das Aussehen und die Bewegungsprioritäten des Pika-Zweigs bestimmen. Sehen Sie sich die Modellkarte für Fähigkeiten und empfohlene Nutzungshinweise an. Pika-Labs/Pika-H3-Flex
- Pika H3 Flex Turbo LoRA. Ein leichter Adapter, optimiert für schnelles, hochwertiges Ref2VA auf H3 Flex mit starker Identitätsübertragung und scharfen Bewegungen in wenigen Schritten. Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- MiniMax H3 Singularity Ref2VA. Das hier verwendete Diffusions-Backbone für Referenz-zu-Video-Konditionierung, gepaart mit VAEs und Text-Encoder aus dem MiniMax H3-Bundle. WarmBloodAban/Minimax-h3_Singularity
- MiniMax H3 Video VAE und Audio VAE. Dekoder für Frames und Stereo-Wellenformen, die von beiden Zweigen zur Rekonstruktion von Visuals und Sound verwendet werden. Comfy-Org/MiniMax-H3
So verwenden Sie den Comfyui Pika H3 Flex ComfyUI Workflow#
Der Graph ist in Gruppen organisiert, die einen kohärenten Zustand übergeben. Beide Zweige teilen dieselben Referenzen, den Prompt, die Dimensionen und den Seed und weichen erst in der LoRA-Phase ab, um zwei vergleichbare Ausgaben zu erzeugen.
Modelle#
Diese Gruppe lädt das MiniMax H3 UNet, den Text-Encoder und die gepaarten Video- und Audio-VAEs und registriert sie zur Wiederverwendung. Sie müssen hier nichts ändern, es sei denn, Sie tauschen Modellvarianten aus ihren Modellkarten aus. Das Aufmerksamkeits-Backend ist so eingestellt, dass es effiziente, stabile Aufmerksamkeit bietet, die für Videobelastungen geeignet ist. Alle Modellobjekte werden über get/set-Knoten gespeichert, sodass jede nachgelagerte Stufe auf eine einzige Wahrheitsquelle verweisen kann.
Benutzereingaben#
Verwenden Sie die beiden Bildlader, um Ihre Motive einzubringen. Hintergründe werden automatisch entfernt, um Identität und Pose zu betonen, was die Erscheinungskonsistenz erhöht, wenn die Motive in eine neue Szene eingefügt werden. Geben Sie Ihre Szenenbeschreibung im Text-Prompt ein; Sie können optional eine „Audio:"-Zeile hinzufügen, um Geräusche und Ambiente zu lenken. Wählen Sie Seitenverhältnis und Megapixel; der Auflösungsselektor berechnet eine Breite und Höhe, die ein Vielfaches von 32 ist, und die Dauer wird in eine Bildanzahl umgewandelt, die mit dem Sampler für flüssige Bewegungen übereinstimmt. Stellen Sie FPS und Seed ein, um das Abspielfeeling und die Reproduzierbarkeit über beide Ausgaben hinweg zu steuern.
Prompt- und Einstellungsmontage#
Ein kurzer Stil-Primer wird über eine Zeichenkettenverkettungsstufe vor Ihrem Prompt eingefügt, um Realismus und zeitliche Kohärenz zu fördern. Sie können ihn beibehalten, bearbeiten oder vollständig ersetzen, um den Ton Ihres Projekts anzupassen. Der endgültige Prompt wird konsistent gespeichert und abgerufen, sodass beide Zweige identischen Text erhalten. Breite, Höhe, Bildanzahl und Seed sind ebenfalls zentralisiert, um einen vergleichbaren Vergleich zu gewährleisten.
Konditionierung#
MiniMaxH3ReferenceToVideo (#6617) nimmt die beiden hintergrundbereinigten Referenzen, den gepackten Prompt und die gemeinsamen Dimensionen auf, um eine positive Konditionierung plus ein initialisiertes Latent für Video und Audio zu erstellen. Der Knoten kombiniert Identitätshinweise aus beiden Bildern mit Ihrer Szenenabsicht und erzeugt einen Basisbewegungsplan und eine Audioskizze. Dieses einzelne Konditionierungsobjekt wird für beide Sampler exportiert, sodass sich die Pika- und Turbo-Zweige nur durch ihren LoRA-Stapel und den internen Sampler-Pfad unterscheiden.
LoRAs#
Zwei LoRA-Stapel werden aus demselben Basismodell vorbereitet. Einer wendet das Pika H3 Flex Turbo Ref2VA LoRA an, um das Pika-Aussehen zu betonen und die Identität in sehr wenigen Schritten zu bewahren. Der andere wendet ein MiniMax H3 Turbo Ref2V LoRA an, das für Geschwindigkeit und Schärfe optimiert ist. Da derselbe Seed, Prompt und dieselbe Konditionierung verwendet werden, spiegeln alle Unterschiede, die Sie sehen, den Stil und die Dynamik jedes LoRAs wider, anstatt Änderungen in den Eingaben.
Normales Sampling - Pika H3 Flex#
Dieser Zweig wählt das registrierte Pika-abgestimmte Modell aus, setzt ein Rauschfeld ein und führt einen achtstufigen Sampler mit der gemeinsamen Konditionierung aus. Nach der Rauschunterdrückung werden das Video-Latent und das Audio-Latent von den MiniMax H3 VAEs dekodiert. VHS_VideoCombine kombiniert Frames und Stereo-Audio in einer MP4 und speichert sie mit einem Pika-spezifischen Dateinamenpräfix. Verwenden Sie diese Ausgabe, um die Stabilität der Identität, die Integrität des Gesichts, die Glätte der Bewegungen und wie die synthetisierten Geräusche Ihrer „Audio:"-Anleitung entsprechen, zu beurteilen.
Normales Sampling - Turbo LoRA#
Dieser Zweig spiegelt den Pika-Pfad wider, tauscht jedoch das MiniMax H3 Turbo LoRA ein. Derselbe achtstufige Sampler, Seed, Prompt und Frame-Mathematik werden angewendet, um den Test fair zu halten. Die Dekodierung verwendet dieselben VAEs, dann schreibt VHS_VideoCombine eine zweite MP4 mit einem Turbo-Präfix. Der Vergleich der beiden Dateien nebeneinander offenbart die Kompromisse in Textur, Bewegungsaggressivität und Audiodetails zwischen den Pika H3 Flex Turbo und MiniMax H3 Turbo Routen.
Schlüsselknoten im Comfyui Pika H3 Flex ComfyUI Workflow#
MiniMaxH3ReferenceToVideo (#6617)#
Zentralisiert Ref2VA, indem Ihre beiden Referenzen, der Prompt und die Zieldimensionen in eine einzige positive Konditionierung und ein initiales Latent kombiniert werden. Passen Sie hier nur das Wesentliche an: Szenen-Prompt, Auswahl und Reihenfolge der Referenzbilder sowie die Dauer/Größe, die zu Ihrer Aufnahme passt. Behalten Sie dieselben Einstellungen bei, wenn Sie Zweige vergleichen, damit Unterschiede das LoRA und nicht die Konditionierung widerspiegeln. Der Knoten ist so konzipiert, dass er sowohl Video als auch Stereo-Audio antreibt, die nachgelagert unter Verwendung der MiniMax H3 VAEs dekodiert werden, die in ihrer Modellkarte beschrieben sind.
Resolution Selector (Size) (#6345)#
Wählt Seitenverhältnis und Megapixel aus und gibt Breite und Höhe zurück, die auf Vielfachen von 32 ausgerichtet sind, um eine effiziente Dekodierung zu ermöglichen. Verwenden Sie ihn als den einzigen Ort, um beide Zweige zu dimensionieren, was Resample-Artefakte minimiert und die Detailgenauigkeit pro Frame konsistent hält. Eine Erhöhung der Auflösung erhöht die Rechenkosten und verringert den Schrittzeitspielraum, daher skalieren Sie schrittweise, wenn Sie Aussehen und Bewegung feinabstimmen.
StringConcatenate (#6346)#
Wendet einen kompakten Realismus-Primer vor Ihrem Prompt an. Wenn Sie einen anderen Ton oder eine andere Stilisierung bevorzugen, ersetzen oder entfernen Sie den Primer, um Ihre eigene Wortwahl dominieren zu lassen. Die Konsistenz dieses Knotens über Läufe hinweg hilft, die A/B-Integrität zu bewahren, wenn Sie nuancierte Formulierungsänderungen testen.
BasicScheduler (#6742, #6767)#
Bietet einen achtstufigen Zeitplan, der für schnelle, stabile Ergebnisse in diesem Ref2VA-Setup optimiert ist. Weniger Schritte tauschen Details gegen Geschwindigkeit, während mehr Schritte Verfeinerung auf Kosten der Zeit hinzufügen. Für saubere A/Bs über Zweige hinweg halten Sie die Schritte identisch.
VHS_VideoCombine (#6758, #6776)#
Kombiniert dekodierte Frames und Stereo-Audio in endgültige MP4-Dateien. Kontrollieren Sie hier das Format und die Bildrate und halten Sie beide Zweige synchronisiert. Wenn Sie die Dauer stromaufwärts ändern, bestätigen Sie die Einstellungen des Schreibers, damit Audio und Video synchron bleiben.
Optionale Extras#
- Bereiten Sie beide Referenzbilder mit ähnlicher Pose, Beleuchtung und Zuschnitt vor, um die Identitätsstabilität zu verbessern und das Abdriften des Gesichts zu reduzieren.
- Wenn ein geschäftiger Hintergrund in das Motiv eindringt, versuchen Sie es mit stärkeren Mattierungen oder liefern Sie sauberere Ausschnitte; Sie können die Hintergrundentfernung auch umgehen, wenn Ihre Referenzen bereits gut isoliert sind.
- Behalten Sie denselben Seed bei, wenn Sie Pika gegen Turbo-Vergleiche durchführen; ändern Sie nur einen Faktor auf einmal.
- Beginnen Sie mit einer moderaten Megapixel-Einstellung, bestätigen Sie Bewegungs- und Audio-Gefühl, und skalieren Sie dann die Auflösung, sobald Sie die Komposition mögen.
- Für Dialoge oder spezifische Geräusche formulieren Sie Ihre „Audio:"-Zeile prägnant; Umgebungsgeräusche und einfache Aktionen neigen dazu, am zuverlässigsten synthetisiert zu werden.
Ressourcen für die in diesem Pika H3 Flex ComfyUI Workflow verwendeten Modelle:
- Pika-Labs/Pika-H3-Flex
- Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- WarmBloodAban/Minimax-h3_Singularity
- Comfy-Org/MiniMax-H3
- kijai/ComfyUI-KJNodes
- kosinkadink/ComfyUI-VideoHelperSuite
Danksagungen#
Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken Pika-Labs für Pika-H3-Flex und Pika-H3-Flex-Turbo-LoRA, WarmBloodAban für Minimax-h3_Singularity und Innovate Futures @ Benji für „Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI“ für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die Originaldokumentation und die unten verlinkten Repositories.
Ressourcen#
- Innovate Futures @ Benji/Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI
- Docs / Release Notes: Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI
- Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- WarmBloodAban/Minimax-h3_Singularity
- Hugging Face: WarmBloodAban/Minimax-h3_Singularity
- Pika-Labs/Pika-H3-Flex
- GitHub: Pika-Labs/Pika-H3-Flex
- Hugging Face: Pika-Labs/Pika-H3-Flex
Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von ihren Autoren und Wartungsmitgliedern bereitgestellt werden.
