PAN2 ComfyUI Workflow: Text oder Bild zu Video mit einem lokalen Prompt Writer#
Dieser PAN2 ComfyUI Workflow verwandelt eine kurze Szenenidee oder ein erstes Bild in ein kohärentes Video. Er führt das PAN 2 Weltmodell zur Erzeugung aus und fügt einen lokalen Prompt Writer hinzu, der ein kurzes Konzept in eine zeitgesteuerte Beschriftung über Themen, Aktionen und Kamerabewegungen erweitert.
Der Workflow ist für Kreative gedacht, die zuverlässige Bewegungen, konsistente Beleuchtung und stabile Geometrie ohne langes Schreiben von Prompts wünschen. Sowohl Text-zu-Video als auch Bild-zu-Video befinden sich auf derselben Leinwand, teilen sich eine Reihe von Auflösungs- und Dauerkontrollen und exportieren direkt zu MP4.
Schlüsselmodelle im Comfyui PAN2 ComfyUI Workflow#
- IFM PAN 2 Weltmodell. Der Kern-Generator, der temporär konsistente Videos aus Text oder Bildkonditionierung vorhersagt, mit Fokus auf stabiles Weltmodellieren und Kamerabewegung. Quelle: IFM/PAN2.
- PAN 2 Gewichte für ComfyUI. Eine gepflegte Verpackung von PAN2 Gewichten, die mit ComfyUI Loadern und Samplern kompatibel sind und eine schnelle Einrichtung auf diesem Graphen ermöglichen. Quelle: Comfy-Org/PAN2.
- Hunyuan‑Stil latentes Video VAE. Ein Video VAE, das Frames in einem kompakten latenten Raum kodiert und dekodiert, der von der Videopipeline verwendet wird, um Geschwindigkeit und Speicherverbrauch für mehrsekündige Clips zu verbessern. Hintergrund: Tencent/HunyuanVideo.
- PAN2-kompatibler Text-Encoder. Ein Qwen‑Familie Encoder, der mit den PAN2 Gewichten verpackt ist und die zeitgesteuerte Beschriftung des Prompt Writers in positive und negative Konditionierung für den Sampler umwandelt.
Verwendung des Comfyui PAN2 ComfyUI Workflows#
Auf einen Blick bietet der Graph zwei parallele Pfade, die vor dem Sampling zusammenlaufen. Wählen Sie entweder Text2Video oder Image2Video, schreiben Sie eine kurze Idee, setzen Sie einmal Auflösung und Dauer, und lassen Sie den Prompt Writer strukturiertes Konditionieren für PAN2 erzeugen. Der endgültige Sampler rendert latente Frames, die dekodiert und zu einem MP4 kombiniert werden.
Image2Video Gruppe#
Verwenden Sie diesen Pfad, wenn Sie das Aussehen mit einem Referenzbild verankern möchten. Laden Sie ein erstes Bild in LoadImage (#32); es wird von ResizeImageMaskNode (#33) gemäß ResolutionSelector (#21) in der Größe angepasst und dann in ein temporäres Latent in Wan22ImageToVideoLatent (#31) umgewandelt. Die Dauer stammt von der gemeinsamen Sekundensteuerung und wird automatisch in die Bildanzahl übersetzt. Dieses Latent fließt dann in den Verbindungspunkt, sodass der Rest des PAN2 ComfyUI Workflows das Video sampeln, dekodieren und exportieren kann.
Text2Video Gruppe#
Wählen Sie dies, wenn Sie die gesamte Szene aus Text generieren möchten. EmptyHunyuanLatentVideo (#14) erstellt ein sauberes temporäres Latent basierend auf den gleichen Auflösungs- und Dauerkontrollen wie Image2Video. Die Bewegung und das Tempo der Szene stammen von der Beschriftung des Prompt Writers, sodass Sie Kamerabewegungen und Themenaktionen ohne manuelles Keyframing gestalten können. Dieser Pfad speist denselben Verbindungspunkt, der von Image2Video verwendet wird, und setzt das Sampling und den Export fort.
Gemeinsamer Kern: Prompt Writer und Konditionieren#
Schreiben Sie eine ein- bis drei-Satz-Szenenidee in PAN2PromptWriter (#22). Der Knoten erweitert sie in eine zeitgesteuerte Beschriftung und eine begleitende negative Bibliothek, die häufige Artefakte unterdrückt; beide Ausgaben werden in PreviewAny (#9) und PreviewAny (#24) angezeigt, sodass Sie Text bei Bedarf kopieren oder verfeinern können. CLIPTextEncode (#10) und CLIPTextEncode (#11) wandeln diese Zeichenfolgen in positive und negative Konditionierung für das Modell um. Sie können den Prompt minimal halten, da der Writer automatisch Themenaktionen, Kamerabewegungen und Kontinuitätshinweise hinzufügt.
Sampling, Dekodierung und Export#
Der Modellpfad lädt PAN2 und konfiguriert effiziente Aufmerksamkeit, dann generiert KSampler (#7) ein latentes Video unter Verwendung Ihrer Konditionierung und des aktiven latenten Pfades. VAEDecode (#12) konvertiert das Latent zurück zu Frames. VHS_VideoCombine (#13) setzt diese Frames in einem MP4 mit Ihrer gewählten Bildrate und Qualität zusammen und bettet Workflow-Metadaten zur Reproduzierbarkeit ein.
Schlüsselnoten im Comfyui PAN2 ComfyUI Workflow#
PAN2PromptWriter (#22)#
Erweitert eine kurze, natürliche Beschreibung in eine zeitgesteuerte Beschriftung, die auf Video zugeschnitten ist, sowie einen robusten negativen Prompt. Passen Sie prompt an, um Subjekt, Umgebung und Kameraziel in einfacher Sprache zu beschreiben; verwenden Sie duration, um die Gesamtlänge des Clips zu bestimmen. Wenn Sie mehr oder weniger kreative Variation über Aufnahmen hinweg wünschen, passen Sie temperature oder top_p an. Für wiederholbare Erzählbeats halten Sie seed konstant.
ResolutionSelector (#21)#
Legt die Arbeitsbreite und -höhe für beide Pfade aus einem Seitenverhältnis und einem Megapixelziel fest. Wählen Sie zuerst Ihr Verhältnis, dann erhöhen oder verringern Sie die Pixelanzahl, um Qualität und Geschwindigkeit auszubalancieren. Das Halten von Image2Video und Text2Video auf demselben Selektor verhindert unpassende Maßstäbe beim Wechseln der Modi.
Wan22ImageToVideoLatent (#31)#
Wandelt das erste Bild in eine zeitlich kohärente latente Sequenz für den Image2Video-Weg um. Stellen Sie ein klares, gut beleuchtetes Bild bereit, das bereits dem beabsichtigten Verhältnis entspricht, um Zuschnittüberraschungen zu vermeiden. Die Länge wird automatisch bereitgestellt; Sie können sie ändern, indem Sie die gemeinsame Sekundensteuerung ändern.
EmptyHunyuanLatentVideo (#14)#
Erstellt ein leeres temporäres Latent für den Text2Video-Weg unter Verwendung der ausgewählten Auflösung und Dauer. Dies ist der sauberste Weg, um das Modell rein aus der Anleitung des Prompt Writers Bewegungen erfinden zu lassen. Für längere Clips sollten Sie in Betracht ziehen, mehrere kürzere Takes zu generieren, um Drift zu minimieren, und sie dann zusammenzuschneiden.
Any Switch (rgthree) (#35)#
Wählt aus, welcher latente Pfad die Generation steuert. Wählen Sie das Image2Video-Latent, wenn Sie strikte visuelle Kontinuität vom Referenzbild wünschen, oder wechseln Sie zum leeren Latent für vollständig textgesteuertes Video. Es ist sicher, zwischen den Läufen umzuschalten, ohne den Graphen neu zu verkabeln.
KSampler (#7)#
Führt die Kerndenoising-Schritte über die Zeit aus, indem das zusammengeführte Modell und Ihre Konditionierung verwendet werden. Passen Sie steps für Qualität vs. Geschwindigkeit an, cfg für Prompteinhaltung vs. Natürlichkeit und denoise bei der Verfeinerung von einem Image2Video-Latent. Halten Sie scheduler und sampler_name sinnvoll gepaart; kleine Änderungen hier können die Bewegungsglätte spürbar verändern.
VHS_VideoCombine (#13)#
Schreibt das endgültige MP4 aus den dekodierten Frames. Stellen Sie frame_rate ein, um Ihre gewünschte Lieferung zu treffen, und passen Sie crf an, um Dateigröße gegen Qualität zu tauschen. Wenn Sie beabsichtigen, später zu bearbeiten, bevorzugen Sie eine leicht höhere Qualitätseinstellung.
Optionale Extras#
- Halten Sie Szenenideen kurz. Ein oder zwei Sätze mit klarem Subjekt, Setting und Kameraziel liefern die zuverlässigsten Prompt Writer Beschriftungen.
- Für Image2Video liefern Sie ein erstes Bild, das bereits Ihr Zielseitenverhältnis und die Beleuchtung entspricht; vermeiden Sie schwere Hochskalierungen oder Zuschnitte vor dem Import.
- Beginnen Sie mit kurzen Clips (6 bis 12 s). Längere Dauer verstärkt Drift und erfordert sorgfältigere Prompts.
- Verwenden Sie die bereitgestellte negative Bibliothek wie sie ist, und fügen Sie dann nur die wenigen Verbote hinzu, die für Ihr Thema wichtig sind; zu lange Negative können gewünschte Details unterdrücken.
- Fixieren Sie den Sampler
seed, um an der Formulierung zu arbeiten, und variieren Sie ihn dann, um Alternativen zu erkunden, sobald Komposition und Timing richtig erscheinen. - Wenn die Bewegung zu schnell oder zu langsam aussieht, passen Sie zuerst die Sekundensteuerung an, anstatt die Kamerawörter zu ändern; Timing-Änderungen propagieren sich konsistent über die Beschriftung.
Links und Referenzen
- PAN 2 Weltmodell: IFM/PAN2
- PAN 2 Gewichte für ComfyUI: Comfy-Org/PAN2
- Prompt Writer Knoten: benjiyaya/ComfyUI-PAN2-PromptWriter
- Latenter Video-Hintergrund: Tencent/HunyuanVideo
Danksagungen#
Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken IFM für das PAN2 Modell, Comfy-Org für die PAN2 Gewichte und benjiyaya und AI Future Tech für den PAN2 Prompt Writer sowie die Ersteller-Walkthroughs und Beispiel-Workflows für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die originale Dokumentation und die unten verlinkten Repositories.
Ressourcen#
- IFM/PAN2
- Hugging Face: IFM/PAN2
- Comfy-Org/PAN2
- Hugging Face: Comfy-Org/PAN2
- benjiyaya/ComfyUI-PAN2-PromptWriter
- AI Future Tech/PAN2 Walkthroughs und Beispiel-Workflows
- Dokumentation / Release Notes: Ersteller-Walkthrough und Beispiel-Workflows
Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen der Autoren und Betreuer.

