MiniMax H3 Charakterwechsel mit SAM3 | MDMZ

MiniMax H3 Charakterwechsel mit SAM3#

MiniMax H3 Charakterwechsel mit SAM3 ist MDMZ’s ComfyUI-Workflow zum Ersetzen des Darstellers auf dem Bildschirm in einem Video durch einen Referenzcharakter, während die Bewegungsquelle, das Timing, die Kamerabewegung und optional der ursprüngliche Hintergrund beibehalten werden. Es verwendet SAM3, um das Subjekt zu isolieren und erstellt einen inversen Bewegungsguide, sodass MiniMax H3 Bewegung und Rahmenführung folgt, ohne die Identität zu kopieren. Ergebnisse können Details des ursprünglichen Darstellers beibehalten oder Teile des Hintergrunds verändern, daher überprüfe den gesamten Clip auf Identität, Hände, Kleidung und Szenenkonsistenz.

Der Workflow nutzt eine kostenlose Eingabeaufforderungsroute: Führe die bereitgestellte Eingabeaufforderung unverändert aus oder füge manuell eine im kostenlosen Gemini-App generierte strukturierte Eingabeaufforderung für deine eigenen Eingaben ein. Der gespeicherte Standard verwendet den Normalmodus, den Hintergrund des Quellvideos und eine stille Ausgabe. Optionale Audio-Durchleitung der Quelle und Turbo-Vorschau-Modi sind enthalten, und der Workflow passt die Cliplänge an eine modellkompatible Frameanzahl an.

Die verifizierten Beispiele verwenden den kostenlosen Eingabeaufforderungszweig, den Normalmodus mit 20 Schritten und Video-Hintergründe. Die Turbo-, Bild-Hintergrund- und Audio-/Lippensynchronisationsoptionen sind enthalten, wurden jedoch in diesen Beispielen nicht genutzt. "Kostenlose Eingabeaufforderung" bezieht sich auf die Eingabeaufforderungsroute; RunComfy GPU-Nutzung wird separat berechnet.

Schlüsselmodelle im ComfyUI MiniMax H3 Charakterwechsel mit SAM3 Workflow#

• MiniMax H3 Reference‑to‑Video Basis-Modell (Ref2VA/Ref2V). Das Diffusions-Rückgrat, das deine Eingabeaufforderung, Referenzbilder und Bewegungsguide in kohärente Videoframes umwandelt, während es die Kamera und das Timing verfolgt. Modell-Dateien und Veröffentlichungen sind im offiziellen MiniMax H3-Repository gehostet. MiniMax H3 auf Hugging Face
• MiniMax H3 Video VAE fp16 und Audio VAE fp32. Die Video VAE kodiert und dekodiert latente Frames effizient; die Audio VAE verarbeitet Audio-Latenzen für H3’s audiofähigen Pfad. Ihre Anwesenheit garantiert keine Lippensynchronisationsqualität. In der MiniMax H3-Veröffentlichung enthalten. MiniMax H3 auf Hugging Face
• Qwen3‑VL 32B NVFP4 AWQ Text-Encoder. Verpackt mit MiniMax H3, um lange, strukturierte Eingabeaufforderungen zu kodieren und eine starke Text-zu-Video-Ausrichtung zu gewährleisten. Siehe die MiniMax H3-Modell-Dateien für den verwendeten Text-Encoder. MiniMax H3 auf Hugging Face
• SAM 3.1 Multiplex. Bietet robuste, anpassbare Segmentierung, um die Person zu finden, die ersetzt werden soll, und um eine konsistente pro-Frame-Maske zu erstellen, die den Bewegungsguide steuert. SAM 3.1 auf Hugging Face
• MiniMax H3 Ref2V Turbo LoRA v0.1. Eine optionale LoRA, die Vorschauen mit einer kleinen Schrittanzahl beschleunigt und gleichzeitig das Gesamtbild von H3 beibehält. Am besten für Iterationen verwendet, dann zurück zu Normal für die Endversionen wechseln. MiniMax H3 LoRAs

So verwenden Sie den ComfyUI MiniMax H3 Charakterwechsel mit SAM3 Workflow#

Auf einer hohen Ebene gibst du einen kurzen Quellclip und ein einzelnes Charakterbild an. Der Workflow erkennt und invertiert nur den Darsteller, um einen Bewegungsguide zu erstellen, kombiniert die bereitgestellte oder eingefügte Eingabeaufforderung mit deiner Hintergrundumgebung, dann rendert MiniMax H3 den Austausch. Quellaudio kann optional an die Ausgabe weitergeleitet werden; die Lippensynchronisationsqualität wurde in diesen stillen Beispielen nicht überprüft.

1 · EINGABEN Lade deinen Bewegungsclip im Videolader (#970), der ihn in 24 fps umwandelt, und schneide auf den gewünschten Abschnitt zu. Das gespeicherte Beispiel verwendet 124 Frames (etwa 5,17 Sekunden). Füge das Charakterbild im Bildlader (#496) hinzu. Stelle das Ausgabeformat und die Megapixel mit dem Auflösungswähler (#501) ein. Verwende die bereitgestellte Eingabeaufforderung oder füge eine für deine Eingaben in Gruppe 3B ein, wähle eine Rendergeschwindigkeit (Normalqualität oder Turbo-Vorschauen), entscheide, ob der Hintergrund aus dem Quellvideo oder aus dem Charakterbild stammt, und entscheide, ob Quellaudio für die Lippensynchronisation durchgeleitet werden soll.

2 · BEWEGUNGSGUIDE Der SAM3-Detektor (#503) findet das Subjekt basierend auf einem kurzen Textetikett wie Person oder Mann:1. Verwende die Maskenvorschau (#492), um zu bestätigen, dass das Ziel vollständig weiß ist. Der Workflow invertiert nur den maskierten Darsteller, sodass H3 Bewegung und Rahmenführung von Kanten und Schattierungen anstatt von Identität liest. Passe das Bewegungsguide-Pixelbudget mit der Bewegungsguide-Auflösung (#456) an, um Geschwindigkeit gegen Präzision zu tauschen. Ein dedizierter Schalter ermöglicht es dir, einen Bewegungsguide zu erstellen, der den Video-Hintergrund ausschließt, wenn du eine Bewegungstransfer von einem Bild durchführst.

3B · KOSTENLOSE EINGABEAUFFORDERUNG Führe die bereitgestellte Eingabeaufforderung unverändert aus, oder kopiere die enthaltenen Gemini-Anweisungen aus Gruppe 3 und bitte die kostenlose Gemini-App, deinen Clip und das Charakterbild zu analysieren. Verwende denselben beschnittenen Abschnitt, den du generieren wirst, und füge dann die Antwort in Deine H3-Eingabeaufforderung (#910) ein. Der Workflow bereinigt automatisch Überschriften und Codezäune, sodass der Text der erwarteten H3-Struktur entspricht.

3C · HINTERGRUND AUS VIDEO (Charakterersatz) Wenn du einen reinen Charakteraustausch innerhalb der ursprünglichen Szene möchtest, ergänzt der Workflow deine Eingabeaufforderung mit Regeln, die H3 anweisen, den Hintergrund und die Beleuchtung des Quellclips beizubehalten. Es weist H3 an, die Geometrie des Sets, Objekte und die Farbgebung zu bewahren und den neuen Charakter entsprechend der Aufnahme neu zu beleuchten. Der Bewegungsguide beinhaltet den invertierten Darsteller über dem ursprünglichen Frame, sodass die Umgebungsreize für das Modell sichtbar bleiben.

3C · HINTERGRUND AUS BILD (Bewegungstransfer) Für den Bewegungstransfer auf einen statischen Referenzhintergrund wird die Eingabeaufforderung umgeschrieben, um die Umgebung und die Beleuchtung aus dem Charakterbild zu behalten und die Einstellung des Quellvideos zu ignorieren. Konfliktierende Video-Beleuchtungs- und Rahmenlinien werden entfernt. Der Bewegungsguide wird über eine neutrale Leinwand neu zusammengesetzt, sodass nur Bewegung und Kamerapfad verwendet werden, um den Einfluss des Quellvideo-Hintergrunds zu reduzieren; dieser optionale Modus wurde in den bereitgestellten Beispielen nicht überprüft.

3D · ENDGÜLTIGER TEXT → H3 Der Hintergrundschalter kombiniert die korrekte Regelmenge und zeigt die endgültige Eingabeaufforderung an, die an H3 gesendet wird, sodass du sie überprüfen kannst. Dieser exakte String wird zur Generierung eingespeist.

4 · GENERIEREN MiniMax H3 Ref → Video (#464) nimmt die strukturierte Eingabeaufforderung, das Charakterbild, die Bewegungsguide-Frames, Breite und Höhe aus dem Auflösungswähler und eine automatisch validierte Länge. Der gespeicherte Normalmodus verwendet 20 Abtastschritte. Der Turbo-Modus aktiviert die Ref2V Turbo LoRA mit einer niedrigen Schrittanzahl für schnelle Vorschauen sowie eine sigma-Shift, die für Video und Audio abgestimmt ist; die Steuerung, der Sampler und die Schritt-Schalter wählen den aktiven Pfad. Der Seed steuert die Abtastvariation; eine Änderung kann Identität, Bewegung und Hintergrunddetails beeinflussen. Der benutzerdefinierte Sampler kombiniert Rauschen, Zeitplan und Steuerung mit dem latenten Clip.

5 · AUSGABE Ein VRAM-Cleanup-Knoten läuft vor dem Dekodieren, um den Speicherbedarf zu reduzieren; er garantiert keine Freiheit von Speicherfehlern. Die Video VAE dekodiert Latenzen zu Frames, und Save Video schreibt das MP4. Die Standardausgabe ist stumm; Quellaudio wird nur angehängt, wenn der Soundpfad aktiviert ist und der Eingang einen Audiotrack hat.

Schlüssel-Knoten im ComfyUI MiniMax H3 Charakterwechsel mit SAM3 Workflow#

MiniMax H3 Ref → Video (#464) Der Kern-Generator, der deine Eingabeaufforderung, das Referenzbild und den Bewegungsguide verbindet. Halte die Eingabeaufforderung strukturiert und spezifisch und stelle ein starkes Referenzbild für die Identität bereit. Breite und Höhe kommen aus dem Auflösungswähler, sodass das Seitenverhältnis deiner Absicht entspricht. Die Länge wird durch den automatischen Frame-Zähler gesteuert, um H3’s Schrittweite zu erfüllen; aktiviere den Soundpfad nur für Clips mit Audio und überprüfe jede Sprachsynchronisation separat.

SAM3 Detect person (#503) Führt die SAM 3.1-Segmentierung mit einem kurzen Texthinweis aus, sodass der richtige Darsteller isoliert wird. Wenn eine Szene mehrere Personen hat, füge einen schnellen Qualifizierer wie Mann:1 oder Frau in Rot:1 hinzu. Überprüfe zuerst die Maskenvorschau; wenn Kanten fehlen oder Überschneidungen auftreten, verfeinere die Eingabeaufforderung oder passe die Detektoreinstellungen an. Eine saubere Maske ist der schnellste Weg zu stabilen Wechseln.

Motion Guide Resolution (#456) Legt das gesamte Pixelbudget fest, das vom Bewegungsguide verwendet wird. Niedrigere Werte reduzieren die Verarbeitungskosten und die Führungsdetails. Höhere Werte behalten mehr räumliche Details im Guide bei, erfordern jedoch mehr Verarbeitung; eine verbesserte Ausgabequalität ist nicht garantiert. Erhöhe schrittweise und beobachte Leistung und Stabilität.

Turbo LoRA (Ref2V) (#950) Aktiviert einen schnellen Vorschaupfad, der mit einem niedrigen Schrittplaner und einem abgestimmten Sigma-Shift für Video und Audio kombiniert wird. Verwende es, um Eingabeaufforderungen, Rahmung und Bewegung schnell zu iterieren. Für Endaufnahmen wechsle zurück zu normalen Schritten, um die volle MiniMax H3-Fidelity wiederherzustellen.

Valid frame count (auto) (#481) Rundet deinen zugeschnittenen Clip automatisch auf eine modellfreundliche Frameanzahl, sodass das Sampling stabil bleibt. Typische Längen, die Leute verwenden, sind 107, 124, 158, 209 und 362 Frames, was ungefähr 4,5 s, 5 s, 6,6 s, 8,7 s und 15 s bei 24 fps entspricht. Setze deinen Start- und Endpunkt visuell im Lader und lasse diesen Knoten die genaue Anzahl handhaben.

Optionale Extras#

• Überprüfe zuerst die Maske; das Subjekt sollte in der Vorschau vollständig weiß sein.
• Halte die Bildrate bei 24 fps für konsistente Bewegung und Lippensynchronisation.
• Der gespeicherte Soundpfad ist deaktiviert. Aktiviere ihn nur für Clips mit Audio; überprüfe die Sprachsynchronisation, anstatt anzunehmen, dass sie übereinstimmt.
• Verwende Turbo für schnelle Vorschauen, wechsle dann zu Normal für die endgültigen Renderings.
• Für den Charakterersatz wähle Hintergrund aus Video; für Bewegungstransfer wähle Hintergrund aus Bild.
• Wenn die kostenlose App text- oder seltsame Überschriften mit Codezäunen zurückgibt, füge sie trotzdem ein; der Workflow bereinigt das Format automatisch.
• Ändere den Seed, um ein anderes Ergebnis zu erkunden, und überprüfe dann erneut Bewegung, Rahmung, Identität und Hintergrunddetails.

Danksagungen#

Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken MDMZ herzlich für das H3 Charakteraustausch-Workflow-Tutorial und die Einrichtungsanleitung, Comfy-Org für die MiniMax-H3-Modelle für ComfyUI und dem ComfyUI-Team für den offiziellen MiniMax H3 Video-Generierungsleitfaden für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die ursprüngliche Dokumentation und die unten verlinkten Repositories.

Ressourcen#

• MDMZ/MDMZ Workflow-Tutorial
  • Dokumente / Veröffentlichungsnotizen: YouTube
• MDMZ/MDMZ Workflow und Anleitung
  • Dokumente / Veröffentlichungsnotizen: Patreon-Beitrag
• Comfy-Org/MiniMax H3 Modelle für ComfyUI
  • Hugging Face: Comfy-Org/MiniMax-H3
• ComfyUI/ComfyUI MiniMax H3 Anleitung
  • GitHub: comfy-org/docs
  • Dokumente / Veröffentlichungsnotizen: ComfyUI-Dokumente

Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und des Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von ihren Autoren und Betreuern bereitgestellt werden.