MiniMax H3 Performance Capture per ComfyUI#
MiniMax H3 Performance Capture trasforma la tua recitazione in un nuovo personaggio mantenendo il tuo audio originale. Il flusso di lavoro trasferisce espressioni facciali, forme della bocca, direzione degli occhi e movimento della testa da un clip sorgente a una creatura bersaglio o un personaggio a corpo intero, quindi compone il risultato nella scena. Costruito attorno a video condizionati di riferimento MiniMax-H3, mascheramento facciale automatico e guida alla posa opzionale, è stato testato su scambi creativi come un lupo, un robot e un alieno preservando la scena e la colonna sonora. Flusso di lavoro di Mickmumpitz.
Questo flusso di lavoro ComfyUI MiniMax H3 Performance Capture è l'edizione semplice "render": una telecamera per impostazione predefinita, head-cam opzionale e maschera manuale, controllo della posa opzionale e due video salvati (render finale con audio, più un taglio di confronto).
Modelli chiave nel flusso di lavoro Comfyui MiniMax H3 Performance Capture#
- MiniMax-H3 Reference-to-Video diffusion UNet (minimax_h3_ref2va_pruned_int8_convrot). Generatore principale che fonde riferimenti, prompt e audio in latenti video. Model files
- Qwen3‑VL 32B MiniMax‑H3 text encoder (qwen3vl_32b_minimax_h3_nvfp4_awq). Codifica il prompt per orientare l'identità e lo stile di recitazione. Model file
- MiniMax‑H3 Video VAE FP16 e Audio VAE FP32. Video VAE decodifica i latenti delle immagini; Audio VAE condiziona la sincronizzazione labiale e il timing della performance. VAEs
- MiniMax‑H3 Turbo 8‑step 768p LoRA. Velocizza il campionamento H3 per render rapidi e di alta qualità. Model card
- MiniMax‑H3 Character Swap LoRA. Rafforza scambi di testa e corpo robusti per look stilizzati o creature. Model card
- FUN ControlNet Union 2.0 model patch per H3. Aggiunge guida opzionale alla posa del corpo da scheletri. Model file
- Segment Anything Model 3.1 Multiplex. Produce maschere automatiche per l'area da rigenerare. Checkpoint
- DWPose (via ControlNet Aux). Rileva scheletri di corpo e mani per guida alla posa e logica di ritaglio della testa. Repository
Come usare il flusso di lavoro Comfyui MiniMax H3 Performance Capture#
Il flusso di lavoro procede da sinistra a destra attraverso otto gruppi etichettati. Inizia caricando il tuo clip di performance e, opzionalmente, una maschera manuale, un primo piano di head-cam e una scheda del personaggio. La pipeline quindi prepara una scena e una maschera, costruisce un riferimento di recitazione dal tuo volto, guida opzionalmente la posa del corpo, rende con MiniMax H3 e salva un taglio di confronto.
1 CARICA MODELLI#
Questo gruppo carica il MiniMax‑H3 UNet, text encoder e VAEs, quindi applica le LoRAs Turbo e Character‑Swap. UNETLoader (#1001) e CLIPLoader (#1006) forniscono il generatore principale e l'encoder del prompt. LoraLoaderModelOnly (#1003, #1004) collega gli adattatori di velocità e scambio. BlockSparseAttention (#1009) e MiniMaxH3SigmaShift (#1002) sono cablati per accelerare il campionamento e bilanciare la guida audio-video.
2 IL TUO SCATTO#
Usa BODY CLIP (your performance + voice) (#1012) per caricare la ripresa principale con audio mono o stereo incorporato. Puoi aggiungere una CREATURE SHEET tramite LoadImage (#1016) per bloccare l'aspetto tra le riprese, e impostare il prompt in PROMPT (the swap, the creature, its acting) (#1018). Gli input opzionali includono un primo piano di HEAD‑CAM VHS_LoadVideo (#1013) per volti piccoli in riprese ampie e un video MANUAL MASK VHS_LoadVideo (#1014) se vuoi sovrascrivere il mascheramento automatico. I controlli rapidi sono qui: WHAT GETS REPLACED (head / person) (#1017), SEED (#1019), GROW MASK px (#1020), FACE CROP (#1021) e PERSON (#1022). I nodi di commutazione (NO HEAD‑CAM #1227, NO MANUAL MASK #1228, NO CHARACTER SHEET #1229, NO POSE CONTROL #1230) rendono le configurazioni comuni con un clic.
3 PREPARAZIONE#
WORKING SIZE (draft: 896x512) (#1028) normalizza l'input a una risoluzione stabile, e length: next 17k+5 up (#1030) limita l'esecuzione a una lunghezza di anteprima breve e decisa. PREPARE (plate + regenerated area) (#1231) costruisce una scena pulita, traccia cosa sostituire con SAM 3 usando il tuo testo da WHAT GETS REPLACED, e, se presente, ingloba la tua maschera manuale. Il risultato è una scena video più una o due maschere pronte per la rigenerazione controllata.
4 AREA RIGENERATA#
REGENERATED AREA (grow, blocks, hold) (#1233) è la logica della maschera che decide dove MiniMax H3 può dipingere. Espande la maschera affinché caratteristiche come orecchie o corna abbiano spazio, la converte in blocchi temporali per stabilizzare il movimento, e mantiene i cambiamenti per alcuni frame affinché i dettagli non sfarfallino. Se hai fornito una maschera manuale, i compositi [MANUAL MASK] (#1074 a #1105) la passano così come è stata disegnata.
5 RIFERIMENTO DI RECITAZIONE#
ACTING REFERENCE (your face on grey | head‑cam) (#1232) trova la persona selezionata, ritaglia una regione del viso con DWPose e produce il video di riferimento che porta le tue espressioni, linee degli occhi e rotazioni della testa. Con l'head-cam abilitata, costruisce uno schermo diviso affinché la direzione della testa segua la telecamera ampia mentre il movimento facciale fine segue l'head-cam. L'anteprima PREVIEW: acting reference (<Video 1>) (#1130) ti permette di confermare il tracciamento prima di rendere.
6 CONTROLLO DELLA POSA (opzionale)#
Per scambi di creature a corpo intero, [POSE] DWPose skeleton (#1131) estrae punti chiave di corpo e mani dalla tua scena. MiniMaxH3FunControlNetApply (#1132) alimenta quel movimento in H3 come una patch affinché arti e torso seguano la tua performance mentre il viso rimane guidato dal riferimento. Usalo quando braccia e gambe devono rimanere costanti tra i frame; lascialo spento per scambi solo di testa e per animali a quattro zampe.
7 RENDER#
H3 references + prompt MiniMaxH3ReferenceToVideo (#1134) combina il prompt, la scheda del personaggio, il riferimento di recitazione, l'audio e la dimensione di lavoro per produrre il condizionamento H3 e un latente iniziale. H3 RENDER (#1234) poi inietta il latente della scena, applica la maschera di rigenerazione affinché solo l'area mascherata cambi, e campiona con il programma Turbo. L'output è un render pulito e un'anteprima "regen shown"; SAVE: H3 render 1344x768 + voice (#1150) scrive un MP4 con il tuo audio originale.
8 VIDEO DI CONFRONTO#
COMPARISON VIDEO (#1235) impila la scena, il render, il riferimento di recitazione e (se usata) la scheda della creatura in un unico frame per la revisione. SAVE: comparison video + voice (#1158) esporta un MP4 con la stessa colonna sonora affinché tu possa confrontare il risultato con la tua performance.
Nodi chiave nel flusso di lavoro Comfyui MiniMax H3 Performance Capture#
BODY CLIP (your performance + voice) (#1012)#
Carica la tua recitazione e audio, che guidano la sincronizzazione labiale e il timing. Mantieni l'inquadratura orizzontale per la migliore composizione e assicurati che il file abbia l'audio. Se il viso è molto piccolo nell'inquadratura, aggiungi l'input head-cam per un tracciamento delle espressioni più nitido.
WHAT GETS REPLACED (head / person) (#1017)#
Questo breve testo orienta SAM 3.1 verso la regione che H3 rigenererà. Usa head per scambi di testa o person per sostituzioni a corpo intero. Se un casco o un impianto sulla testa deve sparire, includi parole come head, helmet o camera rig; evita parole generiche come screen, monitor o cable a meno che tu non intenda rimuovere oggetti simili nello sfondo.
REGENERATED AREA (grow, blocks, hold) (#1233)#
Definisce quanto dell'immagine H3 può ridipingere e come quell'area evolve nel tempo. Aumenta la crescita per dare spazio a orecchie, corna o pelliccia; abbassala per riprese ampie per evitare di espandersi nello sfondo. Le fasi di blocco e mantenimento stabilizzano il movimento affinché i dettagli non tremolino tra i frame.
ACTING REFERENCE (your face on grey | head‑cam) (#1232)#
Crea il tracciato di performance che MiniMax H3 imiterà. FACE CROP controlla quanto della testa e del collo viene analizzato, e PERSON seleziona l'attore quando sono visibili più persone. Abilita l'head-cam solo quando il viso della ripresa ampia è molto piccolo; una telecamera di solito segue meglio le rotazioni della testa.
MiniMaxH3ReferenceToVideo (#1134)#
Il fulcro che fonde il prompt, i riferimenti e l'audio per produrre il condizionamento e un latente iniziale. Mantieni larghezza e altezza allineate con la dimensione di lavoro e lascia che il flusso di lavoro limiti automaticamente la lunghezza per le anteprime. Il prompt include già una frase che dice a H3 come usare il riferimento di recitazione.
MiniMaxH3FunControlNetApply (#1132)#
Aggiunge guida opzionale alla posa del corpo da DWPose. Utile per creature a corpo intero affinché torso e arti seguano in modo convincente mentre il viso segue il riferimento di recitazione. Lascia spento per scambi solo di testa o movimenti a quattro zampe che non corrispondono agli scheletri umani.
H3 RENDER (#1234)#
Applica la maschera affinché solo la regione selezionata cambi, quindi campiona il video con il programma Turbo e decodifica con VAE a piastrelle per efficienza VRAM. Usa SEED per spostare l'aspetto e le micro-mozioni; cambialo quando l'aspetto del personaggio si discosta dalla scheda o descrizione.
Extra opzionali#
- Consigli per le riprese per MiniMax H3 Performance Capture: filma in orizzontale, mantieni l'esposizione stabile, includi audio di produzione pulito; se hai girato HDR su iPhone, converti in SDR prima di eseguire.
- Guida alla scheda del personaggio: includi viste frontali e laterali più alcune piccole teste di espressione; questo blocca l'identità tra le riprese meglio del solo testo.
- Scene multi-persona: imposta
PERSONsull'indice corretto e descrivi il soggetto nel testo SAM, quindi verifica l'anteprima della maschera prima di renderizzare. - Maschera manuale: fornisci un video in bianco e nero che corrisponde al timing del body clip; dipingilo leggermente più grande della creatura prevista affinché H3 non ricada sul viso originale.
- Quando abilitare il controllo della posa: usa per umanoidi a corpo intero o creature con braccia e gambe; disattivalo per scambi solo di testa e quadrupedi.
- Note sulla performance: l'attenzione sparsa è abilitata per velocizzare i render e ridurre la memoria; se la VRAM è stretta, esegui il text encoder su CPU in
CLIPLoader. I nodi personalizzati utilizzati includono ComfyUI‑VideoHelperSuite, ComfyUI‑KJNodes, comfyui_controlnet_aux, ComfyUI‑H3‑FaceRefine e ComfyUI‑Mickmumpitz‑Nodes.
Ringraziamenti#
Questo flusso di lavoro implementa e si basa sui seguenti lavori e risorse. Ringraziamo con gratitudine Mickmumpitz per il flusso di lavoro di cattura della performance ComfyUI e Comfy-Org per i modelli MiniMax H3 per i loro contributi e manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.
Risorse#
- Flusso di lavoro di Mickmumpitz
- GitHub: mickmumpitz/ComfyUI-Mickmumpitz-Nodes
- Docs / Note di rilascio: NEW VIDEO & FREE WORKFLOW — Turn yourself into ANY creature (MiniMax H3)
- Modelli MiniMax H3
- Hugging Face: Comfy-Org/MiniMax-H3
Nota: L'uso dei modelli, dataset e codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.