MiniMax H3 Video to Video con SolarRenderer + FastH3-Omni + Singularity V2

MiniMax H3 Video to Video con SolarRenderer#

MiniMax H3 Video to Video con SolarRenderer è un flusso di lavoro ComfyUI per il ri-rendering di una clip sorgente utilizzando un riferimento di aspetto e mappe normali estratte dal video. Preserva la struttura della scena e il movimento della telecamera mentre cambia materiali, illuminazione e aspetto generale. Questo lo rende una scelta forte per anteprime architettoniche, raffinamento di filmati naturalistici e restyling di scene cinematografiche dove geometria e movimento coerenti sono importanti.

Il flusso di lavoro combina FastH3-Omni per la generazione da riferimento a video con i controlli LoRA di SolarRenderer e il campionamento SelfLift. Le mappe normali guidano la geometria e il movimento, mentre i LoRA di SolarRenderer indirizzano l'ombreggiatura e i materiali fisicamente plausibili. Il risultato è una sequenza coerente e restilizzata che segue il timing e la traiettoria della ripresa originale.

Modelli chiave nel flusso di lavoro Comfyui MiniMax H3 Video to Video con SolarRenderer#

• FastH3-Omni per ComfyUI. Il modello di diffusione MiniMax H3 che esegue la generazione da riferimento a video, consentendo il trasferimento dell'aspetto rispettando movimento e layout. Vedi la scheda del modello per dettagli sul conditioning del riferimento e comportamento temporale. FastH3-Omni-Comfy su Hugging Face
• SolarRenderer LoRAs. Una coppia di LoRAs che iniettano controllo in stile renderer per ottenere illuminazione, materiali e ombre stabili tra i fotogrammi, utile per realismo architettonico o simile a prodotti. Esplora il progetto e i pesi qui: SolarRenderer su GitHub e SolarRenderer su Hugging Face
• MiniMax H3 VAEs. VAEs video e audio separati gestiscono la codifica e decodifica latente, mantenendo i fotogrammi visivi e il suono sincronizzati durante la generazione. Trova le risorse ufficiali di MiniMax H3 nella collezione: Comfy-Org/MiniMax-H3
• ControlNet Auxiliary Normal Map Estimator. Il preprocessore basato su Metric3D estrae normali di superficie per fotogramma dalla clip sorgente, fornendo una guida affidabile per struttura e movimento. Implementazione all'interno di ComfyUI è fornita dai processori ausiliari: comfyui_controlnet_aux

Come usare il flusso di lavoro Comfyui MiniMax H3 Video to Video con SolarRenderer#

Questo flusso di lavoro è organizzato in gruppi. Fornisci un'immagine di riferimento e un video sorgente, le normali vengono estratte dal video, il conditioning è costruito, e il campionamento SelfLift rende la nuova sequenza prima di decodificare in un MP4 con audio opzionale.

• Input di Riferimento
  • Usa LoadImage (#278) per fornire il riferimento di aspetto che definisce materiali, palette e qualità della superficie. Carica la tua clip sorgente con VHS_LoadVideo (#273).
  • La clip sorgente è passata attraverso AIO_Preprocessor (#274) impostato su un estrattore di normali Metric3D per produrre una sequenza di mappe normali. VHS_VideoCombine (#276) può visualizzare in anteprima queste normali così puoi confermare che la geometria è catturata pulitamente.
  • ImageScaleToTotalPixels (#226) ridimensiona l'immagine di riferimento a un budget di pixel target mantenendo il rapporto d'aspetto, garantendo un buon equilibrio tra dettaglio e velocità.
  • Se cambi gli input, riprevisualizza le normali per catturare artefatti di movimento o illuminazione prima del rendering.
• Modelli
  • Il flusso di lavoro carica i componenti MiniMax H3: UNet, codificatore di testo e i VAEs video e audio. Applica quindi il controllo LoRA di SolarRenderer e il LoRA a 4 passi di SolarRenderer per indirizzare lo stile di rendering.
  • Queste scelte di modello danno priorità a movimento stabile e coerenza in stile renderer. Di solito non è necessario toccarli oltre a selezionare o scambiare LoRA a proprio gusto.
• Conditioning
  • MiniMaxH3ReferenceToVideo (#11) è dove aspetto, struttura e tempistica si incontrano. Consuma l'immagine di riferimento, il video delle mappe normali, il tuo prompt, e la larghezza, altezza e lunghezza del fotogramma scelti per produrre un conditioning positivo e una sequenza latente iniziale.
  • Il conditioning negativo è gestito tramite un flusso azzerato in modo che il modello si concentri sui tuoi segnali positivi dal riferimento, dalle normali e dal prompt.
  • Se hai bisogno di vincoli specifici su soggetto o ambiente, esprimili nel prompt mantenendo la coerenza tra le riprese.
• Patch di Attenzione
  • Il flusso di lavoro include sia una patch di attenzione efficiente in memoria sia un backend di attenzione sparsa per clip più lunghe o VRAM limitata. Usa solo un percorso alla volta per evitare conflitti; mantieni l'altro disabilitato.
  • Questa sezione riguarda esclusivamente il throughput e la stabilità, non lo stile delle immagini. Cambia approccio se incontri errori di VRAM o rallentamenti.
• Campionamento
  • BasicScheduler e KSamplerSelect forniscono la strategia di passaggi. Il rendering principale avviene in SelfLiftH3Sampler (#233), che solleva un passaggio latente a bassa risoluzione a una fedeltà più alta rispettando la struttura della mappa normale e l'aspetto di riferimento.
  • Il campionatore può suddividere contenuti ad alta risoluzione, utilizzare uno scaler latente 3D specializzato e mescolare le forze di controllo per bilanciare la fedeltà della geometria con il restyling dei materiali.
  • Infine, VAEDecode ricostruisce i fotogrammi, l'opzionale VAEDecodeAudio ripristina l'audio, e VHS_VideoCombine (#243) scrive l'MP4 con il nome del file e la frequenza dei fotogrammi scelti.
• config
  • ResolutionSelector (#20) definisce la dimensione dell'output per aspetto e megapixel, quindi memorizza larghezza e altezza per il grafico. Scegli una dimensione che corrisponda alla tua consegna e al budget di calcolo.
  • La durata è espressa in secondi; il flusso di lavoro la converte in fotogrammi e la sincronizza a un multiplo di 17 per stabilità del campionatore e fluidità temporale.
  • Mantieni la parità d'aspetto con la tua clip sorgente per il movimento della telecamera e la composizione più fedeli.

Nodi chiave nel flusso di lavoro Comfyui MiniMax H3 Video to Video con SolarRenderer#

• MiniMaxH3ReferenceToVideo (#11)
  • Costruisce il conditioning positivo e la sequenza latente iniziale dal tuo prompt, immagine di riferimento e le mappe normali della clip sorgente. Usalo per impostare larghezza, altezza e lunghezza del fotogramma. Scegli una strategia ref_image_size che si allinei con la tua risoluzione in modo che le caratteristiche dell'aspetto si trasferiscano in modo coerente. Vedi la famiglia di modelli base per contesto: FastH3-Omni-Comfy
• SelfLiftH3Sampler (#233)
  • Esegue il campionamento consapevole del tempo con un sollevamento ad alta risoluzione integrato. Le regolazioni chiave includono cfg per l'aderenza al prompt, transition_step per quando il campionatore passa da un dettaglio grosso a fine, w_min e w_max per bilanciare la guida strutturale, lowres_scale per il passaggio iniziale, e highres_tiling se la VRAM è limitata. Il nodo supporta anche uno scaler latente 3D per dettagli più nitidi e stabili. Informazioni di base sul metodo: comfyui-SelfLift e il sommario del paper su arXiv: SelfLift
• AIO_Preprocessor (#274)
  • Esegue l'estrattore di mappe normali Metric3D sui fotogrammi sorgente per fornire indizi geometrici robusti. Se i bordi o le superfici appaiono morbidi nell'anteprima, aumenta la risoluzione del preprocessore o migliora la qualità del video di input. Riferimento all'implementazione: comfyui_controlnet_aux
• LoraLoaderModelOnly Controllo SolarRenderer (#281) e 4-step (#121)
  • Questi due LoRA guidano l'illuminazione, l'ombreggiatura e la risposta dei materiali in modo coerente. Inizia con il Controllo e aggiungi 4-step per una stabilità extra in stile renderer. Se le texture sembrano eccessivamente cotte, abbassa delicatamente la strength_model. Progetto e pesi: SolarRenderer su GitHub e SolarRenderer su Hugging Face
• ResolutionSelector (#20)
  • Imposta la dimensione dell'output per aspetto e megapixel, quindi indirizza larghezza e altezza al grafico. Usalo per abbinare l'inquadratura del tuo scatto target e il budget di calcolo. Mantenere i multipli coerenti migliora la stabilità temporale in MiniMax H3.
• VHS_VideoCombine (#243)
  • Muxes fotogrammi e audio opzionale nell'MP4 finale. Imposta filename_prefix, frame_rate, e se salvare l'output. Il nodo appartiene alla Video Helper Suite, che semplifica anteprima ed esportazione. Riferimento: ComfyUI-VideoHelperSuite

Extra opzionali#

• Per il movimento più fedele, mantieni l'aspetto dell'output vicino alla sorgente e usa l'anteprima della mappa normale per verificare la geometria prima del rendering.
• Se incontri pressione di VRAM, abilita il tiling in SelfLiftH3Sampler, o passa tra attenzione efficiente in memoria e attenzione sparsa. Non abilitare entrambi i percorsi contemporaneamente.
• Quando il risultato appare troppo lucido o artificiale, riduci la forza del LoRA di SolarRenderer o aggiungi suggerimenti di texture nel prompt mantenendo stabili i vincoli di scena.
• Fissa il seme casuale per ripetibilità quando confronti le forze LoRA o le varianti del prompt.

Ringraziamenti#

Questo flusso di lavoro implementa e si basa sui seguenti lavori e risorse. Ringraziamo Innovate Futures per la fonte del flusso di lavoro, Enderfga per il progetto e i modelli SolarRenderer, FastVideo per il modello FastH3-Omni ComfyUI, e facok per i nodi di campionamento SelfLift per i loro contributi e manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.

Risorse#

• Fonte del flusso di lavoro di Innovate Futures
  • Documenti / Note di rilascio: Post su Patreon
• Progetto SolarRenderer
  • GitHub: Enderfga/SolarRenderer
  • Hugging Face: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• Modelli SolarRenderer
  • Hugging Face: Enderfga/SolarRenderer
  • GitHub: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• Modello FastH3-Omni ComfyUI
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• Nodi di campionamento SelfLift
  • GitHub: facok/comfyui-SelfLift
  • arXiv: arXiv:2609.02036

Nota: L'uso dei modelli, dei dataset e del codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.