FastH3 Omni Riferimento a Video

FastH3 Omni Riferimento a Video: video guidato da riferimento con suono sincronizzato in 8 passaggi#

FastH3 Omni Reference to Video è un flusso di lavoro ComfyUI per trasformare un'unica immagine di riferimento e un suggerimento in un breve video con audio corrispondente. È alimentato dal punto di controllo FastH3 OmniRef distillato di FastVideo sulla base MiniMax H3, ottimizzato per il campionamento rapido a 8 passaggi. Il flusso di lavoro è ideale per riprese cinematografiche di personaggi, clip di prodotti lucidi e scene di viaggio dove desideri l'aspetto da un riferimento ma il movimento, il lavoro della telecamera e il suono seguono il tuo suggerimento.

Questo grafico ComfyUI collega input di riferimento, suggerimenti testuali, attenzione sparsa e un passaggio di diffusione video-e-audio congiunto in una pipeline pulita. Controlli il contenuto della scena, i movimenti della telecamera e gli effetti sonori o il dialogo direttamente nel suggerimento. Il risultato è una clip fedele al riferimento a 24 fps con audio che riflette la scena scritta.

Modelli chiave nel flusso di lavoro Comfyui FastH3 Omni Riferimento a Video#

• FastVideo FastH3 OmniRef (Comfy). Il punto di controllo di diffusione a 8 passaggi che genera sia il video che l'audio dagli input di riferimento più un suggerimento. È distillato per compiti di riferimento-a-video, producendo una forte identità e suono sincronizzato con passaggi minimi. Model card
• MiniMax H3 Video VAE (int8 convrot). Il video VAE che codifica e decodifica latenti spaziotemporali utilizzati dal modello di diffusione, abilitando campionamento compatto e ricostruzione rapida. Model file
• MiniMax H3 Audio VAE (fp32). L'audio VAE che gestisce il percorso latente dell'onda sonora in modo che la colonna sonora generata si allinei con la linea temporale visiva. Model file
• Qwen3‑VL 32B MiniMax H3 NVFP4 AWQ text encoder. Il grande encoder testuale visione-linguaggio usato per analizzare il suggerimento e allinearlo con i riferimenti per azioni coerenti, direttive della telecamera e segnali sonori. Model file
• Template di riferimento. Il template ufficiale Comfy‑Org riferimento-a-video che questo flusso di lavoro segue, adattato per FastH3 Omni Reference to Video. Template JSON

Come usare il flusso di lavoro Comfyui FastH3 Omni Riferimento a Video#

A un livello alto, il flusso di lavoro carica modelli, applica patch di attenzione e sigma, costruisce il condizionamento dal tuo suggerimento e riferimenti, esegue una diffusione video-audio congiunta in 8 passaggi, decodifica in fotogrammi e onda sonora, quindi multiplica e salva un video.

Modelli#

Questo gruppo carica il modello di diffusione FastVideo FastH3 OmniRef, i video e audio VAEs MiniMax H3, e l'encoder testuale NVFP4 AWQ. Mantenere questi componenti abbinati assicura che il programma a 8 passaggi e il percorso audio congiunto si comportino come previsto. Non è necessario modificare nulla qui oltre a selezionare il punto di controllo corretto. Carica esattamente un modello di diffusione; VAEs e encoder testuale sono risorse separate.

Patch del Modello#

Il modello è patchato con MiniMaxH3SigmaShift per allineare il programma del rumore per video e audio, e viene selezionato un backend di attenzione. ModelAttentionBackend utilizza il kernel int8 veloce per regioni dense, mentre BlockSparseAttention è configurato per VSA in modo che clip lunghe a risoluzioni più elevate rimangano efficienti. Lascia queste scelte come fornite per FastH3 Omni Reference to Video poiché il punto di controllo è addestrato per VSA e gli shift sigma mostrati.

Condizionamento#

MiniMaxH3ReferenceToVideo costruisce il condizionamento dal tuo suggerimento e riferimenti. Collega la tua immagine di riferimento nel primo slot e scrivi un suggerimento che lo chiami per tag, ad esempio “<Picture 1> cammina verso la telecamera, tracking a mano, vento oceanico, gabbiani lontani.” Larghezza e altezza provengono dal selettore di risoluzione, e un semplice controllo della durata in secondi viene convertito nella griglia dei fotogrammi del modello in modo che la riproduzione rimanga allineata. Se la fedeltà dell'identità è critica, imposta la ref_image_size del nodo su max; per velocità, usa match.

Campionamento#

Il gruppo di campionamento combina RandomNoise fisso o casuale, BasicGuider, un semplice scheduler, e la fase SamplerCustomAdvanced. Il programma è di 8 passaggi per abbinare la ricetta distillata di FastH3 OmniRef, che bilancia velocità e fedeltà per riferimento-a-video. Puoi cambiare il seed per esplorare variazioni senza toccare altre impostazioni. I latenti video e audio si evolvono insieme in modo che i segnali di movimento e sonori rimangano sincronizzati.

Decodifica e creazione video#

Dopo il campionamento, VAEDecode ricostruisce i fotogrammi dai latenti video e VAEDecodeAudio ricostruisce la colonna sonora. CreateVideo multiplica fotogrammi e audio a 24 fps in sRGB e produce un unico stream. SaveVideo scrive il file finale su disco utilizzando impostazioni predefinite sensate. Il risultato è una clip compatta che riflette sia il tuo riferimento che la tua scena scritta.

Input Utente#

• Selettore di Risoluzione (Dimensione). Scegli aspetto e conteggio pixel per controllare dettaglio e tempo di esecuzione; widescreen 16:9 funziona bene per la maggior parte delle riprese.
• Float (Durata). Imposta la lunghezza della clip in secondi; viene arrotondata al valore più vicino sulla griglia di fotogrammi 17k+5 del modello in modo che il tempo atterri pulito. Ad esempio, 5 s diventano 124 fotogrammi a 24 fps.
• Testo di Input (Suggerimento). Descrivi le azioni del soggetto, il linguaggio della telecamera e il design del suono o il dialogo. Fai riferimento ai tuoi riferimenti in ordine utilizzando tag come “<Picture 1>”.
• LoadImage. Aggiungi un riferimento pulito e ben illuminato per aspetto o impostazione. Puoi estendere il nodo per aggiungere più slot di riferimento se necessario.

Nodi chiave nel flusso di lavoro Comfyui FastH3 Omni Riferimento a Video#

MiniMaxH3ReferenceToVideo (#136) Questo nodo fonde il suggerimento con uno o più riferimenti e prepara il latente video-audio congiunto. Usalo per dirigere la ritenzione dell'identità, i movimenti della telecamera e gli eventi sonori in un unico posto. Regola width, height, length, e ref_image_size per bilanciare fedeltà e velocità. Mantieni i suggerimenti concisi ma espliciti su movimento e suono per la migliore sincronizzazione.

BlockSparseAttention (#143) La patch di attenzione abilita l'attenzione block-sparse VSA per clip più lunghe e risoluzioni più alte. In questo flusso di lavoro è impostato su VSA con una percentuale di mantenimento conservativa per preservare la qualità mentre si risparmiano risorse di calcolo. Lascia la selezione su VSA per FastH3 Omni Reference to Video; passare ad altre modalità sparse può degradare i risultati. Aumentare il rapporto di mantenimento aumenta il calcolo, mentre abbassarlo può ridurre la fedeltà.

MiniMaxH3SigmaShift (#141) Lo spostamento sigma allinea il programma del rumore di diffusione tra video e audio in modo che entrambi convergano chiaramente in 8 passaggi. Gli spostamenti video e audio forniti sono adattati al punto di controllo OmniRef e dovrebbero essere mantenuti così come sono per un output coerente. Se passi a un diverso punto di controllo della famiglia MiniMax H3, consulta il suo model card prima di cambiare questi valori.

BasicScheduler (#124) Lo scheduler guida la traiettoria a 8 passaggi utilizzata dal modello distillato. Mantenere i passaggi a 8 conserva il compromesso velocità-qualità previsto; più passaggi in genere aggiungono tempo senza guadagni chiari. Combinalo con un seed fisso per la riproducibilità, o randomizza il seed per esplorare alternative con la stessa struttura.

Extra opzionali#

• Scrivi suggerimenti che abbinano verbi di azione e telecamera con suoni ambientali o dialoghi brevi per un allineamento audio-visivo stretto.
• Per la massima identità, usa un riferimento ad alta risoluzione, frontale e imposta ref_image_size su max; per iterazioni più veloci, usa match.
• Se vedi pressione di memoria a lunghe durate, riduci la risoluzione o accorcia la clip prima di toccare le impostazioni di attenzione.
• Usa un seed fisso mentre sviluppi un look, poi passa a seed casuali per generare una varietà di riprese dallo stesso setup.
• Per costruire una sequenza multi-shot, rendi diversi clip brevi dallo stesso riferimento con diversi suggerimenti di telecamera e montali nel tuo editor video.

Ringraziamenti#

Questo flusso di lavoro implementa e si basa sui seguenti lavori e risorse. Ringraziamo sinceramente FastVideo per il modello FastH3-Omni-Comfy e la collezione di modelli FastH3 Omni, Hao AI Lab per il blog di rilascio FastVideo OmniRef, e Comfy-Org per il template del flusso di lavoro riferimento-a-video, per i loro contributi e manutenzione. Per dettagli autorevoli, si prega di fare riferimento alla documentazione e ai repository originali collegati di seguito.

Risorse#

• FastVideo/FastH3-Omni-Comfy
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• Hao AI Lab/FastVideo OmniRef release blog
  • Docs / Release Notes: FastVideo OmniRef update
• Comfy-Org/reference-to-video workflow template
  • GitHub: Comfy-Org/workflow_templates: templates/video_fasth3_ominiref_r2v.json
• FastVideo/fasth3-omni (collection)
  • Hugging Face: FastVideo/fasth3-omni

Nota: L'uso dei modelli, dataset e codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.