Blender a ComfyUI AI Renderer 2.0 | Creatore di Video in Movimento

Blender a ComfyUI AI Renderer 2.0

Blender a ComfyUI AI Renderer 2.0 trasforma gli output di Blender in video AI cinematografici guidati da prompt preservando movimento e layout della scena. Legge la struttura da passaggi di profondità, contorno o posa e li utilizza per guidare la generazione video di Wan VACE affinché il tuo filmato finale rimanga allineato con l'intento originale dell'animazione. Il workflow include anche un percorso di immagine fissa veloce per lo sviluppo dell'aspetto e il controllo dei fotogrammi chiave, rendendolo ideale per animatori, artisti VFX, team previsionali e creatori di contenuti.

Al suo interno, Blender a ComfyUI AI Renderer 2.0 costruisce o assorbe video di controllo, li unisce a fotogrammi di partenza o di riferimento e rende una sequenza coerente con forte stabilità temporale. Ottieni controllo creativo tramite prompt e immagini di riferimento mentre profondità e bordi mantengono intatta la composizione e il movimento.

Modelli chiave nel workflow Comfyui Blender a ComfyUI AI Renderer 2.0

• Wan 2.1 VACE 14B (SkyReels V3 R2V merge). Diffusione video di base utilizzata per la generazione consapevole della struttura e l'allineamento del movimento. Checkpoint ospitato come unione per VACE e SkyReels R2V, adatto per il controllo del fotogramma dall'inizio alla fine e la consistenza guidata dal riferimento. Model
• Codificatore di testo uMT5‑XXL per Wan 2.1. Fornisce condizionamento del testo ad alta capacità confezionato per ComfyUI. Files
• Wan 2.1 VAE. Utilizzato per codificare e decodificare latenti video in modo pulito per il pipeline Wan. Files
• Depth Anything 3 DA3‑BASE. Stimatore di profondità monoculare utilizzato per derivare un controllo di profondità di alta qualità e temporalmente coerente dai filmati. Model
• Z‑Image Turbo. Una rapida base di diffusione delle immagini per l'esplorazione di un singolo fotogramma con condizionamento multi-controllo. Model
• Z‑Image‑Fun ControlNet Union 2.1. Pesature multi-controllo per canny, profondità, posa e altro quando si utilizza il percorso Z‑Image Turbo. Model
• OpenPose (algoritmo). Classico rilevatore di punti chiave 2D utilizzato per derivare linee di posa come segnale di controllo opzionale. Paper • GitHub

Come utilizzare il workflow Comfyui Blender a ComfyUI AI Renderer 2.0

Il workflow ha due percorsi che puoi eseguire indipendentemente o insieme. Primo, un percorso di Preprocess costruisce un video di controllo dai tuoi filmati (profondità, bordi o posa). Secondo, AI Renderer 2.0 fonde immagini di partenza o di riferimento con quel video di controllo per sintetizzare la sequenza finale. Un percorso separato Z‑IMAGE TURBO CN 1.0 ti permette di iterare rapidamente su immagini fisse che rispecchiano la tua strategia di controllo.

• INPUT VIDEO & SELEZIONE DIMENSIONI (Preprocess)
  • Questo gruppo importa un video e standardizza le dimensioni e la pianificazione dei fotogrammi per il costruttore del passaggio di controllo. Il nodo VHS_LoadVideo (#32) legge il tuo clip ed espone informazioni come fps e conteggio dei fotogrammi ai nodi a valle. Un blocco di impostazioni compatto collega larghezza, altezza e limiti di fotogrammi in modo che ogni preprocessore a valle operi alla stessa risoluzione. Usa questo per allineare tutte le uscite di Preprocess prima di scegliere un tipo di controllo.
• PROFONDITÀ (Preprocess)
  • Questo gruppo converte i fotogrammi di input in una sequenza di mappe di profondità usando DepthAnything_V3 (#37). L'obiettivo è preservare la geometria della scena in modo che la generazione video successiva rispetti scala, occlusione e parallasse. Un nodo di ridimensionamento interno adatta le mappe alla dimensione di lavoro e un blocco di salvataggio può visualizzare in anteprima il clip di controllo. Scegli questo quando desideri una forte fedeltà del layout e del movimento della fotocamera.
• CANNY (Preprocess)
  • Questo gruppo estrae linee di bordo pulite con CannyEdgePreprocessor (#39) per fornire struttura senza ombreggiatura. I bordi vengono ridimensionati per adattarsi alle impostazioni del progetto e possono essere salvati come anteprima. Usa questo quando desideri silhouette nitide, linee architettoniche o controllo in stile toon che mantengono la composizione ma consentono flessibilità stilistica.
• POSA (Preprocess)
  • Questo gruppo calcola scheletri umani con OpenposePreprocessor (#42), producendo figure di linea leggere per il trasferimento del movimento. È utile quando il movimento del personaggio è prioritario e desideri che i dettagli generativi rimangano coerenti con l'azione e il timing. Come con altri tipi di controllo, l'output viene ridimensionato e può essere visualizzato in anteprima come video corto.
• Z‑IMAGE TURBO CN 1.0
  • Questo percorso è per l'esplorazione rapida di immagini fisse da un singolo fotogramma o un'immagine caricata. QwenImageDiffsynthControlnet (#3) applica Z‑Image Turbo con il patch multi-controllo, guidato da un prompt da CLIPTextEncode (#23). Usa l'interruttore USE VIDEO? (#20) per alimentare un fotogramma da video o un'immagine da disco; quindi campiona e salva un fotogramma veloce per convalidare il tuo prompt, direzione artistica o forza di controllo prima di eseguire l'intera sequenza.
• IMMAGINE DI PARTENZA (AI Renderer 2.0)
  • Questo gruppo accetta un'immagine di partenza e fino a tre immagini di riferimento aggiuntive. Il workflow le ridimensiona automaticamente, le fonde opzionalmente e costruisce una pila di riferimento che semina il video per una migliore identità e coerenza di stile. Se sono presenti più riferimenti, un piccolo blocco logico disabilita l'input del fotogramma di partenza nel costruttore VACE dall'inizio alla fine in modo che i riferimenti abbiano la precedenza.
• INPUT VIDEO & SELEZIONE DIMENSIONI (AI Renderer 2.0)
  • Questo secondo gruppo di dimensionamento guida il rendering finale. Imposta larghezza, altezza, fps e lunghezza del fotogramma che vengono letti dai nodi Wan a valle. VHS_LoadVideo (#93 e #105) può anche importare un clip ausiliario le cui proprietà vengono utilizzate per rispecchiare fps nello scrittore di output finale. Tieni questo gruppo sincronizzato con il tuo export di Blender per evitare campionamenti indesiderati.
• CARICATORI DI MODELLO FP8
  • Qui vengono caricati il principale Wan 2.1 VACE UNet, l'encoder di testo uMT5‑XXL e il Wan VAE, insieme a pesi LoRA opzionali. Questi caricatori garantiscono che il percorso AI Renderer 2.0 funzioni con precisione coerente, tokenizer e codec latente. Scambia i modelli qui per cambiare famiglie di stile o checkpoint senza toccare il resto del grafo.
• CAMPIONATORE
  • Il cuore di Blender a ComfyUI AI Renderer 2.0. WanVideoVACEStartToEndFrame (#3261) forma un video di controllo dalle immagini di partenza e di riferimento più il passaggio di controllo scelto, quindi WanVacePhantomSimpleV2 (#3255) collega il modello Wan, il condizionamento, i riferimenti e il controllo generato insieme. Un KSampler (#3253) rende fotogrammi coerenti, quindi VAEDecode e VHS_VideoCombine (#109) salvano l'MP4 al tuo fps target. Inserisci i tuoi prompt positivi e negativi una volta; lo stesso testo guida l'intera sequenza.

Nodi chiave nel workflow Comfyui Blender a ComfyUI AI Renderer 2.0

• WanVacePhantomSimpleV2 (#3255)
  • Orchestra la generazione Wan 2.1 VACE instradando modello, VAE, prompt, video di controllo e fotogrammi di riferimento. Regola solo l'essenziale: larghezza e altezza di lavoro per adattarsi al tuo controllo e lunghezza della sequenza per adattarsi alla ripresa target. Se usi diversi riferimenti forti, mantieni i prompt descrittivi piuttosto che troppo specifici per evitare di contrastare la guida del riferimento.
• WanVideoVACEStartToEndFrame (#3261)
  • Costruisce il video di controllo che VACE segue. Fornisci un'immagine di partenza, una pila di riferimento opzionale o finale e il video di controllo preprocessato. Imposta il numero di fotogrammi usando la regola Wan di 4n+1 in modo che il taglio rimanga coerente attraverso il campionatore; questo evita artefatti di uno fuori alla fine.
• PreprocessSwitch (#3239)
  • Seleziona quale feed di controllo raggiunge il campionatore. Alterna tra fotogrammi originali, profondità, canny o posa a seconda di ciò che hai esportato da Blender o costruito in Preprocess. Usa la profondità quando hai bisogno di fedeltà spaziale, canny per un controllo della composizione pulito e posa per il movimento incentrato sul personaggio.
• VHS_LoadVideo (#93)
  • Gestisce l'ingestione del video ed espone le proprietà dei fotogrammi utilizzate in tutto il grafo. È il modo affidabile per mantenere fps e dimensionamento coerenti da Blender fino al rendering. Se hai bisogno di tagliare o saltare teste e code, fallo qui in modo che tutti i percorsi a valle rimangano allineati.
• KSampler (#3253)
  • Produce la sequenza latente finale dato il modello Wan e il condizionamento. Se cambi la forza della guida o il metodo del campionatore, ricontrolla i primi e gli ultimi 10 fotogrammi per stabilità, quindi rendi l'intera ripresa.

Extra opzionali

• Puoi sostituire il passaggio di controllo generato con i passaggi di rendering propri di Blender. Collega il tuo passaggio di profondità, contorno o posa all'input di controllo utilizzato da WanVideoVACEStartToEndFrame (#3261) per guidare VACE direttamente dagli output di Blender.
• Mantieni il rapporto d'aspetto e fps identici tra Blender e il workflow. Lo scrittore di output rispecchia fps dalle impostazioni di input in modo che il timing editoriale rimanga bloccato.
• Per la conservazione dell'identità o dello stile, fornisci più immagini di riferimento pulite in IMMAGINE DI PARTENZA. Il workflow darà la priorità al set di riferimenti e gestirà automaticamente l'interruttore del fotogramma iniziale.

Questo workflow Blender a ComfyUI AI Renderer 2.0 ti consente di rimanere fedele al layout e al movimento utilizzando prompt e riferimenti per aumentare il valore di produzione. Usa Preprocess per decidere quanto vuoi preservare la struttura, valida rapidamente la direzione con Z‑IMAGE TURBO CN 1.0, quindi rendi sequenze fiduciose e coerenti con AI Renderer 2.0.

Riconoscimenti

Questo workflow implementa e si basa sui seguenti lavori e risorse. Ringraziamo con gratitudine @Mickmumpitz i creatori di “Blender to ComfyUI AI Renderer 2.0 Source” per il loro workflow e la loro guida. Per dettagli autorevoli, si prega di fare riferimento alla documentazione originale e ai repository collegati di seguito.

Risorse

• Blender to ComfyUI AI Renderer 2.0 Source
  • Documentazione / Note di rilascio: YouTube @ Mickmumpitz

Nota: L'uso dei modelli, dei set di dati e del codice di riferimento è soggetto alle rispettive licenze e termini forniti dai loro autori e manutentori.