MiniMax H3 Video to Video com SolarRenderer + FastH3-Omni + Singularity V2

MiniMax H3 Video to Video com SolarRenderer#

MiniMax H3 Video to Video com SolarRenderer é um fluxo de trabalho do ComfyUI para re-renderizar um clipe fonte usando uma referência de aparência e mapas normais extraídos do vídeo. Preserva a estrutura da cena e o movimento da câmera enquanto altera materiais, iluminação e aparência geral. Isso o torna uma escolha forte para pré-visualizações arquitetônicas, refinamento de filmagens de vida selvagem e remodelação de cenas cinematográficas onde a geometria e o movimento consistentes são importantes.

O fluxo de trabalho combina FastH3-Omni para geração de referência-para-vídeo com SolarRenderer control LoRAs e amostragem SelfLift. Os mapas normais guiam a geometria e o movimento, enquanto os SolarRenderer LoRAs direcionam sombreamento e materiais fisicamente plausíveis. O resultado é uma sequência coerente e remodelada que segue o tempo e a trajetória do plano original.

Modelos chave no fluxo de trabalho Comfyui MiniMax H3 Video to Video com SolarRenderer#

• FastH3-Omni para ComfyUI. O modelo de difusão MiniMax H3 principal que realiza a geração de referência-para-vídeo, permitindo a transferência de aparência enquanto respeita o movimento e o layout. Veja o cartão do modelo para detalhes sobre condicionamento de referência e comportamento temporal. FastH3-Omni-Comfy no Hugging Face
• SolarRenderer LoRAs. Um par de LoRAs que injetam controle de estilo de renderizador para alcançar iluminação, materiais e sombras estáveis entre frames, útil para realismo arquitetônico ou parecido com produto. Explore o projeto e os pesos aqui: SolarRenderer no GitHub e SolarRenderer no Hugging Face
• MiniMax H3 VAEs. VAEs de vídeo e áudio separados lidam com codificação e decodificação latente, mantendo quadros visuais e som em sincronia durante a geração. Encontre os ativos oficiais do MiniMax H3 na coleção: Comfy-Org/MiniMax-H3
• ControlNet Auxiliary Normal Map Estimator. O pré-processador baseado em Metric3D extrai normais de superfície por frame do clipe fonte, fornecendo orientação de estrutura e movimento confiável. Implementação dentro do ComfyUI é fornecida pelos processadores auxiliares: comfyui_controlnet_aux

Como usar o fluxo de trabalho Comfyui MiniMax H3 Video to Video com SolarRenderer#

Este fluxo de trabalho está organizado em grupos. Você fornece uma imagem de referência e um vídeo fonte, normais são extraídos do vídeo, o condicionamento é construído, e a amostragem SelfLift renderiza a nova sequência antes de decodificar para um MP4 com áudio opcional.

• Entradas de Referência
  • Use LoadImage (#278) para fornecer a referência de aparência que define materiais, paleta e qualidades de superfície. Carregue seu clipe fonte com VHS_LoadVideo (#273).
  • O clipe fonte é passado através de AIO_Preprocessor (#274) configurado para um extrator de normais Metric3D para produzir uma sequência de mapas normais. VHS_VideoCombine (#276) pode pré-visualizar esses normais para que você possa confirmar se a geometria foi capturada corretamente.
  • ImageScaleToTotalPixels (#226) escala a imagem de referência para um orçamento de pixels alvo enquanto mantém a proporção, garantindo um bom equilíbrio entre detalhe e velocidade.
  • Se você mudar as entradas, pré-visualize novamente os normais para detectar artefatos de movimento ou iluminação antes de renderizar.
• Modelos
  • O fluxo de trabalho carrega componentes MiniMax H3: UNet, codificador de texto, e os VAEs de vídeo e áudio. Em seguida, aplica o SolarRenderer control LoRA e o SolarRenderer 4-step LoRA para direcionar o estilo de renderização.
  • Essas escolhas de modelo priorizam movimento estável e consistência semelhante a renderizador. Você geralmente não precisa tocá-los além de selecionar ou trocar LoRAs de acordo com seu gosto.
• Condicionamento
  • MiniMaxH3ReferenceToVideo (#11) é onde aparência, estrutura, e tempo se encontram. Ele consome a imagem de referência, o vídeo de mapa normal, seu prompt, e a largura, altura e comprimento do frame escolhidos para produzir condicionamento positivo e uma sequência latente inicial.
  • O condicionamento negativo é tratado por meio de um fluxo zerado para que o modelo se concentre nos sinais positivos da referência, normais e prompt.
  • Se você precisar de restrições específicas de assunto ou ambiente, formule-as no prompt enquanto o mantém consistente entre os planos.
• Patch de Atenção
  • O fluxo de trabalho inclui tanto um patch de atenção eficiente em memória quanto um backend de atenção esparsa para clipes mais longos ou VRAM limitada. Use apenas um caminho por vez para evitar conflitos; mantenha o outro desativado.
  • Esta seção é puramente sobre rendimento e estabilidade, não estilo de imagem. Troque abordagens se encontrar erros de VRAM ou lentidão.
• Amostragem
  • BasicScheduler e KSamplerSelect fornecem a estratégia de passos. A renderização principal acontece em SelfLiftH3Sampler (#233), que eleva uma passagem latente de baixa resolução para maior fidelidade enquanto respeita a estrutura do mapa normal e a aparência de referência.
  • O sampler pode ladrilhar conteúdo de alta resolução, usar um upscaler latente 3D especializado, e misturar forças de controle para equilibrar a fidelidade da geometria com a remodelação de materiais.
  • Finalmente, VAEDecode reconstrói frames, VAEDecodeAudio opcional restaura áudio, e VHS_VideoCombine (#243) escreve o MP4 com o nome de arquivo e taxa de quadros escolhidos.
• config
  • ResolutionSelector (#20) define o tamanho de saída por aspecto e megapixels, depois armazena largura e altura para o gráfico. Escolha um tamanho que corresponda ao seu orçamento de entrega e computação.
  • A duração é expressa em segundos; o fluxo de trabalho a converte em frames e ajusta para um múltiplo de 17 para estabilidade do sampler e suavidade temporal.
  • Mantenha a paridade de aspecto com seu clipe fonte para o movimento de câmera mais fiel e composição.

Nós chave no fluxo de trabalho Comfyui MiniMax H3 Video to Video com SolarRenderer#

• MiniMaxH3ReferenceToVideo (#11)
  • Constrói o condicionamento positivo e a sequência latente inicial a partir do seu prompt, imagem de referência, e os mapas normais do clipe fonte. Use-o para definir largura, altura, e comprimento do frame. Escolha uma estratégia ref_image_size que alinhe com sua resolução para que características de aparência sejam transferidas consistentemente. Veja a família de modelos base para contexto: FastH3-Omni-Comfy
• SelfLiftH3Sampler (#233)
  • Realiza amostragem ciente do tempo com uma elevação de alta resolução integrada. Ajustes chave incluem cfg para aderência ao prompt, transition_step para quando o sampler alterna de detalhe grosseiro para fino, w_min e w_max para balancear orientação estrutural, lowres_scale para a passagem inicial, e highres_tiling se a VRAM for limitada. O nó também suporta um upscaler latente 3D para detalhes mais nítidos e estáveis. Background sobre o método: comfyui-SelfLift e o resumo do artigo no arXiv: SelfLift
• AIO_Preprocessor (#274)
  • Executa o extrator de mapa normal Metric3D sobre os frames fonte para fornecer dicas geométricas robustas. Se bordas ou superfícies parecerem suaves na pré-visualização, aumente a resolução do pré-processador ou melhore a qualidade do vídeo de entrada. Referência de implementação: comfyui_controlnet_aux
• LoraLoaderModelOnly SolarRenderer Control (#281) e 4-step (#121)
  • Esses dois LoRAs guiam iluminação, sombreamento, e resposta de material consistentes. Comece com Control e adicione 4-step para estabilidade extra de estilo de renderizador. Se as texturas parecerem exageradas, abaixe suavemente o strength_model. Projeto e pesos: SolarRenderer no GitHub e SolarRenderer no Hugging Face
• ResolutionSelector (#20)
  • Define o tamanho de saída por aspecto e megapixels, depois roteia largura e altura para o gráfico. Use-o para corresponder sua moldura de tiro alvo e orçamento de computação. Manter múltiplos consistentes melhora a estabilidade temporal no MiniMax H3.
• VHS_VideoCombine (#243)
  • Multiplexa frames e áudio opcional no MP4 final. Defina filename_prefix, frame_rate, e se deseja salvar a saída. O nó pertence ao Video Helper Suite, que simplifica a pré-visualização e exportação. Referência: ComfyUI-VideoHelperSuite

Extras opcionais#

• Para o movimento mais fiel, mantenha o aspecto de saída próximo ao da fonte e use a pré-visualização do mapa normal para verificar a geometria antes de renderizar.
• Se você encontrar pressão de VRAM, ative o ladrilhamento em SelfLiftH3Sampler, ou alterne entre atenção eficiente em memória e atenção esparsa. Não ative ambos os caminhos ao mesmo tempo.
• Quando o resultado parecer muito brilhante ou artificial, reduza a força do SolarRenderer LoRA ou adicione dicas de textura no prompt enquanto mantém as restrições da cena estáveis.
• Fixe a semente aleatória para repetibilidade ao comparar forças de LoRA ou variantes de prompt.

Agradecimentos#

Este fluxo de trabalho implementa e se baseia nos seguintes trabalhos e recursos. Agradecemos sinceramente à Innovate Futures pela fonte do fluxo de trabalho, Enderfga pelo projeto e modelos SolarRenderer, FastVideo pelo modelo FastH3-Omni ComfyUI, e facok pelos nós de amostragem SelfLift por suas contribuições e manutenção. Para detalhes autoritativos, consulte a documentação original e repositórios vinculados abaixo.

Recursos#

• Fonte do fluxo de trabalho por Innovate Futures
  • Documentos / Notas de Lançamento: Postagem no Patreon
• Projeto SolarRenderer
  • GitHub: Enderfga/SolarRenderer
  • Hugging Face: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• Modelos SolarRenderer
  • Hugging Face: Enderfga/SolarRenderer
  • GitHub: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• Modelo FastH3-Omni ComfyUI
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• Nós de amostragem SelfLift
  • GitHub: facok/comfyui-SelfLift
  • arXiv: arXiv:2609.02036

Nota: O uso dos modelos, conjuntos de dados e código referenciados está sujeito às respectivas licenças e termos fornecidos por seus autores e mantenedores.