MiniMax H3 Video a Video con SolarRenderer + FastH3-Omni + Singularity V2

MiniMax H3 Video a Video con SolarRenderer#

MiniMax H3 Video a Video con SolarRenderer es un flujo de trabajo de ComfyUI para volver a renderizar un clip fuente usando una referencia de apariencia y mapas normales extraídos del video. Preserva la estructura de la escena y el movimiento de la cámara mientras cambia materiales, iluminación y aspecto general. Esto lo convierte en una opción fuerte para previsualizaciones arquitectónicas, refinamiento de metraje de vida silvestre y restyling de escenas cinematográficas donde la geometría y el movimiento consistentes son importantes.

El flujo de trabajo combina FastH3-Omni para generación de referencia a video con LoRAs de control SolarRenderer y muestreo SelfLift. Los mapas normales guían la geometría y el movimiento, mientras que los LoRAs de SolarRenderer dirigen el sombreado y los materiales físicamente plausibles. El resultado es una secuencia coherente y rediseñada que sigue el tiempo y la trayectoria del plano original.

Modelos clave en el flujo de trabajo Comfyui MiniMax H3 Video a Video con SolarRenderer#

• FastH3-Omni para ComfyUI. El modelo de difusión MiniMax H3 que realiza la generación de referencia a video, permitiendo la transferencia de apariencia respetando el movimiento y la disposición. Vea la tarjeta del modelo para detalles sobre el acondicionamiento de referencia y el comportamiento temporal. FastH3-Omni-Comfy en Hugging Face
• LoRAs de SolarRenderer. Un par de LoRAs que inyectan control de estilo de renderer para lograr iluminación, materiales y sombras estables a través de cuadros, útil para realismo arquitectónico o similar a productos. Explore el proyecto y los pesos aquí: SolarRenderer en GitHub y SolarRenderer en Hugging Face
• VAEs de MiniMax H3. VAEs de video y audio separados manejan la codificación y decodificación latente, manteniendo los cuadros visuales y el sonido sincronizados durante la generación. Encuentra los activos oficiales de MiniMax H3 en la colección: Comfy-Org/MiniMax-H3
• Estimador de Mapa Normal Auxiliar ControlNet. El preprocesador normal basado en Metric3D extrae normales de superficie por cuadro del clip fuente, proporcionando orientación confiable de estructura y movimiento. La implementación dentro de ComfyUI es proporcionada por los procesadores auxiliares: comfyui_controlnet_aux

Cómo usar el flujo de trabajo Comfyui MiniMax H3 Video a Video con SolarRenderer#

Este flujo de trabajo está organizado en grupos. Usted proporciona una imagen de referencia y un video fuente, se extraen normales del video, se construye el acondicionamiento y el muestreo SelfLift renderiza la nueva secuencia antes de decodificar a un MP4 con audio opcional.

• Entradas de Referencia
  • Use LoadImage (#278) para proporcionar la referencia de apariencia que define materiales, paleta y cualidades de superficie. Cargue su clip fuente con VHS_LoadVideo (#273).
  • El clip fuente pasa por AIO_Preprocessor (#274) configurado a un extractor normal Metric3D para producir una secuencia de mapa normal. VHS_VideoCombine (#276) puede previsualizar estos normales para que pueda confirmar que la geometría se captura limpiamente.
  • ImageScaleToTotalPixels (#226) escala la imagen de referencia a un presupuesto de píxeles objetivo manteniendo la relación de aspecto, asegurando un buen equilibrio entre detalle y velocidad.
  • Si cambia las entradas, vuelva a previsualizar los normales para detectar artefactos de movimiento o iluminación antes de renderizar.
• Modelos
  • El flujo de trabajo carga componentes MiniMax H3: UNet, codificador de texto y los VAEs de video y audio. Luego aplica el control LoRA de SolarRenderer y el LoRA de 4 pasos de SolarRenderer para dirigir el estilo de renderizado.
  • Estas elecciones de modelo priorizan el movimiento estable y la consistencia similar a un renderer. Generalmente no necesita tocarlos más allá de seleccionar o intercambiar LoRAs a su gusto.
• Acondicionamiento
  • MiniMaxH3ReferenceToVideo (#11) es donde la apariencia, la estructura y el tiempo se encuentran. Consume la imagen de referencia, el video de mapa normal, su prompt y el ancho, altura y longitud de cuadro elegidos para producir el acondicionamiento positivo y una secuencia latente inicial.
  • El acondicionamiento negativo se maneja mediante un flujo cero para que el modelo se concentre en sus señales positivas de la referencia, los normales y el prompt.
  • Si necesita restricciones específicas de sujeto o entorno, expréselas en el prompt manteniéndolo consistente entre tomas.
• Parche de Atención
  • El flujo de trabajo incluye tanto un parche de atención eficiente en memoria como un backend de atención dispersa para clips más largos o VRAM limitada. Use solo un camino a la vez para evitar conflictos; mantenga el otro deshabilitado.
  • Esta sección trata puramente del rendimiento y la estabilidad, no del estilo de imagen. Cambie de enfoque si encuentra errores de VRAM o ralentizaciones.
• Muestreo
  • BasicScheduler y KSamplerSelect proporcionan la estrategia de pasos. El renderizado principal ocurre en SelfLiftH3Sampler (#233), que eleva un pase latente de baja resolución a mayor fidelidad respetando la estructura del mapa normal y la apariencia de referencia.
  • El muestreador puede mosaicar contenido de alta resolución, usar un reescalador latente 3D especializado y mezclar fortalezas de control para equilibrar la fidelidad de la geometría con el restyling de materiales.
  • Finalmente, VAEDecode reconstruye cuadros, VAEDecodeAudio opcional restaura el audio, y VHS_VideoCombine (#243) escribe el MP4 con su nombre de archivo y tasa de cuadros elegidos.
• configuración
  • ResolutionSelector (#20) define el tamaño de salida por aspecto y megapíxeles, luego almacena el ancho y la altura para el gráfico. Elija un tamaño que coincida con su entrega y presupuesto de cómputo.
  • La duración se expresa en segundos; el flujo de trabajo la convierte a cuadros y se ajusta a un múltiplo de 17 para la estabilidad del muestreador y la suavidad temporal.
  • Mantenga la paridad de aspecto con su clip fuente para el movimiento de cámara y composición más fieles.

Nodos clave en el flujo de trabajo Comfyui MiniMax H3 Video a Video con SolarRenderer#

• MiniMaxH3ReferenceToVideo (#11)
  • Construye el acondicionamiento positivo y la secuencia latente inicial a partir de su prompt, imagen de referencia y los mapas normales del clip fuente. Úselo para establecer ancho, altura y longitud de cuadro. Elija una estrategia ref_image_size que se alinee con su resolución para que las características de apariencia se transfieran consistentemente. Vea la familia de modelos base para contexto: FastH3-Omni-Comfy
• SelfLiftH3Sampler (#233)
  • Realiza muestreo consciente del tiempo con un levantamiento de alta resolución integrado. Los ajustes clave incluyen cfg para la adherencia al prompt, transition_step para cuando el muestreador cambia de detalle grueso a fino, w_min y w_max para equilibrar la guía estructural, lowres_scale para el pase inicial, y highres_tiling si la VRAM es limitada. El nodo también admite un reescalador latente 3D para detalles más nítidos y estables. Antecedentes sobre el método: comfyui-SelfLift y el resumen del artículo en arXiv: SelfLift
• AIO_Preprocessor (#274)
  • Ejecuta el extractor de mapa normal Metric3D sobre los cuadros fuente para proporcionar pistas geométricas robustas. Si los bordes o superficies se ven suaves en la previsualización, aumente la resolución del preprocesador o mejore la calidad del video de entrada. Referencia de implementación: comfyui_controlnet_aux
• LoraLoaderModelOnly Control de SolarRenderer (#281) y 4 pasos (#121)
  • Estos dos LoRAs guían la iluminación, el sombreado y la respuesta de material consistentes. Comience con Control y agregue 4 pasos para mayor estabilidad de estilo renderer. Si las texturas se ven sobrecargadas, reduzca suavemente la strength_model. Proyecto y pesos: SolarRenderer en GitHub y SolarRenderer en Hugging Face
• ResolutionSelector (#20)
  • Establece el tamaño de salida por aspecto y megapíxeles, luego enruta el ancho y la altura al gráfico. Úselo para hacer coincidir su encuadre de disparo objetivo y presupuesto de cómputo. Mantener múltiplos consistentes mejora la estabilidad temporal en MiniMax H3.
• VHS_VideoCombine (#243)
  • Fusiona cuadros y audio opcional en el MP4 final. Establezca filename_prefix, frame_rate, y si guardar la salida. El nodo pertenece a Video Helper Suite, que agiliza la previsualización y exportación. Referencia: ComfyUI-VideoHelperSuite

Extras opcionales#

• Para el movimiento más fiel, mantenga el aspecto de salida cerca de la fuente y use la previsualización del mapa normal para verificar la geometría antes de renderizar.
• Si encuentra presión de VRAM, habilite el mosaico en SelfLiftH3Sampler, o cambie entre atención eficiente en memoria y atención dispersa. No habilite ambos caminos a la vez.
• Cuando el resultado se vea demasiado brillante o artificial, reduzca la fuerza de SolarRenderer LoRA o agregue indicios de textura en el prompt mientras mantiene estables las restricciones de escena.
• Fije la semilla aleatoria para repetibilidad al comparar fortalezas de LoRA o variantes de prompt.

Agradecimientos#

Este flujo de trabajo implementa y se basa en los siguientes trabajos y recursos. Agradecemos a Innovate Futures por la fuente del flujo de trabajo, a Enderfga por el proyecto y modelos de SolarRenderer, a FastVideo por el modelo FastH3-Omni ComfyUI, y a facok por los nodos de muestreo SelfLift por sus contribuciones y mantenimiento. Para detalles autorizados, consulte la documentación y repositorios originales vinculados a continuación.

Recursos#

• Fuente del flujo de trabajo por Innovate Futures
  • Documentos / Notas de lanzamiento: Patreon post
• Proyecto SolarRenderer
  • GitHub: Enderfga/SolarRenderer
  • Hugging Face: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• Modelos SolarRenderer
  • Hugging Face: Enderfga/SolarRenderer
  • GitHub: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• Modelo FastH3-Omni ComfyUI
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• Nodos de muestreo SelfLift
  • GitHub: facok/comfyui-SelfLift
  • arXiv: arXiv:2609.02036

Nota: El uso de los modelos, conjuntos de datos y código referenciados está sujeto a las respectivas licencias y términos proporcionados por sus autores y mantenedores.