MiniMax H3 Video to Video with SolarRenderer + FastH3-Omni + Singularity V2

MiniMax H3 Video to Video with SolarRenderer#

MiniMax H3 Video to Video with SolarRenderer는 외관 참조와 비디오에서 추출한 일반 맵을 사용하여 소스 클립을 재렌더링하는 ComfyUI 워크플로우입니다. 장면 구조와 카메라 동작을 유지하면서 재료, 조명 및 전체적인 외관을 변경합니다. 이는 건축 미리보기, 야생 동물 영상 정제, 그리고 일관된 기하학과 움직임이 중요한 영화 장면 스타일 변경에 강력한 선택입니다.

이 워크플로우는 FastH3-Omni를 참조-비디오 생성과 SolarRenderer 제어 LoRAs 및 SelfLift 샘플링과 결합합니다. 일반 맵은 기하학과 동작을 안내하며, SolarRenderer LoRAs는 물리적으로 타당한 쉐이딩과 재료를 조종합니다. 결과는 원본 촬영의 타이밍과 궤적을 따르는 일관된 스타일의 시퀀스입니다.

Comfyui MiniMax H3 Video to Video with SolarRenderer 워크플로우의 주요 모델#

• FastH3-Omni for ComfyUI. 참조-비디오 생성을 수행하여 모션과 레이아웃을 존중하며 외관 전송을 가능하게 하는 핵심 MiniMax H3 확산 모델입니다. 참조 조건 및 시간적 동작에 대한 세부 정보는 모델 카드를 참조하십시오. FastH3-Omni-Comfy on Hugging Face
• SolarRenderer LoRAs. 프레임 전반에 걸쳐 안정적인 조명, 재료 및 그림자를 얻기 위해 렌더러 스타일의 제어를 주입하는 두 개의 LoRAs입니다. 건축적 또는 제품과 같은 사실감을 위해 유용합니다. 프로젝트 및 가중치를 탐색하십시오: SolarRenderer on GitHub 및 SolarRenderer on Hugging Face
• MiniMax H3 VAEs. 별도의 비디오 및 오디오 VAEs가 잠재 인코딩 및 디코딩을 처리하여 생성 중에 시각적 프레임과 소리를 동기화합니다. 공식 MiniMax H3 자산은 컬렉션에서 찾을 수 있습니다: Comfy-Org/MiniMax-H3
• ControlNet 보조 일반 맵 추정기. Metric3D 기반의 일반 전처리기는 소스 클립에서 프레임당 표면 법선을 추출하여 신뢰할 수 있는 구조 및 동작 안내를 제공합니다. ComfyUI 내 구현은 보조 프로세서에 의해 제공됩니다: comfyui_controlnet_aux

Comfyui MiniMax H3 Video to Video with SolarRenderer 워크플로우 사용 방법#

이 워크플로우는 그룹으로 구성되어 있습니다. 참조 이미지와 소스 비디오를 제공하고, 비디오에서 일반이 추출되며, 조건이 구축되고, SelfLift 샘플링은 새 시퀀스를 렌더링한 후 선택적 오디오와 함께 MP4로 디코딩합니다.

• 참조 입력
  • LoadImage (#278)를 사용하여 재료, 팔레트 및 표면 품질을 정의하는 외관 참조를 제공합니다. VHS_LoadVideo (#273)를 사용하여 소스 클립을 로드하세요.
  • 소스 클립은 Metric3D 일반 추출기에 설정된 AIO_Preprocessor (#274)를 통해 일반 맵 시퀀스를 생성합니다. VHS_VideoCombine (#276)은 이러한 일반을 미리 볼 수 있어 기하학이 깔끔하게 캡처되었는지 확인할 수 있습니다.
  • ImageScaleToTotalPixels (#226)는 참조 이미지를 목표 픽셀 예산으로 스케일링하여 세부 사항과 속도 간의 균형을 유지합니다.
  • 입력을 변경하면 렌더링 전에 모션 또는 조명 결함을 잡기 위해 일반을 다시 미리 보세요.
• 모델
  • 워크플로우는 MiniMax H3 구성 요소를 로드합니다: UNet, 텍스트 인코더 및 비디오 및 오디오 VAEs. 그런 다음 SolarRenderer 제어 LoRA 및 SolarRenderer 4단계 LoRA를 적용하여 렌더링 스타일을 조정합니다.
  • 이러한 모델 선택은 안정적인 동작과 렌더러 같은 일관성을 우선시합니다. 보통은 LoRAs를 선택하거나 교체하는 것 외에는 손댈 필요가 없습니다.
• 조건
  • MiniMaxH3ReferenceToVideo (#11)는 외관, 구조 및 타이밍이 만나는 곳입니다. 참조 이미지, 일반 맵 비디오, 프롬프트 및 선택한 너비, 높이, 프레임 길이를 소비하여 긍정적 조건과 초기 잠재 시퀀스를 생성합니다.
  • 부정적 조건은 0으로 된 스트림을 통해 처리되어 모델이 참조, 일반 및 프롬프트에서 긍정적 신호에 집중할 수 있도록 합니다.
  • 특정 주제나 환경 제약이 필요하면 프롬프트에 이를 표현하면서 샷 전반에 걸쳐 일관성을 유지하세요.
• 주의 패치
  • 워크플로우는 메모리 효율적인 주의 패치와 제한된 VRAM을 위한 희소 주의 백엔드를 포함합니다. 충돌을 피하기 위해 한 번에 한 경로만 사용하고 다른 경로는 비활성화하세요.
  • 이 섹션은 이미지 스타일이 아니라 처리량과 안정성에 관한 것입니다. VRAM 오류나 속도 저하가 발생하면 접근 방식을 전환하세요.
• 샘플링
  • BasicScheduler와 KSamplerSelect는 단계 전략을 제공합니다. 주요 렌더링은 SelfLiftH3Sampler (#233)에서 수행되며, 이는 낮은 해상도의 잠재 패스를 고해상도로 끌어올리면서 일반 맵 구조와 참조 외관을 존중합니다.
  • 샘플러는 고해상도 콘텐츠를 타일링하고, 특수 3D 잠재 업스케일러를 사용하며, 기하학 충실도와 재료 스타일 변경의 균형을 맞추기 위해 제어 강도를 혼합할 수 있습니다.
  • 마지막으로, VAEDecode는 프레임을 재구성하고, 선택적 VAEDecodeAudio는 오디오를 복원하며, VHS_VideoCombine (#243)은 선택한 파일 이름과 프레임 속도로 MP4를 작성합니다.
• 구성
  • ResolutionSelector (#20)는 출력 크기를 비율과 메가픽셀로 정의한 다음 너비와 높이를 그래프에 저장합니다. 전달 및 계산 예산에 맞는 크기를 선택하세요.
  • 지속 시간은 초 단위로 표현되며, 워크플로우는 이를 프레임으로 변환하고 샘플러 안정성과 시간적 매끄러움을 위해 17의 배수로 고정합니다.
  • 소스 클립과의 비율 균형을 유지하여 가장 충실한 카메라 동작과 구성을 얻으세요.

Comfyui MiniMax H3 Video to Video with SolarRenderer 워크플로우의 주요 노드#

• MiniMaxH3ReferenceToVideo (#11)
  • 프롬프트, 참조 이미지 및 소스 클립의 일반 맵에서 긍정적 조건 및 초기 잠재 시퀀스를 빌드합니다. 너비, 높이 및 프레임 길이를 설정하는 데 사용하세요. 해상도와 일치하도록 ref_image_size 전략을 선택하여 외관 기능이 일관되게 전송되도록 하세요. 기본 모델 패밀리를 참조하십시오: FastH3-Omni-Comfy
• SelfLiftH3Sampler (#233)
  • 고해상도 리프트가 통합된 시간 인식 샘플링을 수행합니다. 주요 조정에는 프롬프트 준수를 위한 cfg, 샘플러가 거친 세부 사항에서 미세한 세부 사항으로 전환하는 transition_step, 구조적 안내를 균형 있게 유지하는 w_min 및 w_max, 초기 패스를 위한 lowres_scale, VRAM이 제한된 경우 고해상도 타일링을 포함합니다. 이 노드는 더 날카롭고 안정적인 세부 사항을 위해 3D 잠재 업스케일러도 지원합니다. 방법에 대한 배경: comfyui-SelfLift 및 arXiv의 논문 요약: SelfLift
• AIO_Preprocessor (#274)
  • 소스 프레임 전반에 걸쳐 Metric3D 일반 맵 추출기를 실행하여 강력한 기하학적 단서를 제공합니다. 미리보기에서 가장자리나 표면이 부드러워 보이면 전처리기 해상도를 높이거나 입력 비디오 품질을 개선하세요. 구현 참조: comfyui_controlnet_aux
• LoraLoaderModelOnly SolarRenderer Control (#281) 및 4단계 (#121)
  • 이 두 개의 LoRAs는 일관된 조명, 쉐이딩 및 재료 반응을 안내합니다. Control로 시작하고 추가 렌더러 스타일 안정성을 위해 4단계를 추가합니다. 텍스처가 과도하게 익어 보이면 strength_model을 살짝 낮추세요. 프로젝트 및 가중치: SolarRenderer on GitHub 및 SolarRenderer on Hugging Face
• ResolutionSelector (#20)
  • 출력 크기를 비율과 메가픽셀로 설정한 다음 너비와 높이를 그래프에 라우팅합니다. 대상 샷 프레이밍 및 계산 예산에 맞추는 데 사용하세요. MiniMax H3에서 시간적 안정성을 개선하려면 배수를 일관되게 유지하세요.
• VHS_VideoCombine (#243)
  • 프레임과 선택적 오디오를 최종 MP4로 결합합니다. filename_prefix, frame_rate, 그리고 출력을 저장할지 여부를 설정하세요. 이 노드는 미리보기 및 내보내기를 간소화하는 Video Helper Suite에 속합니다. 참조: ComfyUI-VideoHelperSuite

추가 선택 사항#

• 가장 충실한 동작을 위해 출력 비율을 소스와 가깝게 유지하고 렌더링 전에 기하학을 확인하기 위해 일반 맵 미리보기를 사용하세요.
• VRAM 압박이 발생하면 SelfLiftH3Sampler에서 타일링을 활성화하거나 메모리 효율적인 주의와 희소 주의 간 전환하세요. 두 경로를 동시에 활성화하지 마세요.
• 결과가 너무 광택 있거나 인위적으로 보일 경우 SolarRenderer LoRA 강도를 줄이거나 프롬프트에 텍스처 힌트를 추가하면서 장면 제약을 안정적으로 유지하세요.
• LoRA 강도나 프롬프트 변형을 비교할 때 반복 가능성을 위해 난수 시드를 고정하세요.

감사의 글#

이 워크플로우는 다음 작업 및 리소스를 구현하고 구축합니다. 우리는 워크플로우 소스에 대해 Innovate Futures, SolarRenderer 프로젝트 및 모델에 대해 Enderfga, FastH3-Omni ComfyUI 모델에 대해 FastVideo, 그리고 SelfLift 샘플링 노드에 대해 facok의 기여와 유지 보수에 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 리포지토리를 참조하십시오.

리소스#

• Innovate Futures의 워크플로우 소스
  • 문서 / 릴리스 노트: Patreon 포스트
• SolarRenderer 프로젝트
  • GitHub: Enderfga/SolarRenderer
  • Hugging Face: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• SolarRenderer 모델
  • Hugging Face: Enderfga/SolarRenderer
  • GitHub: Enderfga/SolarRenderer
  • arXiv: arXiv:2610.28630
• FastH3-Omni ComfyUI 모델
  • Hugging Face: FastVideo/FastH3-Omni-Comfy
• SelfLift 샘플링 노드
  • GitHub: facok/comfyui-SelfLift
  • arXiv: arXiv:2609.02036

참고: 참조된 모델, 데이터셋 및 코드의 사용은 저자 및 유지 보수자가 제공한 해당 라이센스 및 조건에 따릅니다.