MiniMax H3 캐릭터 교체와 SAM3#
MiniMax H3 캐릭터 교체와 SAM3는 MDMZ의 ComfyUI 워크플로우로, 비디오의 화면상 출연자를 참조 캐릭터로 교체하면서 소스 동작, 타이밍, 카메라 움직임, 그리고 선택적으로 원본 배경을 보존합니다. SAM3를 사용하여 피사체를 분리하고 MiniMax H3가 움직임과 구도를 따라가도록 역방향 동작 가이드를 구축하여 아이덴티티를 복사하지 않습니다. 결과는 소스 출연자의 세부사항을 유지하거나 배경의 일부를 변경할 수 있으므로 아이덴티티, 손, 의상 및 장면 일관성을 위해 전체 클립을 검토하십시오.
워크플로우는 무료 프롬프트 경로를 사용합니다: 제공된 프롬프트를 그대로 실행하거나, 무료 Gemini 앱에서 생성된 구조화된 프롬프트를 수동으로 붙여넣어 자신의 입력을 사용할 수 있습니다. 저장된 기본값은 Normal 모드, 소스 비디오 배경 및 무음 출력을 사용합니다. 선택적인 소스 오디오 패스스루 및 Turbo 미리보기 모드가 포함되어 있으며, 워크플로우는 모델 호환 프레임 수에 맞게 클립 길이를 조정합니다.
검증된 예제는 무료 프롬프트 분기, 20단계 Normal 모드 및 비디오 배경을 사용합니다. Turbo, 이미지 배경 및 오디오/립 싱크 옵션이 포함되어 있지만 이 예제에서는 사용되지 않았습니다. "무료 프롬프트"는 프롬프트 경로를 의미합니다; RunComfy GPU 사용량은 별도로 청구됩니다.
ComfyUI MiniMax H3 캐릭터 교체와 SAM3 워크플로우의 주요 모델#
- MiniMax H3 Reference‑to‑Video 기본 모델 (Ref2VA/Ref2V). 프롬프트, 참조 이미지 및 동작 가이드를 일관된 비디오 프레임으로 변환하는 확산 백본입니다. 모델 파일 및 릴리스는 공식 MiniMax H3 저장소에 호스팅됩니다. MiniMax H3 on Hugging Face
- MiniMax H3 Video VAE fp16 및 Audio VAE fp32. 비디오 VAE는 잠재 프레임을 효율적으로 인코딩하고 디코딩하며, 오디오 VAE는 H3의 오디오 지원 경로를 위한 오디오 잠재 변수를 처리합니다. 립 싱크 품질을 보장하지는 않습니다. MiniMax H3 릴리스에 포함됩니다. MiniMax H3 on Hugging Face
- Qwen3‑VL 32B NVFP4 AWQ 텍스트 인코더. 긴 구조화된 프롬프트를 인코딩하고 강력한 텍스트‑비디오 정렬을 유지하기 위해 MiniMax H3와 함께 패키지화되었습니다. 사용된 텍스트 인코더는 MiniMax H3 모델 파일을 참조하십시오. MiniMax H3 on Hugging Face
- SAM 3.1 Multiplex. 대체할 인물을 찾고 일관된 프레임당 마스크를 구축하기 위한 강력하고 프롬프트 가능한 세분화를 제공합니다. SAM 3.1 on Hugging Face
- MiniMax H3 Ref2V Turbo LoRA v0.1. 미리보기 속도를 높이기 위한 선택적 LoRA로, 소량의 단계 수를 사용하면서 H3의 전체 모양을 유지합니다. 반복에 가장 잘 사용되며, 최종적으로는 Normal로 전환하십시오. MiniMax H3 LoRAs
ComfyUI MiniMax H3 캐릭터 교체와 SAM3 워크플로우 사용 방법#
전반적으로, 짧은 소스 클립과 단일 캐릭터 이미지를 제공합니다. 워크플로우는 출연자만 감지하고 반전하여 동작 가이드를 생성하고, 제공된 또는 붙여넣은 프롬프트와 배경 설정을 결합한 후 MiniMax H3가 교체를 렌더링합니다. 소스 오디오는 선택적으로 출력에 통과할 수 있으며, 립 싱크 품질은 이러한 무음 예제에서 확인되지 않았습니다.
1 · 입력 비디오 로더 (#970)에 동작 클립을 로드하여 24 fps로 변환하고 원하는 섹션으로 자릅니다. 저장된 예제는 124 프레임(약 5.17초)을 사용합니다. 이미지 로더 (#496)에 캐릭터 이미지를 추가합니다. 해상도 선택기 (#501)로 출력 비율 및 메가픽셀을 설정합니다. 제공된 프롬프트를 사용하거나 그룹 3B에서 입력을 위한 프롬프트를 붙여넣고, 렌더링 속도(일반 품질 또는 Turbo 미리보기)를 선택하고, 배경이 소스 비디오에서 오는지 캐릭터 이미지에서 오는지를 선택하고, 소스 오디오가 립 싱크를 위해 통과해야 하는지를 결정합니다.
2 · 동작 가이드 SAM3 탐지기 (#503)가 사람 또는 남자:1과 같은 짧은 텍스트 레이블을 기반으로 피사체를 찾습니다. 마스크 미리보기 (#492)를 사용하여 대상이 순백인지 확인합니다. 워크플로우는 마스크된 출연자만 반전하여 H3가 가장자리와 음영에서 동작 및 구도를 읽도록 합니다. 속도와 정밀도를 교환하기 위해 동작 가이드 해상도 (#456)로 동작 가이드 픽셀 예산을 조정합니다. 이미지에서 동작 전송을 수행할 때 비디오 배경을 제외하는 동작 가이드를 구축할 수 있는 전용 스위치가 있습니다.
3B · 무료 프롬프트 제공된 프롬프트를 그대로 실행하거나 그룹 3에서 포함된 Gemini 지침을 복사하여 무료 Gemini 앱에 클립과 캐릭터 이미지를 분석하도록 요청합니다. 생성할 동일한 잘린 섹션을 사용하고, 그런 다음 답변을 Your H3 Prompt (#910)에 붙여넣습니다. 워크플로우는 제목과 코드 펜스를 자동으로 정리하여 텍스트가 H3의 예상 구조와 일치하도록 합니다.
3C · 비디오에서 배경 (캐릭터 교체) 원본 장면 내에서 순수한 캐릭터 교체를 원하는 경우, 워크플로우는 프롬프트에 소스 클립의 배경과 조명을 유지하도록 H3에게 요청하는 규칙을 추가합니다. H3에게 세트 기하학, 객체 및 그레이딩을 보존하고 샷에 맞게 새로운 캐릭터를 재조명하도록 지시합니다. 동작 가이드는 모델에 환경 신호가 보이도록 원본 프레임 위에 반전된 출연자를 포함합니다.
3C · 이미지에서 배경 (동작 전송) 정지된 참조 배경에 동작을 전송할 때, 프롬프트는 캐릭터 이미지의 환경 및 조명을 유지하고 소스 비디오의 설정을 무시하도록 재작성됩니다. 충돌하는 비디오 조명 및 구도 라인은 제거됩니다. 동작 가이드는 중립 캔버스 위에 재구성되어 오직 움직임과 카메라 경로만 사용되며, 소스 비디오 배경의 영향을 줄입니다; 이 선택적 모드는 제공된 예제에서 검증되지 않았습니다.
3D · 최종 텍스트 → H3 배경 스위치는 올바른 규칙 세트를 병합하고 H3에게 보낼 최종 프롬프트를 표시하여 확인할 수 있습니다. 이 정확한 문자열이 생성에 입력됩니다.
4 · 생성 MiniMax H3 Ref → Video (#464)는 구조화된 프롬프트, 캐릭터 이미지, 동작 가이드 프레임, 해상도 선택기의 너비 및 높이, 그리고 자동 검증된 길이를 사용합니다. 저장된 Normal 모드는 20 샘플링 단계를 사용합니다. Turbo 모드는 빠른 미리보기를 위해 낮은 단계 수의 Ref2V Turbo LoRA를 활성화하며 비디오 및 오디오에 맞춘 시그마 변화를 포함합니다; 안내기, 샘플러 및 단계 스위치는 활성 경로를 선택합니다. 시드는 샘플링 변화를 제어하며, 변경 시 아이덴티티, 동작 및 배경 세부사항에 영향을 줄 수 있습니다. 사용자 지정 샘플러는 노이즈, 스케줄 및 안내기를 잠재 클립과 결합합니다.
5 · 출력 디코드 전 VRAM 정리 노드가 메모리 압박을 줄이기 위해 실행되며, 메모리 부족 오류에서의 자유를 보장하지는 않습니다. 비디오 VAE는 잠재를 프레임으로 디코드하고, Save Video가 MP4를 작성합니다. 기본 출력은 무음이며, 소스 오디오는 소리 경로가 활성화되고 입력에 오디오 트랙이 있을 때만 첨부됩니다.
ComfyUI MiniMax H3 캐릭터 교체와 SAM3 워크플로우의 주요 노드#
MiniMax H3 Ref → Video (#464) 프롬프트, 참조 이미지, 그리고 동작 가이드를 결합하는 핵심 생성기입니다. 프롬프트를 구조화하고 구체적으로 유지하며, 아이덴티티를 위한 강력한 참조 이미지를 하나 제공하십시오. 너비와 높이는 해상도 선택기에서 가져와 의도에 맞는 비율을 일치시킵니다. 길이는 H3의 스트라이드를 충족시키기 위해 자동 프레임 카운터에 의해 구동됩니다; 오디오가 있는 클립에만 소리 경로를 활성화하고, 연설 동기화를 별도로 검토하십시오.
SAM3 Detect person (#503) 짧은 텍스트 힌트로 SAM 3.1 세분화를 실행하여 올바른 출연자를 분리합니다. 장면에 여러 사람이 있는 경우, man:1 또는 빨간 옷의 여자:1과 같은 빠른 수식어를 추가하십시오. 먼저 마스크 미리보기를 확인하십시오; 가장자리가 누락되거나 넘침이 발생하면 프롬프트를 강화하거나 탐지기 설정을 조정하십시오. 깨끗한 마스크는 안정적인 교체로 가는 가장 빠른 경로입니다.
Motion Guide Resolution (#456) 동작 가이드에 사용되는 총 픽셀 예산을 설정합니다. 낮은 값은 처리 비용을 줄이고 가이드의 세부사항을 줄입니다. 높은 값은 가이드에서 더 많은 공간 세부사항을 유지하지만 더 많은 처리가 필요합니다; 향상된 출력 품질을 보장하지는 않습니다. 점진적으로 증가시키고 성능과 안정성을 관찰하십시오.
Turbo LoRA (Ref2V) (#950) 낮은 단계 스케줄러와 비디오 및 오디오에 맞춘 시그마 변화를 조정하여 빠른 미리보기 경로를 활성화합니다. 프롬프트, 구도 및 동작을 빠르게 반복하는 데 사용하십시오. 최종 샷을 위해 Normal 단계로 전환하여 MiniMax H3의 전체 충실도를 회복하십시오.
Valid frame count (auto) (#481) 자른 클립을 모델에 맞는 프레임 수로 자동으로 반올림하여 샘플링이 안정적으로 유지되도록 합니다. 사람들이 일반적으로 사용하는 길이에는 107, 124, 158, 209 및 362 프레임이 포함되며, 이는 24 fps에서 약 4.5초, 5초, 6.6초, 8.7초 및 15초에 해당합니다. 로더에서 시작과 끝을 시각적으로 설정하고 이 노드가 정확한 숫자를 처리하도록 하십시오.
선택적 추가 기능#
- 먼저 마스크를 확인하십시오; 피사체는 미리보기에서 순백이어야 합니다.
- 일관된 동작과 립 싱크를 위해 프레임 속도를 24 fps로 유지하십시오.
- 저장된 소리 경로는 꺼져 있습니다. 오디오가 있는 클립에만 활성화하십시오; 연설 동기화를 가정하지 말고 검토하십시오.
- 빠른 미리보기를 위해 Turbo를 사용한 다음 최종 렌더링을 위해 Normal로 전환하십시오.
- 캐릭터 교체를 위해서는 비디오에서 배경을 선택하고, 동작 전송을 위해서는 이미지에서 배경을 선택하십시오.
- 무료 앱이 코드 펜스 텍스트나 이상한 제목을 반환하면 그래도 붙여넣으십시오; 워크플로우는 자동으로 형식을 정리합니다.
- 다른 결과를 탐색하기 위해 시드를 변경한 다음, 동작, 구도, 아이덴티티 및 배경 세부사항을 다시 확인하십시오.
감사#
이 워크플로우는 다음 작업 및 리소스를 구현하고 구축합니다. 우리는 H3 캐릭터 교체 워크플로우 튜토리얼 및 설정 가이드를 제공해 주신 MDMZ, ComfyUI를 위한 MiniMax-H3 모델을 제공해 주신 Comfy-Org, 그리고 공식 MiniMax H3 비디오 생성 가이드를 제공해 주신 ComfyUI 팀에게 감사드립니다. 권위 있는 세부사항을 위해 아래에 링크된 원본 문서 및 저장소를 참조하십시오.
리소스#
- MDMZ/MDMZ 워크플로우 튜토리얼
- 문서 / 릴리스 노트: YouTube
- MDMZ/MDMZ 워크플로우 및 가이드
- 문서 / 릴리스 노트: Patreon post
- Comfy-Org/MiniMax H3 모델 for ComfyUI
- Hugging Face: Comfy-Org/MiniMax-H3
- ComfyUI/ComfyUI MiniMax H3 가이드
- GitHub: comfy-org/docs
- 문서 / 릴리스 노트: ComfyUI Docs
참고: 참조된 모델, 데이터셋 및 코드의 사용은 저자 및 유지 관리자가 제공하는 해당 라이선스 및 조건의 적용을 받습니다.
