MiniMax H3 캐릭터 교체 V1.5와 원본 오디오#
MiniMax H3 캐릭터 교체 V1.5와 원본 오디오는 원본 비디오의 화면에 보이는 사람을 참조 캐릭터로 교체하면서 원본 사운드트랙을 그대로 유지합니다. 이 캔버스는 Akatz Labs의 Character Swap V1.5 LoRA, SAM3 사람 마스킹, H3 Relay 히스토리를 결합하여 소스 퍼포먼스를 여러 생성 창을 통해 지원하여 정체성과 타이밍의 연속성을 보장합니다.
이 ComfyUI 워크플로우는 에디터, 예비 팀, 창작자들이 오디오 퍼포먼스를 잃지 않고 빠르게 소스에 맞춘 캐릭터 교체를 원하는 경우에 설계되었습니다. 테스트된 예시는 현실적인 사람, 애니메이션 캐릭터, 로봇을 포함합니다. 입 모양, 손, 창 연결은 여전히 검토할 가치가 있으므로 최종 렌더링에서 이음새와 관절을 점검할 계획을 세우십시오. MiniMax H3 캐릭터 교체 V1.5와 원본 오디오는 H3 비디오 모델 패밀리에서 완전히 실행되며, 샷마다 조정할 수 있는 경량 컨트롤을 제공합니다.
Comfyui MiniMax H3 캐릭터 교체 V1.5와 원본 오디오 워크플로우의 주요 모델#
- Comfy‑Org MiniMax H3 Ref2VA U‑Net. H3에서 오디오 조건 생성의 핵심 비디오 확산 백본. 노이즈를 참조 지침과 편집 마스크를 존중하면서 일관된 비디오로 변환합니다. 모델 파일
- MiniMax H3 비디오 VAE. H3용 비디오 잠재를 인코딩 및 디코딩하여 선택한 해상도에서 창이 깨끗하게 렌더링되도록 합니다. 모델 카드
- MiniMax H3 오디오 VAE. H3가 소스 트랙과 말 리듬 및 입술을 정렬하도록 오디오 잠재를 압축 및 해제합니다. 모델 카드
- Qwen3‑VL 32B 텍스트 인코더 for H3. 프롬프트 및 참조 조건을 해석하여 교체 캐릭터 및 퍼포먼스 노트가 일관되게 적용되도록 합니다. H3 모델 번들에 포함되어 있습니다. 파일
- Akatz Labs Character Swap V1.5 LoRA (
h3_character_swap_v1.5.safetensors). 포즈 및 퍼포먼스를 보존하면서 입력 주제를 대상 캐릭터 정체성으로 매핑하는 방법을 H3에게 가르칩니다. 저장소 - MiniMax H3 FL2V Turbo 8‑step LoRA. 창 기반 비디오 생성을 위한 빠른 샘플링을 위해 8단계로 H3 샘플링을 가속화하는 빠른 스케줄 어댑터. 저장소
- SAM 3.1 멀티플렉스 체크포인트. 교체할 사람을 감지 및 추적하여 이동하는 주제를 위한 강력한 마스크를 생성합니다. 저장소
- H3 Relay 툴킷. 클립 전체에서 연속성을 위해 히스토리 기반 창 계획, 마스크 복구/확장, 루핑 및 창 조립을 제공합니다. GitHub
- 참조 워크플로우 소스. 캐릭터 교체 방법 및 LoRA는 Akatz Labs에서 제공되며 여기서 H3 Relay에 맞게 조정되었습니다. GitHub
Comfyui MiniMax H3 캐릭터 교체 V1.5와 원본 오디오 워크플로우 사용 방법#
캔버스는 입력에서 스티치된 비디오로의 간단한 경로를 따릅니다: 소스 클립과 캐릭터 참조를 제공하면 SAM이 교체할 사람을 찾고 추적하며, H3 Relay가 히스토리 캐리오버로 창을 계획하고, H3가 마스크 내부의 편집된 프레임을 생성한 다음 워크플로우가 원본 오디오와 함께 모든 것을 다시 조립합니다. 캔버스의 그룹은 위에서 아래로 작업하고 자연스러운 체크포인트에서 검토할 수 있도록 구성되어 있습니다.
01 · 사용자 입력#
Source video에 클립을 업로드한 후 Character reference · Picture 1에 단일 캐릭터 이미지나 시트를 추가합니다. H3RelayPrepareSource는 모델의 그리드에 맞춰 프레임을 정렬하고 실제 너비, 높이, 프레임 수, 오디오를 노출합니다. 이 노드는 나중에 가이드가 되는 깨끗한 프레임 배치와 원본 사운드트랙을 방출합니다. 첫 번째 패스를 단일 연속 샷으로 시작하여 간단하게 유지하십시오.
02 · H3 모델과 LoRA#
H3 Ref2VA · INT8은 MiniMax H3 확산 백본을 로드합니다. 텍스트 인코더, 비디오 VAE, 오디오 VAE는 자동으로 연결됩니다. 두 개의 LoRA가 H3 위에 위치합니다: FL2V Turbo · 8-step은 빠른 샘플링을 위해, Character Swap V1.5 · strength는 정체성 전이를 위해 사용됩니다. 이러한 페어링은 MiniMax H3 캐릭터 교체 V1.5와 원본 오디오가 빠르게 실행되도록 하면서 캐릭터 스타일을 보존합니다.
03 · SAM 사람 선택 및 마스크#
SAM3_Detect는 SAM person description에 기반하여 첫 번째 프레임에서 사람을 찾습니다. H3RelaySelectMask는 주제를 선택한 다음 SAM3_VideoTrack이 해당 마스크를 전체 프레임 배치에 걸쳐 추적합니다. H3RelayRecoverMasks는 틈을 수정하고 H3RelayExpandMask는 머리카락과 손을 덮기 위해 영역을 확장하여 정체성 편집이 후광을 남기지 않도록 합니다. 미리보기를 통해 확장된 사람 마스크가 의도한 주제와 일치하는지 확인할 수 있습니다.
04 · H3 Relay 창 계획#
H3RelayWindowPlan은 H3에 맞춰 크기 조정된 창을 생성하고 연속성을 위해 작은 히스토리 일부를 앞쪽으로 가져옵니다. StartLoop와 H3RelayWindowInputs는 생성으로 프레임, 마스크, 창별 오디오를 공급합니다. 이는 소스를 연속 샷의 연속 창 사이의 문맥을 전달하기 위한 관리 가능한 청크로 나누는 곳입니다. 장면 컷은 별도의 검토가 필요합니다. MiniMax H3 캐릭터 교체 V1.5와 원본 오디오는 이 계획을 사용하여 시드와 범위를 결정적이고 재현 가능한 패스로 유지합니다.
05 · 참조 조건 및 가이드#
MiniMaxH3ReferenceToVideo는 캐릭터 이미지와 퍼포먼스 프롬프트를 H3에 대한 조건으로 변환합니다. H3RelayApplyHistory는 이전 창의 프레임과 오디오를 다음 창의 부드러운 가이드로 주입합니다. H3RelayApplyEditMask는 현재 잠재와 함께 추적된 편집 영역을 혼합하여 편집을 제한합니다; 이는 배경의 픽셀 동일성을 보장하지 않습니다. MiniMaxH3AddGuide는 창의 오디오에서 본래의 목표 가이드를 추가하여 입술과 표정이 원본 사운드트랙을 따르도록 합니다.
06 · 샘플링 및 디코딩#
H3RelaySamplingMemory, CFGGuider, KSamplerSelect, SamplerCustomAdvanced는 LoRA 적응된 H3 모델을 사용하여 창별로 생성 루프를 실행합니다. LTXVSeparateAVLatent와 VAEDecode는 시각적 이미지를 프레임으로 디코딩하여 조립 준비를 합니다. 이러한 요소는 무거운 작업을 처리하고 메모리를 예측 가능하게 유지합니다. 대부분의 사용자는 첫 번째 패스를 위해 그대로 두어도 됩니다.
07 · H3 Relay 조립 및 출력#
H3RelayAppendWindow는 창을 순서대로 누적하고 필요에 따라 중첩을 잘라냅니다. H3RelayFinishWindows는 프레임을 출력하고 원본 오디오를 다시 부착하여 타이밍과 말이 소스와 일치하도록 합니다. CreateVideo와 Save final video는 결과를 디스크에 기록합니다. 창 연결, 입 모양, 손 및 차폐를 검토한 후 필요에 따라 반복하십시오. MiniMax H3 캐릭터 교체 V1.5와 원본 오디오는 짧은 샷에 대한 빠른 검토 주기에 최적화되어 있습니다.
Comfyui MiniMax H3 캐릭터 교체 V1.5와 원본 오디오 워크플로우의 주요 노드#
H3RelayWindowPlan생성 일정 및 중첩 히스토리를 생성합니다. 테스트된 예시는 124 프레임 창과 18 프레임 히스토리를 24 fps에서 사용합니다. 각 12.25초 클립은 세 개의 창에 걸쳐 있습니다. 로컬 외관 또는 움직임 변화를 위해 두 연결을 검사하십시오; 이는 매끄러운 연속성의 보장이 아닙니다.MiniMaxH3ReferenceToVideo실제 너비, 높이, 창별 길이에서 캐릭터 이미지와 프롬프트로부터 주요 조건을 구성합니다. 하나의 정체성-진실 이미지나 시트를 사용하고 여러 보기가 동일한 캐릭터를 묘사한다고 명확히 말하십시오. 퍼포먼스 지침을 간결하게 유지하고 소스 오디오 및 제스처에 맞게 연결하십시오. 정체성이 드리프트하면 정체성 설명을 강화하고 스타일 수정자를 단순화하십시오.H3RelayApplyEditMask추적된 마스크 및 인코딩된 소스 프레임을 사용하여 생성을 제한합니다. 머리카락과 움직이는 사지 주변의 마스크 커버리지를 검토하십시오. 테스트된 그래프는 생성된 신체를 손상되지 않은 소스 픽셀에 다시 합성하지 않으므로 주변 세부 사항이 여전히 변경될 수 있습니다.MiniMaxH3AddGuide현재 창의 소스 오디오를 본래의 가이드로 사용합니다. 이는 말과 관련된 움직임을 지원하지만 사운드트랙을 보존한다고 해서 정확한 입술 동기화를 보장하지는 않습니다. 이 그래프의 노출된 노드는 조정 가능한 가이드 강도 컨트롤이 없습니다.LoraLoaderModelOnly · Character Swap V1.5테스트된 강도 1.0에서 공식h3_character_swap_v1.5.safetensors어댑터를 로드합니다. 강도 변경은 결과를 변경할 수 있지만, 이를 줄이면 입 모션이 개선되거나 증가시키면 의상 세부 사항이 고정된다는 검증된 규칙은 없습니다.SamplerCustomAdvanced와CFGGuider테스트된 Turbo 레시피를 실행합니다: 8단계, CFG 1,er_sde,normal스케줄링. 이러한 기본값으로 시작하십시오; 단계 또는 가이드 변경은 새로운 비교가 필요하며 품질 개선을 보장하지 않습니다.SAM3_Detect와SAM3_VideoTrack편집 영역을 위한 사람 감지 및 추적을 구동합니다. 여러 사람이 보이는 경우 주제에 편향되도록 명확한SAM person description을 사용하십시오. 차폐에서 추적이 미끄러지면 감지 민감도를 조정하거나 주제를 다시 선택한 후 다시 추적하십시오. 목표는 의도한 퍼포머를 따르는 단일 안정적인 마스크입니다.H3RelayFinishWindows최종 프레임을 조립하고 오디오 모드를source로 유지하여 원본 사운드트랙이 통과하도록 합니다. 원본 오디오 유지가 필요한 경우source를 선택하십시오. 이 노드는 인코딩 전의 마지막 품질 게이트입니다.
선택적 추가 사항#
- 첫 번째 패스를 위해 안정적인 조명과 빠른 휩 팬이 최소화된 샷을 선택하십시오.
- 중립적인 표현과 보이는 헤어라인이 있는 단일 정체성-진실 참조 이미지를 사용하십시오.
- 너비와 높이를 32로 나눌 수 있게 하고 소스 종횡비와 일치시켜 메모리 사용을 효율적으로 하십시오.
- 점프하는 이음새가 있는 경우 다른 유효한 창 계획을 테스트하고 종속 창 시퀀스를 다시 실행하십시오. 이후 창은 이전 히스토리를 사용합니다.
- 배달 전 100퍼센트로 입술, 손, 머리카락 가장자리 및 창 연결을 항상 검토하십시오.
MiniMax H3 캐릭터 교체 V1.5와 원본 오디오는 소스에 맞춘 타이밍, 참조 기반 캐릭터 생성, 창-히스토리 제어를 결합하여 테스트에서 최종까지 신속하게 반복할 수 있도록 합니다. 방법 및 자산에 대한 더 깊은 맥락을 위해 위의 Akatz Labs 참조를 참조하십시오.
감사의 말#
이 워크플로우는 다음 작업 및 리소스를 구현하고 구축합니다. 우리는 H3 Character Swap Tool 워크플로우를 위해 Akatz Labs, MiniMax H3 Character Swap LoRA (v1.5) 및 H3 Relay를 위해 Akatz AI, 그리고 MiniMax H3 기본 모델을 위해 Comfy-Org에 기여와 유지보수를 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하십시오.
리소스#
- Akatz Labs 워크플로우 소스
- Character Swap V1.5 LoRA
- Hugging Face: akatz-ai/MiniMax-H3-Character-Swap-LoRA
- H3 Relay
- GitHub: akatz-ai/h3-relay
- MiniMax H3 기본 모델
- Hugging Face: Comfy-Org/MiniMax-H3
참고: 참조된 모델, 데이터셋, 코드의 사용은 저자 및 유지보수자에 의해 제공된 각각의 라이선스 및 조건에 따릅니다.
