FastH3 Omni 참조 비디오

ComfyUI FastH3 Omni Reference to Video Workflow

Want to run this workflow?

Fully operational workflows
No missing nodes or models
No manual setups required
Features stunning visuals

ComfyUI FastH3 Omni Reference to Video Examples

FastH3 Omni 참조 비디오: 동기화된 사운드와 함께하는 참조 기반 비디오를 8단계로#

FastH3 Omni 참조 비디오는 단일 참조 이미지와 프롬프트를 짧은 비디오와 일치하는 오디오로 변환하기 위한 ComfyUI 워크플로우입니다. 이는 빠른 8단계 샘플링에 최적화된 FastVideo의 정제된 FastH3 OmniRef 체크포인트에 의해 구동됩니다. 이 워크플로우는 시네마틱 캐릭터 촬영, 매끈한 제품 클립, 참조에서 외관을 원하지만 동작, 카메라 작업, 사운드는 프롬프트를 따르길 원하는 여행 장면에 이상적입니다.

이 ComfyUI 그래프는 참조 입력, 텍스트 프롬프트, 희소 주의, 그리고 비디오 및 오디오 확산 패스를 결합하여 깔끔한 파이프라인을 만듭니다. 프롬프트에서 장면 콘텐츠, 카메라 움직임, 사운드 이펙트 또는 대화를 직접 제어하세요. 결과는 24 fps의 참조 충실도가 높은 클립이며, 작성된 장면을 반영하는 오디오를 포함합니다.

Comfyui FastH3 Omni 참조 비디오 워크플로우의 주요 모델#

FastVideo FastH3 OmniRef (Comfy). 참조 입력과 프롬프트에서 비디오와 오디오를 생성하는 핵심 8단계 확산 체크포인트입니다. 이는 참조 기반 비디오 작업을 위한 정제된 것으로, 최소 단계로 강한 정체성과 동기화된 사운드를 생성합니다. 모델 카드
MiniMax H3 Video VAE (int8 convrot). 확산 모델이 사용하는 시공간 잠재를 인코딩하고 디코딩하는 비디오 VAE로, 컴팩트한 샘플링과 빠른 재구성을 가능하게 합니다. 모델 파일
MiniMax H3 Audio VAE (fp32). 생성된 사운드트랙이 시각적 타임라인과 일치하도록 파형 잠재 경로를 처리하는 오디오 VAE입니다. 모델 파일
Qwen3-VL 32B MiniMax H3 NVFP4 AWQ 텍스트 인코더. 프롬프트를 해석하고 참조와 일치시키기 위해 사용되는 대형 비전-언어 텍스트 인코더입니다. 모델 파일
참조 템플릿. 이 워크플로우가 따르는 공식 Comfy-Org의 참조-비디오 템플릿으로, FastH3 Omni 참조 비디오에 맞게 조정되었습니다. 템플릿 JSON

Comfyui FastH3 Omni 참조 비디오 워크플로우 사용 방법#

고수준에서, 워크플로우는 모델을 로드하고, 주의 및 시그마 패치를 적용하며, 프롬프트와 참조에서 조건을 구축하고, 8단계 공동 비디오-오디오 확산을 실행하며, 프레임과 파형으로 디코딩한 후, 비디오로 멀티플렉싱하고 저장합니다.

모델#

이 그룹은 FastVideo FastH3 OmniRef 확산 모델, MiniMax H3 비디오 및 오디오 VAE, NVFP4 AWQ 텍스트 인코더를 로드합니다. 이러한 구성 요소를 일치시켜 8단계 일정과 공동 오디오 경로가 예상대로 작동하도록 합니다. 올바른 체크포인트를 선택하는 것 외에는 여기서 조정할 필요가 없습니다. 정확히 하나의 확산 모델을 로드하세요; VAE와 텍스트 인코더는 별도의 자산입니다.

모델 패치#

모델은 비디오와 오디오의 노이즈 일정을 정렬하기 위해 MiniMaxH3SigmaShift로 패치되고, 주의 백엔드가 선택됩니다. ModelAttentionBackend는 조밀한 영역에 대한 빠른 int8 커널을 사용하며, BlockSparseAttention은 VSA에 대해 구성되어 긴 클립에서 높은 해상도를 효율적으로 유지합니다. FastH3 Omni 참조 비디오에 대해 제공된 선택을 그대로 두세요; 체크포인트는 VSA와 표시된 시그마 시프트에 대해 훈련되었습니다.

조건#

MiniMaxH3ReferenceToVideo는 프롬프트와 참조에서 조건을 구축합니다. 참조 이미지를 첫 번째 슬롯에 연결하고 태그로 호출하는 프롬프트를 작성하세요. 예를 들어 "<Picture 1> 카메라를 향해 걷고, 핸드헬드 추적, 바다 바람, 먼 갈매기 소리." 너비와 높이는 해상도 선택기에서 오고, 초 단위의 간단한 지속 시간 제어는 모델의 프레임 그리드로 변환되어 재생이 정렬되도록 합니다. 정체성 충실도가 중요하다면 노드의 ref_image_size를 max로 설정하세요; 속도를 위해서는 match를 사용하세요.

샘플링#

샘플링 그룹은 고정 또는 무작위 RandomNoise, BasicGuider, 간단한 스케줄러, 그리고 SamplerCustomAdvanced 단계를 결합합니다. 일정은 정제된 FastH3 OmniRef 레시피와 일치하는 8단계로, 참조-비디오의 속도와 충실도를 균형 있게 유지합니다. 다른 설정을 건드리지 않고 변형을 탐색하려면 시드를 변경할 수 있습니다. 비디오와 오디오 잠재는 함께 진화하여 동작과 사운드 큐가 동기화 상태를 유지합니다.

디코딩 및 비디오 생성#

샘플링 후, VAEDecode는 비디오 잠재에서 프레임을 재구성하고 VAEDecodeAudio는 사운드트랙을 재구성합니다. CreateVideo는 sRGB에서 24 fps로 프레임과 오디오를 멀티플렉싱하여 단일 스트림을 생성합니다. SaveVideo는 합리적인 기본값을 사용하여 최종 파일을 디스크에 작성합니다. 결과는 참조와 작성된 장면을 모두 반영하는 컴팩트한 클립입니다.

사용자 입력#

해상도 선택기(크기). 디테일과 실행 시간을 제어하기 위해 비율과 픽셀 수를 선택하세요; 대부분의 촬영에 16:9 와이드스크린이 잘 맞습니다.
Float(기간). 초 단위로 클립 길이를 설정하세요; 모델의 17k+5 프레임 그리드에서 가장 가까운 값으로 반올림되어 타이밍이 깨끗하게 맞춰집니다. 예를 들어, 5초는 24 fps에서 124 프레임이 됩니다.
입력 텍스트(프롬프트). 주체 동작, 카메라 언어, 사운드 디자인 또는 대화를 설명하세요. "<Picture 1>"과 같은 태그를 사용하여 참조를 순서대로 참조하세요.
LoadImage. 외관 또는 설정을 위한 깨끗하고 조명이 잘 맞는 참조를 추가하세요. 필요시 더 많은 참조 슬롯을 추가하기 위해 노드를 확장할 수 있습니다.

Comfyui FastH3 Omni 참조 비디오 워크플로우의 주요 노드#

MiniMaxH3ReferenceToVideo (#136) 이 노드는 하나 이상의 참조와 프롬프트를 융합하고 공동 비디오-오디오 잠재를 준비합니다. 정체성 유지, 카메라 이동, 소닉 이벤트를 한 곳에서 지시하세요. width, height, length, ref_image_size를 조정하여 충실도와 속도를 균형 있게 유지하세요. 동작과 사운드에 대해 명확하지만 간결한 프롬프트를 유지하여 최상의 동기화를 만드세요.

BlockSparseAttention (#143) 주의 패치는 긴 클립과 높은 해상도를 위해 VSA 블록-희소 주의를 활성화합니다. 이 워크플로우에서는 VSA로 설정되어 있으며, 품질을 유지하면서 계산을 절약하기 위해 보수적인 유지 비율을 사용합니다. FastH3 Omni 참조 비디오에 대한 선택을 VSA로 두세요; 다른 희소 모드로 전환하면 결과가 저하될 수 있습니다. 유지 비율을 높이면 계산이 증가하고, 낮추면 충실도가 감소할 수 있습니다.

MiniMaxH3SigmaShift (#141) 시그마 시프트는 비디오와 오디오 간의 확산 노이즈 일정을 정렬하여 8단계에서 모두 깨끗하게 수렴되도록 합니다. 제공된 비디오와 오디오 시프트는 OmniRef 체크포인트에 맞춰져 있으며, 일관된 출력을 위해 그대로 유지해야 합니다. 다른 MiniMax H3 패밀리 체크포인트로 교체하는 경우, 이러한 값을 변경하기 전에 모델 카드를 참조하세요.

BasicScheduler (#124) 스케줄러는 정제된 모델이 사용하는 8단계 궤적을 구동합니다. 8단계로 유지하면 의도된 속도-품질의 균형을 유지합니다; 더 많은 단계는 일반적으로 명확한 이득 없이 시간을 증가시킵니다. 고정된 시드를 사용하여 재현성을 유지하거나, 동일한 구조로 변형을 탐색하려면 시드를 무작위화하세요.

선택적 추가 기능#

동작과 카메라 동사를 주변 소리 또는 짧은 대화와 짝지어 오디오-비주얼 정렬을 긴밀하게 만드세요.
최대 정체성을 위해 고해상도, 정면 참조를 사용하고 ref_image_size를 max로 설정하세요; 빠른 반복을 위해 match를 사용하세요.
긴 지속 시간에서 메모리 압박이 보이면 해상도를 줄이거나 클립을 짧게 하세요. 주의 설정을 건드리기 전에 그렇게 하세요.
외관을 개발하는 동안 고정된 시드를 사용한 후, 랜덤 시드로 전환하여 동일한 설정에서 다양한 테이크를 생성하세요.
멀티샷 시퀀스를 구축하려면 동일한 참조에서 다른 카메라 프롬프트로 여러 짧은 클립을 렌더링하고, 비디오 편집기에서 이를 컷하세요.

감사#

이 워크플로우는 다음 작품과 자원에 기반하여 구현되고 발전되었습니다. 우리는 FastVideo의 FastH3-Omni-Comfy 모델과 FastH3 Omni 모델 컬렉션, Hao AI Lab의 FastVideo OmniRef 릴리스 블로그, Comfy-Org의 참조-비디오 워크플로우 템플릿에 대한 기여와 유지 관리에 대해 감사드립니다. 권위 있는 세부 정보는 아래에 링크된 원본 문서와 저장소를 참조하십시오.

자원#

FastVideo/FastH3-Omni-Comfy
- Hugging Face: FastVideo/FastH3-Omni-Comfy
Hao AI Lab/FastVideo OmniRef 릴리스 블로그
- 문서 / 릴리스 노트: FastVideo OmniRef 업데이트
Comfy-Org/참조-비디오 워크플로우 템플릿
- GitHub: Comfy-Org/workflow_templates: templates/video_fasth3_ominiref_r2v.json
FastVideo/fasth3-omni (컬렉션)
- Hugging Face: FastVideo/fasth3-omni

참고: 참조된 모델, 데이터셋, 코드의 사용은 작성자와 유지 관리자가 제공하는 해당 라이선스 및 조건에 따라야 합니다.

Want More ComfyUI Workflows?

MiniMax FastH3 4단계 ComfyUI 워크플로우 | 슈퍼 패스트 Minimax H3 워크플로우

MiniMax FastH3 4단계 비디오 초안: 텍스트 또는 이미지로부터 빠른 영화 클립.

MiniMax H3 8단계 가속화 | All-in-One 비디오 워크플로우

통합된 참조와 가속화된 8단계 샘플링을 통해 동기화된 네이티브 오디오로 시네마틱 비디오를 만드세요.

MiniMax H3 Taomate 3단계 가속 | 이미지에서 비디오로

TaoMate H3는 단 3단계로 영화 같은 이미지-비디오를 빠르게 만듭니다.

MiniMax H3 Singularity Reference To Video ComfyUI Workflow

안정적인 주제, 제어된 움직임, 더 선명한 디테일로 캐릭터, 스타일, 장면 참조에서 일관된 비디오를 만드세요.

FastH3 8-Step V2 ComfyUI Workflow | Fast MiniMax H3 I2V

FastH3 V2는 오디오와 함께 부드러운 비디오를 단 8단계로 만듭니다.

AnimateDiff + ControlNet + IPAdapter V1 | 플랫 애니메이션 스타일

생동감 있는 플랫 스타일을 포착하여 독특한 애니메이션 변신을 쉽게 만들 수 있습니다

Dance Video Transform | 장면 맞춤화 & 얼굴 교체

장면 편집, 얼굴 교체 및 움직임 보존을 통해 댄스 비디오를 변환하세요.

Flux & 10 In-Context LoRA 모델

이미지 생성을 위한 Flux 및 10개의 다재다능한 In-Context LoRA 모델을 발견하십시오.

팔로우하기

지원

리소스

법적 고지

RunComfy

RunComfy는 최고의 ComfyUI 플랫폼으로서 ComfyUI 온라인 환경과 서비스를 제공하며 ComfyUI 워크플로우 멋진 비주얼을 제공합니다. RunComfy는 또한 제공합니다 AI Models, 예술가들이 최신 AI 도구를 활용하여 놀라운 예술을 창조할 수 있도록 지원합니다.