FastH3 8-Step V2 ComfyUI Workflow | Fast MiniMax H3 I2V

FastH3 8-Step V2 ComfyUI Workflow: 두 프레임 조건의 MiniMax H3 비디오와 오디오#

FastH3 8-Step V2 ComfyUI Workflow는 첫 번째와 마지막 참조 프레임을 연속적인 MiniMax H3 비디오와 동기화된 생성 오디오로 변환합니다. FastVideo FastH3 V2 INT8 체크포인트와 8단계 스케줄, 희소 주의, 명시적인 첫/마지막 프레임 조건을 사용하여 빠르고 제어된 결과를 제공합니다.

이 워크플로우는 영화 같은 전환, 캐릭터 동작, 소셜 비디오 개념, 명확한 시작 및 종료 구성을 필요로 하는 짧은 내러티브 샷에 이상적입니다. 안정적인 주제, 고정된 프레이밍, 자연스러운 동작을 유지하면서 속도를 높이고 싶다면 FastH3 8-Step V2 ComfyUI Workflow가 당신을 위해 만들어졌습니다.

ComfyUI FastH3 8-Step V2 ComfyUI Workflow의 주요 모델#

• FastVideo FastH3 8-Step V2 (INT8). 8단계 샘플링만으로 비디오 및 오디오 잠재 변수를 생성하여 빠른 반복을 가능하게 하는 확산 백본입니다. 체크포인트: FastVideo/FastVideo-FastH3-8-Step-V2 및 ComfyUI 준비 가중치: FastVideo/FastVideo-FastH3-Comfy.
• MiniMax H3용 Qwen3-VL 32B 텍스트 인코더. 장면 세부사항 및 오디오 큐를 안내하는 조건 임베딩으로 프롬프트를 인코딩합니다. 공식 모델 세트와 함께 배포된 가중치: Comfy-Org/MiniMax-H3.
• MiniMax H3 Video VAE. 입력에 지정된 타겟 해상도로 비디오 잠재 변수를 RGB 프레임으로 디코딩합니다. 참조: Comfy-Org/MiniMax-H3.
• MiniMax H3 Audio VAE. 오디오 잠재 변수를 생성된 프레임과 함께 믹싱된 파형 오디오로 디코딩합니다. 참조: Comfy-Org/MiniMax-H3.

ComfyUI FastH3 8-Step V2 ComfyUI Workflow 사용 방법#

이 그래프는 공식 FastH3 이미지-비디오 패턴을 따르며 왼쪽에서 오른쪽으로 샷을 조립합니다. 두 개의 참조 이미지를 제공하고 텍스트 프롬프트를 입력하면, 워크플로우는 8단계의 희소 주의와 함께 필요한 조건과 샘플링을 계산한 다음, 동기화된 비디오와 오디오를 디코딩하고 게시 준비된 파일을 저장합니다.

이미지/비디오 입력 (2)

• LoadImage (#136)과 LoadImage (#161)를 사용하여 첫 번째와 마지막 프레임을 로드합니다. 동일한 장면과 비율의 이미지를 선택하여 클립 내내 구성과 정체성을 일관되게 유지합니다.
• 첫 번째 프레임은 ImageScaleToTotalPixels (#142)에 의해 자동으로 크기가 조정되어 컴퓨팅 예산에 맞추어지고, GetImageSize (#141)가 그 가로와 세로를 읽어 생성된 시퀀스가 해당 해상도에 맞게 합니다.
• 자연스럽고 장면에 맞는 참조 프레임을 사용하십시오. 마지막 프레임은 샷이 정확히 의도한 곳에서 해결되도록 최종 구성을 고정합니다.

처리 (19)

• 핵심 가중치는 UNETLoader (#151), CLIPLoader (#152), 및 두 개의 VAELoader 노드(#143 비디오, #144 오디오)로 로드됩니다. MiniMaxH3ImageToVideo (#155) 노드는 첫 번째 프레임, 마지막 프레임, 프롬프트, 타겟 지속 시간을 하나의 조건 패키지 및 초기 잠재 변수로 융합합니다.
• 지속 시간은 Float (duration) 제어(#157)로 한 번 설정됩니다. ComfyMathExpression (#156)은 그 시간을 모델의 스트라이드에 맞춰 프레임 수로 변환하여 시퀀스 전반에 걸쳐 부드러운 주의를 제공합니다.
• 시간적 및 효율성 도우미에는 MiniMax H3를 위한 스케줄을 편향시키는 MiniMaxH3SigmaShift (#160), 주의 구현을 선택하는 ModelAttentionBackend (#159), 계산을 줄이면서 중요한 영역의 충실도를 유지하는 BlockSparseAttention (#158)이 포함됩니다.
• 노이즈 제거 핵심은 이미지-비디오 노드의 긍정적 조건을 가진 BasicGuider (#150), 8단계 BasicScheduler (#148), KSamplerSelect (#147)에서 선택된 res_multistep 샘플러, SamplerCustomAdvanced (#149)가 하나의 패스로 공동 비디오 및 오디오 잠재 변수를 생성합니다.

출력 (2)

• 비디오 잠재 변수는 VAEDecode (#146)를 통해 프레임으로 디코딩되고 오디오 잠재 변수는 VAEDecodeAudio (#145)를 통해 디코딩됩니다. 그런 다음 CreateVideo (#154)는 이미지 시퀀스와 오디오를 단일 클립으로 믹싱합니다.
• SaveVideo (#92) 파일을 씁니다. 파일 이름 접두사를 설정하고, 전달 플랫폼이나 편집 파이프라인에 맞는 형식과 코덱을 선택하십시오.

ComfyUI FastH3 8-Step V2 ComfyUI Workflow의 주요 노드#

MiniMaxH3ImageToVideo (#155)

• 첫 번째 및 마지막 참조 프레임과 프롬프트에서 조건을 구축하고, 공동 비디오 및 오디오 생성을 위한 초기 잠재 변수를 출력합니다. 텍스트 프롬프트를 조정하여 동작, 카메라, 분위기, 원하는 사운드 큐를 설명하십시오. 참조와 일관된 정체성과 장면 요소를 유지하여 가장 안정적인 결과를 얻으십시오. 샘플러 설정을 건드리지 않고 클립 길이를 변경하려면 왼쪽 그룹의 지속 시간 제어를 조정하십시오.

BlockSparseAttention (#158)

• 로드된 모델에 희소 주의를 적용하여 샘플링을 가속화하면서 중요한 곳에서 주의를 유지합니다. 바쁜 장면에서 디테일 손실이 보이면, 유지되는 비율을 늘리거나 전경 주제에 추가 토큰을 예약하십시오. 간단한 장면에서는 더 강한 희소성이 렌더링 속도를 크게 높일 수 있습니다.

MiniMaxH3SigmaShift (#160)

• 비디오와 오디오의 노이즈 스케줄을 이동하여 짧은 8단계 궤적을 통해 시간적 구조와 사운드가 일관성을 유지하도록 합니다. 동작이 흔들리는 것처럼 보이면 비디오 시프트를 높이고, 오디오 정렬이 드리프트하면 오디오 시프트를 약간 조정하십시오. 작은 변화를 사용하고 짧은 미리보기를 테스트하여 균형을 찾으십시오.

SamplerCustomAdvanced (#149)

• res_multistep 샘플러와 BasicScheduler (#148)에서의 스케줄을 사용하여 8단계 노이즈 제거를 실행합니다. RandomNoise (#153)에서 시드를 고정하여 재현 가능성을 확보한 후, 모션을 좋아하게 되면 다른 대안을 탐색하기 위해 시드를 변경하십시오. BasicGuider (#150)의 강력한 안내는 구성이 복잡할 때 프롬프트를 준수하는 데 도움이 됩니다.

CreateVideo (#154)

• 디코딩된 프레임과 오디오를 최종 클립으로 믹싱합니다. 프레임 속도로 캐드런스를 제어하고, 워크플로우에 맞는 색 공간을 선택하고, 나중에 편집할 계획이라면 NLE에 맞는 크기와 품질을 균형 있게 유지하는 코덱을 선택하십시오.

선택적 추가 기능#

• 참조 선택: 동일한 렌즈와 관점에서 두 프레임을 선택하고, 노출과 화이트 밸런스를 일치시킵니다. 더 선명한 참조는 일반적으로 더 깨끗한 텍스처를 제공합니다.
• 프롬프트: 주제가 무엇을 하는지, 카메라가 어떻게 작동하는지, 환경이 어떤 소리를 내는지 작성하십시오. 참조와 일관된 워딩을 유지하여 정체성 드리프트를 피하십시오.
• 해상도 대 속도: 메모리 제한에 도달하면 ImageScaleToTotalPixels (#142)에서 타겟 픽셀 예산을 낮추십시오. 주인공 샷의 경우, 예산을 높이고 변형을 적게 렌더링하십시오.
• 지속 시간 및 fps: 속도를 조정하기 위해 지속 시간을 조정한 다음, CreateVideo (#154)에서 fps를 설정하여 느낌을 제어하십시오. 워크플로우는 안정적인 주의를 위해 프레임 수를 자동으로 맞춥니다.
• 시드 및 반복: 노이즈 시드를 고정하여 프롬프트와 참조를 정제한 다음, 구성과 타이밍이 고정되면 새로운 시드를 시도하여 대안을 탐색하십시오.
• 템플릿 동등성: 그래프는 공식 FastH3 I2V 구조를 따르므로, Comfy-Org/workflow_templates에서 참조 템플릿의 팁이 직접 적용됩니다.

감사의 글#

이 워크플로우는 다음 작업 및 리소스를 구현하고 기반으로 합니다. FastVideo의 FastH3 8-Step V2 모델 및 ComfyUI 가중치, Comfy-Org의 FastH3 I2V 워크플로우 템플릿, RunningHub.ai의 워크플로우 소스에 대한 기여와 유지 보수를 감사드립니다. 권위 있는 세부정보는 아래에 링크된 원본 문서 및 저장소를 참조하십시오.

리소스#

• RunningHub.ai/워크플로우 소스
  • 문서 / 릴리스 노트: RunningHub.ai 게시물
• FastVideo/FastVideo-FastH3-8-Step-V2
  • GitHub: hao-ai-lab/FastVideo
  • Hugging Face: FastVideo/FastVideo-FastH3-8-Step-V2
  • arXiv: 2405.14867
• FastVideo/FastVideo-FastH3-Comfy
  • Hugging Face: FastVideo/FastVideo-FastH3-Comfy
• Comfy-Org/workflow_templates (FastH3 I2V 템플릿)
  • GitHub: Comfy-Org/workflow_templates

참고: 언급된 모델, 데이터셋 및 코드의 사용은 작성자 및 유지 관리자가 제공한 해당 라이선스 및 조건에 따릅니다.