MiniMax H3 첫 프레임과 마지막 프레임의 비디오 가속화#
이 ComfyUI 워크플로우는 일치하는 첫 프레임과 마지막 프레임을 네이티브 스테레오 오디오와 동기화된 짧은 비디오로 변환합니다. MiniMax H3를 Turbo Acceleration LoRA와 함께 실행하여 첫 번째와 마지막 키프레임을 보존하면서 빠르게 모션을 완료합니다. 그 결과는 RunComfy에서 ComfyUI를 벗어나지 않고 캐릭터 동작, 카메라 이동, 제품 비트를 초안으로 작성하기에 이상적인 빠른 FL2VA 파이프라인입니다.
MiniMax H3 첫 프레임과 마지막 프레임의 비디오 가속화는 속도와 시간적 일관성에 중점을 둡니다. 시작 및 종료 프레임을 고정시킴으로써 클립은 설정한 시각적 목표를 달성하고 가속된 샘플링 일정은 엄청나게 빠른 전환 시간을 제공합니다. 크리에이터는 빠르게 반복할 수 있는 미리보기를 얻고 필요에 따라 업스케일하거나 세부 조정할 수 있습니다.
얻을 수 있는 것#
- ComfyUI에서 첫 번째와 마지막 프레임을 조건으로 한 비디오 생성
- Turbo LoRA를 통한 MiniMax H3 샘플링 가속화
- 비디오와 함께 생성된 네이티브 스테레오 오디오
- 시작 및 종료 키프레임을 시각적으로 존중
- 빠른 검토 및 공유를 위한 원클릭 내보내기
Comfyui MiniMax H3 첫 프레임과 마지막 프레임의 비디오 가속화 워크플로우의 주요 모델#
- MiniMax-H3 by Comfy-Org. 첫/마지막 프레임 가이드 및 동기화된 오디오 출력과 함께 확산 기반 생성에 사용되는 핵심 비디오 기초 모델입니다. 프롬프트와 키프레임을 따르면서 시간적으로 일관된 프레임을 생성합니다. Model card
- MiniMax-H3 Turbo LoRA. H3의 효과적인 샘플링 일정을 가속화하여 키프레임 잠금을 유지하면서 훨씬 적은 단계로 모션 수렴에 도달할 수 있게 하는 가벼운 어댑터입니다. Model card
Comfyui MiniMax H3 첫 프레임과 마지막 프레임의 비디오 가속화 워크플로우 사용법#
이 그래프는 두 앵커 프레임과 선택적 텍스트 프롬프트를 사용하여 스테레오 오디오와 함께 짧고 일관된 클립을 생성합니다. 입력, 정렬, 모션 가이드, 가속화된 H3 샘플링, 오디오 생성, 내보내기의 단계로 진행됩니다.
입력: 첫 프레임, 마지막 프레임, 프롬프트#
주제의 정체성, 노출, 비율을 공유하는 시각적으로 일치하는 첫 번째 및 마지막 프레임을 제공하십시오. 스타일과 콘텐츠를 유도하기 위한 간결한 텍스트 프롬프트를 추가하십시오. 피하고 싶은 요소에 대해서는 부정적 프롬프트를 사용하십시오. 프레임 간 모션에 적합한 클립 길이, 프레임 레이트 및 해상도를 선택하십시오. 일관된 반복을 위한 재생 가능한 시드를 설정할 수 있습니다.
정렬 및 정규화#
워크플로우는 해상도와 색상을 정규화하여 두 키프레임이 동일한 공간에 있도록 합니다. 기본 사전 검사는 노출이나 화이트 밸런스 불일치로 인한 깜박임을 줄이는 데 도움이 됩니다. 클립 전반에 걸쳐 구성이 일관되도록 약간의 재구성을 적용할 수 있습니다. 이 정렬 단계는 MiniMax H3가 주제 포즈와 카메라 변화를 보간하는 방식을 개선합니다.
키프레임 조건부 모션 가이드#
첫 번째와 마지막 프레임은 비디오가 시작하고 끝나야 하는 단단한 앵커 역할을 합니다. 조건부 스택은 프롬프트 기능과 두 프레임의 시각적 단서를 혼합하여 모션 경로를 형성합니다. 이는 정체성, 레이아웃 및 장면 속성을 안정적으로 유지하면서 그 사이의 자연스러운 전환을 허용합니다. 가이드 강도는 앵커에 대한 충실도와 자연스러운 움직임을 위한 공간을 균형 있게 유지합니다.
가속화된 MiniMax H3 샘플링#
MiniMax H3는 Turbo LoRA와 함께 로드되어 효과적인 샘플링 일정을 단축합니다. 샘플러는 글로벌 모션을 빠르게 해결한 후 키프레임 잠금을 존중하면서 세부 사항을 다듬습니다. 프레임이 더 큰 카메라 이동이나 포즈 변화를 암시하는 경우, 프롬프트 공격성을 줄이거나 총 단계를 약간 늘려 안정성을 우선시할 수 있습니다. 작고 잘 맞는 모션의 경우 가속화는 매우 짧은 시간에 선명한 결과를 제공합니다.
네이티브 스테레오 오디오 생성#
오디오는 비디오와 함께 네이티브로 생성되어 리듬 및 의미적 단서가 시각적 콘텐츠와 일치합니다. 짧은 오디오 또는 장면 분위기 프롬프트를 제공하거나 모델이 시각 및 텍스트 컨텍스트에서 소리를 유추하도록 할 수 있습니다. 워크플로우는 클립 길이에 자동으로 일치하는 스테레오 트랙을 생성합니다. 음량과 시작은 클리핑을 피하고 대화나 음악 아래에서 잘 들리도록 형성됩니다.
조립 및 내보내기#
프레임은 디코딩되어 순서대로 정리되고 생성된 스테레오 오디오가 결합된 검토 준비 완료 비디오 파일로 포장됩니다. 파일 이름은 프롬프트 및 시드 컨텍스트를 캡처하여 나중에 설정을 추적할 수 있도록 합니다. 최종 클립과 함께, 워크플로우는 앵커와 출력의 빠른 A/B 비교를 위한 스틸을 저장할 수 있습니다. 고해상도 또는 긴 지속 시간을 커밋하기 전에 빠르게 반복하는 데 사용하십시오.
선택적 추가 기능#
- 일관된 조명 및 색상의 앵커 프레임을 선택하십시오; 강한 불일치는 FL2VA 모델을 더 어렵게 만듭니다.
- 앵커 간 모션을 적당히 유지하여 가장 깨끗한 가속화를 얻으십시오; 극단적인 포즈 점프는 더 많은 단계나 부드러운 프롬프트가 필요할 수 있습니다.
- 클립의 가장자리가 정확해야 한다면, 공격적인 스타일 프롬프트보다 앵커 충실도를 우선시하십시오.
- 제품 촬영의 경우, 중립적인 배경과 중심 구성은 전환을 통해 기하학을 보존하는 데 도움이 됩니다.
- 우승 초안을 위해 시드를 저장하여 나중에 동일한 모습으로 업스케일하거나 길이를 늘릴 수 있습니다.
참조 자산 링크:
- Hugging Face의 MiniMax-H3 모델 가중치: Comfy-Org/MiniMax-H3
- Turbo 가속화 LoRA: larryvrh/MiniMax-H3-Turbo-Lora
감사의 글#
이 워크플로우는 다음의 작업 및 리소스를 구현하고 기반으로 합니다. MiniMax H3 모델을 위한 MiniMax, MiniMax H3 튜토리얼을 위한 Comfy.org, MiniMax-H3 모델 가중치를 위한 Comfy-Org, 그리고 MiniMax-H3 Turbo LoRA를 위해 larryvrh에 감사드립니다. 자세한 사항은 아래에 연결된 원본 문서 및 리포지토리를 참조하십시오.
리소스#
- MiniMax/MiniMax H3 공식 발표
- 문서 / 릴리스 노트: MiniMax H3 공식 발표
- Comfy.org/MiniMax H3 튜토리얼
- 문서 / 릴리스 노트: Comfy.org MiniMax H3 튜토리얼
- Comfy-Org/MiniMax-H3 모델 가중치
- Hugging Face: Comfy-Org/MiniMax-H3
- larryvrh/MiniMax-H3 Turbo LoRA
- Hugging Face: larryvrh/MiniMax-H3-Turbo-Lora
참고: 참조된 모델, 데이터세트 및 코드의 사용은 해당 저자 및 유지 관리자가 제공하는 라이선스 및 조건에 따릅니다.