Pika H3 Flex ComfyUI 워크플로우: 두 개의 참조 이미지를 스테레오 오디오와 A/B Turbo 비교가 가능한 비디오로 변환#
이 Pika H3 Flex ComfyUI 워크플로우는 두 개의 참조 이미지와 장면 프롬프트를 짧은 비디오와 동기화된 스테레오 오디오로 변환합니다. 이는 빠르고 고품질의 참조‑to‑비디오 결과와 동일한 주제, 프롬프트, 치수 및 시드를 사용한 Pika H3 Flex Turbo Ref2VA 경로와 MiniMax H3 Turbo 경로 간의 공정한 A/B 비교를 원하는 예술가 및 연구자를 위해 설계되었습니다.
백그라운드에서 워크플로우는 참조에서 단일 조건과 잠재를 구축한 다음 두 개의 병렬 8단계 샘플링 브랜치를 실행합니다. 각 브랜치는 비디오와 오디오를 디코딩하고 자체 MP4를 작성하여 스타일, 모션 충실도 및 오디오 가능성을 판단하기 쉽게 만듭니다.
Comfyui Pika H3 Flex ComfyUI 워크플로우의 주요 모델#
- Pika-Labs Pika H3 Flex. Pika 브랜치의 외관 및 모션 프리어를 알리는 기본 비디오 모델 및 자산. 모델 카드에서 기능 및 권장 사용 노트를 확인하세요. Pika-Labs/Pika-H3-Flex
- Pika H3 Flex Turbo LoRA. H3 Flex에서 빠르고 고품질의 Ref2VA를 위해 최적화된 경량 어댑터로, 강한 정체성 유지와 몇 단계에서의 선명한 모션을 제공합니다. Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- MiniMax H3 Singularity Ref2VA. 여기서 사용되는 참조‑to‑비디오 조건을 위한 확산 백본으로, MiniMax H3 번들의 VAE 및 텍스트 인코더와 페어링됩니다. WarmBloodAban/Minimax-h3_Singularity
- MiniMax H3 Video VAE 및 Audio VAE. 두 브랜치에서 시각 및 사운드를 재구성하기 위해 사용되는 프레임 및 스테레오 웨이브폼용 디코더. Comfy-Org/MiniMax-H3
Comfyui Pika H3 Flex ComfyUI 워크플로우 사용 방법#
그래프는 하나의 일관된 상태를 전달하는 그룹으로 구성됩니다. 두 브랜치는 동일한 참조, 프롬프트, 치수 및 시드를 공유한 다음, LoRA 단계에서만 분기하여 두 개의 비교 가능한 출력을 생성합니다.
모델#
이 그룹은 MiniMax H3 UNet, 텍스트 인코더 및 페어링된 비디오 및 오디오 VAE를 로드한 다음 재사용을 위해 등록합니다. 모델 변형을 교체하지 않는 한 여기에서 변경할 필요가 없습니다. 주의 백엔드는 비디오 작업에 적합한 효율적이고 안정적인 주의를 선호하도록 설정됩니다. 모든 모델 객체는 get/set 노드를 통해 저장되어 모든 다운스트림 단계에서 단일 진리 소스를 참조할 수 있습니다.
사용자 입력#
두 이미지 로더를 사용하여 주제를 가져옵니다. 배경은 자동으로 제거되어 정체성과 자세를 강조하며, 이는 주제가 새로운 장면에 배치될 때 외관의 일관성을 증가시킵니다. 텍스트 프롬프트에 장면 설명을 입력하세요; 선택적으로 “Audio:” 라인을 추가하여 폴리 및 분위기를 조정할 수 있습니다. 종횡비 및 메가픽셀을 선택하세요; Resolution Selector가 32의 배수로 너비와 높이를 계산하며, 지속 시간은 샘플러와의 원활한 모션을 위해 프레임 수로 변환됩니다. FPS 및 시드를 설정하여 재생 느낌과 두 출력 간의 재현성을 제어하세요.
프롬프트 및 설정 조립#
짧은 스타일 프라이머가 문자열 연결 단계를 통해 프롬프트에 전처리되어 현실감과 시간적 일관성을 유도합니다. 프로젝트의 톤에 맞게 프라이머를 유지하거나 편집하거나 완전히 교체할 수 있습니다. 최종 프롬프트는 일관되게 저장되고 검색되어 두 브랜치가 동일한 텍스트를 받습니다. 너비, 높이, 프레임 수 및 시드도 중앙 집중화되어 사과 대 사과 비교를 보장합니다.
조건화#
MiniMaxH3ReferenceToVideo (#6617)은 두 개의 배경‑클린된 참조, 패키지된 프롬프트 및 공유된 치수를 받아 긍정적인 조건과 비디오 및 오디오에 대한 초기화된 잠재를 구축합니다. 노드는 두 이미지의 정체성 단서를 장면 의도와 결합하여 기본 모션 계획과 오디오 스케치를 생성합니다. 그 단일 조건 객체는 두 개의 샘플러에 대해 내보내져, Pika 및 Turbo 브랜치가 LoRA 스택 및 내부 샘플러 경로에서만 다르게 됩니다.
LoRAs#
동일한 기본 모델에서 두 개의 LoRA 스택이 준비됩니다. 하나는 Pika H3 Flex Turbo Ref2VA LoRA를 적용하여 Pika 스타일을 강조하면서 몇 단계 내에 정체성을 유지합니다. 다른 하나는 속도와 선명도를 위해 조정된 MiniMax H3 Turbo Ref2V LoRA를 적용합니다. 동일한 시드, 프롬프트 및 조건이 사용되므로, 나타나는 차이는 LoRA의 스타일 및 역학을 반영하며 입력의 변경을 반영하지 않습니다.
일반 샘플링 - Pika H3 Flex#
이 브랜치는 등록된 Pika‑조정된 모델을 선택하고, 노이즈 필드를 시드하며, 공유된 조건과 함께 8단계 샘플러를 실행합니다. 디노이징 후, 비디오 잠재 및 오디오 잠재는 MiniMax H3 VAE에 의해 디코딩됩니다. VHS_VideoCombine은 프레임과 스테레오 오디오를 MP4로 결합하고 Pika‑특정 파일 이름 접두사로 저장합니다. 이 출력을 사용하여 정체성 안정성, 얼굴 무결성, 모션 부드러움 및 합성된 폴리가 “Audio:” 지침과 어떻게 일치하는지 판단하세요.
일반 샘플링 - Turbo LoRA#
이 브랜치는 Pika 경로를 반영하지만 MiniMax H3 Turbo LoRA로 교체됩니다. 동일한 8단계 샘플러, 시드, 프롬프트 및 프레임 수학이 적용되어 테스트가 공정하게 유지됩니다. 디코딩은 동일한 VAE를 사용하고, VHS_VideoCombine은 Turbo 접두사가 붙은 두 번째 MP4를 작성합니다. 두 파일을 나란히 비교하면 Pika H3 Flex Turbo와 MiniMax H3 Turbo 경로 간의 텍스처, 모션 공격성 및 오디오 세부 사항의 트레이드오프를 드러냅니다.
Comfyui Pika H3 Flex ComfyUI 워크플로우의 주요 노드#
MiniMaxH3ReferenceToVideo (#6617)#
두 개의 참조, 프롬프트 및 대상 치수를 단일 긍정적 조건 및 초기 잠재로 결합하여 Ref2VA를 중앙 집중화합니다. 여기에서 필수 사항만 조정하세요: 장면 프롬프트, 참조 이미지의 선택 및 순서, 그리고 촬영에 맞는 지속 시간/크기. 브랜치를 비교할 때 동일한 설정을 유지하여 차이가 LoRA를 반영하고 조건을 반영하지 않도록 하세요. 노드는 MiniMax H3 VAE를 사용하여 다운스트림에서 디코딩되는 비디오 및 스테레오 오디오를 구동하도록 설계되었습니다.
Resolution Selector (Size) (#6345)#
종횡비 및 메가픽셀을 선택한 다음 효율적인 디코딩을 위해 32의 배수에 맞춰 너비와 높이를 반환합니다. 두 브랜치를 크기 조정할 수 있는 한 곳으로 사용하여 리샘플링 아티팩트를 최소화하고 프레임당 세부 사항을 일관되게 유지합니다. 해상도를 높이면 계산 비용이 증가하고 단계 시간 여유가 감소하므로 외관 및 모션을 미세 조정할 때 점진적으로 스케일링하세요.
StringConcatenate (#6346)#
프롬프트 전에 압축된 현실성 프라이머를 적용합니다. 다른 톤이나 스타일을 선호하는 경우, 프라이머를 교체하거나 제거하여 자신의 문구가 지배하도록 하세요. 프레이징의 미묘한 변경을 테스트할 때 A/B 무결성을 유지하는 데 도움이 됩니다.
BasicScheduler (#6742, #6767)#
이 Ref2VA 설정에서 빠르고 안정적인 결과를 위해 최적화된 8단계 일정을 제공합니다. 적은 단계는 세부 사항을 속도와 교환하고, 더 많은 단계는 시간을 대가로 정교함을 추가합니다. 브랜치 간의 깨끗한 A/B를 위해 단계는 동일하게 유지하세요.
VHS_VideoCombine (#6758, #6776)#
디코딩된 프레임과 스테레오 오디오를 최종 MP4 파일로 결합합니다. 여기서 형식 및 프레임 속도를 제어하고 두 브랜치를 동기화 상태로 유지하세요. 상류에서 지속 시간을 변경하면 작가의 설정이 오디오와 비디오가 정렬된 상태로 유지되는지 확인하세요.
선택적 추가 사항#
- 두 참조 이미지를 유사한 자세, 조명 및 자르기로 준비하여 정체성 안정성을 개선하고 얼굴 이동을 줄이세요.
- 바쁜 배경이 피사체로 유출되는 경우, 더 강한 매트팅을 시도하거나 더 깨끗한 컷아웃을 제공하세요; 참조가 이미 잘 분리되어 있는 경우 배경 제거를 우회할 수도 있습니다.
- Pika 대 Turbo 비교를 할 때 동일한 시드를 유지하고 한 번에 하나의 요소만 변경하세요.
- 중간 메가픽셀 설정으로 시작하여 모션 및 오디오 느낌을 확인한 후 구성이 마음에 들면 해상도를 스케일링하세요.
- 대화나 특정 폴리에 대해 “Audio:” 라인을 간결하게 문구화하세요; 주변 신호와 간단한 동작은 가장 신뢰성 있게 합성되는 경향이 있습니다.
이 Pika H3 Flex ComfyUI 워크플로우에 사용된 모델 리소스:
- Pika-Labs/Pika-H3-Flex
- Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- WarmBloodAban/Minimax-h3_Singularity
- Comfy-Org/MiniMax-H3
- kijai/ComfyUI-KJNodes
- kosinkadink/ComfyUI-VideoHelperSuite
감사의 말씀#
이 워크플로우는 다음 작업 및 리소스를 구현 및 기반으로 합니다. 우리는 Pika-Labs의 Pika-H3-Flex 및 Pika-H3-Flex-Turbo-LoRA, WarmBloodAban의 Minimax-h3_Singularity, 그리고 Innovate Futures @ Benji의 “Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI”의 기여 및 유지를 감사히 인정합니다. 권위있는 세부 사항은 아래 링크된 원본 문서 및 저장소를 참조하세요.
리소스#
- Innovate Futures @ Benji/Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI
- Docs / Release Notes: Pika H3 Flex: Pika's Own Fine-Tune of MiniMax H3, Tested in ComfyUI
- Pika-Labs/Pika-H3-Flex-Turbo-LoRA
- WarmBloodAban/Minimax-h3_Singularity
- Hugging Face: WarmBloodAban/Minimax-h3_Singularity
- Pika-Labs/Pika-H3-Flex
- GitHub: Pika-Labs/Pika-H3-Flex
- Hugging Face: Pika-Labs/Pika-H3-Flex
Note: Use of the referenced models, datasets, and code is subject to the respective licenses and terms provided by their authors and maintainers.