LongCat Video Avatar 1.6 ComfyUI 워크플로우#
LongCat Video Avatar 1.6 ComfyUI 워크플로우는 하나의 참조 이미지와 하나 또는 두 개의 음성 트랙을 깨끗한 립싱크된 MP4로 변환합니다. SAM 3.1 마스크로 얼굴에 목소리를 할당하는 기본 두 명의 화자 대화와 발표자 또는 캐릭터를 위한 단일 화자 독백의 두 개의 캔버스 그룹이 포함되어 있습니다. 창작자, 교육자 및 제품 팀은 안정적인 정체성, 자연스러운 입 모양 및 부드러운 머리 움직임을 빠르게 구현하여 아바타를 제작할 수 있습니다.
내부적으로 그래프는 더 긴 스크립트를 짧고 겹치는 청크로 분할하고, LongCat Video Avatar 1.6으로 각 청크의 프레임을 생성하며, 겹친 부분을 자르고, 전체 사운드트랙을 첨부하면서 세그먼트를 다시 결합합니다. 결과는 프롬프트와 구성을 존중하는 부드럽고 음성 정확한 비디오입니다.
Comfyui LongCat Video Avatar 1.6 ComfyUI 워크플로우의 주요 모델#
- Meituan LongCat Video Avatar 1.6. 핵심 아바타 모델은 음성 특징과 정체성 이미지를 립싱크된 프레임으로 변환하면서 외모를 보존합니다. 모델 카드
- LongCat Video Avatar 어댑터 (DMD 및 OPSD)는 ComfyUI용으로 패키징되었습니다. 릴리스된 파이프라인과 샘플링 동작을 맞추는 선택적 어댑터입니다. 가중치
- Whisper Large V3 인코더. 입 모양과 연접을 구동하는 강력한 음성 특징을 추출합니다. 모델
- Segment Anything (SAM) 패밀리. 각 음성 트랙이 대화 장면에서 올바른 얼굴을 애니메이션화하도록 고품질 인물 마스크를 제공합니다. 저장소
Comfyui LongCat Video Avatar 1.6 ComfyUI 워크플로우 사용 방법#
전반적인 흐름
- 실행할 그룹을 하나 선택하십시오. 그래프는 오디오를 겹치는 세그먼트로 분할하고, LongCat으로 각 세그먼트의 프레임을 생성하며, 이미지를 디코딩하고, 반복된 겹침을 제거하고, 전체 사운드트랙과 함께 세그먼트를 단일 비디오로 연결합니다.
두 명의 화자 대화 · 기본
- 시작 이미지로 프레임에 두 사람이 보이는 이미지를 로드하십시오. 각 화자당 하나씩 두 개의 음성 트랙을 Voice A와 Voice B에 추가하십시오. 샘플 프로젝트는 첫 번째 줄을 좌측 여성에게, 두 번째 줄을 우측 남성에게 라우팅합니다.
- SAM 3.1 노드는 각각의 사람을 감지하고 두 개의 마스크를 출력합니다. 필요하다면 여성과 남성을 읽는 짧은 텍스트 프롬프트를 사진에 맞게 변경하십시오. 마스크 미리보기를 사용하여 좌우 얼굴이 깔끔하게 분리되었는지 확인하십시오.
- 긍정적 및 부정적 프롬프트는 카메라와 품질에 대한 고수준의 가이드를 제공합니다. 정체성과 조명 연속성을 유지하기 위해 설명적이고 사실적인 상태를 유지하십시오.
- 세그먼트 길이와 겹침은 각 패스당 생성되는 프레임 수와 세그먼트가 얼마나 부드럽게 혼합되는지를 제어합니다. 더 긴 세그먼트는 패스 수를 줄이고, 더 많은 겹침은 전환을 부드럽게 합니다.
- 캔버스를 큐에 넣어 대화 비디오를 생성하고 저장하십시오. 두 개의 Save Video 노드는 서로 다른 파일 이름 접두사를 사용하므로 대화 및 독백 렌더링이 서로 덮어쓰지 않습니다.
단일 화자 독백 · 기본적으로 우회됨
- 단일 인물 참조 이미지와 하나의 오디오 파일을 로드하십시오. 동일한 음성 트랙이 지속 시간, 컨디셔닝 및 최종 사운드트랙을 구동합니다.
- 단일 화자 LongCat 노드는 전체 이미지를 사용하므로 마스킹이 필요하지 않습니다. 최상의 입 읽기 가능성을 위해 주제를 정면으로 유지하고 적당한 머리 공간을 확보하십시오.
- 카메라 스타일에 맞게 긍정적 및 부정적 프롬프트를 조정하십시오. 그런 다음 캔버스를 큐에 넣어 독백 비디오를 렌더링하고 저장하십시오.
모드 간 전환
- 그룹 메뉴에서 한 번에 하나의 그룹만 실행하십시오. 원하는 모드를 항상으로 설정하고 다른 모드를 우회로 설정하십시오. 대화로 돌아갈 때 특정 변형을 원하지 않는 한 선택적 OPSD 블렌드를 우회 상태로 유지하십시오.
Comfyui LongCat Video Avatar 1.6 ComfyUI 워크플로우의 주요 노드#
LongCatAvatarToVideo (#100) · 대화
- 두 명의 화자 장면을 위한 핵심 생성기입니다. 시작 이미지, 두 개의 인코딩된 오디오 트랙 및 두 개의 SAM 마스크를 가져와 각각의 목소리가 올바른 얼굴을 애니메이션화합니다. 중요한 것만 조정하십시오: 시간적 부드러움을 위한 세그먼트 길이 대 겹침, 입 모양을 더 선명하게 하기 위한 오디오 강도. 이 노드는 루프에서 프레임 오프셋도 받아 각 세그먼트가 시간의 올바른 위치에 도착하도록 합니다. 기본 노드 소개를 참조하십시오. ComfyUI PR
LongCatAvatarToVideo (#300) · 독백
- 하나의 오디오 트랙에서 한 얼굴을 구동하는 단일 화자 변형입니다. 한 주제만 보이는 경우에 사용하십시오. 동일한 가이드가 적용됩니다: 스크립트 길이에 맞게 세그먼트 길이와 겹침을 조정하고, 입 정확성과 얼굴 안정성을 균형 있게 유지하기 위해 오디오 강도를 중간 정도로 유지하십시오. ComfyUI PR
SAM3_Detect (#147) 화자 A 마스크 및 SAM3_Detect (#150) 화자 B 마스크
- 시작 이미지에서 사람을 감지하고 깨끗한 마스크를 생성합니다. 간단한 텍스트 레이블을 수락하며, 주제를 반영하도록 변경할 수 있습니다. 마스크가 번지면 프롬프트를 미세 조정하거나 간단한 상자나 점을 제공하십시오; 내장된 마스크 미리보기를 사용하여 분리를 확인하십시오. SAM 배경에 대해서는 원본 논문과 저장소를 참조하십시오. 논문 · 저장소
StartLoop · 세그먼트 (하위 그래프 “루프 시작”)
- 오디오 지속 시간, 세그먼트 길이 및 겹침에서 필요한 세그먼트 수를 계산하여 긴 스크립트를 자동화합니다. 패스 사이에 시드를 증가시켜 자연스러운 변화를 만들고, 각 패스가 올바른 타임라인 위치에서 시작되도록 프레임 오프셋을 출력합니다. 루프는 이전 프레임을 생성에 다시 피드하여 컷 사이의 연속성을 유지합니다.
SamplerCustom은 BasicScheduler 및 SplitSigmas와 쌍을 이룹니다
- 워크플로우는 모션 안정성을 위해 높은 노이즈 범위와 낮은 노이즈 범위에서 작동하는 두 단계 샘플러를 각 세그먼트에 사용합니다. 실험할 이유가 없는 한 기본 샘플러와 스케줄을 유지하십시오; 제공된 구성은 공식 LongCat 릴리스 동작과 일치합니다. 가중치 · 모델 카드
선택적 추가 기능#
- 정체성을 우선시하십시오. 날카롭고 정면을 향한 참조를 사용하고 중립적인 입술과 일관된 조명을 사용하십시오. 작은 머리 회전은 괜찮지만, 큰 요잉이나 가림은 입술 명확성을 줄입니다.
- 대화 설정. 화자가 겹치거나 교차하는 경우 SAM 프롬프트를 조정하거나 마스크를 세분화하여 각 목소리가 하나의 얼굴만 제어하도록 하십시오.
- 오디오 준비. 과도한 노이즈 감소 없이 깨끗한 모노 WAV 파일을 사용하십시오. 타이밍을 조정하기 위해 선행 및 후행 침묵을 자르십시오.
- 프롬프트 제공. 긍정적 프롬프트를 구체적이고 장면 수준으로 유지하십시오. 부정적 프롬프트를 사용하여 과노출, 떨림 또는 얼어붙은 입과 같은 아티팩트를 배제하십시오.
- 변형. 선택적 OPSD 블렌드는 실험을 위해 제공되었지만, 게시된 파이프라인을 반영하기 위해 기본적으로 우회됩니다. 가중치
감사의 글#
이 워크플로우는 다음 작업 및 리소스를 구현하고 확장합니다. LongCat-Video-Avatar 1.6 모델에 대해 Meituan LongCat 팀에게, ComfyUI에 대한 LongCat-Video-Avatar 가중치에 대해 Comfy-Org에게, 그리고 LongCat Avatar 노드와 소스 워크플로우에 대해 Comfy-Org/ComfyUI에게 그들의 기여와 유지 관리에 대해 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하십시오.
리소스#
- meituan-longcat/LongCat-Video-Avatar-1.6
- GitHub: meituan-longcat/LongCat-Video
- Hugging Face: meituan-longcat/LongCat-Video-Avatar-1.6
- 문서 / 릴리스 노트: LongCat-Video-Avatar-1.6 기술 보고서 (PDF)
- Comfy-Org/LongCat-Video-Avatar
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
- Comfy-Org/ComfyUI PR #17831 — LongCatAvatar 지원 (CORE-720)
- GitHub: Comfy-Org/ComfyUI
- Hugging Face: Comfy-Org/LongCat-Video-Avatar
참고: 참조된 모델, 데이터셋 및 코드는 해당 작성자 및 유지 관리자가 제공한 라이센스 및 조건에 따릅니다.


