Uni3C 비디오 참조 카메라 및 모션 전송

1. ComfyUI Uni3C 워크플로우란 무엇인가요?

Uni3C 워크플로우는 ComfyUI 환경에 고급 Uni3C (정밀 3D 향상 카메라 및 인간 모션 제어 통합) 모델을 통합합니다. **DAMO Academy (Alibaba Group)**에서 개발한 Uni3C는 카메라 궤적 제어와 인간 모션 제어를 단일 3D 향상 프레임워크 내에서 통합하여 제어 가능한 비디오 생성의 근본적인 문제를 해결합니다.

FLUX 확산 변환기 아키텍처를 기반으로 하고 Wan2.1 기초 모델로 구동되는 Uni3C는 단안 깊이 추정에서 도출된 비투영 점 구름을 활용하는 플러그 앤 플레이 제어 모듈인 PCDController를 도입합니다. 이 접근 방식은 대규모 비디오 확산 모델의 생성 능력을 유지하면서 Uni3C 내에서 정밀한 카메라 제어를 가능하게 합니다. Uni3C 시스템은 SMPL-X 캐릭터 모델과 글로벌 3D 월드 가이던스를 사용하여 환경 장면과 인간 캐릭터 전반에 걸쳐 공간적으로 일관된 비디오 생성을 달성합니다.

2. Uni3C의 이점:

• 통합 3D 향상 프레임워크: Uni3C는 카메라 궤적과 인간 모션을 일관된 3D 월드 스페이스에서 동시에 처리합니다.
• PCDController 아키텍처: 경량 0.95B 파라미터 컨트롤러와 함께 Uni3C는 14B 파라미터 기반 모델을 손상시키지 않으면서 단안 깊이 추정에서 비투영 점 구름을 활용합니다.
• SMPL-X 통합: Uni3C는 고급 3D 인간 바디 모델 지원을 제공합니다.
• 기하학적 사전 활용: Uni3C 점 구름 기반 3D 기하학적 이해는 단일 이미지에서 견고한 카메라 제어를 제공합니다.
• 글로벌 3D 월드 가이던스: Uni3C는 환경 점 구름과 SMPL-X 캐릭터 간의 강체 변환 정렬을 보장하여 공간적으로 일관된 비디오 생성을 보장합니다.

3. Uni3C 워크플로우 사용 방법

Uni3C는 비디오 참조 추출을 통해 작동하며, 참조 비디오를 분석하여 카메라 움직임과 인간 모션을 이해한 후 패턴을 입력 이미지로부터 새로운 비디오를 생성하기 위해 적용합니다. 이 접근 방식은 수동 파라미터 조정 없이 Uni3C와 함께 정밀한 제어를 가능하게 합니다.

3.1 방법 1: 비디오 참조 카메라 제어

적합:

참조 비디오에서 카메라 움직임을 추출하여 Uni3C를 사용하여 새로운 장면에 적용합니다.

설정 과정:

1. 참조 비디오 로드: Load Video (Upload) 노드에 흥미로운 카메라 움직임이 있는 비디오를 업로드합니다
   • 좋은 예시: 피사체로 줌하는 카메라가 있는 비디오, 자연스러운 머리 움직임이 있는 걷는 영상, 시네마틱 팬, 궤도 샷
   • 핵심 포인트: 명확한 카메라 모션이 있는 모든 비디오가 작동합니다 - 휴대폰 녹화에서부터 Uni3C와 함께하는 전문 촬영까지.
2. 대상 이미지 로드: Load Image 노드에 기본 이미지를 업로드합니다 (사실적, 애니메, 예술품, AI 생성 스타일 모두 작동)
3. 프롬프트 작성: Uni3C를 위한 텍스트 프롬프트 영역에 원하는 장면을 설명합니다
4. 설정 구성: Uni3C 워크플로우는 4배 속도 향상을 위한 최적화된 파라미터를 포함합니다
5. 생성: Uni3C로 참조 비디오의 카메라 움직임을 장면에 전송하기 위해 워크플로우를 실행합니다.

고급 팁:

• 모션 방향 일치: 참조 비디오의 움직임 방향이 Uni3C를 위한 의도된 장면 구성과 일치할 때 최고의 결과가 나타납니다.
• 프롬프트 조정: Uni3C와의 일관성을 높이기 위해 카메라 움직임 스타일을 보완하는 프롬프트를 작성하십시오.
• 참조 품질: Uni3C와 함께 최적의 결과를 얻기 위해 안정적이고 명확한 카메라 움직임이 있는 참조 비디오를 선택하십시오.

3.2 방법 2: 인간 모션 전송

적합:

참조 비디오에서 인간 모션을 다른 캐릭터로 전송하는 Uni3C를 사용합니다.

설정 과정:

1. 인간 모션이 있는 참조 비디오: 전송하려는 인간 움직임이 포함된 비디오를 업로드합니다
2. 대상 캐릭터 이미지: 애니메이션을 적용할 캐릭터 이미지를 로드합니다
3. 프롬프트를 통한 모션 제어:
   • 원래 모션 보존: "여자가 걷고 있다"와 같은 일반적인 설명을 사용하여 Uni3C와 함께 참조 모션을 유지합니다.
   • 동작 수정: "여자가 머리를 빗고 있다"와 같이 구체적으로 설명하여 손 동작을 변경하면서 Uni3C와 함께 전체 모션 흐름을 유지합니다.

주요 장점:

• 골격 불필요: 전통적인 모션 캡처와 달리, Uni3C는 복잡한 리깅 없이 인간의 움직임을 이해합니다.
• 디테일 보존: Uni3C는 모션 전송 중에 액세서리, 헤어스타일, 의류 디테일을 유지합니다.
• 동시 제어: 카메라 움직임과 인간 모션이 Uni3C를 사용하여 동일한 참조 비디오에서 함께 전송됩니다.

성능 최적화 아키텍처: Uni3C 워크플로우는 PCDController에서 숨김 크기를 5120에서 1024로 줄이고, 0으로 초기화된 선형 투사 레이어 및 카메라 제어 기능을 기반 모델의 첫 20 레이어에만 주입하는 등 여러 최적화 전략을 구현합니다. 흐름 일치 최적화는 샘플링 단계를 줄이고(10 vs 20+) 조정된 CFG 가이던스 스케일을 사용하여 Uni3C에서 최대 4배 처리 속도 향상을 제공하면서 생성 품질을 유지합니다.

3.3 최적화된 성능 설정

4배 속도 부스트 구성: Uni3C의 내장 최적화를 기반으로, 다음 설정은 극적으로 빠른 처리를 제공합니다:

WanVideo 샘플러 노드 설정:

• Steps: 10 (기본값 20+에서 감소)
• CFG: 1.0-1.5 (속도-품질 균형을 위한 최적화)
• Shift: 5.0-7.0 (저자는 최상의 결과를 위해 7을 권장하며, Uni3C를 사용한 빠른 처리를 위해 5를 권장)
• Scheduler: UniPC (Uni3C에 최적화된 스케줄러)

주요 성능 특징:

• AnimateDiff 통합: Uni3C는 텍스트-비디오용으로 설계되었지만 이미지-비디오 생성에 효과적인 AnimateDiff 최적화를 활용합니다.
• 스마트 파라미터 감소: 이미지-비디오가 기존 시각 콘텐츠로 시작하기 때문에, Uni3C를 사용하는 텍스트-비디오 생성에 비해 더 적은 디노이징 단계가 필요합니다.
• 최적화된 처리: Uni3C는 70프레임 비디오를 약 4-5분 만에 완료할 수 있도록 합니다 (기존 설정으로 ~27분 소요).

품질 vs 속도 옵션:

• 최대 속도: Steps=10, CFG=1.0, Shift=5 → Uni3C로 70프레임을 약 4분 만에
• 균형: Steps=10, CFG=1.5, Shift=7 → Uni3C로 70프레임을 약 5분 만에
• 높은 품질: Steps=15, CFG=2.0, Shift=7 → Uni3C로 70프레임을 약 8-10분 만에

3.4 워크플로우 구성 요소 이해

참조 비디오 처리 섹션:

• Load Video (Upload): Uni3C에서 모션 참조를 위한 MP4, AVI 및 기타 표준 비디오 형식을 수락합니다.
• WanVideo Encode: Uni3C를 위한 카메라 궤적 및 모션 패턴을 추출하기 위해 참조 비디오를 처리합니다.
• Uni3C ControlNet Loader: 모션 이해를 위한 전문 Uni3C 제어 모델을 로드합니다.

이미지-비디오 생성 섹션:

• Load Image: Uni3C에 의해 참조 모션으로 애니메이션화될 대상 이미지입니다.
• WanVideo Image/ToVideo Encode: Uni3C에 의해 비디오 생성에 적합한 형식으로 정적 이미지를 변환합니다.
• WanVideo Sampler: Uni3C에서 4배 속도 향상을 위한 최적화된 설정을 가진 핵심 생성 엔진입니다.

출력 처리:

• WanVideo Decode: Uni3C로부터 생성된 잠재 비디오를 다시 볼 수 있는 형식으로 변환합니다.
• Video Combine: Uni3C로부터 적절한 프레임 속도 및 인코딩과 함께 최종 비디오 파일을 조립합니다.

4. 고급 팁 및 모범 사례

Uni3C를 위한 참조 자료 선택

• 모션 전송용: Uni3C를 위해 사람의 움직임이 명확하고 보이는 비디오를 선택하여 프레임에 주로 머무르는 비디오를 선택하십시오.
• 카메라 제어용: Uni3C를 위해 흥미로운 시점이나 원하는 카메라 움직임이 있는 비디오.
• 최상의 결과: 참조 모션 방향이 Uni3C와의 의도된 출력 방향과 일치할 때.

Uni3C를 위한 프롬프트 엔지니어링 모범 사례

• "방해하지 마세요" 원칙: 캐릭터 변경 없이 순수 모션 전송을 위해 Uni3C와 함께 간단하고 일반적인 프롬프트를 사용하십시오.
• 구체적인 동작 변경: Uni3C와 함께 캐릭터가 무엇을 하고 있는지를 수정하려면 상세히 설명하십시오.
• 캐릭터 일관성: Uni3C와 함께 캐릭터 외모를 유지하기 위해 프롬프트에 집중하십시오.

Uni3C를 위한 품질 최적화

• 모션 일관성: Uni3C와 함께 부드러운 결과를 위해 참조 비디오에서 갑작스러운 변화를 피하십시오.
• 프레임 안정성: Uni3C를 위해 참조 자료가 일관된 조명과 프레이밍을 갖도록 하십시오.

5. 감사의 말

이 워크플로우는 Uni3C, DAMO Academy (Alibaba Group), Fudan University, 및 Hupan Lab에서 개발되었습니다. ComfyUI 통합은 kijai (ComfyUI-WanVideoWrapper)의 훌륭한 작업을 기반으로 하며, 이 강력한 Uni3C 기술을 전 세계 창작자들이 사용할 수 있도록 추가 최적화 및 워크플로우 설계를 포함합니다.