SCAIL 2 다중 역할 참조 동작 전송: ComfyUI를 위한 다중 캐릭터, 정체성 유지 모션 전송#
이 워크플로우는 SCAIL 2 다중 역할 참조 동작 전송을 제공합니다: 드라이빙 비디오를 가져와 하나 이상의 참조 캐릭터에게 동작을 전송하면서 각 주제의 시각적 정체성을 유지합니다. 모션 전송 및 전체 캐릭터 교체를 지원하며, 다중 이미지 정체성 참조를 처리하고 스토리텔링, 대화, 그룹 공연에 적합한 일관된 다중 역할 장면을 제작합니다.
SCAIL_2 임베딩, CLIP Vision 지침, 세분화 기반 역할 마스크를 사용한 Wan 2.1 비디오 생성에 기반하여 파이프라인은 전체 클립에 걸쳐 일관된 정체성, 자연스러운 동작, 제어 가능한 상호작용에 중점을 둡니다.
Comfyui SCAIL 2 다중 역할 참조 동작 전송 워크플로우의 주요 모델#
- Wan 2.1 비디오 백본을 ComfyUI-WanVideoWrapper를 통해 제공합니다. 생성기는 SCAIL_2 이미지 임베딩, 시각적 컨디셔닝 및 프롬프트 텍스트에서 비디오 프레임을 합성하며 긴 컨텍스트와 효율적인 메모리 사용을 처리합니다. GitHub
- CLIP Vision 인코더. 주 참조 이미지 또는 콜라주에서 강력한 시각적 임베딩을 제공하여 생성 중 정체성과 외모를 유도합니다. 이미지-텍스트 표현 학습에 대한 배경은 CLIP 논문을 참조하세요. arXiv
- mT5 패밀리 텍스트 인코더. 프레임 전반에 걸쳐 원하는 주제와 동작으로 콘텐츠를 편향시키기 위한 긍정적 및 부정적 프롬프트를 인코딩합니다. arXiv
- 비디오 객체 추적을 위한 Segment Anything 스타일 세분화. 이 워크플로우는 SAM 패밀리 체크포인트를 사용하여 주제를 감지하고 추적하며 다중 캐릭터 동작 전송을 구동하는 역할별 마스크를 생성합니다. SAM 세분화에 대한 배경: GitHub
- LoRA 어댑터. 선택적 어댑터는 전체 모델을 재훈련하지 않고 정체성 유지 및 동작 충실도에 대해 생성기를 전문화합니다. LoRA 튜닝에 대한 배경: arXiv
- FeiHou Toolbox 유틸리티. 콜라주 및 마스크 유틸리티는 다중 이미지 정체성 참조 및 SCAIL 2를 위한 색상 역할 인식 마스크를 용이하게 합니다. GitHub
- KJNodes 이미지 유틸리티. 고품질 리사이징은 입력 및 마스크를 비디오 차원에 맞춰 안정적인 샘플링을 보장합니다. GitHub
Comfyui SCAIL 2 다중 역할 참조 동작 전송 워크플로우 사용법#
이 워크플로우는 네 가지 주요 단계로 구성됩니다: 자산 및 생성기 로드, 다중 역할 참조 및 마스크 구축, SCAIL_2 임베딩 컴파일, 그런 다음 최종 비디오를 샘플링하고 내보내기. 그룹은 위에서 아래로 실행되며 각 단계에서 유용한 미리보기를 제공합니다.
모델 로딩 영역#
이 영역은 Wan 2.1 백본과 그 VAE를 준비합니다. WanAnimatePlus ModelLoader (#37)를 사용하여 기본 모델과 정밀도를 선택하고, WanAnimatePlus VAELoader (#71)로 일치하는 VAE를 로드합니다. 정체성이나 동작을 더욱 편향시키려면 WanAnimatePlus LoraSelectMulti (#66)를 통해 어댑터를 추가한 다음 WanAnimatePlus SetLoRAs (#69)를 통해 모델에 적용하세요. 선택적 WanVideoTorchCompileSettings (#72)는 주의 블록을 컴파일하여 지연 시간을 줄일 수 있습니다.
단일 이미지 로드#
단일 이미지 로드 그룹에서 LoadImage로 주요 정체성 이미지를 제공하세요. 이 이미지는 주 피사체의 외모를 고정합니다. 여러 정체성 또는 역할의 콜라주를 구축하려면 콜라주 입력 대신 단일 이미지를 경로로 변경하기 위해 빠른 토글 그룹에서 전환하세요.
콜라주 입력#
AutoRefCollage (#370)를 사용하여 여러 참조 이미지를 하나의 레이아웃으로 조립하고, 사람을 자동으로 감지하여 깨끗한 캔버스에 크롭을 배치합니다. 콜라주는 다중 역할 정체성 보드로 작용하며, 각 주제가 SCAIL 2 다중 역할 참조 동작 전송 단계에 대한 외모 단서를 제공합니다. 프리뷰 노드는 조립된 콜라주를 보여주어 다음 단계로 진행하기 전에 프레이밍을 확인할 수 있게 합니다.
다중 이미지 참조#
여기에서 LoadImage로 세 개 이상의 큐레이션된 초상화를 로드하고 ImageBatchMulti (#331)를 사용하여 포장할 수 있습니다. ImageResizeKJv2는 의도된 비디오 해상도에 맞춰 그들의 크기를 정렬합니다. 이 경로는 외모 모델에 정보를 제공하는 정체성과 각도를 더 엄격하게 제어하고자 할 때 유용합니다.
비디오 로드#
VHS_LoadVideo (#297)는 드라이빙 비디오와 오디오를 가져옵니다. 더 부드러운 동작을 위해 목표 프레임 속도를 강제하고, 총 프레임 수를 제한하여 지속 시간을 제한하며, 도입부 세그먼트를 건너뛰거나 더 빠른 반복을 위해 N번째 프레임마다 샘플링할 수 있습니다. 별도의 "참조 비디오 미리보기" 하위 파이프라인은 로드된 프레임을 결합하여 트래킹 전에 클립이 올바르게 보이는지 확인할 수 있게 합니다.
마스크 영역#
이 워크플로우는 주제를 감지하고 추적하여 SCAIL 2 다중 역할 참조 동작 전송을 구동하는 역할 인식 마스크를 생성합니다. 세 개의 SAM3_VideoTrack 노드 (#315, #316, #306)는 드라이빙 비디오, 참조 이미지, 선택적 접두사 프레임에서 객체를 추적합니다. SCAIL2ColoredMaskV2 (#354)는 이러한 트랙을 세 가지 출력으로 융합합니다: 포즈 비디오 마스크, 색상 참조 이미지 마스크 및 따뜻한 시작을 위한 접두사 마스크. 단일 역할 및 다중 역할 마스크의 미리보기는 샘플링 전에 각 색상이 올바른 캐릭터에 해당하는지 확인할 수 있게 합니다.
모션 전송 - 임베딩 처리#
WanAnimatePlus SCAIL_2 Embeds (#342)는 입력을 SCAIL_2 이미지 임베딩으로 변환하여 생성기에 사용합니다. VAE 기능, CLIP Vision 임베딩, 참조 이미지 또는 콜라주, 배경 교체 (선택적), 추적된 포즈 프레임 및 색상 마스크를 결합합니다. 두 가지 모드로 실행할 수 있습니다: 모션 전송 (참조 외모를 사용하여 드라이빙 동작) 또는 캐릭터 교체 (입력 비디오의 사람을 참조로 교체). 주요 참조 배경을 유지하고 싶을 때 옵션도 있으며, 긴 또는 고해상도 실행을 위해 접두사 프레임을 자르거나 타일링할 수 있습니다.
샘플링 영역#
WanVideoTextEncodeCached는 프롬프트를 인코딩하고, WanVideoContextOptions (#290)는 프레임 전반에 걸쳐 시간 창을 제어합니다. WanAnimatePlus SamplerSettings (#332)는 모델, SCAIL_2 이미지 임베드 및 텍스트 임베드와 함께 샘플링 하이퍼파라미터 및 일정을 수집합니다; WanAnimatePlus SamplerFromSettings (#311)는 생성을 수행합니다. WanAnimatePlus Decode (#267)는 잠재를 프레임으로 변환합니다; 메모리 제한이 있는 경우 VAE 타일링을 활성화할 수 있습니다. 비디오는 미리보기 영역에서 VHS_VideoCombine을 통해 마무리되며, 빠른 디버깅을 위해 마스크 전용 클립을 내보낼 수 있는 동반 결합을 제공합니다.
빠른 토글 및 비디오 차원#
"true = 캐릭터 교체 | false = 모션 전송" 스위치 (#341)는 역할이 하류에서 처리되는 방식을 즉시 변경합니다. 너비 및 높이 상수는 모든 리사이즈 및 마스크 노드에 피드를 제공하여 형태가 정렬되도록 합니다. FastGroupsBypassSwitch (#351)를 사용하면 단일 이미지와 콜라주 입력 간에 배선을 변경하지 않고 전환할 수 있습니다.
Comfyui SCAIL 2 다중 역할 참조 동작 전송 워크플로우의 주요 노드#
SCAIL2ColoredMaskV2 (#354)#
드라이빙 비디오, 참조 이미지 및 선택적 접두사 프레임에서 객체 트랙을 병합하여 역할 인식 마스크를 생성합니다. object_indices를 사용하여 추적된 ID 중 어떤 것을 역할로 만들지 선택하고, prefix_mask_mode를 사용하여 여러 캐릭터를 동시에 구동할 때 단일 이미지, 다중 색상 레이아웃을 지정합니다. 마스크 의미가 임베딩 단계와 일치하도록 replacement_mode를 전역 토글과 일관되게 유지하세요.
WanAnimatePlus SCAIL_2 Embeds (#342)#
VAE, CLIP Vision, 다중 이미지 참조, 포즈 프레임 및 마스크를 생성기를 위한 SCAIL_2 임베딩으로 융합합니다. 정체성이 흐려질 때 ref_strength를 증가시키고, 모션 충실도가 낮을 때 pose_strength를 증가시키세요. 참조 배경을 유지해야 하는 장면의 경우 배경 보존을 활성화하고, 단일 접두사 프레임에서 시작할 때는 단일 프레임 접두사 인코딩을 활성화하세요.
SAM3_VideoTrack (#315, #316, #306)#
프레임 전반에 걸쳐 주제를 감지하고 추적하여 마스크 생성기를 피드합니다. 캐릭터를 감지하지 못할 경우 detection_threshold를 낮추거나 더 많은 max_objects를 허용하세요; 추적이 불안정할 경우 detect_interval을 증가시켜 재감지 떨림을 줄이세요. 각 역할이 시간에 따라 안정적으로 유지되는지 확인하려면 항상 색상 마스크 미리보기를 검토하세요.
VHS_LoadVideo (#297)#
드라이빙 클립을 제어합니다. force_rate는 작동하는 FPS를 설정하고, frame_load_cap은 지속 시간을 제한하며, skip_first_frames는 도입부를 자르고, select_every_nth는 더 빠른 테스트를 위해 프레임을 하위 샘플링할 수 있게 합니다. 이러한 제어는 컨텍스트 창과 메모리에 직접 영향을 미치므로 샘플링 전에 조정하세요.
WanAnimatePlus SamplerSettings (#332)#
핵심 생성 노브를 보유합니다. steps, scheduler, 및 cfg는 세부 사항, 부드러움 및 프롬프트에 대한 준수를 조정합니다; denoise_strength는 SCAIL_2 지침이 프레임을 재구성할 수 있는 정도를 지배합니다. 다중 캐릭터 장면을 세밀하게 조정할 때 재현성을 위해 seed 입력을 사용하세요.
WanAnimatePlus BlockSwap (#67)#
샘플링 중 계산 블록을 교환하는 선택적 메모리 절약 장치입니다. VRAM 예산이 빡빡하거나 긴 프레임 범위에서는 스왑을 증가시켜 메모리 부족 오류를 방지하세요; VRAM이 높은 GPU에서는 속도를 위해 스왑을 줄이거나 비활성화하세요.
WanAnimatePlus Decode (#267)#
잠재를 RGB 프레임으로 디코딩합니다. 해상도나 클립 길이가 높고 디코드 OOM이 발생할 경우 타일드 VAE 디코딩을 활성화하고 타일 크기 및 스트라이드가 타일이 깔끔하게 겹치도록 적절하게 설정하세요.
선택적 추가 항목#
- 다중 캐릭터 클립의 경우 각 역할에 적어도 하나의 깨끗하고 정면을 향하는 초상화를 제공하고, 콜라주 전반에 걸쳐 조명을 일관되게 유지하세요.
- 먼저 모션 전송 모드로 시작하여 마스크 및 모션 품질을 검증한 다음, 퍼포머를 완전히 교체해야 하는 경우 캐릭터 교체 모드로 전환하세요.
- 긴 렌더링 전에 역할 할당 및 색상 안정성을 확인하기 위해 마스크 전용 비디오 미리보기를 사용하세요.
- 모든 입력을 동일한 너비와 높이로 정렬하세요; 외부 도구 대신 제공된 리사이즈 노드를 사용하여 미세한 형태 불일치를 피하세요.
- 결과가 지나치게 스타일화되거나 정체성에서 벗어난 것처럼 보일 경우 임베딩 단계에서 프롬프트 강도를 낮추고 참조 강조를 높이세요; 어댑터를 활성화한 경우 LoRA 믹스를 조정하세요.
- 긴 클립은
WanVideoContextOptions에서 더 큰 컨텍스트 창의 혜택을 받을 수 있습니다; 메모리를 균형 있게 하기 위해 VAE 타일링을 활성화하고 필요한 경우 적당한 블록 스왑을 사용하세요.
이 SCAIL 2 다중 역할 참조 동작 전송 워크플로우는 다중 역할 모션 전송을 반복 가능하고 예측 가능하게 만듭니다: 명확한 참조를 준비하고, 마스크를 확인한 다음, 정체성을 충실히 유지하는 자연스러운 동작을 가진 캐릭터에 대해 안정적인 설정으로 샘플링하세요.
감사의 글#
이 워크플로우는 다음의 작업 및 리소스를 구현하고 기반으로 합니다. 우리는 SCAIL 2 Multi-role Reference Action Transfer Workflow Source에 감사드리며 그들의 기여와 유지에 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하세요.
리소스#
- SCAIL 2/SCAIL 2 Multi-role Reference Action Transfer Workflow Source
참고: 참조된 모델, 데이터셋 및 코드의 사용은 해당 저자 및 유지 관리자가 제공한 라이선스 및 약관에 따릅니다.