Blender to ComfyUI AI Renderer 2.0 | 모션 비디오 메이커

Blender to ComfyUI AI Renderer 2.0

Blender to ComfyUI AI Renderer 2.0은 Blender 출력을 시네마틱하고 프롬프트로 안내되는 AI 비디오로 전환하면서 움직임과 장면 레이아웃을 보존합니다. 깊이, 윤곽선 또는 포즈 패스에서 구조를 읽고 이를 사용하여 Wan VACE 비디오 생성을 주도하여 최종 영상이 원래 애니메이션 의도와 일치하도록 합니다. 이 워크플로우에는 룩 개발 및 키프레임 체크를 위한 빠른 정적 이미지 경로도 포함되어 있어 애니메이터, VFX 아티스트, previs 팀 및 콘텐츠 제작자에게 이상적입니다.

Blender to ComfyUI AI Renderer 2.0의 핵심은 제어 비디오를 구축하거나 수집하여 시작 또는 참조 프레임과 병합하고 강한 시간적 안정성을 가진 일관된 시퀀스를 렌더링하는 것입니다. 프롬프트와 참조 이미지를 통해 창의적 제어가 가능하며 깊이와 가장자리가 구성 및 움직임을 유지합니다.

Comfyui Blender to ComfyUI AI Renderer 2.0 워크플로우의 주요 모델

• Wan 2.1 VACE 14B (SkyReels V3 R2V 병합). 구조 인식 생성 및 모션 정렬에 사용되는 기초 비디오 확산. VACE 및 SkyReels R2V의 병합으로 호스팅된 체크포인트로, 시작부터 끝까지 프레임 제어 및 참조 안내 일관성에 적합합니다. Model
• Wan 2.1용 uMT5‑XXL 텍스트 인코더. ComfyUI를 위해 패키지된 대용량 텍스트 조건 제공. Files
• Wan 2.1 VAE. Wan 파이프라인을 위해 비디오 잠재성을 깨끗하게 인코딩 및 디코딩하는 데 사용됩니다. Files
• Depth Anything 3 DA3‑BASE. 단안 깊이 추정기로, 고품질의 시간적으로 일관된 깊이 제어를 영상에서 유도하는 데 사용됩니다. Model
• Z‑Image Turbo. 멀티 컨트롤 컨디셔닝을 사용한 단일 프레임 탐색을 위한 빠른 이미지 확산 백본. Model
• Z‑Image‑Fun ControlNet Union 2.1. Z‑Image Turbo 경로를 사용할 때 캐니, 깊이, 포즈 등을 위한 멀티 컨트롤 가중치. Model
• OpenPose (알고리즘). 선택적 제어 신호로 포즈 라인을 유도하는 데 사용되는 클래식 2D 키포인트 감지기. Paper • GitHub

Comfyui Blender to ComfyUI AI Renderer 2.0 워크플로우 사용 방법

워크플로우에는 독립적이거나 함께 실행할 수 있는 두 가지 트랙이 있습니다. 첫 번째로, Preprocess 트랙은 당신의 영상에서 제어 비디오를 구축합니다 (깊이, 가장자리 또는 포즈). 두 번째로, AI Renderer 2.0은 시작 또는 참조 이미지와 그 제어 비디오를 융합하여 최종 시퀀스를 합성합니다. 별도의 Z‑IMAGE TURBO CN 1.0 경로는 제어 전략을 반영하는 정적 이미지를 신속하게 반복할 수 있게 합니다.

• 비디오 입력 및 크기 선택 (Preprocess)
  • 이 그룹은 비디오를 가져와 제어 패스 빌더를 위한 크기 및 프레임 예산을 표준화합니다. VHS_LoadVideo (#32) 노드는 당신의 클립을 읽고 fps 및 프레임 수와 같은 정보를 다운스트림 노드에 노출합니다. 컴팩트 설정 블록은 너비, 높이 및 프레임 캡을 연결하여 모든 다운스트림 전처리기가 동일한 해상도로 작동하도록 합니다. 먼저 모든 Preprocess 출력을 정렬한 후 제어 유형을 선택하세요.
• 깊이 (Preprocess)
  • 이 그룹은 입력 프레임을 DepthAnything_V3 (#37)을 사용하여 깊이 맵 시퀀스로 변환합니다. 목표는 장면 기하학을 보존하여 이후 비디오 생성이 스케일, 차폐 및 시차를 존중하도록 하는 것입니다. 내부 리사이즈 노드는 맵을 작업 크기에 맞추고 저장 블록은 제어 클립을 미리 볼 수 있습니다. 레이아웃과 카메라 모션 충실도가 강할 때 이 옵션을 선택하세요.
• 캐니 (Preprocess)
  • 이 그룹은 CannyEdgePreprocessor (#39)을 사용하여 음영 없이 깨끗한 가장자리 라인을 추출하여 구조를 제공합니다. 가장자리는 프로젝트 설정에 맞게 크기가 조정되고 미리 보기로 저장할 수 있습니다. 선명한 실루엣, 건축 라인 또는 구성이 유지되지만 스타일 유연성을 허용하는 만화 같은 제어가 필요할 때 이 옵션을 사용하세요.
• 포즈 (Preprocess)
  • 이 그룹은 OpenposePreprocessor (#42)를 사용하여 인간 골격을 계산하고 모션 전송을 위한 경량 라인 피규어를 생성합니다. 캐릭터 모션이 우선이며 생성적 세부 사항이 연기 및 타이밍과 일치하도록 유지하고 싶을 때 유용합니다. 다른 제어 유형과 마찬가지로 출력은 크기가 조정되어 짧은 비디오로 미리 볼 수 있습니다.
• Z‑IMAGE TURBO CN 1.0
  • 이 경로는 단일 프레임 또는 로드된 이미지에서 빠른 정적 이미지 탐색을 위한 것입니다. QwenImageDiffsynthControlnet (#3)은 Z‑Image Turbo를 멀티 컨트롤 패치와 함께 적용하며, CLIPTextEncode (#23)에서 프롬프트로 안내됩니다. USE VIDEO? 스위치 (#20)를 사용하여 비디오에서 프레임을 가져오거나 디스크에서 이미지를 가져오세요; 그런 다음 프롬프트, 예술 방향 또는 제어 강도를 검증하기 위해 빠른 프레임을 샘플링하고 저장하세요.
• STARTIMAGE (AI Renderer 2.0)
  • 이 그룹은 시작 이미지를 수용하고 최대 세 개의 추가 참조 이미지를 수용합니다. 워크플로우는 자동으로 크기를 조정하고, 선택적으로 혼합하며, 참조 스택을 구축하여 비디오의 정체성과 스타일 일관성을 높입니다. 여러 참조가 있는 경우, 작은 로직 블록이 VACE 시작부터 끝까지 빌더에서 시작 프레임 입력을 비활성화하여 참조가 우선하도록 합니다.
• 비디오 입력 및 크기 선택 (AI Renderer 2.0)
  • 이 두 번째 크기 조정 그룹은 최종 렌더를 주도합니다. 너비, 높이, fps 및 프레임 길이를 설정하여 다운스트림 Wan 노드가 읽습니다. VHS_LoadVideo (#93 및 #105)는 보조 클립을 가져와 최종 출력 작성기에서 fps를 반영하는 속성을 사용할 수도 있습니다. 의도하지 않은 리샘플링을 피하기 위해 이 그룹을 Blender 내보내기와 동기화하세요.
• FP8 모델 로더
  • 여기에서 주요 Wan 2.1 VACE UNet, uMT5‑XXL 텍스트 인코더 및 Wan VAE가 로드되며, 선택적 LoRA 가중치도 로드됩니다. 이러한 로더는 AI Renderer 2.0 경로가 일관된 정밀도, 토크나이저 및 잠재 코덱으로 실행되도록 보장합니다. 스타일 패밀리 또는 체크포인트를 변경하려면 여기를 스왑하여 그래프의 나머지 부분을 건드리지 않고 변경하세요.
• 샘플러
  • Blender to ComfyUI AI Renderer 2.0의 핵심입니다. WanVideoVACEStartToEndFrame (#3261)은 시작 및 참조 이미지와 선택한 제어 패스를 사용하여 제어 비디오를 형성하고, WanVacePhantomSimpleV2 (#3255)는 Wan 모델, 조건, 참조 및 생성된 제어를 함께 연결합니다. KSampler (#3253)는 일관된 프레임을 렌더링한 후 VAEDecode 및 VHS_VideoCombine (#109)이 대상 fps로 MP4를 저장합니다. 긍정적 및 부정적 프롬프트를 한 번 입력하세요; 동일한 텍스트가 전체 시퀀스를 구동합니다.

Comfyui Blender to ComfyUI AI Renderer 2.0 워크플로우의 주요 노드

• WanVacePhantomSimpleV2 (#3255)
  • 모델, VAE, 프롬프트, 제어 비디오 및 참조 프레임을 라우팅하여 Wan 2.1 VACE 생성을 조정합니다. 제어에 맞추기 위해 작동 너비와 높이만 조정하고 대상 촬영에 맞추기 위해 시퀀스 길이를 조정하세요. 여러 강력한 참조를 사용하는 경우, 참조 안내와 싸우지 않도록 프롬프트를 구체적이지 않게 유지하세요.
• WanVideoVACEStartToEndFrame (#3261)
  • VACE가 따르는 제어 비디오를 구축합니다. 시작 이미지, 선택적 종료 또는 참조 스택 및 전처리된 제어 비디오를 제공합니다. Wan 규칙 4n+1을 사용하여 프레임 수를 설정하여 샘플러를 통해 트리밍이 일관성을 유지하도록 하세요; 이는 꼬리에서 한 프레임 차이 아티팩트를 피합니다.
• PreprocessSwitch (#3239)
  • 샘플러에 도달하는 제어 피드를 선택합니다. Blender에서 내보낸 원본 프레임, 깊이, 캐니 또는 포즈 중에서 선택하세요. 공간적 충실도가 필요할 때 깊이를 사용하고, 깨끗한 구성 제어가 필요할 때 캐니를, 캐릭터 중심의 모션이 필요할 때 포즈를 사용하세요.
• VHS_LoadVideo (#93)
  • 비디오 수집을 처리하고 그래프 전반에 걸쳐 사용되는 프레임 속성을 노출합니다. Blender에서 렌더까지 fps 및 크기를 일관되게 유지하는 신뢰할 수 있는 방법입니다. 머리와 꼬리를 잘라내거나 건너뛰어야 하는 경우, 모든 다운스트림 경로가 정렬된 상태로 유지되도록 여기에서 수행하세요.
• KSampler (#3253)
  • Wan 모델과 조건을 사용하여 최종 잠재 시퀀스를 생성합니다. 가이드 강도나 샘플러 방법을 변경하는 경우, 안정성을 위해 처음과 마지막 10 프레임을 다시 확인한 후 전체 샷을 렌더링하세요.

선택적 추가 기능

• 생성된 제어 패스를 Blender의 자체 렌더 패스로 교체할 수 있습니다. 깊이, 윤곽선 또는 포즈 패스를 WanVideoVACEStartToEndFrame (#3261)이 사용하는 제어 입력에 연결하여 VACE가 Blender 출력에서 직접 작동하도록 하세요.
• Blender와 워크플로우 간의 종횡비 및 fps를 동일하게 유지하세요. 출력 작성기는 입력 설정에서 fps를 반영하여 편집 타이밍이 고정되도록 합니다.
• 정체성 또는 스타일 보존을 위해 STARTIMAGE에 여러 깨끗한 참조 이미지를 제공합니다. 워크플로우는 참조 세트를 우선시하고 시작 프레임 전환을 자동으로 처리합니다.

이 Blender to ComfyUI AI Renderer 2.0 워크플로우를 사용하면 레이아웃과 움직임에 충실하면서 프롬프트와 참조를 사용하여 제작 가치를 높일 수 있습니다. Preprocess를 사용하여 얼마나 많은 구조를 보존할지 결정하고, Z‑IMAGE TURBO CN 1.0으로 방향을 빠르게 검증한 후 AI Renderer 2.0으로 자신 있고 일관된 시퀀스를 렌더링하세요.

감사의 글

이 워크플로우는 다음 작업 및 리소스를 구현하고 확장합니다. 우리는 "Blender to ComfyUI AI Renderer 2.0 Source"의 워크플로우와 지침을 제공한 @Mickmumpitz에게 감사드립니다. 권위 있는 세부 사항은 아래 링크된 원본 문서 및 리포지토리를 참조하시기 바랍니다.

리소스

• Blender to ComfyUI AI Renderer 2.0 Source
  • 문서 / 릴리스 노트: YouTube @ Mickmumpitz

참고: 참조된 모델, 데이터셋 및 코드의 사용은 해당 저자 및 관리자가 제공한 라이선스 및 조건에 따릅니다.