Wan 2.2 프롬프트 릴레이 | 장면 제어 비디오 제작기

Wan 2.2 프롬프트 릴레이: ComfyUI에서 타임라인 제어 이미지에서 비디오로#

이 워크플로우는 Wan 2.2 이미지에서 비디오로 세그먼트 수준의 장면 방향을 제공합니다. Wan 2.2를 사용하여 생성하고 프롬프트 릴레이 방법을 사용하여 단일 타임라인을 가로질러 다양한 프롬프트를 라우팅하여 한 장면에서 다음 장면으로 제어를 넘길 수 있습니다. 그 결과, 각 세그먼트가 자체 프롬프트를 따르면서 객체의 정체성과 스타일을 유지하는 매끄러운 다중 이벤트 비디오가 생성됩니다.

Wan 2.2 프롬프트 릴레이는 독립 실행형 모델이나 LoRA가 아닌 추론 시점 라우팅 기술입니다. 그래프는 RunComfy 클라우드용으로 설계되었으며, 두 단계의 샘플러 체인과 선택적인 RIFE 프레임 보간을 포함합니다. 최소한의 설정으로 꽉 찬 시간적 장면 제어가 필요할 때 사용하십시오: 시작 이미지를 제공하고, 전역 프롬프트 및 세그먼트별 프롬프트를 정의하고, 비디오 길이를 설정하고 렌더링하십시오.

Comfyui Wan 2.2 프롬프트 릴레이 워크플로우의 주요 모델#

• Wan 2.2 이미지에서 비디오 확산 모델 14B. 고잡음 및 저잡음 변형은 두 단계 패스에서 운동과 디테일을 균형 있게 조율합니다. 모델은 Hugging Face의 Comfy-Org 재패키지 세트에서 사용할 수 있습니다. Comfy-Org/Wan_2.2_ComfyUI_Repackaged
• Wan용 UMT5-XXL 텍스트 인코더. 이 인코더는 전역 및 지역 프롬프트를 Wan 2.2가 사용하는 조건으로 번역합니다. Comfy-Org/Wan_2.1_ComfyUI_repackaged
• Wan 2.1 VAE. 샘플링 후 잠재를 프레임으로 디코딩하는 데 사용됩니다. Comfy-Org/Wan_2.2_ComfyUI_Repackaged/vae
• RIFE 프레임 보간 모델 (선택 사항). 생성 후 시간적 매끄러움이나 목표 프레임 속도를 증가시킵니다. hzwer/Practical-RIFE

Comfyui Wan 2.2 프롬프트 릴레이 워크플로우 사용 방법#

워크플로우는 시간에 걸쳐 텍스트 프롬프트를 라우팅하고, 시작 이미지에서 잠재 비디오를 생성한 후, 프레임을 정제하고 디코딩한 후 선택적으로 보간 및 인코딩을 수행합니다. 최종 MP4를 생성하기 위해 협력하는 몇 가지 명확한 그룹으로 구성되어 있습니다.

• Step1 - 모델 로드 이 섹션은 Wan 2.2, 텍스트 인코더 및 VAE를 초기화합니다. 고잡음 및 저잡음 Wan 모델이 모두 준비되어 파이프라인이 먼저 운동을 확립한 후 디테일을 향상시킬 수 있습니다. LoRA가 있으면 샘플링 전에 기본 모델에 적용됩니다. 체크포인트를 교체하려는 경우를 제외하고는 여기에서 변경할 필요가 없습니다.
• Step2 - 시작 이미지 업로드 LoadImage (#85)를 사용하여 첫 프레임의 구도, 주제 정체성 및 조명을 정의하는 단일 참조 이미지를 가져옵니다. 시작 이미지는 비디오의 외관을 고정하고 세그먼트 전반에 걸쳐 연속성을 유지하는 데 도움을 줍니다. 최상의 결과를 위해 깨끗하고 모델에 맞는 참조를 사용하십시오. 다른 주제나 레이아웃을 원할 때마다 교체하십시오.
• Step3 - 비디오 크기 및 길이 잠재 비디오 초기화기 (EmptyHunyuanLatentVideo (#121))에서 목표 해상도 및 총 프레임 수를 설정하고 세그먼트 계획과 일치시킵니다. 세그먼트 길이의 합은 총 프레임 수와 같아야 합니다. 프롬프트 릴레이 설정 및 그래프 후반의 비디오 라이터와 내보낼 프레임 속도를 일치시키십시오.
• Lightx2v + i2v 핵심 렌더 경로는 두 단계의 샘플러 체인을 사용합니다. 고잡음 모델을 사용한 첫 번째 단계는 운동과 장면 전환을 확립합니다. 저잡음 모델을 사용한 두 번째 단계는 디테일과 질감을 정제하면서 첫 번째 단계에서 확립된 운동 경로를 보존합니다. 이 조합이 Wan 2.2 프롬프트 릴레이를 장면 간 핸드오프에 대해 제어 가능하고 안정적으로 만드는 것입니다.
• 프롬프트 라우팅 PromptRelayEncodeTimeline (#117)에서 전체 클립에 적용되는 강력한 global_prompt를 입력하십시오. 그런 다음 세그먼트 프롬프트를 JSON 타임라인 데이터로 정의하거나 파이프로 구분된 목록으로 정의하십시오. 프롬프트 릴레이는 프레임당 조건을 인코딩하여 세그먼트 경계에서만 변경되며, 자연스러운 핸드오프를 위해 전환을 완화할 수 있습니다. 노드는 Wan의 조건을 공급하고 각 세그먼트가 의도한 방향을 따르도록 보장합니다.
• 샘플링 및 디코딩 파이프라인은 WanImageToVideo (#79), 그런 다음 거친 KSamplerAdvanced (#73), 이어서 세밀한 KSamplerAdvanced (#83)를 통과합니다. 프레임은 VAEDecode (#74)로 디코딩되고 VHS_VideoCombine (#108)으로 비디오에 기록됩니다. 더 부드러운 운동이나 더 높은 출력 프레임 속도를 원하면 두 번째 VHS_VideoCombine (#132) 전에 RIFE VFI (#131)를 선택적으로 사용하십시오.

Comfyui Wan 2.2 프롬프트 릴레이 워크플로우의 주요 노드#

• PromptRelayEncodeTimeline (#117) Wan 2.2 프롬프트 릴레이의 중심이 되는 이 노드는 global_prompt와 세그먼트별 프롬프트를 시간 인식 긍정적 조건 스트림으로 변환합니다. timeline_data JSON 또는 local_prompts의 파이프 구문을 사용하여 세그먼트를 작성할 수 있습니다. 비디오 길이에 맞게 max_frames를 사용하고 계획에 맞는 time_units를 선택하며, 세그먼트 간 프롬프트 핸드오프를 부드럽게 또는 강하게 하기 위해 epsilon을 조정하십시오. 최종 내보내기와 일치하도록 fps를 일관되게 유지하십시오.
• WanImageToVideo (#79) 시작 이미지와 조건을 Wan 2.2의 초기 잠재 타임라인으로 변환합니다. 참조 시작 이미지를 start_image에 연결하고, 잠재 초기화기와 너비, 높이, 길이를 일치시킵니다. 이 그래프에서 부정적 조건은 과제약을 줄이고 안정적인 정체성을 유지하기 위해 의도적으로 0으로 설정됩니다; 억제하고 싶은 반복적인 아티팩트를 볼 때만 명시적 부정 프롬프트를 도입하십시오.
• KSamplerAdvanced (#73) 운동과 레이아웃을 강조하는 첫 번째 패스 샘플러입니다. ModelSamplingSD3를 통해 구성된 고잡음 Wan 모델과 함께 작동하여 프롬프트 릴레이 조건을 존중하면서 궤적을 탐색합니다. 가이던스의 강도를 위해 steps와 cfg를 조정하고, 편집 반복 간에 재현 가능한 운동을 원할 때 고정된 noise_seed를 유지하십시오.
• KSamplerAdvanced (#83) 저잡음 Wan 모델을 사용하여 디테일과 시간적 일관성을 향상시키는 두 번째 패스 샘플러입니다. 첫 번째 패스에서 확립된 거친 궤적과 싸우지 않고 질감, 가장자리 및 미세 운동을 정제합니다. 여기에서 충실도를 높이면 모션을 불안정하게 할 수 있는 과도한 선명화를 피하기 위해 가이던스를 균형 있게 조정하십시오.
• EmptyHunyuanLatentVideo (#121) 공간 해상도, 프레임 예산 및 배치 크기를 정의하는 빈 잠재 비디오를 생성합니다. 모든 세그먼트 길이의 합계로 총 프레임을 설정하여 프롬프트 릴레이가 프롬프트를 깔끔하게 매핑할 수 있도록 합니다. 해상도 변경은 메모리와 모션 캐던스의 외관에 영향을 미치므로 신중하게 조정하십시오.
• VHS_VideoCombine (#108, #132) 프레임을 MP4로 인코딩합니다. 보간을 사용하지 않을 때 프레임 속도를 프롬프트 릴레이 fps와 일치시키십시오. RIFE VFI를 사용하는 경우, 라이터의 프레임 속도를 새로운 효과적인 fps로 설정하십시오. 크기와 품질 간의 균형을 위해 crf를 조정하십시오.

선택적 추가 사항#

• global_prompt를 작성하여 톤, 카메라 언어 및 품질 태그를 고정한 후 세그먼트 프롬프트를 짧고 액션 중심으로 유지하십시오.
• 세그먼트 길이의 총합이 비디오 길이와 같도록 하여 프롬프트 불일치를 피하십시오.
• 프롬프트 반복 시 씨드를 고정한 상태로 유지하고, 새로운 접근이 필요할 때만 씨드를 무작위화하십시오.
• 시작 이미지를 높거나 넓게 사용하여 비율 선호도를 제안하되 예측 가능성을 위해 항상 명시적으로 너비와 높이를 설정하십시오.
• 세그먼트 간 정체성 이동이 보이면 global_prompt를 두드러진 객체 설명자로 강화하고 지역 프롬프트를 단순화하십시오.

여기에서 사용된 구성 요소를 탐색하는 자원:

• ComfyUI용 프롬프트 릴레이 노드 by kijai GitHub
• Wan 2.2 재패키지 모델 Hugging Face
• Wan 2.x용 UMT5-XXL 텍스트 인코더 재패키지 Hugging Face

감사의 말#

이 워크플로우는 다음의 작업 및 자원을 구현하고 확장합니다. 우리는 ComfyUI-PromptRelay 노드를 개발한 kijai, Prompt-Relay 프로젝트를 개발한 gordonchen19, 그리고 Wan_2.2_ComfyUI_Repackaged 모델의 기여 및 유지보수를 담당한 Comfy-Org에 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하십시오.

자원#

• YouTube/Workflow @Ai Verse 소스 튜토리얼
  • 문서 / 릴리스 노트: @Ai Verse Workflow 소스 튜토리얼
• AI Verse/AI Verse 워크플로우 페이지
  • 문서 / 릴리스 노트: AI Verse 워크플로우 페이지
• kijai/ComfyUI-PromptRelay 노드 저장소
  • GitHub: kijai/ComfyUI-PromptRelay
• gordonchen19/Prompt Relay 프로젝트 페이지
  • GitHub: gordonchen19/Prompt-Relay
  • 문서 / 릴리스 노트: Prompt Relay 프로젝트 페이지
• Comfy-Org/Wan 2.2 ComfyUI 재패키지 모델
  • Hugging Face: Comfy-Org/Wan_2.2_ComfyUI_Repackaged (split_files)

주의: 참조된 모델, 데이터셋 및 코드의 사용은 저자 및 유지보수자가 제공한 해당 라이센스 및 조건에 따릅니다.