Wan 2.1 AI 영상 생성기

Wan 2.1은 알리바바에서 오픈소스로 공개한 Wan 비디오 AI 모델로, 고화질의 AI 기반 영상 콘텐츠를 생성할 수 있도록 설계되었습니다. 이 모델은 고급 확산 기반 기술을 사용해 실제와 유사한 움직임을 구현하며, 영어와 중국어 이중 언어 텍스트 생성도 지원합니다. Wan 2.1 모델군은 다음과 같은 버전을 포함하고 있습니다:

1. T2V-14B: 텍스트 기반 영상 생성 모델로, 14B 파라미터를 사용해 세밀한 480P/720P 영상을 구현하지만 높은 VRAM이 필요합니다.
2. T2V-1.3B: 소비자용 GPU에 최적화된 1.3B 파라미터의 경량 모델로, 효율적인 480P 생성에 적합합니다.
3. I2V-14B-720P: 정적인 이미지를 부드럽고 전문가 수준의 동영상으로 변환 가능한 이미지-투-비디오 모델입니다.
4. I2V-14B-480P: 720P 버전과 유사하지만 480P 출력에 맞춰 하드웨어 부하를 줄였습니다.

Wan 2.1을 사용하기 위한 방법은 다음과 같습니다:

1. RunComfy AI Playground를 통한 온라인 사용: RunComfy AI Playground에 접속해 Wan 2.1 AI 환경을 선택한 후, 텍스트 프롬프트를 입력하거나 이미지를 업로드하세요. 해상도와 영상 길이 등의 옵션을 설정하고 영상 생성을 시작하면, 결과를 즉시 미리 보고 다운로드할 수 있습니다.
2. RunComfy ComfyUI로 사용: Wan 2.1 Workflow 페이지에서 미리 구성된 Wan 2.1 워크플로우를 통해 손쉽게 영상을 만들 수 있습니다.
3. 로컬 사용: GitHub에서 Wan 2.1 저장소를 클론하고, 종속성을 설치한 후 적절한 모델 가중치(T2V-14B, T2V-1.3B 등)를 다운로드합니다. 제공된 커맨드라인 스크립트를 사용해 영상 생성을 진행하면 됩니다.

Wan 2.1을 실행하는 방법은 다음과 같습니다:

1. RunComfy AI Playground 사용: RunComfy AI Playground에 로그인하고 Wan 2.1 모델을 선택하세요. 텍스트로 영상을 만들고 싶다면 프롬프트를 입력하고, 이미지를 기반으로 한다면 이미지를 업로드하세요. 해상도(480p 또는 720p)와 영상 길이를 설정한 후, 영상 생성을 시작하고 결과를 다운로드하시면 됩니다.
2. RunComfy ComfyUI 사용: Wan 2.1 Workflow 또는 Wan 2.1 LoRA Workflow를 선택하세요. ComfyUI에서는 텍스트 입력, 이미지 업로드, 스타일 조정 등을 쉽게 설정할 수 있으며, 최종 영상은 다운로드 가능합니다.

LoRA는 Wan 2.1의 스타일이나 움직임 등 특정 속성을 미세 조정할 수 있도록 추가 파라미터만을 학습하여 모델 전체를 재훈련하지 않아도 되는 방식입니다.

1. RunComfy AI Playground: Wan 2.1 LoRA는 곧 이 플랫폼에서도 사용할 수 있도록 제공될 예정입니다.
2. RunComfy ComfyUI: Wan 2.1 LoRA 활성화 워크플로우를 통해 Wan 2.1 LoRA 모델을 직접 사용하거나 사용자 LoRA 모델을 업로드할 수 있습니다.

Wan 2.1의 LoRA 모델을 학습하려면 다음 단계를 따릅니다:

1. 데이터셋 준비: 고품질 이미지 또는 짧은 영상과 각각을 설명하는 텍스트 파일을 작성합니다. 모델이 의미를 잘 학습할 수 있도록 모든 캡션에 일관된 트리거 단어를 포함하는 것이 중요합니다.
2. 환경 설정: 'diffusion-pipe'와 같은 학습 프레임워크를 사용해 TOML 설정 파일(예: wan_video.toml)을 구성합니다. 여기에는 학습률(예: 3e-05), epoch 수, rank 등의 설정이 포함됩니다.
3. 학습 실행: 준비된 데이터와 설정 파일을 바탕으로 LoRA 전용 파라미터만을 fine-tuning하며, 필요 시 deepspeed를 통한 멀티-GPU 구성을 사용할 수 있습니다.
4. 학습 완료 후: 학습된 결과는 .safetensors 파일 형식의 체크포인트로 저장되며, 이를 Wan 2.1의 영상 생성 환경에 로딩하여 사용할 수 있습니다.

Wan 2.1용으로 커뮤니티에서 제작된 다양한 LoRA 모델은 Hugging Face에서 확인할 수 있습니다. 예를 들어, Wan2.1 14B 480p I2V LoRAs 컬렉션이 있습니다.

Wan 2.1의 14B 모델군(T2V-14B, I2V-14B)은 고해상도 영상 생성을 위해 고급 GPU가 필요하며, 일반적으로 NVIDIA RTX 4090과 같이 높은 VRAM을 가진 시스템에서 원활하게 작동합니다. 예를 들어, 약 12GB VRAM으로 최적화 설정을 통해 8초 분량의 480p 영상도 생성할 수 있습니다. 반면, Wan 2.1의 T2V-1.3B 모델은 약 8.19GB VRAM만으로도 사용 가능하며, 일반 소비자용 GPU에서도 실행할 수 있도록 설계되었습니다. 이는 VRAM 사용량을 줄이면서도 효율적인 영상 생성을 가능하게 해줍니다.

RTX 3090은 24GB VRAM을 장착하고 있어 Wan 2.1의 T2V-1.3B 모델을 실행하기에 적합합니다. 이 모델은 약 8.19GB VRAM을 사용하며, RTX 3090 환경에서는 무리 없이 작동합니다. T2V-14B 모델도 이론적으로 실행 가능하지만, 고정밀 모델 특성상 리소스 요구량이 많아 성능 저하 또는 실행 불가 상황이 발생할 수 있으므로 주의가 필요합니다.

Wan 2.1을 구동할 하드웨어는 사용하려는 모델에 따라 달라집니다. T2V-1.3B는 약 8GB VRAM을 가진 소비자용 GPU에서 480p 영상을 빠르게 생성할 수 있습니다. 반면, T2V-14B는 고품질 720p 영상을 출력할 수 있지만, 14B 파라미터로 인해 더 많은 VRAM이 필요합니다. 고성능 장비가 없다면 RunComfy AI Playground 같은 웹 기반 서비스에서 Wan 2.1을 활용해보는 것도 좋은 방법입니다.

Wan 2.1을 클라우드에서 비용 효율적으로 실행하는 방법은 다음과 같습니다:

1. RunComfy AI Playground: 다양한 AI 도구와 함께 Wan 2.1을 실행할 수 있는 환경을 무료 크레딧과 함께 제공합니다.
2. RunComfy ComfyUI: Wan 2.1 워크플로우 및 Wan 2.1 LoRA가 사전 설정되어 있어 로그인 후 즉시 사용 가능합니다. 추가적으로, VRAM 최적화를 위해 1.3B 모델을 활용하거나 '--offload_model True' 등의 옵션을 통해 메모리 사용을 줄일 수 있습니다.

네, Wan 2.1은 텍스트뿐 아니라 이미지 기반의 영상 생성(Image-to-Video, I2V)도 지원합니다. 정적인 이미지와 함께 원하는 움직임을 묘사한 프롬프트를 입력하면, 모델이 해당 이미지에 시간적 변화를 적용해 애니메이션 영상을 만들어 냅니다.

1. 로컬 환경: '-task i2v-14B' 플래그와 함께 이미지 경로 및 프롬프트를 커맨드라인에 입력해 실행할 수 있습니다.
2. RunComfy ComfyUI: 원클릭으로 사용할 수 있는 워크플로우를 통해 손쉽게 생성 가능합니다.
3. RunComfy Playground: 이미지-투-비디오 모드를 선택하면 바로 시작할 수 있습니다.

Wan 2.1은 기본적으로 최대 81프레임까지의 영상을 생성할 수 있게 설계되었습니다. 이는 일반적인 16fps 기준으로 볼 때 약 5초 정도의 길이입니다. 참고로, 모델 구조상 프레임 수는 4n+1 형식(예: 81프레임 등)을 따라야 하며, 일부 사용자는 100 프레임 이상의 실험을 진행하기도 했지만, 품질과 안정성을 고려하면 81 프레임이 가장 안정적인 설정입니다.

Wan 2.1은 텍스트 또는 이미지 기반 영상 생성 모두를 지원하며, 기본적인 영상 편집 작업에도 활용할 수 있어 다양한 창작 프로젝트에 적합합니다. 소셜 미디어 콘텐츠, 교육 영상, 제품 프로모션 등 시각적 임팩트가 중요한 콘텐츠 제작에 이상적이며, 복잡한 설정 없이 고품질 AI 영상을 제작할 수 있어 마케터와 콘텐츠 제작자들에게 유용한 도구입니다.

ComfyUI에서는 다음 링크를 통해 Wan 2.1을 쉽게 사용할 수 있습니다:

1. Wan 2.1 워크플로우
2. Wan 2.1 LoRA 워크플로우 이들 워크플로우는 이미 모든 모델과 환경이 설정되어 있어 추가 설치 없이 곧바로 Wan 2.1을 활용한 고품질 AI 영상 생성을 시작할 수 있습니다.