ComfyUI FramePack Wrapper 설명
1. ComfyUI FramePack Wrapper란 무엇인가요?
ComfyUI FramePack Wrapper는 Stanford University의 고급 FramePack 기술을 ComfyUI 환경에 통합합니다. FramePack은 최소한의 컴퓨팅 리소스로 효율적이고 고품질의 긴 비디오 생성을 가능하게 하는 혁신적인 프레임 컨텍스트 패킹 기술을 기반으로 합니다. FramePack 기술은 6GB 랩탑 GPU와 같은 적당한 GPU 구성으로도 전체 30fps에서 수천 프레임을 생성할 수 있어 전문 비디오 제작을 모두에게 접근 가능하게 합니다. FramePack의 독창적인 비디오 생성 접근 방식은 이미지 확산처럼 느껴지지만 뛰어난 비디오 결과를 제공합니다.
2. ComfyUI FramePack Wrapper의 장점:
- 효율적인 리소스 사용: FramePack은 최소한의 GPU 메모리 요구사항으로 더 작은 클라우드 머신에서 비디오를 생성합니다
- O(1) 계산 복잡도: FramePack은 비디오 길이에 상관없이 일정한 처리 속도를 유지합니다
- 드리프트 방지 기술: FramePack은 시간이 지남에 따른 비디오 품질 저하와 관련된 일반적인 문제를 해결합니다
- 긴 비디오의 일관된 품질: FramePack은 다른 비디오 생성 모델에서 흔히 발생하는 저하 없이 30-60초 이상의 비디오에서도 높은 시각적 품질을 유지합니다
- 타임스텝 증류 없음: FramePack은 효율성을 유지하면서 품질을 보존합니다
3. ComfyUI FramePack Wrapper 사용 방법
3.1 ComfyUI FramePack을 사용한 생성 방법
FramePack 설정 예시:
- 입력 준비:
Load Image노드에서: FramePack으로 애니메이션화할 참조 이미지를 업로드합니다
- 주요 매개변수 구성:
FramePackSampler에서: 비디오 길이 설정 (예: 5.0초)Video Combine에서: 프레임 속도 (예: 30) 및 출력 형식 (예: video/h264-mp4) 설정
run버튼을 클릭하여 FramePack 워크플로우를 실행합니다- 생성된 FramePack 비디오는
Video Combine노드의 설정에 따라 저장됩니다
3.2 ComfyUI FramePack 매개변수 참조
FramePackSampler 노드:
steps: 확산 단계 수 (예: 30) - 높은 값일수록 더 나은 품질을 제공하지만 FramePack에서 시간이 더 오래 걸립니다guidance_scale: FramePack에서 추가 지침 강도 (예: 10.00) - 높은 값일수록 프롬프트에 더 엄격하게 따릅니다seed: FramePack에서 재생 가능한 결과를 위한 랜덤 시드 (예: 47)total_second_length: FramePack에서 생성된 비디오의 지속 시간 (예: 5.0초)control_after_generate: FramePack에서 드리프트 방지 샘플링 방법을 제어합니다 (최상의 결과를 위해 "fixed"로 유지)
Video Combine 노드:
frame_rate: 출력 FramePack 비디오의 초당 프레임 수 (예: 30)crf: 압축 품질 계수 (예: 19) - 낮은 값 = 높은 품질의 FramePack 비디오
3.3. ComfyUI FramePack의 고급 최적화
FramePack을 사용한 더 긴 비디오 생성: FramePack의 주요 강점 중 하나는 비디오를 효율적으로 확장할 수 있는 능력입니다. 더 긴 비디오를 생성하려면:
- FramePackSampler 노드에서
total_second_length매개변수를 증가시킵니다 (예: 5.0에서 10.0, 30.0 또는 60.0+로) - FramePack의 고급 드리프트 방지 샘플링 기술을 활용하기 위해
control_after_generate를 "fixed"로 유지합니다 - 10초 이상의 비디오를 생성할 때는 메모리 사용을 관리하기 위해
gpu_memory_preservation값을 약간 증가시키는 것을 고려합니다 - 매우 긴 비디오 (30초 이상)의 경우
latent_window_size매개변수를 줄여야 할 수 있습니다 - FramePack의 O(1) 계산 복잡도는 비디오 길이에 상관없이 일관된 생성 속도를 보장합니다
- 시간적 프롬프트 작성: 긴 비디오의 경우 "점진적으로", "천천히", "그 다음에"와 같은 단어를 포함하여 시간 흐름을 안내하고 요소가 시간이 지남에 따라 어떻게 변화하는지를 설명합니다
비디오 해상도 조정: FramePack 비디오 출력 해상도를 변경하려면, 워크플로우의 "Resize Image" 노드를 조정합니다:
- 원하는 FramePack 비디오 차원을 설정하기 위해
width및height매개변수를 수정합니다 - 최적의 FramePack 결과를 위해 차원을 8의 배수로 유지하는 것이 권장됩니다
- 주의: 더 높은 해상도는 FramePack에서 더 많은 GPU 메모리와 처리 시간이 필요합니다
- 더 큰 해상도의 경우, FramePack에서 메모리 사용 균형을 맞추기 위해
gpu_memory_preservation매개변수를 조정해야 할 수 있습니다
FramePack 프롬프트 팁:
- FramePack에서 더 나은 결과를 위해 프롬프트에서 동작과 전환을 매우 상세히 설명하세요
- FramePack에서 원하는 움직임을 설명하는 구체적인 동사들을 포함하세요
- 최상의 결과를 위해, 장면과 FramePack 비디오에서 요소들이 어떻게 움직이고 변화해야 하는지를 모두 설명하세요
FramePack에 대한 추가 정보
FramePack 기술은 전통적인 인과성 제약을 깨고 긴 비디오에서 품질 저하를 방지하기 위해 혁신적인 양방향 샘플링 방법을 사용합니다. 특히 이미지-비디오 생성의 경우, FramePack은 "역 드리프트 방지 샘플링"을 사용하여 생성 과정에서 첫 프레임을 근사 목표로 삼아 60초 이상(1800+ 프레임)에 이르는 비디오에서도 높은 품질을 보장합니다.
추가 세부정보 및 FramePack 모델 다운로드:
- FramePack의 원본 연구는 Lvmin Zhang 및 Maneesh Agrawala (Stanford University)에 의해 수행되었습니다
- ComfyUI FramePack Wrapper 구현은 kijai에 의해 제공되었습니다
감사의 글
이 워크플로우는 Stanford University의 Lvmin Zhang 및 Maneesh Agrawala에 의해 개발된 FramePack에 의해 구동됩니다. ComfyUI FramePack Wrapper는 kijai에 의해 제공되며, FramePack 기술을 사용한 효율적인 긴 비디오 생성을 가능하게 하는 맞춤형 워크플로우 및 통합을 포함합니다. FramePack에 대한 혁신적인 연구 작업을 수행한 원저자들에게 모든 공로를 돌립니다.