PAN2 ComfyUI Workflow: Текст или изображение в видео с локальным Prompt Writer#
Этот PAN2 ComfyUI Workflow превращает короткую идею сцены или первое изображение в связное видео. Он запускает модель мира PAN 2 для генерации и добавляет локальный Prompt Writer, который расширяет краткую концепцию в временную подпись, охватывающую объекты, действия и движения камеры.
Рабочий процесс разработан для создателей, которые хотят надежное движение, постоянное освещение и стабильную геометрию без написания длинных подсказок вручную. Как текст-видео, так и изображение-видео существуют на одном холсте, делятся одним набором разрешения и управления продолжительностью, и экспортируются напрямую в MP4.
Ключевые модели в Comfyui PAN2 ComfyUI Workflow#
- IFM PAN 2 world model. Основной генератор, который предсказывает временно согласованное видео из текстового или изображенного кондиционирования, фокусируясь на стабильном моделировании мира и движении камеры. Источник: IFM/PAN2.
- PAN 2 weights for ComfyUI. Поддерживаемая упаковка весов PAN2, совместимая с загрузчиками и семплерами ComfyUI, обеспечивающая быструю настройку на этом графике. Источник: Comfy-Org/PAN2.
- Hunyuan‑style latent video VAE. Видео VAE, которое кодирует и декодирует кадры в компактном латентном пространстве, используемом видео конвейером, улучшая скорость и использование памяти для многосекундных клипов. Фон: Tencent/HunyuanVideo.
- PAN2‑compatible text encoder. Энкодер семейства Qwen, упакованный с весами PAN2, который превращает временную подпись Prompt Writer в положительное и отрицательное кондиционирование для семплера.
Как использовать Comfyui PAN2 ComfyUI Workflow#
На первый взгляд, график предлагает два параллельных пути, которые сливаются перед семплированием. Выберите либо Text2Video, либо Image2Video, напишите короткую идею, установите разрешение и продолжительность один раз, затем позвольте Prompt Writer произвести структурированное кондиционирование для PAN2. Финальный семплер рендерит латентные кадры, которые декодируются и объединяются в MP4.
Image2Video группа#
Используйте этот путь, когда хотите закрепить внешний вид с помощью контрольного кадра. Загрузите первый кадр в LoadImage (#32); он изменяется в размере ResizeImageMaskNode (#33) в соответствии с ResolutionSelector (#21), затем преобразуется в временной латент в Wan22ImageToVideoLatent (#31). Продолжительность поступает из общего управления секундами и автоматически переводится в количество кадров. Этот латент затем поступает в точку слияния, чтобы остальная часть PAN2 ComfyUI Workflow могла выбрать, декодировать и экспортировать видео.
Text2Video группа#
Выберите это, когда хотите сгенерировать всю сцену из текста. EmptyHunyuanLatentVideo (#14) создает чистый временной латент на основе тех же управляющих разрешения и продолжительности, что и Image2Video. Движение и ритм сцены исходят из подписи Prompt Writer, поэтому вы можете создавать движения камеры и действия объектов без ручной постановки ключевых кадров. Этот путь подает ту же точку слияния, что и Image2Video, и продолжается через семплирование и экспорт.
Общий центр: Prompt Writer и кондиционирование#
Напишите одну-три предложения идеи сцены в PAN2PromptWriter (#22). Узел расширяет её в временную подпись и сопровождающую негативную библиотеку, которая подавляет общие артефакты; оба выхода предварительно просматриваются в PreviewAny (#9) и PreviewAny (#24), чтобы вы могли копировать или уточнять текст по мере необходимости. CLIPTextEncode (#10) и CLIPTextEncode (#11) превращают эти строки в положительное и отрицательное кондиционирование для модели. Вы можете оставить подсказку минимальной, потому что писатель автоматически добавляет действия объектов, движение камеры и сигналы непрерывности.
Семплирование, декодирование и экспорт#
Путь модели загружает PAN2 и настраивает эффективное внимание, затем KSampler (#7) генерирует латентное видео, используя ваше кондиционирование и активный латентный путь. VAEDecode (#12) преобразует латент обратно в кадры. VHS_VideoCombine (#13) собирает эти кадры в MP4 с выбранной вами частотой кадров и качеством, встраивая метаданные рабочего процесса для воспроизводимости.
Ключевые узлы в Comfyui PAN2 ComfyUI Workflow#
PAN2PromptWriter (#22)#
Расширяет короткое, естественное описание в временную подпись, адаптированную для видео, плюс надежную негативную подсказку. Настройте prompt, чтобы описать объект, окружение и намерение камеры на простом языке; используйте duration, чтобы нацелиться на общую длину клипа. Если вы хотите больше или меньше креативного разнообразия между кадрами, измените temperature или top_p. Для повторяемых сюжетных ритмов фиксируйте seed.
ResolutionSelector (#21)#
Устанавливает рабочую ширину и высоту для обоих путей из соотношения сторон и целевого количества мегапикселей. Сначала выберите своё соотношение, затем увеличьте или уменьшите количество пикселей, чтобы сбалансировать качество и скорость. Сохранение Image2Video и Text2Video на одном селекторе предотвращает несоответствие масштабов при переключении режимов.
Wan22ImageToVideoLatent (#31)#
Преобразует первое изображение в временно согласованную латентную последовательность для маршрута Image2Video. Предоставьте четкий, хорошо освещённый кадр, который уже соответствует предполагаемому соотношению, чтобы избежать сюрпризов при обрезке. Длина предоставляется автоматически; вы можете пересмотреть её, изменив общее управление секундами.
EmptyHunyuanLatentVideo (#14)#
Создает пустой временной латент для маршрута Text2Video, используя выбранное разрешение и продолжительность. Это самый чистый способ позволить модели изобрести движение исключительно из руководства Prompt Writer. Для более длинных клипов рассмотрите возможность создания нескольких коротких дублей, чтобы минимизировать дрейф, затем объедините их.
Any Switch (rgthree) (#35)#
Выбирает, какой латентный путь управляет генерацией. Выберите латент Image2Video, когда хотите строгую визуальную непрерывность от контрольного кадра, или переключитесь на пустой латент для полностью текстово-управляемого видео. Безопасно переключаться между запусками без переподключения графика.
KSampler (#7)#
Выполняет основные шаги денойзинга с течением времени, используя объединённую модель и ваше кондиционирование. Настройте steps для качества против скорости, cfg для соблюдения подсказки против естественности и denoise, когда уточняете из латента Image2Video. Сохраните scheduler и sampler_name в разумной паре; небольшие изменения здесь могут заметно изменить плавность движения.
VHS_VideoCombine (#13)#
Записывает финальный MP4 из декодированных кадров. Установите frame_rate, чтобы соответствовать вашей цели доставки и отрегулируйте crf, чтобы обменять размер файла на качество. Если вы планируете редактировать позже, предпочитайте немного более высокую настройку качества.
Дополнительные опции#
- Держите идеи сцены короткими. Одно или два предложения с ясным объектом, окружением и намерением камеры производят наиболее надежные подписи Prompt Writer.
- Для Image2Video предоставьте первый кадр, который уже соответствует вашему целевому соотношению сторон и освещению; избегайте сильных увеличений или обрезок перед импортом.
- Начните с коротких клипов (6 до 12 с). Более длительные продолжительности усиливают дрейф и требуют более тщательной подсказки.
- Используйте предоставленную негативную библиотеку как есть, затем добавьте только те несколько запретов, которые имеют значение для вашего объекта; чрезмерно длинные негативы могут подавить желаемые детали.
- Фиксируйте
seedсемплера, чтобы итерации на формулировке, затем измените его, чтобы исследовать альтернативы, когда композиция и тайминг кажутся правильными. - Если движение кажется слишком быстрым или медленным, отрегулируйте управление секундами, а не сначала формулировку камеры; изменения тайминга распространяются последовательно по всей подписи.
Ссылки и справочные материалы
- PAN 2 world model: IFM/PAN2
- PAN 2 weights for ComfyUI: Comfy-Org/PAN2
- Узел Prompt Writer: benjiyaya/ComfyUI-PAN2-PromptWriter
- Латентное видео на фоне: Tencent/HunyuanVideo
Благодарности#
Этот рабочий процесс реализует и основывается на следующих работах и ресурсах. Мы благодарно признаем IFM за модель PAN2, Comfy-Org за веса PAN2, и benjiyaya и AI Future Tech за PAN2 Prompt Writer и руководство по созданию и примерам рабочих процессов за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, приведенным ниже.
Ресурсы#
- IFM/PAN2
- Hugging Face: IFM/PAN2
- Comfy-Org/PAN2
- Hugging Face: Comfy-Org/PAN2
- benjiyaya/ComfyUI-PAN2-PromptWriter
- AI Future Tech/PAN2 walkthroughs and sample workflows
- Документы / Примечания к выпуску: Руководство по созданию и примеры рабочих процессов
Примечание: Использование упомянутых моделей, наборов данных и кода подлежит соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими лицами.

