Wan 2.2 Prompt Relay | Создатель видео с управлением сценами

Wan 2.2 Prompt Relay: управление изображением к видео в ComfyUI#

Этот рабочий процесс приносит управление направлением сцены на уровне сегмента в Wan 2.2 от изображения к видео. Он использует Wan 2.2 для генерации и метод Prompt Relay для маршрутизации различных подсказок через единую временную шкалу, чтобы вы могли передавать управление от одной сцены к другой без прерывания рендеринга. Результат — это плавное многособытийное видео, где каждый сегмент следует своей подсказке, сохраняя при этом идентичность и стиль объектов.

Wan 2.2 Prompt Relay — это метод маршрутизации во время вывода, а не самостоятельная модель или LoRA. График разработан для облака RunComfy и включает двухступенчатую цепочку выборки плюс необязательную интерполяцию кадров RIFE. Используйте его, когда вам нужно плотное управление временной сценой с минимальной настройкой: предоставьте стартовое изображение, определите глобальную подсказку и подсказки для каждого сегмента, установите длину видео и рендерьте.

Основные модели в рабочем процессе Comfyui Wan 2.2 Prompt Relay#

• Модель диффузии Wan 2.2 от изображения к видео 14B. Варианты с высоким и низким уровнем шума объединены для балансировки движения и деталей в двухступенчатом проходе. Модели доступны в репакетированном наборе Comfy-Org на Hugging Face. Comfy-Org/Wan_2.2_ComfyUI_Repackaged
• UMT5-XXL текстовый энкодер для Wan. Этот энкодер переводит ваши глобальные и локальные подсказки в условия, используемые Wan 2.2. Comfy-Org/Wan_2.1_ComfyUI_repackaged
• Wan 2.1 VAE. Используется для декодирования латентов обратно в кадры после выборки. Comfy-Org/Wan_2.2_ComfyUI_Repackaged/vae
• Модель интерполяции кадров RIFE (необязательно). Увеличивает плавность или целевую частоту кадров после генерации. hzwer/Practical-RIFE

Как использовать рабочий процесс Comfyui Wan 2.2 Prompt Relay#

Рабочий процесс маршрутизирует текстовые подсказки во времени, генерирует латентное видео из стартового изображения, затем уточняет и декодирует кадры перед необязательной интерполяцией и кодированием. Он организован в несколько четких групп, которые сотрудничают для создания окончательного MP4.

• Шаг 1 - Загрузите модели Этот раздел инициализирует Wan 2.2, текстовый энкодер и VAE. Модели Wan с высоким и низким уровнем шума обе подготовлены, чтобы трубопровод мог сначала установить движение, затем улучшить детали. Если присутствует LoRA, она применяется к базовой модели перед выборкой. Вам не нужно ничего менять здесь, если только вы не хотите сменить контрольные точки.
• Шаг 2 - Загрузите start_image Импортируйте одно эталонное изображение, которое определяет композицию, идентичность объекта и освещение для первого кадра с использованием LoadImage (#85). Стартовое изображение закрепляет внешний вид видео и помогает поддерживать непрерывность через сегменты. Используйте чистый, на модели эталон для наилучших результатов. Заменяйте его, когда хотите другой объект или макет.
• Шаг 3 - Размер и длина видео Установите целевое разрешение и общее количество кадров в инициализаторе латентного видео (EmptyHunyuanLatentVideo (#121)) и сохраняйте его согласованным с вашим планом сегментов. Сумма ваших длин сегментов должна равняться общему количеству кадров. Совместите частоту кадров, которую вы намереваетесь экспортировать, с настройками Prompt Relay и видеозаписывающим устройством позже в графике.
• Lightx2v + i2v Основной путь рендеринга использует двухступенчатую цепочку выборки. На первом этапе с моделью высокого уровня шума устанавливаются движение и переходы сцен. На втором этапе с моделью низкого уровня шума уточняются детали и текстура, сохраняя при этом путь движения с первого этапа. Это сочетание делает Wan 2.2 Prompt Relay как управляемым, так и стабильным для передачи управления от сцены к сцене.
• Маршрутизация подсказок Введите мощную global_prompt, которая применяется ко всему клипу в PromptRelayEncodeTimeline (#117). Затем определите подсказки для сегментов либо как данные JSON временной шкалы, либо как список, разделенный трубой. Prompt Relay кодирует условие для каждого кадра, которое меняется только на границах сегментов, при необходимости облегчая переходы для естественной передачи управления. Узел подает условие Wan и обеспечивает, чтобы каждый сегмент следовал своему задуманному направлению.
• Выборка и декодирование Трубопровод проходит через WanImageToVideo (#79), затем грубый KSamplerAdvanced (#73), а затем тонкий KSamplerAdvanced (#83). Кадры декодируются с помощью VAEDecode (#74) и записываются в видео с VHS_VideoCombine (#108). По желанию, используйте RIFE VFI (#131) перед вторым VHS_VideoCombine (#132), если вы хотите более плавное движение или более высокую выходную частоту кадров.

Основные узлы в рабочем процессе Comfyui Wan 2.2 Prompt Relay#

• PromptRelayEncodeTimeline (#117) Центральный для Wan 2.2 Prompt Relay, этот узел преобразует ваши global_prompt и подсказки для сегментов в поток времени позитивного условия. Вы можете создавать сегменты в timeline_data JSON или в local_prompts с использованием синтаксиса трубы. Используйте max_frames, чтобы соответствовать длине видео, выберите time_units, которые соответствуют вашему плану, и отрегулируйте epsilon, чтобы смягчить или усилить передачу подсказок между сегментами. Держите fps согласованным с вашим окончательным экспортом.
• WanImageToVideo (#79) Преобразует стартовое изображение плюс условие в начальную латентную временную шкалу для Wan 2.2. Подключите вашу стартовую ссылку к start_image и сохраняйте ширину, высоту и длину в соответствии с инициализатором латентного. Отрицательное условие в этом графике намеренно обнулено, чтобы уменьшить чрезмерную ограниченность и поддерживать стабильную идентичность; вводите явную отрицательную подсказку только если видите повторяющиеся артефакты, которые хотите подавить.
• KSamplerAdvanced (#73) Выборка первого прохода, которая подчеркивает движение и макет. Она работает с моделью высокого уровня шума Wan, настроенной через ModelSamplingSD3, чтобы исследовать траекторию при уважении условий Prompt Relay. Настройте steps и cfg для силы руководства и держите фиксированное noise_seed, когда хотите воспроизводимое движение через итерации редактирования.
• KSamplerAdvanced (#83) Выборка второго прохода, которая улучшает детали и временную согласованность, используя модель низкого уровня шума Wan. Она уточняет текстуру, края и микродвижение без борьбы с грубой траекторией, установленной первым проходом. Если вы увеличиваете точность здесь, рассмотрите балансировку руководства, чтобы избежать чрезмерного резкости, которая может дестабилизировать движение.
• EmptyHunyuanLatentVideo (#121) Создает пустое латентное видео, которое определяет пространственное разрешение, бюджет кадров и размер партии. Установите общее количество кадров равным сумме всех длин сегментов, чтобы Prompt Relay мог чисто сопоставить подсказки. Изменение разрешения влияет на память и внешний вид каденции движения, поэтому масштабируйте обдуманно.
• VHS_VideoCombine (#108, #132) Кодирует кадры в MP4. Совместите frame_rate с fps Prompt Relay, когда вы не используете интерполяцию. Если вы используете RIFE VFI, установите частоту кадров записывающего устройства на новую эффективную частоту кадров. Настройте crf для компромисса между размером и качеством.

Дополнительные возможности#

• Запишите global_prompt, чтобы зафиксировать тон, язык камеры и качественные теги, затем держите подсказки сегментов короткими и ориентированными на действие.
• Убедитесь, что сумма ваших длин сегментов равна длине видео, чтобы избежать несоответствия подсказок.
• Держите семена фиксированными во время итерации подсказок, затем рандомизируйте семена, только когда хотите свежий взгляд.
• Используйте более высокие или широкие стартовые изображения, чтобы предложить предпочтение аспекта, но всегда устанавливайте явную ширину и высоту для предсказуемости.
• Если вы видите дрейф идентичности между сегментами, укрепите global_prompt с заметными дескрипторами объектов и упростите локальные подсказки.

Ресурсы для изучения используемых здесь компонентов:

• Узел Prompt Relay для ComfyUI от kijai GitHub
• Репакетированные модели Wan 2.2 Hugging Face
• Репакетированный текстовый энкодер UMT5-XXL для Wan 2.x Hugging Face

Признательности#

Этот рабочий процесс реализует и опирается на следующие работы и ресурсы. Мы выражаем благодарность kijai за узел ComfyUI-PromptRelay, gordonchen19 за проект Prompt-Relay и Comfy-Org за модели Wan_2.2_ComfyUI_Repackaged за их вклад и поддержку. Для авторитетных деталей, пожалуйста, обратитесь к оригинальной документации и репозиториям, указанным ниже.

Ресурсы#

• YouTube/Workflow @Ai Verse source tutorial
  • Документы / Примечания к выпуску: @Ai Verse Workflow source tutorial
• AI Verse/AI Verse workflow page
  • Документы / Примечания к выпуску: AI Verse workflow page
• kijai/ComfyUI-PromptRelay node repo
  • GitHub: kijai/ComfyUI-PromptRelay
• gordonchen19/Prompt Relay project page
  • GitHub: gordonchen19/Prompt-Relay
  • Документы / Примечания к выпуску: Prompt Relay project page
• Comfy-Org/Wan 2.2 ComfyUI repackaged models
  • Hugging Face: Comfy-Org/Wan_2.2_ComfyUI_Repackaged (split_files)

Примечание: Использование упомянутых моделей, наборов данных и кода подчиняется соответствующим лицензиям и условиям, предоставленным их авторами и поддерживающими лицами.