Узлы ComfyUI-MochiEdit и связанный с ними рабочий процесс полностью разработаны logtd и Kijai. Мы выражаем всю заслуженную благодарность logtd и Kijai за эту инновационную работу. На платформе RunComfy мы просто представляем их вклад в сообщество. Мы глубоко ценим работу logtd и Kijai!
Рабочий процесс Mochi Edit - это инструмент, предназначенный для того, чтобы позволить пользователям изменять видеоконтент с помощью текстовых подсказок. Он поддерживает задачи, такие как добавление или изменение элементов (например, размещение шляп на персонажах), настройка общего стиля или замена объектов в кадре.
1. Mochi Edit Unsampling
В основе Mochi Edit лежит техника увеличения разрешения. Техника увеличения разрешения Mochi Edit использует упрощенный подход к редактированию видео и изображений, позволяя выполнять преобразования через мультимодальные подсказки без необходимости дополнительных шагов предварительной обработки или внешних сетевых модулей. Основная идея увеличения разрешения Mochi Edit заключается в манипулировании латентным представлением видео напрямую, а не выполнении сложных операций, таких как обнаружение лиц или оценка позы, которые являются обычными в традиционных конвейерах генерации изображений. Этот метод соответствует более широкой цели создания более гибкого и упрощенного процесса генерации изображений, подобного способности GPT генерировать текст из любой входной подсказки. С техникой увеличения разрешения Mochi Edit пользователи могут генерировать различные стили и модификации напрямую из мультимодального описания, делая процесс гораздо более интуитивным и эффективным.
Вкратце, Mochi Edit позволяет вам создавать небольшие вариации видео, которое вы загружаете. Например, копировать и переносить движение объекта на другой объект или изменять настройки фона, изменять свойства объекта и т.д.
2. Как использовать рабочий процесс Mochi Edit?
В этом рабочем процессе, Левые Зеленые узлы - это входные данные для Видео и текста, Средние Фиолетовые узлы - это узлы увеличения и уменьшения разрешения Mochi, а Правый Синий - это узел вывода видео.
2.1 Загрузить узел видео
- Нажмите и загрузите ваше видео в узел загрузки видео
frame_load_cap: по умолчанию 32 кадра. Выше 32 кадров наблюдаются артефакты прыжков. Держите менее 3 секунд (32) кадров для лучших результатов.skip_frames: Пропустите кадры, если хотите начать с определенного кадра
Используйте квадратный формат (512 x 512) или горизонтальный (848 x 480) размер в узле увеличения разрешения. Другие дают ошибку.
2.2 Подсказки
Это экспериментальное использование, иногда может работать, а иногда нет или полностью изменяет оригинальное видео.
- Используйте небольшую вариацию объекта в качестве подсказки.
- Сильная вариация может исказить и полностью изменить изображение.
- Попробуйте разные seed, если не получаете нужные результаты.
2.3 Группы узлов выборки и увеличения разрешения
Выборка и увеличивающие разрешение Ksampler настроены автором на лучшие настройки. Если настройки изменены небрежно, это может привести к странным нежелательным результатам. Не стесняйтесь экспериментировать с:
Seedу выборщика для вариацийnum_stepsиlinear_stepдля изменения качества или скорости рендеринга.eta,start_stepиend_Stepдля изменения силы увеличения разрешения, начального и конечного процента.
2.4 Модели Mochi
Модели загружаются из этого HuggingFace Repo в ваш comfyui автоматически. Это займет около 5-10 минут при первой загрузке модели размером 10.3 ГБ.
Техника увеличения разрешения Mochi Edit революционизирует редактирование видео и изображений, упрощая процесс и устраняя необходимость в сложной предварительной обработке или дополнительных модулях. Этот инновационный подход позволяет пользователям легко создавать высококачественные, индивидуализированные визуальные материалы с помощью мультимодальных подсказок. Сочетая гибкость и доступность, Mochi Edit прокладывает путь к более интуитивному и креативному будущему генерации изображений.