FLUX.1 Dev LoRA Инференс: Соответствие предварительным просмотрам AI Toolkit в ComfyUI

FLUX.1 Dev LoRA Инференс: соответствие обучению, минимальные шаги генерации в ComfyUI FLUX.1 Dev LoRA Инференс — это готовый к запуску рабочий процесс RunComfy для применения AI Toolkit-обученных FLUX.1 Dev LoRAs в ComfyUI с результатами, близкими к вашим предварительным просмотрам обучения. Он построен вокруг RC FLUX.1 Dev (RCFluxDev) — разработанного RunComfy, с открытым исходным кодом пользовательского узла, который маршрутизирует генерацию через специфическую для FLUX.1 Dev инференс pipeline (вместо общего графика выборки), в то время как ваш адаптер вводится через lora_path и lora_scale. Вы можете просмотреть связанные исходные работы в репозиториях организации GitHub runcomfy-com.

Используйте этот рабочий процесс, когда ваши образцы AI Toolkit кажутся "правильными", но переключение на типичный график ComfyUI заставляет тот же LoRA + подсказку отклоняться по стилю, силе или композиции.

Почему FLUX.1 Dev LoRA Инференс часто выглядит иначе в ComfyUI

Предварительные просмотры AI Toolkit создаются с помощью специфической для модели инференс pipeline. Многие графики ComfyUI реконструируют FLUX из общих компонентов, поэтому "соответствие числам" (подсказка/шаги/гидирование/семя) все равно может давать разные результаты по умолчанию и поведение применения LoRA. Этот "разрыв между предварительным просмотром обучения и инференсом ComfyUI" обычно находится на уровне pipeline, а не в одной неправильно настроенной ручке.

Что делает пользовательский узел RCFluxDev

RCFluxDev инкапсулирует инференс pipeline FLUX.1 Dev, используемую для выборки в стиле AI Toolkit, и применяет ваш LoRA внутри этой pipeline, чтобы поведение адаптера оставалось согласованным для этого семейства моделей. Исходный код pipeline: `src/pipelines/flux_dev.py`

Как использовать рабочий процесс FLUX.1 Dev LoRA Инференс

Шаг 1: Импортируйте ваш LoRA (2 способа)

• Вариант 1 (результат обучения RunComfy): RunComfy → Trainer → LoRA Assets → найдите ваш LoRA → ⋮ → Копировать ссылку LoRA
  
• Вариант 2 (AI Toolkit LoRA обученный вне RunComfy):

Скопируйте прямую ссылку на загрузку .safetensors вашего LoRA и вставьте этот URL в lora_path.

Шаг 2: Настройте пользовательский узел RCFluxDev для FLUX.1 Dev LoRA Инференс

1. В рабочем процессе выберите RC FLUX.1 Dev (RCFluxDev) и вставьте ваш URL LoRA (или путь к файлу) в lora_path.

Важно (требуется для первого запуска): чтобы запустить этот пользовательский узел, вы должны (1) иметь доступ к Hugging Face для gated FLUX.1 Dev repo, который вы используете, и (2) вставить ваш токен Hugging Face в hf_token:

• На странице модели Hugging Face, войдите в систему и нажмите Запросить доступ / Согласиться (один раз на репозиторий).
• Создайте токен доступа пользователя Hugging Face с разрешением Чтение на huggingface.co/settings/tokens.
• Вставьте токен в hf_token на RCFluxDev, затем повторно запустите рабочий процесс.

Пошаговое руководство: FLUX Hugging Face Token - Настройка и устранение неполадок

1. Затем настройте остальные параметры для FLUX.1 Dev LoRA Инференс (все в пользовательском интерфейсе узла):

Совет по выравниванию обучения: когда вы стремитесь к 1:1 соответствию, не "настраивайте по ощущениям" — зеркально отразите значения выборки из YAML обучения AI Toolkit, который вы использовали для предварительных просмотров (особенно width, height, sample_steps, guidance_scale, seed). Если вы обучались на RunComfy, откройте Trainer → LoRA Assets → Config и повторно используйте настройки предварительного просмотра.

• prompt: ваша текстовая подсказка (включите триггерные токены, которые вы использовали во время обучения, если они были)
• negative_prompt: по желанию; оставьте пустым, если вы не использовали негативные выборки
• width / height: разрешение вывода (совпадает с обучающими предварительными просмотрами при сравнении)
• sample_steps: количество шагов инференса
• guidance_scale: значение гидирования, используемое pipeline FLUX.1 Dev
• seed: установите фиксированное семя для воспроизведения; измените его, чтобы исследовать вариации
• lora_scale: сила LoRA (начните около значения вашего предварительного просмотра, затем настройте)
• hf_token: ваш токен доступа Hugging Face (требуется для gated FLUX репозиториев)

Шаг 3: Запустите FLUX.1 Dev LoRA Инференс

• Нажмите Queue/Run → SaveImage автоматически сохраняет результаты в вашей выходной папке ComfyUI

Устранение неполадок FLUX.1 Dev LoRA Инференс

Большинство "предварительный просмотр vs ComfyUI" проблем FLUX.1 Dev вызваны несоответствием pipeline (как загружается модель, как строится кондиционирование и где/как вводится адаптер), а не только одним неправильным параметром.

Для AI Toolkit-обученных FLUX.1 Dev LoRAs, самый надежный способ восстановить поведение, соответствующее обучению в ComfyUI — запустить генерацию через RC FLUX.1 Dev (RCFluxDev), который сохраняет инференс на уровне pipeline и применяет ваш адаптер последовательно через lora_path / lora_scale. Если вы отлаживаете упрямую проблему, начните с минимального рабочего процесса и добавляйте сложность только после того, как подтвердите, что базовая линия работает.

（1）Высокое использование vram lora после обновления

Почему это происходит

С FLUX.1 Dev, некоторые настройки видят большой скачок VRAM при применении определенных LoRAs (включая LoRAs, обученные с AI Toolkit). Это часто проявляется, когда LoRAs вводятся через общие пути загрузчика или когда график вызывает дополнительные копии модели / поведение повторной загрузки.

Как исправить (рекомендуется)

• Запустите инференс через RCFluxDev и загружайте ваш адаптер только через lora_path в узле (избегайте смешивания нескольких узлов загрузчика LoRA для одной и той же модели).
• Сохраняйте сравнение честным: соответствуйте значениям выборки предварительного просмотра обучения (width, height, sample_steps, guidance_scale, seed) до того, как судить "это выглядит не так".
• Если вы все еще сталкиваетесь с OOM: сначала уменьшите width/height (это обычно самый большой рычаг для FLUX), затем уменьшите пакет/дополнительные узлы и перезапустите сеанс, чтобы очистить любые устаревшие кеши. Более того, вы можете запустить более мощную машину GPU на RunComfy для выполнения.

（2）VAEDecode Given groups=1, weight of size [4, 4, 1, 1], expected input[1, 16, 144, 112] to have 4 channels, but got 16 channels instead

Почему это происходит

FLUX латенты и "классические SD" латенты не взаимозаменяемы. Эта ошибка является обычным симптомом декодирования FLUX латентов с не-FLUX VAE (VAE, который ожидает 4-канальные латенты, в то время как FLUX латенты могут быть 16-канальными).

Как исправить

• Не декодируйте FLUX латенты с помощью SD/SDXL VAE path.
• Используйте RCFluxDev workflow так, чтобы правильный FLUX decode path использовался от начала до конца (загрузка модели → выборка → декодирование), вместо смешивания общих VAE узлов из других pipeline.
• Если вы вручную перестраиваете графики, дважды проверьте, что вы используете правильные FLUX автоэнкодерные активы, а не оставшийся SD/SDXL VAE.

（3）flux модель не работает, flux1-dev-fp8.safetensors

Почему это происходит

Это обычно происходит, когда FLUX .safetensors UNet загружается с помощью неправильного типа загрузчика (например, рассматривая его как "контрольную точку", которую ComfyUI должен автоматически обнаруживать как SD/SDXL).

Как исправить

• Используйте FLUX.1 Dev workflow (RCFluxDev) и позвольте рабочему процессу/узлу обрабатывать загрузку модели; передавайте только ваш LoRA через lora_path.
• Не загружайте FLUX UNets с использованием SD/SDXL загрузчиков контрольных точек.
• Если файл был загружен из ссылки, перепроверьте, что это полный, действительный .safetensors (частичные загрузки могут вызывать запутанные ошибки обнаружения).

Запустите FLUX.1 Dev LoRA Инференс сейчас

Откройте рабочий процесс RunComfy FLUX.1 Dev LoRA Инференс, установите lora_path, и создавайте с помощью RCFluxDev, чтобы результаты ComfyUI оставались согласованными с вашими предварительными просмотрами обучения AI Toolkit.