Inférence Flex.1 LoRA : Exécutez AI Toolkit LoRA dans ComfyUI pour des Résultats Correspondants à l'Entraînement

Inférence Flex.1 LoRA : génération avec correspondance d'entraînement, en étapes minimales dans ComfyUI. L'inférence Flex.1 LoRA est un workflow RunComfy prêt pour la production pour exécuter des Flex.1 LoRAs formés par AI Toolkit dans ComfyUI avec un comportement correspondant à l'entraînement. Il est construit autour de RC Flex.1 (RCFlex1), qui enveloppe un pipeline d'inférence spécifique à Flex.1 (au lieu d'un graphe d'échantillonneur générique) et applique votre LoRA de manière cohérente via lora_path et lora_scale; RunComfy a construit et open-sourcé ce nœud—voir le code dans les dépôts de l'organisation runcomfy-com GitHub.

Utilisez-le lorsque votre inférence LoRA semble différente de l'entraînement—par exemple, les aperçus AI Toolkit semblent corrects, mais le même LoRA + prompt semble décalé une fois que vous passez à ComfyUI.

Pourquoi l'inférence Flex.1 LoRA semble souvent différente dans ComfyUI & Ce que fait le nœud personnalisé RCFlex1

Les aperçus AI Toolkit proviennent d'un pipeline d'inférence spécifique à Flex.1. De nombreux graphes ComfyUI reconstruisent la pile à partir de chargeurs et d'échantillonneurs génériques, donc "faire correspondre les chiffres" (prompt/étapes/CFG/seed) n'est pas toujours suffisant—les différences dans le pipeline peuvent changer les paramètres par défaut et où/comment le LoRA est appliqué.

RCFlex1 oriente l'inférence à travers un wrapper de pipeline spécifique à Flex.1 aligné avec les aperçus AI Toolkit, maintenant l'injection LoRA cohérente pour Flex.1. Implémentation de référence : `src/pipelines/flex1_alpha.py`

Comment utiliser le workflow d'inférence Flex.1 LoRA

Étape 1 : Ouvrir le workflow

Ouvrez le workflow d'inférence Flex.1 LoRA RunComfy dans ComfyUI.

Étape 2 : Importer votre LoRA (2 options)

• Option A (résultat d'entraînement RunComfy) : RunComfy → Trainer → LoRA Assets → trouvez votre LoRA → ⋮ → Copier le lien LoRA
  
• Option B (LoRA AI Toolkit formé en dehors de RunComfy) : Copiez un lien de téléchargement direct .safetensors pour votre LoRA et collez cette URL dans lora_path (pas besoin de le télécharger dans ComfyUI/models/loras).
  

Étape 3 : Configurer RCFlex1 pour l'inférence Flex.1 LoRA

Dans l'interface utilisateur du nœud RCFlex1 Inférence Flex.1 LoRA, définissez les paramètres restants :

• prompt : votre prompt texte principal (incluez tous les tokens déclencheurs que vous avez utilisés pendant l'entraînement)
• negative_prompt : optionnel; laissez vide si vous n'en avez pas utilisé dans l'échantillonnage d'aperçu
• width / height : résolution de sortie
• sample_steps : étapes d'échantillonnage (faites correspondre vos paramètres d'aperçu lors de la comparaison des résultats)
• guidance_scale : CFG / guidance (faites correspondre votre CFG d'aperçu)
• seed : utilisez une seed fixe pour la reproductibilité; changez-la pour explorer des variations
• lora_scale : force/intensité du LoRA

Pour des résultats correspondant à l'entraînement, ouvrez votre YAML d'entraînement AI Toolkit et appliquez les mêmes valeurs d'échantillonnage ici—surtout width, height, sample_steps, guidance_scale, et seed. Si vous vous êtes entraîné sur RunComfy, ouvrez Trainer → LoRA Assets → Config et réutilisez les valeurs d'aperçu/échantillonnage.

Étape 4 : Exécuter l'inférence Flex.1 LoRA

• Cliquez sur Queue/Run → SaveImage écrit automatiquement la sortie

Dépannage de l'inférence Flex.1 LoRA

La plupart des inadéquations "aperçu d'entraînement vs inférence ComfyUI" proviennent de différences de pipeline (pas d'un seul mauvais réglage). La façon la plus rapide de récupérer des résultats correspondant à l'entraînement est d'exécuter l'inférence via le nœud personnalisé RC Flex.1 (RCFlex1) de RunComfy, qui maintient l'échantillonnage Flex.1 + l'injection LoRA alignés au niveau du pipeline avec le pipeline d'aperçu AI Toolkit.

(1) Pourquoi l'aperçu de l'échantillon dans AI Toolkit semble-t-il excellent, mais le même prompt semble différent dans ComfyUI ? Comment puis-je reproduire cela dans ComfyUI ?

Pourquoi cela arrive

Même avec le même prompt / seed / étapes, les résultats peuvent dériver lorsque ComfyUI exécute un pipeline d'inférence différent de celui du pipeline d'aperçu AI Toolkit. Avec Flex.1 en particulier, les différences de pipeline peuvent modifier les paramètres par défaut du modèle et où/comment le LoRA est injecté, ce qui se traduit par "même prompt, apparence différente".

Comment corriger (recommandé)

• Exécutez l'inférence avec RCFlex1 pour maintenir l'inférence alignée sur le pipeline avec les aperçus AI Toolkit (c'est le principal levier).
• Reflétez vos paramètres d'échantillonnage d'aperçu AI Toolkit : width, height, sample_steps, guidance_scale, seed.
• Utilisez les mêmes mots déclencheurs (si vous vous êtes entraîné avec eux) et gardez lora_scale identique à votre force d'aperçu.

(2) Comment charger flux lora dans flex en utilisant des diffuseurs

Pourquoi cela arrive

Flex.1 a divergé de Flux, donc "le charger comme un LoRA Flux normal" peut conduire à une application partielle, un effet faible ou un comportement inattendu—surtout si le LoRA n'a pas été formé pour Flex.1.

Comment corriger (le plus fiable)

• Pour les Flex.1 LoRAs formés par AI Toolkit : chargez via lora_path dans RCFlex1 pour que l'injection LoRA se produise à l'intérieur du pipeline d'inférence aligné Flex.1.
• Si le LoRA a été formé pour un modèle de base différent, n'attendez pas un transfert parfait—reformez le LoRA sur Flex.1 dans AI Toolkit pour des résultats les plus propres.

(3) Flux' object has no attribute 'process_timestep

Pourquoi cela arrive

Cela indique généralement une inadéquation entre les nœuds/code que vous exécutez et le modèle/pipeline que vous pensez exécuter (dérive de version, mauvais ensemble de nœuds ou mélange d'outils Flex/Flux incompatibles).

Comment corriger

• Privilégiez l'exécution de l'inférence Flex.1 via RCFlex1, qui maintient le chemin d'exécution dans le wrapper de pipeline Flex.1 prévu.
• Si vous avez récemment mis à jour ComfyUI ou des nœuds personnalisés, mettez à jour les nœuds concernés et redémarrez ComfyUI pour effacer les imports/caches obsolètes.
• Vérifiez que vous chargez bien Flex.1 comme modèle de base pour ce workflow (et non une variante différente de Flux).

Exécutez maintenant l'inférence Flex.1 LoRA

Ouvrez le workflow Flex.1 LoRA Inference RunComfy, collez votre LoRA dans lora_path, et exécutez RCFlex1 pour une inférence Flex.1 LoRA correspondant à l'entraînement dans ComfyUI.