Inférence LoRA SD 1.5 : générations Stable Diffusion 1.5 alignées sur l'entraînement dans ComfyUI

L'inférence LoRA SD 1.5 est un workflow RunComfy prêt pour la production permettant d'exécuter un LoRA entraîné avec AI Toolkit sur Stable Diffusion 1.5 dans ComfyUI avec un comportement aligné sur l'entraînement. Il est piloté par RC SD 1.5 (RCSD15) — un nœud personnalisé construit par RunComfy et open-source (source) qui route l'inférence à travers un pipeline SD1.5 (pas un graphe sampler générique) et injecte votre adaptateur via lora_path et lora_scale.

Pourquoi l'inférence LoRA SD 1.5 apparaît souvent différente dans ComfyUI

Les échantillons de prévisualisation AI Toolkit pour SD1.5 sont produits par un pipeline d'inférence spécifique au modèle, incluant ses paramètres par défaut de scheduler et l'endroit où le LoRA est appliqué dans la pile. Quand vous reconstruisez l'exécution comme un graphe SD « standard » dans ComfyUI, de petites différences (choix de sampler/scheduler, flux de conditioning, points de patch du LoRA loader) peuvent s'accumuler — donc correspondre prompt, seed et steps ne garantit toujours pas le même rendu. Dans la plupart des rapports « prévisualisation vs inférence », la cause racine est un décalage de pipeline, pas un bouton manquant.

Ce que fait le nœud personnalisé RCSD15

RCSD15 maintient l'inférence LoRA SD 1.5 alignée en exécutant un pipeline Stable Diffusion 1.5 à l'intérieur du nœud et en appliquant le LoRA AI Toolkit de manière cohérente via lora_path / lora_scale, avec les valeurs par défaut correctes pour SD1.5 comme un diviseur de résolution de 8 pixels et le support du prompt négatif. Source (open-source RunComfy) : runcomfy-com repositories

Comment utiliser le workflow d'inférence LoRA SD 1.5

Étape 1 : Importer votre LoRA (2 options)

• Option A (résultat d'entraînement RunComfy) : RunComfy → Trainer → LoRA Assets → trouver votre LoRA → ⋮ → Copier le lien LoRA
  
• Option B (LoRA AI Toolkit entraîné en dehors de RunComfy) : Copiez un lien de téléchargement direct .safetensors pour votre LoRA et collez cette URL dans lora_path (pas besoin de télécharger dans ComfyUI/models/loras)

Étape 2 : Configurer le nœud personnalisé RCSD15 pour l'inférence LoRA SD 1.5

Collez votre lien LoRA dans lora_path sur RC SD 1.5 (RCSD15) (soit le lien LoRA RunComfy de l'Option A, soit une URL directe .safetensors de l'Option B).

Puis définissez le reste des paramètres du nœud (commencez par refléter vos valeurs de prévisualisation/échantillon d'entraînement pour confirmer l'alignement avant d'ajuster) :

• prompt : votre prompt positif (gardez les tokens déclencheurs exactement comme utilisés lors de l'entraînement, le cas échéant)
• negative_prompt : optionnel ; laissez vide si vous n'avez pas utilisé de négatifs pendant le sampling
• width / height : taille de sortie (doit être divisible par 8 pour SD1.5 ; 512×512 est une baseline courante)
• sample_steps : étapes d'inférence (25 est un point de départ typique pour l'inférence LoRA SD 1.5)
• guidance_scale : force de guidance (correspondez d'abord votre valeur de prévisualisation, puis ajustez progressivement)
• seed : gardez fixe en comparant prévisualisation vs inférence ComfyUI ; randomisez après que votre baseline corresponde
• lora_scale : force du LoRA (commencez à votre valeur de prévisualisation, puis ajustez par petits incréments)

Note d'alignement d'entraînement : si vous avez personnalisé le sampling pendant l'entraînement, ouvrez votre YAML d'entraînement AI Toolkit et reflétez width, height, sample_steps, guidance_scale, seed et lora_scale. Si vous avez entraîné sur RunComfy, ouvrez Trainer → LoRA Assets → Config et copiez les valeurs de prévisualisation/échantillon dans RCSD15.

Étape 3 : Exécuter l'inférence LoRA SD 1.5

Cliquez sur Queue/Run. Le nœud SaveImage enregistre l'image générée dans votre dossier de sortie ComfyUI standard.

Dépannage de l'inférence LoRA SD 1.5

Le nœud personnalisé RC SD 1.5 (RCSD15) de RunComfy est conçu pour vous ramener à une baseline alignée sur l'entraînement en exécutant un pipeline Diffusers SD1.5 à l'intérieur du nœud (incluant une configuration DDPMScheduler alignée avec le sampling AI Toolkit) et en injectant votre adaptateur via lora_path / lora_scale au niveau du pipeline. Utilisez RCSD15 comme baseline d'abord, puis ajustez.

（1）Clés LoRA non chargées

Pourquoi cela se produit

Dans les workflows SD 1.5, cet avertissement signifie presque toujours que le LoRA contient des clés qui ne correspondent pas proprement aux modules actuellement patchés. Les causes spécifiques à SD1.5 les plus courantes sont :

• Le LoRA est appliqué contre une base non-SD1.5 (par ex. SDXL) ou des composants SD1.5 non correspondants.
• Le LoRA est injecté par une route différente de celle utilisée par le sampler de prévisualisation d'AI Toolkit (donc les points de patch et les valeurs par défaut diffèrent).
• Votre pile ComfyUI/nœuds personnalisés locale n'est pas à jour par rapport au format de clé LoRA que vous chargez.

Comment corriger (approche fiable pour SD1.5)

• Partez d'une baseline alignée sur le pipeline : exécutez le LoRA via RCSD15 et chargez-le uniquement via lora_path + lora_scale (évitez d'empiler des nœuds LoRA loader supplémentaires pendant le débogage).
• Gardez toute la pile SD 1.5 : assurez-vous que le checkpoint de base que vous utilisez pour l'inférence est bien Stable Diffusion 1.5 (un LoRA SD1.5 ne correspondra pas entièrement aux modules SDXL).
• Re-testez après mise à jour : mettez à jour ComfyUI et vos nœuds personnalisés, puis réessayez la même exécution RCSD15 (même prompt/seed/steps) pour confirmer si le décalage est lié à l'outillage ou à l'asset.

（2）Mon aperçu AI Toolkit est bon, mais la sortie ComfyUI dérive même avec le même prompt/seed/steps

Pourquoi cela se produit

Pour SD 1.5, « même prompt + même seed + même steps » peut encore dériver si les valeurs par défaut du scheduler/sampler diffèrent. Le sampling SD1.5 d'AI Toolkit est lié à une configuration de pipeline Diffusers SD1.5, tandis que les graphes SD « standard » de ComfyUI peuvent utiliser un comportement de sampler/scheduler et des valeurs par défaut de conditioning différents — donc le chemin de débruitage change.

Comment corriger (alignement au niveau du pipeline d'abord)

• Comparez en utilisant RCSD15 d'abord : RCSD15 exécute un pipeline SD1.5 à l'intérieur du nœud (Diffusers StableDiffusionPipeline) et aligne le comportement de sampling via une configuration DDPMScheduler, puis applique votre LoRA via lora_path / lora_scale à l'intérieur de ce même pipeline.
• Reflétez exactement vos valeurs de prévisualisation AI Toolkit en comparant : width, height (SD1.5 attend une divisibilité par /8), sample_steps, guidance_scale, seed, lora_scale.
• Verrouillez les variables pendant la validation : gardez le seed fixe jusqu'à ce que la baseline corresponde, puis ajustez un seul paramètre à la fois.

（3）Le LoRA se charge, mais l'effet est bien plus faible (ou plus fort) que les échantillons AI Toolkit

Pourquoi cela se produit

Sur SD 1.5, la force perçue du LoRA est très sensible au pipeline + scheduler + CFG + résolution. Si le pipeline d'inférence ne correspond pas au sampler de prévisualisation, le même lora_scale peut « sembler » notablement différent.

Comment corriger (séquence d'ajustement stable pour SD1.5)

• N'ajustez pas avant l'alignement : validez la baseline via RCSD15 d'abord (aligné sur le pipeline), puis ajustez.
• Ajustez lora_scale avec un seed fixe : les petits changements sont plus faciles à juger quand tout le reste est verrouillé.
• Gardez les règles de résolution SD1.5 cohérentes : assurez-vous que width/height sont divisibles par 8 pour ne pas introduire d'artefacts de redimensionnement involontaires qui changent le détail et la force perçue.

Exécutez l'inférence LoRA SD 1.5 maintenant

Ouvrez le workflow, collez votre LoRA dans lora_path, correspondez vos valeurs de sampling de prévisualisation, et exécutez RCSD15 pour obtenir une inférence LoRA Stable Diffusion 1.5 alignée sur l'entraînement dans ComfyUI.