Se alleni LoRA con Ostris AI Toolkit, probabilmente ti è già capitato:
- I Samples/Previews di training in AI Toolkit sono ottimi.
- La stessa LoRA sembra diversa quando fai inferenza in ComfyUI, Diffusers o in un altro stack.
Nella maggior parte dei casi la LoRA non è “rotta”: è diversa la tua pipeline di inferenza.
Piccole differenze si sommano velocemente: variante esatta del modello base, semantica scheduler/step, default di VAE/CLIP, regole di “snapping” della risoluzione e persino come applichi la LoRA (adapter vs merge/fuse, particolarità della famiglia).
Per rendere l’inferenza stile AI Toolkit più riproducibile, verificabile e facile da debuggare, RunComfy pubblica come open source l’implementazione di riferimento che usiamo per le LoRA AI Toolkit, basata su Hugging Face Diffusers.
Repo GitHub: runcomfy-com/ai-toolkit-inference
A cosa serve questo repo open source
Usa questo repo se vuoi:
- Riprodurre i Samples/Previews di AI Toolkit fuori da AI Toolkit (con la stessa logica)
- Debuggare il drift “preview vs inferenza” ispezionando e controllando ogni parte del pipeline
- Costruire un tuo servizio di inferenza (ad es. dietro un’API) con Diffusers
Se il tuo obiettivo è solo “far girare la LoRA e farla combaciare con i Samples”, potresti non dover leggere il codice: RunComfy offre lo stesso comportamento anche via inferenza gestita (Playground/API) e workflow ComfyUI.
Cosa c’è dentro al repo
Il progetto è pensato per rendere il comportamento di preview di AI Toolkit auditabile e riproducibile. Tipicamente include:
- Pipeline Diffusers specifiche per modello base (immagine, edit/control, video — in base alla famiglia)
- YAML di training AI Toolkit → impostazioni di inferenza (il YAML come “contratto”)
- Caricamento e applicazione LoRA (adapter vs merge/fuse; quirks di binding per famiglia)
- Regole di snapping della risoluzione per matchare Samples/Previews
- Opzionale: esempio di server asincrono (es. FastAPI) per servire inferenza via API
Come si collega a RunComfy Trainer Inference
RunComfy usa la stessa idea di preview‑matching:
- Bloccare la variante esatta del modello base
- Allineare i default di inferenza della famiglia
- Mantenere lo stesso comportamento del pipeline usato per i Samples/Previews
Puoi usare quel pipeline allineato in due modi:
- Playground / API (validazione rapida + integrazione)
- ComfyUI (un workflow per modello base — carica la LoRA e genera risultati coerenti col preview)
Guide:
- Parità Playground/API: AI Toolkit Inference: Get Results That Match Your Training Samples
- Workflow ComfyUI preview‑match: AI Toolkit Inference in ComfyUI: Get Results That Match Your Training Samples
- Debug drift: AI Toolkit Preview vs Inference Mismatch
Ready to start training?