Idol ComfyUI Bild zu 3D: Einzelbild zu 3D-Gaussian Splat mit SPZ, GLB und Orbit-Video#
Idol ComfyUI Bild zu 3D verwandelt ein einzelnes Subjektfoto in eine navigierbare 3D-Ansicht. Der Workflow rekonstruiert ein Gaussian Splat aus einem Bild, lässt dich das Ergebnis in einer Live-Vorschau umkreisen und exportiert sowohl ein SPZ-Splat als auch ein optionales GLB-Mesh für nachgelagerte DCC-, Spiel- oder XR-Pipelines. Es wird vom Idol-Finetuning von TripoSplat angetrieben, das stilisierte Charaktere, Figuren und Requisiten mit starken Prioren liest.
Verwende Idol ComfyUI Bild zu 3D, wenn du eine schnelle 3D-Erkundung aus einer sauberen Produktaufnahme oder Konzeptzeichnung wünschst. Die unsichtbaren Seiten werden aus der sichtbaren Ansicht abgeleitet, sodass feine Detailgenauigkeit auf der Rückseite möglicherweise approximativ ist, und die GLB-Konvertierung ist für schnelle Blockouts gedacht, die vor der Produktionsnutzung bereinigt werden müssen.
Wichtige Modelle im ComfyUI Idol ComfyUI Bild zu 3D-Workflow#
- Comfy-Org Idol Diffusionsmodell. Die UNet-Gewichte, die die Einzelansicht-3D-Generierung basierend auf der TripoSplat-Methode antreiben. Bietet stärkere Leistung bei stilisierten Subjekten im Vergleich zum Basismodell. Hugging Face: Comfy-Org/Idol und das Original speridlabs/idol.
- DINOv3 ViT-H Vision-Encoder. Liefert robuste visuelle Merkmale aus dem Eingabebild, die den TripoSplat-Sampler für bessere 3D-Konsistenz konditionieren. Vertrieben mit dem Idol-Repository. Hugging Face: Comfy-Org/Idol
- Idol Decoder VAE. Dekodiert latente Proben in eine Gaussian Splat-Darstellung, die gerendert und exportiert werden kann. Hugging Face: Comfy-Org/Idol
- Flux2 VAE. Ein sekundärer VAE, der im Konditionierungspfad verwendet wird, um Merkmale für den latenten Raum von TripoSplat auszurichten. Hugging Face: Comfy-Org/Idol
- BiRefNet Hintergrundentfernungsmodell. Produziert saubere Subjektmasken, die Geometrie und Farbe um dünne Grenzen wie Haare oder Requisiten verbessern. Hugging Face: Comfy-Org/BiRefNet
Für Hintergrundinformationen zur zugrunde liegenden Methode siehe TripoSplat auf GitHub und dessen Paper. GitHub: VAST-AI-Research/TripoSplat und arXiv:2605.16355
Wie man den ComfyUI Idol ComfyUI Bild zu 3D-Workflow verwendet#
Dieser Workflow hat eine zentrale Generierungsphase und drei parallele Ausgabepfade: ein Orbit-Video, ein SPZ-Splat und ein experimentelles GLB-Mesh. Lade ein einzelnes, zentriertes Subjekt auf einem einfachen Hintergrund und reihe das Diagramm ein, um alle Ausgaben in einem Durchgang zu erhalten.
Bild zu Gaussian Splat (Kern-Generierung)#
Der LoadImage (#99) Knoten bringt dein Quellbild und optionales Alpha ein. Der Untergraph Bild zu Gaussian Splat (TripoSplat) (#88) behandelt die Vorverarbeitung, optionale BiRefNet-Segmentierung und TripoSplat-Konditionierung. Intern extrahieren CLIPVisionLoader und die VAEs Merkmale, KSampler (#6) generiert Latente, und VAEDecodeTripoSplat (#55) konvertiert sie in ein 3D-Gaussian Splat. Verwende die Steuerungen des Untergraphs, um auto_remove_background umzuschalten, num_gaussians festzulegen, Idol-Checkpoints auszuwählen und einen seed zu setzen. Aktiviere enable_preview, um das Modell durch TripoSplatSamplingPreview (#97) für eine schnelle Plausibilitätsprüfung vor dem vollständigen Decodieren zu leiten.
Video erstellen#
RenderSplat (#75) rendert eine Umkreisung des rekonstruierten Splats. Die Kamerabewegung wird von CreateCameraInfo (#79) im Orbit-Modus definiert, den du für Entfernung und Rahmung anpassen kannst. CreateVideo (#41) montiert die Frames und SaveVideo (#42) schreibt den resultierenden Clip. Dieser Zweig ist ideal, um Silhouetten zu überprüfen und nach Schwebeteilen oder Verdeckungsartefakten zu suchen, ohne ComfyUI zu verlassen.
3D-Modell erstellen (SPZ-Splat)#
SplatToFile3D (#92) schreibt das Gaussian Splat in eine .spz Datei, die die für hochqualitatives Splat-Rendering verwendeten Punktattribute bewahrt. SaveGLB (#51) stellt einen 3D-Viewer bereit, damit du Orientierung und Maßstab inspizieren kannst, und speichert die Datei dann auf der Festplatte. Wähle diesen Pfad, wenn du die getreuste Echtzeitvisualisierung des Idol ComfyUI Bild zu 3D-Ausgangs benötigst.
3D-Modell erstellen (experimentelles Mesh)#
SplatToMesh (#76) konvertiert das Splat in ein Dreiecksnetz für den Austausch, mit Steuerungen für Auflösung, Glättung und Komponentenbereinigung. SaveGLB (#67) exportiert das Ergebnis als .glb. Dieser Pfad ist experimentell und hauptsächlich für schnelle Blockouts gedacht. Erwarte, in einem DCC-Tool für die Produktion Retopologie durchzuführen, zu dezimieren oder Shading zu korrigieren.
Wichtige Knoten im ComfyUI Idol ComfyUI Bild zu 3D-Workflow#
UNETLoader (#16)#
Lädt die Idol UNet-Gewichte, die TripoSplat für stilisierte Charaktere und Requisiten spezialisieren. Wenn du einen Baseline-Vergleich benötigst, kannst du zum Standard-TripoSplat UNet aus dessen Repository wechseln. Halte UNet, CLIP Vision-Modell und VAEs aus derselben Release-Familie für stabiles Verhalten. Referenzgewichte: Hugging Face: Comfy-Org/Idol und GitHub: VAST-AI-Research/TripoSplat.
KSampler (#6)#
Treib den Entstörungsplan an, der die latente 3D-Darstellung erzeugt. Die einflussreichsten Steuerungen sind steps, sampler_name, scheduler, cfg und seed. Erhöhe die Schritte für Genauigkeit, passe CFG an, um die Einhaltung der Konditionierung gegenüber der Glätte auszubalancieren, und verwende den Seed für Reproduzierbarkeit über Läufe hinweg. Vermeide extreme CFG mit sehr wenigen Schritten, da dies instabile Geometrie einführen kann.
VAEDecodeTripoSplat (#55)#
Verwandelt das endgültige Latente in ein Gaussian Splat. Der entscheidende Parameter ist num_gaussians, der die Punktzahl festlegt und sowohl Detail als auch Speicherverbrauch beeinflusst. Verwende moderate Zählungen für Vorschauen und höhere Zählungen für endgültige SPZ-Exporte. Sehr große Zählungen erhöhen die Renderkosten und erfinden keine neuen Details über das hinaus, was das Modell abgeleitet hat.
ComfySwitchNode (#35) Schalter: Maskenquelle#
Wählt zwischen der BiRefNet-Maske und einem beliebigen Alpha oder einer Maske, die du mit LoadImage bereitstellst. Verwende die modellabgeleitete Maske, wenn der Eingang einen geschäftigen Hintergrund hat. Wenn du ein sauberes Alpha bereitstellst, wechsle zu deiner Maske, um dünne Strukturen zu bewahren.
TripoSplatSamplingPreview (#97)#
Bietet eine schnelle, kostengünstige Vorschau der Abtastorientierung und grober Geometrie. Aktiviere dies beim ersten Testen eines Subjekts oder beim Wechseln der Checkpoints. Es hilft dir, Rahmung und Maßstab zu überprüfen, bevor du dich zu einem vollständigen Decode verpflichtest.
RenderSplat (#75)#
Rendert die Orbit-Frames, die für das Vorschauvideo verwendet werden. Die wichtigsten Steuerungen sind Bild width und height, frames, splat_scale, headlight_shading und opacity_threshold. Achte auf die Splat-Skala und das Opazitätsschwellenwert zusammen, die bestimmen, wie weich oder fest das Punktblending erscheint.
SplatToMesh (#76)#
Konvertiert das Splat in ein Dreiecksnetz für den .glb-Export. resolution, min_component, min_opacity und smooth regulieren das Gleichgewicht zwischen Detail und Sauberkeit. Erhöhe die Auflösung für mehr Oberflächentreue und erhöhe die minimale Komponente, um kleine schwebende Schalen zu entfernen. Erwarte, eine Netzbereinigung in einem DCC für beste Ergebnisse durchzuführen.
CreateCameraInfo (#79)#
Definiert einen umkreisenden Kamerapfad für den Videozweig. Passe Entfernung, Gieren und Neigung an, um das Subjekt zu zentrieren und Clipping zu vermeiden. Kombiniere Kameraanpassungen mit RenderSplat-Auflösungsänderungen, um dein Subjekt über Ausgaben hinweg konsistent im Rahmen zu halten.
Optionale Extras#
- Bevorzuge Bilder mit zentriertem Subjekt, vollständig im Rahmen und minimalem Hintergrund.
- Wenn du bereits ein hochwertiges Alpha hast, verwende es; andernfalls aktiviere die automatische Hintergrundentfernung für bessere Kanten.
- Beginne mit einem moderaten
num_gaussiansfür Iterationen, erhöhe es dann für den endgültigen SPZ-Export, wenn du mit der Form zufrieden bist. - Verwende den Vorschaltumschalter, um Pose und Maßstab vor dem vollständigen Decodieren zu validieren.
- SPZ ist am besten für Treue und schnelle Iterationen in splat-kompatiblen Viewern geeignet; GLB ist für den Austausch gedacht und benötigt normalerweise eine Bereinigung.
- Beim Konvertieren in ein Netz, erwarte zu dezimieren und Normale oder Shading in deinem DCC zu korrigieren.
- Für das Orbit-Video, passe die Kameradistanz und die Bildanzahl an, um Glätte und Renderzeit auszugleichen.
- Die Methode leitet unsichtbare Seiten aus der sichtbaren Ansicht ab, sodass Symmetrie und einfache Formen am zuverlässigsten rekonstruiert werden.
Danksagungen#
Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken Comfy-Org für die ComfyUI Idol-Modelldateien, Sperid Labs für das ursprüngliche IDOL-Modell und Comfy-Org für die ComfyUI-Workflow-Vorlage (3d_idol_image_to_gaussian_splat.json) für ihre Beiträge und Pflege. Für autoritative Details verweisen wir auf die originale Dokumentation und die unten verlinkten Repositories.
Ressourcen#
- Comfy-Org/Idol
- Hugging Face: Comfy-Org/Idol
- speridlabs/idol
- Hugging Face: speridlabs/idol
- Comfy-Org/workflow_templates (3d_idol_image_to_gaussian_splat.json)
Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von ihren Autoren und Betreuern bereitgestellt werden.