TripoSplat 3D Gaussian Splats Workflow | Bild zu 3D

TripoSplat Bild zu 3D Gaussian Splats Workflow für ComfyUI#

Verwandeln Sie ein einzelnes Referenzbild in ein teilbares 3D Gaussian Splats Asset mit einem Orbit-Vorschau-Video. Dieser TripoSplat Bild zu 3D Gaussian Splats Workflow ist eine offizielle ComfyUI 3D-Vorlage, die die Hintergrundentfernung, die visuelle Konditionierung, die TripoSplat-Abtastung, die Splat-Dekodierung, das Echtzeit-Rendering und den Export zu SPZ mit einem optionalen GLB-Mesh-Pfad optimiert. Er basiert auf dem offenen TripoSplat-Projekt und -Papier, die Triplan-Funktionen für die 3D Gaussian Rekonstruktion aus einem Einzelbild einführen GitHub und arXiv, mit gebrauchsfertigen Gewichten auf Hugging Face.

Künstler, Spieleentwickler und XR-Ersteller können schnell Requisiten oder stilisierte Objekte aus einem einzelnen Bild prototypisieren, sie als umlaufenden Drehtisch anzeigen und Assets exportieren, die RunComfy-fertig sind. Die Vorlage, die dieses README beschreibt, stimmt mit dem Upstream ComfyUI Workflow-Beispiel für TripoSplat überein, das auf GitHub verfügbar ist.

Wichtige Modelle im ComfyUI TripoSplat Bild zu 3D Gaussian Splats Workflow#

• TripoSplat Diffusionsmodell Checkpoint (UNet). Kern-Generator, der ein 3D Gaussian Feld aus den Merkmalen eines einzelnen Bildes vorhersagt. Quellen: GitHub und Hugging Face.
• TripoSplat VAE Decoder. Dekodiert abgetastete Latenten in explizite 3D Gaussian Splats Parameter für Rendering und Export. Gewichte sind in der TripoSplat Modellkarte auf Hugging Face verpackt.
• FLUX.2 VAE. Bietet einen Bildkodierungsraum, der während der Konditionierung und Ausrichtung mit der TripoSplat-Pipeline verwendet wird. Verteilt mit den TripoSplat-Gewichten auf Hugging Face.
• DINO v3 ViT-H Vision-Backbone. Liefert hochrangige, robuste Bildmerkmale für die 3D-Rekonstruktion aus der Einzelansicht; ausgeliefert zusammen mit den Assets des Workflows in Hugging Face.
• BiRefNet für Hintergrundentfernung. Segmentiert das Vordergrundmotiv, um die Konditionierung zu verbessern und Unordnung vor der 3D-Generierung zu reduzieren. Modellgewichte: Hugging Face.

So verwenden Sie den ComfyUI TripoSplat Bild zu 3D Gaussian Splats Workflow#

Dieser Workflow bewegt sich von der Bild- und Masken-Vorbereitung zur TripoSplat-Abtastung und -Dekodierung und verzweigt sich dann in zwei Exportzweige: ein Live-Orbit-Vorschau-Video und eine SPZ 3D Gaussian Splats Datei. Ein dritter, optionaler Zweig konvertiert Splats in ein Mesh für den GLB-Export.

• Laden und bereiten Sie Ihr Bild vor
  • Importieren Sie ein Referenzbild in LoadImage (#99). Wenn Ihr Bild bereits Transparenz oder eine kuratierte Maske hat, kann es direkt verwendet werden. Andernfalls isoliert der eingebettete “Remove Background (BiRefNet)” Untergraph das Motiv und leitet eine saubere Maske weiter. Der Switch: Mask Source (#35) wählt automatisch zwischen Ihrer Maske und der BiRefNet-Maske basierend auf dem auto_remove_background Schalter. Der Vorprozessor TripoSplatPreprocessImage (#2) standardisiert die Größe und kombiniert das Bild mit der gewählten Maske, sodass das Motiv zentriert und sauber ist.
• Bild zu Gaussian Splat (TripoSplat) Untergraph
  • Der Kern-Untergraph Image to Gaussian Splat (TripoSplat) (#88) berechnet die Konditionierung mit TripoSplatConditioning (#24) unter Verwendung von DINO v3 ViT-H und der FLUX.2 VAE. Ein KSampler (#6) führt das TripoSplat UNet mit diesen Konditionierungen aus, um Latenten zu erzeugen. VAEDecodeTripoSplat (#55) dekodiert dann die Latenten in eine tatsächliche 3D Gaussian Splats Struktur. Wenn Sie einen schnellen Blick vor einer vollständigen Dekodierung wünschen, aktivieren Sie den eingebauten Vorschaupfad, der das Modell durch TripoSplatSamplingPreview (#97) leitet.
• Erstellen Sie ein 3D-Modell
  • Die dekodierten Splats werden mit SplatToFile3D (#92) in eine SPZ-Datei exportiert, die das 3D Gaussian Feld bewahrt. Dies ist das empfohlene Format für die nachgelagerte Verwendung und für das erneute Laden in RunComfy. Der Knoten SaveGLB (#51) erhält die Datei und schreibt sie als SPZ-Paket zur Portabilität und zum Teilen auf die Festplatte.
• Erstellen Sie ein Video
  • Für eine Drehtisch-Vorschau definiert CreateCameraInfo (#79) eine Orbit-Kamera und RenderSplat (#75) rastert die Splats in Frames. CreateVideo (#41) näht diese Frames zu einem Video zusammen, und SaveVideo (#42) schreibt das Ergebnis auf die Festplatte. Dieser Zweig gibt Ihnen sofortiges visuelles Feedback zu Abdeckung, Dichte und Silhouette, bevor Sie Exporte abschließen.
• Erstellen Sie ein 3D-Modell (experimentell)
  • Wenn Sie ein Mesh benötigen, konvertiert der experimentelle Zweig die Splats mit SplatToMesh (#76) und schreibt ein GLB über SaveGLB (#67). Die Mesh-Konvertierung ist am besten für schnelle Visualisierung oder grundlegenden DCC-Import geeignet. Für detaillierte und beleuchtungsfreundliche Vorschauen sehen die nativen Splats plus das Orbit-Video typischerweise besser aus als ein frühes Mesh.

Wichtige Knoten im ComfyUI TripoSplat Bild zu 3D Gaussian Splats Workflow#

• VAEDecodeTripoSplat (#55)
  • Dekodiert Diffusionslatenten in eine vollständige 3D Gaussian Splats Darstellung. Die Steuerung num_gaussians bestimmt Dichte und Speicherverbrauch. Höhere Werte erzeugen dichtere Splats und glattere Silhouetten, benötigen jedoch mehr Zeit und VRAM; beginnen Sie bescheiden und skalieren Sie, bis Abdeckung und Detail Ihren Anforderungen entsprechen.
• KSampler (#6)
  • Treibt die TripoSplat-Inferenz mit der Konditionierung und dem initialen Latenten an. Passen Sie seed an, um neue strukturelle Variationen aus demselben Bild zu erhalten. Halten Sie andere Sampler-Optionen stabil, während Sie Änderungen bei der Vordergrundextraktion und der Motivkomposition bewerten.
• TripoSplatConditioning (#24)
  • Baut die visuelle Anleitung, die 3D aus einem Einzelbild machbar macht, indem DINO-Merkmale mit einem VAE-Latenten kombiniert werden. Gute Ergebnisse hängen von einem sauberen, zentrierten Motiv und einer Maske ab, die geschäftige Hintergründe ausschließt.
• RenderSplat (#75)
  • Rendert die resultierenden Splats zu Bildern für die Vorschau-Drehtisch. Passen Sie die Ausgabegröße an, um das Gleichgewicht zwischen Schärfe und Geschwindigkeit zu finden, und verwenden Sie den Kamera-Info-Eingang von CreateCameraInfo (#79), um den Orbit-Stil zu steuern.
• SplatToMesh (#76)
  • Konvertiert die Gaussian Darstellung in ein polygonales Mesh für den GLB-Export. Erwarten Sie weniger feine Details als bei nativen Splats; behandeln Sie dies als bequemen Pfad, wenn Ihre Ziel-Toolchain Meshes erfordert.

Optionale Extras#

• Verwenden Sie Bilder mit klaren, zentrierten Motiven und guter Trennung vom Hintergrund; Objektansichten mit minimaler Verdeckung funktionieren am besten.
• Wenn Ihre Quelle bereits Transparenz hat, deaktivieren Sie die automatische Hintergrundentfernung, um Ihre handgemachte Maske zu bewahren.
• Erhöhen Sie num_gaussians schrittweise, um den optimalen Punkt für Ihre GPU und die Objektkomplexität zu finden.
• Aktivieren Sie den TripoSplat-Vorschaupfad, um die Motiv-Isolation und Silhouette zu validieren, bevor Sie eine vollständige Dekodierung und Exporte ausführen.
• Bevorzugen Sie SPZ für Qualität und Bearbeitbarkeit; verwenden Sie den Mesh-Zweig nur, wenn ein GLB unbedingt erforderlich ist.

Danksagungen#

Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir danken Comfy-Org für die native 3D Gaussian Splatting-Unterstützung von ComfyUI und die 3D TripoSplat Bild-zu-gaussian-splat Workflow-Vorlage, VAST AI Research und VAST AI für das TripoSplat-Modell und das Repository, und den Autoren des TripoSplat-Papiers für das Forschungspapier für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die Originaldokumentation und die unten verlinkten Repositories.

Ressourcen#

• Comfy-Org/Bringing native support for 3D Gaussian Splatting
  • Docs / Release Notes: Bringing native support for 3D Gaussian Splatting
• Comfy-Org/3d_triposplat_image_to_gaussian_splat.json
  • GitHub: Comfy-Org/workflow_templates
• VAST-AI/TripoSplat (model card)
  • GitHub: VAST-AI-Research/TripoSplat
  • Hugging Face: VAST-AI/TripoSplat
  • arXiv: arXiv:2605.16355
• VAST-AI-Research/TripoSplat (repository)
  • GitHub: VAST-AI-Research/TripoSplat
  • Hugging Face: VAST-AI/TripoSplat
  • arXiv: arXiv:2605.16355
• TripoSplat/arXiv:2605.16355
  • GitHub: VAST-AI-Research/TripoSplat
  • Hugging Face: VAST-AI/TripoSplat
  • arXiv: arXiv:2605.16355

Hinweis: Die Verwendung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen, die von ihren Autoren und Betreuern bereitgestellt werden.