Pixal3D & TRELLIS.2 | Schnelles Bild-zu-3D

Pixal3D & TRELLIS.2 ComfyUI Workflow: Einzelbild zu texturiertem 3D GLB#

Dieses Pixal3D & TRELLIS.2 ComfyUI Workflow verwandelt ein einzelnes Produkt- oder Objektfoto in ein sauberes, texturiertes 3D-Asset mit einem vorschaubaren GLB. Der Standardpfad führt Pixal3D aus und ein eingebauter Schalter zeigt den TRELLIS.2 Zweig an, sodass Sie die Ergebnisse vergleichen können, ohne das Diagramm neu zu erstellen. Geteilte DINOv3-Konditionierung, MoGe-Kamera-Schätzung, Hintergrundentfernung, UV-Unwrapping und PBR-Texturbaking helfen, spielbereite Meshes und Texturkarten zu erstellen. Es ist ein praktischer Ausgangspunkt für Künstler, Spielprototypen und Produktteams, die schnelle, wiederholbare Bild-zu-3D-Ergebnisse innerhalb von ComfyUI benötigen.

Die Ausgaben umfassen eine schnelle Vertex-Color-Vorschau GLB für schnelle Überprüfungen und eine endgültige PBR-texturierte GLB mit Basisfarbe, Metall, Rauheit, Umgebungsokklusion und Normalunterstützung. Inline-Vorschauen ermöglichen die Validierung von UVs, Texturkanälen und Lichtverhalten vor dem Export.

Wichtige Modelle im Comfyui Pixal3D & TRELLIS.2 ComfyUI Workflow#

• Pixal3D (Comfy-Org) – Einzelbild 3D-Diffusions-Backbone, das Objektform und Textur aus einer Ansicht vorhersagt. Model card
• TRELLIS.2 (Comfy-Org) – Zweistufige Form- und Texturarchitektur, die die geometrische Konsistenz und Texturtreue verbessert. Model card
• DINOv3-L Vision Encoder – Merkmalextraktor, der verwendet wird, um sowohl Pixal3D als auch TRELLIS.2 auf Ihr Eingabebild zu konditionieren. (Gewichte innerhalb von Pixal3D-Assets gehostet.) Repository
• MoGe 2 (Monocular Geometry Estimation, ViT-L) – Sagt grobe Geometrie und Kamerasichtfeld voraus, das zur Stabilisierung der nachgelagerten Rekonstruktion verwendet wird. Model card
• BiRefNet – Netzwerk zur Hintergrundentfernung, das verwendet wird, um das Vordergrundobjekt zu isolieren und den Beschnitt zu straffen. Model card
• TRELLIS.2 VAEs (Shape VAE und Texture VAE) – Dekoder für Form- und Texturlatents, die in beiden Zweigen verwendet werden. Repository

Verwendung des Comfyui Pixal3D & TRELLIS.2 ComfyUI Workflow#

Der Workflow verläuft von links nach rechts: Bildvorverarbeitung und Konditionierung, spärliche Struktur, Formverfeinerung, Texturerzeugung, UVs und Baking, dann Export. Ein einzelner Schalter wechselt das Modell und seine Konditionierung zwischen Pixal3D und TRELLIS.2, während der Rest der Pipeline identisch bleibt.

Laden Sie hier das Eingabebild hoch#

Laden Sie ein gut beleuchtetes Foto eines einzelnen Objekts vor einem sauberen Hintergrund hoch. Quadratische Zuschnitte funktionieren gut, aber das Diagramm wird automatisch um das Motiv zuschneiden, wenn die Hintergrundentfernung aktiv ist. Die PreviewImage-Knoten zeigen genau, was die nachgelagerten Stufen sehen werden, was hilft, Rahmenprobleme frühzeitig zu erkennen.

Hintergrund entfernen#

Die Trennung des Vordergrunds verwendet BiRefNet, damit sich das Modell auf die Silhouette des Objekts und nicht auf die Szene konzentriert. Verwenden Sie Switch: Remove background (#248), um das Matting je nach Ihrem Bild zu aktivieren oder zu umgehen. Die resultierende Maske wird zur schnellen Überprüfung vorgeschaut und treibt auch den Beschnitt an.

Bildvorverarbeitung#

ImageCropToMask zentriert und polstert das Objekt basierend auf der Maske, sodass das Motiv den Rahmen ausfüllt, ohne abgeschnitten zu werden. Dies verbessert die Merkmalserfassung für die Konditionierung und hilft der Geometrieschätzung, auf die richtige Skala zu konvergieren. Eine Vorschau bestätigt den endgültigen Eingang, der die 3D-Modellzweige erreicht.

Kamerasichtfeld erhalten#

MoGe schätzt monokulare Tiefenhinweise und wandelt sie in ein Kamerasichtfeld um, das die Rekonstruktion stabilisiert. MoGeInference (#56) läuft auf dem vorverarbeiteten Bild, dann speist MoGeGeometryToFOV den Kamerawinkel zurück in die Konditionierung. Der Pixal3D-Zweig verwendet dieses Signal direkt, während der TRELLIS.2-Zweig auf Bildmerkmale von DINOv3 angewiesen ist.

Konditionierung#

Sowohl Pixal3DConditioning als auch Trellis2Conditioning transformieren DINOv3-L-Merkmale in positive und negative Konditionierung für die Diffusionssampler. Sie müssen hier nichts einstellen bei typischer Verwendung. Der Workflow leitet automatisch die richtige Konditionierung zum aktiven Modellzweig.

Modell hier wechseln#

Stellen Sie Boolean (Switch to Trellis2) (#316) ein, um den aktiven Zweig auszuwählen. Der Schalter treibt ComfySwitchNode (#318) für das UNet-Modell und ComfySwitchNode (#314 und #315) für die entsprechenden positiven und negativen Konditionierungen an. Beginnen Sie mit Pixal3D für Geschwindigkeit und wechseln Sie dann zu TRELLIS.2, wenn Sie stärkere geometrische Konsistenz oder Texturdetails wünschen.

Spärliche Strukturerzeugung#

Diese Stufe erstellt ein grobes Voxelgerüst des Objekts. KSampler (#3) läuft auf einer leeren latenten Struktur, die nur durch Ihre Bildkonditionierung geführt wird. VaeDecodeStructureTrellis2 (#119) wandelt das Latente in ein niedrig aufgelöstes Voxelgitter um, das sofort in ein grobes Mesh für eine frühe 3D-Vorschau umgewandelt wird. Verwenden Sie diesen Durchgang, um die gesamte Silhouette zu bestätigen, bevor Sie tiefergehende Proben nehmen.

Formerzeugung#

Trellis2ShapeStage (#91) injiziert formbewusste Führung, dann verdichtet ein gezielter KSampler (#18) die Struktur. Trellis2UpsampleStage (#94) steigert die räumliche Auflösung, um feinere Details zu erfassen, ohne die etablierte Form zu verlieren. VaeDecodeShapeTrellis (#92) liefert das erste wasserdichte Mesh sowie die Formunterteilungen, die das spätere Texturdecoding an die Geometrie anpassen.

Texturerzeugung#

Diese Stufe konditioniert Textur auf der finalisierten Form, um zu vermeiden, außerhalb der Oberfläche zu malen. Trellis2TextureStage (#98) bereitet Texturlatents basierend auf der hochskalierten Form und Konditionierung vor. Ein abschließender KSampler (#12) löst das Texturlatent, und VaeDecodeTextureTrellis (#93) wandelt es in pro-Voxel-Farben um, die der dekodierten Formtopologie entsprechen.

Mesh-Nachbearbeitung#

Vor den UVs wird das Mesh gereinigt und für Baking und Echtzeiteinsatz in der Größe angepasst. RemeshMesh und DecimateMesh regulieren die Topologie und reduzieren die Flächen, während Merkmale erhalten bleiben. MeshSmoothNormals verbessert die Kontinuität der Schattierung. GetMeshInfo hilft, die richtigen High-Poly- und Low-Poly-Versionen zu den Baking-Knoten zu leiten.

Texturbaking#

UnwrapMesh generiert ein UV-Layout in der von Ihnen gewählten Kartengröße, gesteuert durch das Texture Resolution Integer-Widget. BakeTextureFromVoxel (#147) wandelt Voxel-Farben in Basisfarbe, Metall und Rauheitstexturen im UV-Raum um. BakeAmbientOcclusion (#233) und BakeNormalMapFromMesh (#224) backen Okklusions- und Normalmaps von High-Poly zu Low-Poly für physikalisch basiertes Shading. ApplyTextureToMesh (#210) montiert das PBR-Set auf das Mesh, und MeshSmoothNormals plus Exportknoten schreiben das endgültige GLB. Verwenden Sie die enthaltenen Vorschauen für UVs, Basisfarbe, Metall, Rauheit, AO und Normals, um Ergebnisse vor dem Speichern zu validieren.

Vertex-Farbvorschau#

Für schnelle Iterationen wendet PaintMesh (#252) Voxel-Farben direkt auf das Mesh an, ohne UVs und Baking, und erzeugt ein leichtes Vorschau-GLB. Dieser Pfad ist ideal, um die Abdeckung der Ansicht, die Materialtrennung und das Gesamtbild schnell zu bewerten, bevor Sie sich für ein vollständiges PBR-Baking entscheiden. Verwenden Sie es, um Probleme frühzeitig zu erkennen, und kehren Sie dann zum Baking-Zweig für endgültige Texturen zurück.

Wichtige Knoten im Comfyui Pixal3D & TRELLIS.2 ComfyUI Workflow#

• Boolean (Switch to Trellis2) (#316) Steuert, ob das Diagramm Pixal3D oder TRELLIS.2 ausführt. Verwenden Sie Pixal3D für schnelle Entwürfe und wechseln Sie dann zu TRELLIS.2, wenn Sie die zweistufige Form- und Textur-Pipeline verwenden möchten, die in der Modellkarte beschrieben wird. TRELLIS.2 Pixal3D
• ComfySwitchNode (#318) Leitet das ausgewählte UNet in alle nachgelagerten Sampler, sodass der Zweigwechsel global und konsistent ist. Kombinieren Sie es mit den Konditionierungsschaltern (ComfySwitchNode (#314) und ComfySwitchNode (#315)), um die Eingabeaufforderungen mit dem gewählten Backbone abgestimmt zu halten.
• Trellis2ShapeStage (#91) Fügt geometriespezifische Führung vor dem dichten Sampling hinzu, was hilft, Proportionen und Silhouette zu stabilisieren. Nützlich, wenn Eingaben komplexe Umrisse oder feine Strukturdetails haben. TRELLIS.2
• Trellis2UpsampleStage (#94) Erhöht die latente räumliche Auflösung für Formen, ohne Rauschen wieder einzuführen. Passen Sie es nur an, wenn Sie merklich feinere Mesh-Details benötigen oder Geschwindigkeit und Treue ausbalancieren möchten. TRELLIS.2
• Trellis2TextureStage (#98) Konditioniert Textur auf der finalisierten Form, sodass PBR-Karten an Oberflächen halten. Die Abstimmung hier beeinflusst, wie stark Textur der Geometrie im Vergleich zu Erscheinungshinweisen folgt. TRELLIS.2
• UnwrapMesh (#196) Generiert ein UV-Atlas, das von allen nachfolgenden Bakes verwendet wird. Koordinieren Sie seine Auflösung mit der Texture Resolution-Steuerung, um die Zielkartengröße für Basisfarbe, Metall, Rauheit, AO und Normal festzulegen.
• BakeTextureFromVoxel (#147) Wandelt Voxel-Farben in UV-Texturen um und richtet sie an einem Referenzmesh vom Form-Dekoder aus, um Details zu erhalten. Erhöhen Sie die Texturgröße, wenn Sie Farbverläufe oder den Verlust kleiner Markierungen sehen.
• ApplyTextureToMesh (#210) Kombiniert Basisfarbe, Metall, Rauheit, Okklusion und Normal in ein endgültiges PBR-bereites Mesh. Verwenden Sie die enthaltenen Vorschauen, um jeden Kanal vor dem Export zu überprüfen.
• MoGeInference (#56) Schätzt Geometrie und Kamerasichtfeld, das die Rekonstruktionsstabilität verbessert, insbesondere für schmale oder weite Linsen. Lassen Sie dies für die meisten Eingaben aktiviert, um Maßstabsdrift zu vermeiden. MoGe
• RemoveBackground (#192) und Switch: Remove background (#248) Optionale Vordergrundmatting, die von BiRefNet angetrieben wird. Aktivieren Sie es, wenn geschäftige Szenen oder Schatten die Rekonstruktion verwirren. BiRefNet
• Save3DAdvanced (#322) Schreibt das endgültige GLB und lässt Sie ein Dateinamenpräfix und eine Vorschaukamera festlegen. Verwenden Sie es am Ende des PBR-Zweigs, sobald alle Texturprüfungen korrekt aussehen.

Optionale Extras#

• Streben Sie für die besten Ergebnisse des Pixal3D & TRELLIS.2 ComfyUI Workflows nach einem einzelnen, zentrierten Objekt mit minimaler Verdeckung und gutem Kantenkontrast.
• Wenn Hintergründe unordentlich sind, aktivieren Sie den Hintergrundentfernungsschalter, um die Silhouette-Qualität und die UV-Packungseffizienz zu verbessern.
• Iterieren Sie schnell mit der Vertex-Farbvorschau GLB und führen Sie dann den vollständigen Baking-Zweig aus, wenn die Form und Materialtrennung richtig aussehen.
• Erhöhen Sie die Texture Resolution, wenn Sie Helden-Assets oder Makroaufnahmen exportieren. Halten Sie sie bescheiden für schnelle Requisiten oder mobile Ziele.
• Verwenden Sie die UV-Atlas-Vorschau, um Dehnungen oder Überlappungen vor dem Backen von Normalen und Okklusion zu erkennen.
• Bevorzugen Sie 3/4- oder frontale Ansichten anstelle extremer Perspektiven für vollständigere Rekonstruktionen.

Danksagungen#

Dieser Workflow implementiert und baut auf den folgenden Arbeiten und Ressourcen auf. Wir bedanken uns herzlich bei Comfy.org für die Source-Workflow-Vorlage, Comfy-Org für die Pixal3D- und TRELLIS.2-Modellgewichte und Comfy-Org für die MoGe- und BiRefNet-Modellgewichte für ihre Beiträge und Wartung. Für autoritative Details verweisen wir auf die originale Dokumentation und die unten verlinkten Repositories.

Ressourcen#

• Comfy.org/Source Workflow-Vorlage
  • Docs / Release Notes: comfy.org/workflows/920c795f693a-920c795f693a
• Comfy-Org/Pixal3D
  • Hugging Face: Comfy-Org/Pixal3D
• Comfy-Org/TRELLIS.2
  • Hugging Face: Comfy-Org/TRELLIS.2
• Comfy-Org/MoGe
  • Hugging Face: Comfy-Org/MoGe
• Comfy-Org/BiRefNet
  • Hugging Face: Comfy-Org/BiRefNet

Hinweis: Die Nutzung der referenzierten Modelle, Datensätze und Codes unterliegt den jeweiligen Lizenzen und Bedingungen der Autoren und Verwalter.