Meta bringt Vincents 3D-Modell „Blockbuster“ auf den Markt und generiert 3D-Materialien in einer Sekunde

Meta Company hat offiziell ein Forschungspapier veröffentlicht, in dem ein Vincent 3D-Modellsystem namens Meta 3D Gen vorgestellt wird, das in weniger als einer Minute hochwertigere 3D-Assets aus Text generieren kann.

Technische Highlights:

• Hochgeschwindigkeitsgenerierung: 3DGen kann vorläufige 3D-Assets in nur 30 Sekunden generieren, und die anschließende Texturverfeinerungsphase dauert nur 20 Sekunden, was die Effizienz der 3D-Asset-Generierung erheblich verbessert.

• Unterstützung für Physically Based Rendering (PBR): 3DGen unterstützt PBR, was für die Reproduktion der Lichteffekte von 3D-Assets in realen Anwendungen von entscheidender Bedeutung ist.

• Hohe Wiedergabetreue: Die von professionellen 3D-Künstlern evaluierten 3D-Modelle, die von 3DGen generiert werden, übertreffen bestehende kommerzielle und nichtkommerzielle Methoden in Bezug auf Wiedergabetreue und visuelle Qualität bei komplexen Texteingaben.

Erstellen Sie realistische 3D-Modelle in nur zwei Schritten

In dem Artikel wird vorgestellt, dass Meta 3D AssetGen im Vergleich zu herkömmlichen Methoden zur Generierung von 3D-Objekten ein zweistufiges Design zur Generierung von 3D-Modellen verwendet:

insbesondere:

Die erste Stufe: Text-zu-Bild-Stufe (blauer Teil im Bild unten): Erzeugen Sie ein 3D-Netz und eine Textur basierend auf Texteingabeaufforderungen und prognostizieren Sie ein 6-Kanal-Bild, das 4 Ansichten des Objekts mit Schatten- und Albedofarben darstellt.

Die zweite Stufe: Die Stufe vom Bild zum 3D besteht aus zwei Schritten.
Zunächst gibt der 3D-Rekonstruktor (MetaILRM genannt) ein dreidimensionales SDF-Feld aus, das in ein Netz mit einem texturierten PBR-Material (der orangefarbene Teil in der Abbildung unten) umgewandelt wird.

Diese Materialien werden dann mit einem Texturverfeinerer weiter verbessert, um Details wiederherzustellen, die möglicherweise in der Eingabeansicht verloren gegangen sind (grün im Bild unten), wodurch die visuelle Qualität und die Details des Modells verbessert werden.

Mehrere Indizes zur Quantifizierung von Materialien und Licht

Was die technische Umsetzung betrifft, verwendet Meta 3D AssetGen VolSDF-Formeln mit unterschiedlichen Hyperparametern, um SDF-Werte zu rendern und die Deckkraft von 3D-Punkten zu erhalten.

Während des Trainings wird das Modell durch Minimierung von Multiview-Rendering-Verlusten optimiert. Da jedoch ein physikalisch genaues Rendering sehr teuer ist, umgehen wir die komplexe Rendering-Gleichung, indem wir direkt die ursprünglichen PBR-Felder verwenden, um die vorhergesagten Gegenstücke zu überwachen.

Diese Art von PBR bezieht sich auf „Physically-Based Rendering“, also physikalisch basierte Rendering.

Es simuliert das physikalische Verhalten von Licht auf der Oberfläche eines Objekts und berücksichtigt dabei den Einfluss von Beleuchtung, Materialeigenschaften und Umgebungsfaktoren auf das Erscheinungsbild des Objekts. Es kann die Reflexion, Streuung und Streuung von Licht basierend auf verschiedenen Eigenschaften berechnen der Objektoberfläche, wie z. B. Rauheit, metallische Haptik usw. absorbieren. Um realistischere und genauere Rendering-Effekte zu erzielen.

In Meta 3D AssetGen werden PBR-Materialien verwendet, um den Realismus von 3D-Modellen zu verbessern. Konkret weist das PBR-Material die folgenden Schlüsseleigenschaften auf:

• Albedo: bezieht sich auf die Farbe und Helligkeit der Oberfläche eines Objekts, die das Aussehen des Objekts unter verschiedenen Lichtbedingungen bestimmt.
• Metallgehalt: Gibt den Metallgehalt auf der Oberfläche eines Objekts an. Objekte mit einem starken metallischen Eindruck haben einen deutlicheren metallischen Glanz.
• Rauheit (Rauheit): beschreibt die Glätte der Oberfläche eines Objekts und beeinflusst den Bereich der Lichtstreuung auf der Oberfläche. Je höher die Rauheit, desto breiter die Lichtstreuung und desto weicher das Glanzlicht.

PBR-Materialien integrieren tatsächlich KI-generierte 3D-Inhalte und stellen einen großen Fortschritt dar. Es wird als möglich angesehen, das seit langem bestehende Problem zwischen KI-generierten Inhalten und professionellen 3D-Workflows zu überbrücken und so KI-erstellte Materialien nahtlos in bestehende Workflows zu integrieren Es ist möglich, die Erstellung virtueller Umgebungen und digitaler Zwillinge branchenübergreifend zu beschleunigen.

Die Forscher stellten außerdem eine Meta 3D TextureGen-Technologie vor, die aus einem kontinuierlichen Netzwerk besteht, das Textgenerierungsmodelle mit 3D-semantischen Bedingungen im 2D-Raum kombiniert, um sie in kurzer Zeit zu einer vollständigen und hochauflösenden UV-Texturkarte zu generieren für komplexe Geometrien.

Im experimentellen Teil verwendeten die Forscher einen Datensatz aus 140.000 Netzen verschiedener semantischer Kategorien, die von 3D-Künstlern für das Training erstellt wurden. Es wurde außerdem eine umfangreiche Benutzerforschung durchgeführt, in der Meta 3D AssetGen mit anderen PBR-fähigen Text-zu-3D-Methoden in der Branche verglichen wurde. Dabei zeigte sich, dass Meta 3D AssetGen erhebliche Vorteile in Bezug auf visuelle Qualität und Materialkontrolle bietet:

AssetGen erreicht eine Verbesserung des Fasenabstands um 17 %, eine Verbesserung der LPIPS um 40 % und ist im Vergleich zu branchenführenden Mitbewerbern bei vergleichbaren Geschwindigkeiten äußerst benutzerfreundlich, einschließlich solcher mit PBR-Unterstützung. Von 72 %.

Chris McKay, Gründer und Chefredakteur von Maginative, kommentierte:

Die Einsatzmöglichkeiten dieser Technologie sind enorm. Spieleentwickler können mit 3D Gen schnell Prototypen von Umgebungen und Charakteren erstellen und so den Entwicklungsprozess erheblich beschleunigen. Architekturvisualisierungsunternehmen können aus Textbeschreibungen detaillierte 3D-Modelle von Gebäuden und Innenräumen erstellen und so den Entwurfsprozess rationalisieren. Im Bereich der virtuellen und erweiterten Realität ermöglicht 3D Gen die schnelle Erstellung immersiver Umgebungen und Objekte und beschleunigt möglicherweise die Entwicklung von Metaverse-Anwendungen.

Offensichtlich bietet die neue Technologie von Meta die Möglichkeit zur realistischen Darstellung von 3D-Modellen unter verschiedenen Lichtbedingungen. Sie hat großes Potenzial in den Bereichen 3D-Grafik, Animation, Spiele und AR/VR und wird große Auswirkungen auf Spiele, Film und Fernsehen haben sogar Produktentwicklungshilfe.

Dies könnte der erste Schritt zu einer anderen Ebene der Weltmodellierung sein.

# Willkommen beim offiziellen öffentlichen WeChat-Konto von Aifaner: Aifaner (WeChat-ID: ifanr) wird Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner |. Ursprünglicher Link · Kommentare anzeigen · Sina Weibo