Warum können wir in der Metaverse von Meta und Microsoft nicht einmal ein Paar Beine haben?

Wenn Sie Horizon Worlds, die soziale VR-Plattform von Meta, mit einem Oculus Quest 2-Headset betreten, erstellen Sie einen Avatar, der Sie repräsentiert.

Aber es sieht dir in keinster Weise ähnlich, es hat keinen Unterkörper, es schwebt durch die Luft wie der Geist von Hogwarts, und es schwebte kürzlich in einer Super-Bowl-Werbung .

Gleiches gilt für Microsoft nebenan: In seinem Metaverse-Portal Mesh for Teams verliert Ihr Avatar ebenfalls beide Beine.

Dann platzen Sie mit einer Frage heraus: Warum keine Beine?

Wie schwer ist es, Beine hinzuzufügen?

Andrew Bosworth, Vizepräsident von Reality Labs bei Meta, hat es sich zur Gewohnheit gemacht, spontan Fragen und Antworten über Instagram zu stellen, während er die XR-Abteilung des Unternehmens leitet. In einem Q&A am 10. Februar gab er zu, dass das Hinzufügen von Beinen eine schwierige Aufgabe sei.

Um Beine in VR realistisch darzustellen, muss es zunächst wissen, was die Beine in der Realität tun, und dann ableiten, was die Beine in VR tun sollen.

Der Knackpunkt hier ist, dass der Quest 2 zwar Kopf- und Handverfolgung durchführen kann und die Position Ihrer Arme und Brust schätzt, aber nicht weiß, wo sich Ihre Beine befinden.

Das Quest 2 verfügt über vier Weitwinkel-Graustufenkameras, wobei die oberen beiden nach oben und zur Seite und die unteren beiden leicht nach unten zeigen. Diese Kameras können normalerweise den Arm sehen, wenn wir nach vorne schauen, und mehr vom Körper, wenn wir sitzen oder nach unten schauen.

Aber ihre Verfolgungsreichweite war schon immer begrenzt. Manchmal können "Hindernisse" wie der Bauch die Sicht der Kamera blockieren; manchmal können diese nach unten gerichteten Kameras die Beine nicht sehen, wenn wir unseren Kopf neigen oder drehen.

Meta möchte auch den Formfaktor des Headsets verkleinern, wodurch es für die Kamera schwieriger wird, die Beine zu sehen.

Wie wäre es mit zusätzlichen Sensoren an den Beinen? Theoretisch ist es möglich, aber es gibt derzeit nur wenige kommerzielle Sensoren und Controller für die Beine.

HTC verkauft mehrere Vive VR-Headsets, die sich hauptsächlich an Geschäftsanwender richten, sowie Tracker, die an Gliedmaßen oder Gegenständen wie Tennisschlägern befestigt werden. Der Tracker ist jedoch nur mit Headsets kompatibel, die mit einem Computer verbunden sind, und benötigt eine Basisstation.

Wenn es um Basisstationen geht, kommt der Hauptgrund für "keine Beine" heraus, nämlich die Positionierungsmethode von Quest 2. Die Positionierungstechnologie von VR-Headsets kann in zwei Kategorien unterteilt werden, eine ist Outside-In und die andere Inside-Out.

Von außen nach innen müssen Positionierungspunktgeräte im Voraus platziert werden. Die Positionierungspunktgeräte emittieren Laser, Infrarotstrahlen, sichtbares Licht usw., um den Raum zwischen den Positionierungspunktgeräten abzudecken und dreidimensionale Positionsinformationen zu erstellen. Die Position und Bewegung des Trägers werden durch Triangulation bestimmt.

Quest 2 ist von innen nach außen: Es muss kein zusätzliches Positionierungsgerät aufgestellt, keine Kamera am VR-Headset installiert, das Gerät selbstständig Veränderungen in der Außenumgebung erkennen lassen und dann den SLAM-Algorithmus zur Berechnung der räumlichen Position verwenden und Bewegungsrichtung der Kamera.

Einfach ausgedrückt: Inside-Out-Positionierung erfordert keine Basisstation, was den Nutzungsraum erweitert und besser für die tägliche Unterhaltung und mobile Szenarien geeignet ist; Outside-In kann genauere und breitere Tracking-Effekte und Ganzkörper-Bewegungserfassung bieten setzt im Allgemeinen auf Outside-In-Tracking-Einstellungen.

Da die Ganzkörperverfolgung derzeit nicht verfügbar ist, hat Meta die Taille unten "abgeschnitten".

Die Positionierungsmethode hängt auch mit den Nutzungsgewohnheiten und der strategischen Ausrichtung des Unternehmens zusammen – je bequemer die Technologieentwicklung, desto besser, und den Verbrauchern ist es nicht unbedingt wichtig, welche Technologie das Unternehmen verwendet. Das Quest 2, das bei 299 US-Dollar beginnt, hinkt in Genauigkeit und Latenz hinterher, ist aber für den durchschnittlichen Benutzer freundlich genug.

Social in VR zu betreiben, war das Ziel vieler VR-Hersteller.

Meta will VR sicherlich weiter in den Massenverbrauchermarkt drängen. Eine realistischere physische Darstellung wird zwar wahrscheinlich mehr Interesse an VR wecken, könnte aber auch die Benutzererfahrung umständlicher und kostspieliger machen, zumindest kurzfristig.

Von großer Bedeutung für die Popularisierung von VR sind die sogenannten „zwei Übel“, eine niedrigere Nutzungsschwelle.

Erwähnenswert ist, dass Timoni West , Vizepräsident für Augmented und Virtual Reality bei Unity, eine Lösung vorgeschlagen hat – zuerst eine große Menge an Daten über Gehmuster sammeln und dann mit Hilfe von KI die Beine basierend auf den Kopfbewegungen vorhersagen vom Headset erkannt Ministeriumsbewegung.

Die KI ist möglicherweise nicht in der Lage, jede Aktion eines bestimmten Benutzers genau vorherzusagen, was zu unnatürlichen Aktionen führt, die von der KI reproduziert werden; die Prämisse, „eine große Menge an Laufmusterdaten zu sammeln“, ist nicht einfach. Wenn es irgendwann in der Zukunft jeder tun wird Wenn omnidirektionale Laufbänder die Beinbewegung erfassen, sind digitale Modelle der menschlichen Bewegung möglicherweise nicht mehr schwierig.

Kurz gesagt, perfektes Bein-Tracking in einem All-in-One-VR-Gerät für Verbraucher ist ohne eine Reihe von Sensoren am oder um den Körper im Grunde unmöglich, wie O'Brien, General Manager von HTC America, sagte:

Was jeder sucht, ist ein immersives Erlebnis, das schon immer ein Ganzkörpererlebnis war und in der Lage ist, jede Bewegung des Körpers mit einem All-in-One-Headset zu reproduzieren. Allerdings können wir das noch nicht.

Möchtest du tanzen?

Im September 2019 kündigte Meta genaues Hand-Tracking mit Deep Neural Networks auf der Oculus Quest an.

Wenn wir das Quest 2 tragen, können wir unsere Hände bewegen, um einige einfache Operationen auf der Menüoberfläche auszuführen, oder wir können den Controller halten , um das Quartett im Spiel zu töten.

In Horizon Worlds können schwebende „beinlose Monster“ abhängen, Freunde treffen, Zombies erschießen oder ihre eigenen Welten erschaffen.

Warum ist eine genaue Handverfolgung wichtig? Weil es eine ganze Reihe neuer Erfahrungen freischalten wird – Filme in VR mit Gesten anhalten, sich in Gesellschaftsspielen natürlicher ausdrücken, winken, raten, Hände schütteln, greifen, High Fives …

Wenn Sie dagegen keine Spiele wie Tanzen benötigen, scheint das Bein-Tracking nicht so notwendig zu sein. Auch ohne Beinverfolgung kann die Software Aktionen wie Gehen, Hocken usw. simulieren, sodass Sie „alle Bärte und Schwänze“ aussehen.

Um das Gehen in VR realistischer zu gestalten, haben einige Forscher ein Fuß-VR-Force-Feedback-Schema gestartet. Zum Beispiel umfasst die somatosensorische Empfindung beim Gehen visuelle Szenenwechsel, die Rückmeldung der Fußsohle auf dem Boden und die somatosensorische Empfindung der Bewegung der Gliedmaßen. Daher kann theoretisch durch Stimulation und Simulation dieser somatosensorischen und visuellen Effekte auch ein realistisches Geherlebnis simuliert werden.

Wem das einfach nicht gefällt, dem reicht es, eine „Beinprothese“ anzuziehen. Andrew Bosworth denkt so:

Wir können Beine für Avatare vortäuschen und Menschen volle Bilder voneinander sehen lassen, und niemand wird den Unterschied erkennen.

Natürlich gibt auch Andrew Bosworth zu, dass Beinprothesen das Erlebnis echter Beine nicht ersetzen können. Die Beinprothese lässt Ihren schwebenden Avatar in einfachen sozialen VR-Erlebnissen wie Abhängen, Chatten usw. einfach natürlicher aussehen.

Aber ohne ein Paar bewegliche Beine habe ich immer das Gefühl, dass etwas fehlt. Für ein immersiveres und realistischeres VR-Erlebnis brauchen wir immer Beine, was durch die soziale VR-Plattform VRChat repräsentiert wird.

Ein Hauptmerkmal von VRChat ist, dass die virtuellen Charaktere nicht begrenzt sind. Das den zweidimensionalen Menschen wohlbekannte MMD-Modell kann direkt in die Charaktere von VRChat umgewandelt werden, und Kirby, SpongeBob und Hatsune Miku erscheinen zusammen. Nicht nur das, sondern immer mehr VR-Tänzer führen hier Echtzeit-Tanzwettbewerbe durch, die an ihren Körpern festgeschnallt sind.

Um Ganzkörper-Tanzbewegungen in VR auszuführen, hat der südkoreanische VRChat-Tänzer Makoto eine besonders gute Mischung aus Trackern: ein HTC Vive-Headset mit drahtlosem Add-on, Index-Controller am Handgelenk und Vive-Tracker an Taille und Füßen.

VR-Enthusiasten sind bereit, für Ganzkörper-Tracking viel Geld und Aufwand zu zahlen, wodurch die Schwelle zu „echten Beinen“ noch hoch ist.

Aber auf längere Sicht bildet sich die Community um diese Events herum, die weltweit erste VR- Tanzcommunity @IDA_officialVR veranstaltete eine Reihe von Tanzwettbewerben bei VRChat, VR verbindet wirklich Menschen, die sich vielleicht nie treffen werden.

Wir erwarten immer noch, dass VR mehr unerwartete Erfahrungen bieten wird, da die Technologie besser und billiger wird.

Vielleicht lässt sich an der Frage „Why don’t have legs“ ablesen, dass die aktuelle VR-Technologie im Vergleich zu Zuckerbergs Metaversum-Konzept noch etwas weit weg ist und Horizon Worlds kein voll ausgearbeitetes Metaversum ist.

Andererseits mag es vielleicht nicht jeder, Beine zu haben, und nicht jeder möchte ein Avatar sein, der seinen Alltag widerspiegelt.

Lassen Sie zumindest in der VR-Welt, die in Zukunft jeder anfassen kann, das „schwebende beinlose Monster“ zu einer Wahl werden, nicht zu einem Bedauern.

#Willkommen beim offiziellen WeChat-Konto von Aifaner: Aifaner (WeChat: ifanr), weitere aufregende Inhalte werden Ihnen so bald wie möglich zur Verfügung gestellt.

Liebe Faner | Ursprünglicher Link · Kommentare anzeigen · Sina Weibo