Warum können wir nicht einmal ein Paar Beine im Metaversum von Meta und Microsoft haben?

Wenn Sie Horizon Worlds, die soziale VR-Plattform von Meta, mit einem Oculus Quest 2-Headset betreten, erstellen Sie einen Avatar, der Sie repräsentiert.

Aber es sieht dir in keinster Weise ähnlich, es hat keinen Unterkörper, es schwebt durch die Luft wie der Geist von Hogwarts, und es schwebte kürzlich in einer Super-Bowl-Werbung .

Gleiches gilt für Microsoft nebenan: In seinem Metaverse-Portal Mesh for Teams verliert Ihr Avatar ebenfalls beide Beine.

Dann platzen Sie mit einer Frage heraus: Warum keine Beine?

Wie schwer ist es, Beine hinzuzufügen?

Andrew Bosworth, Vizepräsident von Reality Labs bei Meta, hat es sich zur Gewohnheit gemacht, spontan Fragen und Antworten über Instagram zu stellen, während er die XR-Abteilung des Unternehmens leitet. In einem Q&A am 10. Februar gab er zu, dass das Hinzufügen von Beinen eine schwierige Aufgabe sei.

Um Beine in VR realistisch darzustellen, muss es zunächst wissen, was die Beine in der Realität tun, und dann ableiten, was die Beine in VR tun sollen.

Der springende Punkt dabei ist, dass der Quest 2 zwar Kopf- und Handverfolgung durchführen und die Position Ihrer Arme und Brust schätzen kann, aber nicht weiß, wo sich Ihre Beine befinden.

Das Quest 2 verfügt über vier Weitwinkel-Graustufenkameras, wobei die oberen beiden nach oben und zur Seite und die unteren beiden leicht nach unten zeigen. Wenn wir nach vorne schauen, können diese Kameras normalerweise den Arm sehen, und wenn wir uns hinsetzen oder nach unten schauen, kann die Kamera mehr vom Körper sehen.

Aber ihre Verfolgungsreichweite war schon immer begrenzt. Manchmal können "Hindernisse" wie der Bauch die Sicht der Kamera blockieren; manchmal können diese nach unten gerichteten Kameras die Beine nicht sehen, wenn wir unseren Kopf neigen oder drehen.

Meta möchte auch den Formfaktor des Headsets verkleinern, wodurch es für die Kamera schwieriger wird, die Beine zu sehen.

Wie wäre es mit zusätzlichen Sensoren an den Beinen? Es ist theoretisch möglich, aber es gibt nur wenige kommerziell erhältliche Sensoren und Controller für die Beine.

HTC verkauft mehrere Vive VR-Headsets, die sich hauptsächlich an Geschäftsanwender richten, sowie Tracker, die an Gliedmaßen oder Gegenständen wie Tennisschlägern befestigt werden. Der Tracker ist jedoch nur mit Headsets kompatibel, die mit einem Computer verbunden sind, und benötigt eine Basisstation.

Wenn es um Basisstationen geht, kommt der Hauptgrund für "keine Beine" heraus, nämlich die Positionierungsmethode von Quest 2. Die Positionierungstechnologie von VR-Headsets kann in zwei Kategorien unterteilt werden, eine ist Outside-In und die andere Inside-Out.

Von außen nach innen müssen Positionierungspunktgeräte im Voraus platziert werden. Die Positionierungspunktgeräte emittieren Laser, Infrarotstrahlen, sichtbares Licht usw., um den Raum zwischen den Positionierungspunktgeräten abzudecken und dreidimensionale Positionsinformationen zu erstellen. Die Position und Bewegung des Trägers werden durch Triangulation bestimmt.

Quest 2 ist von innen nach außen, es müssen keine zusätzlichen Positionierungsgeräte eingerichtet, keine Kamera am VR-Headset installiert, das Gerät Änderungen in der äußeren Umgebung selbst erkennen und dann den SLAM-Algorithmus verwenden, um die räumliche Position zu berechnen und Bewegungsrichtung der Kamera.

Einfach ausgedrückt: Inside-Out-Positionierung erfordert keine Basisstation, was den Nutzungsraum erweitert und besser für die tägliche Unterhaltung und mobile Szenarien geeignet ist; Outside-In kann genauere und breitere Tracking-Effekte und Ganzkörper-Bewegungserfassung bieten setzt im Allgemeinen auf Outside-In-Tracking-Einstellungen.

Da die Ganzkörperverfolgung derzeit nicht verfügbar ist, hat Meta die Taille unten "abgeschnitten".

Die Positionierungsmethode hängt auch mit den Nutzungsgewohnheiten und der strategischen Ausrichtung des Unternehmens zusammen – je bequemer die Technologieentwicklung, desto besser, und den Verbrauchern ist es nicht unbedingt wichtig, welche Technologie das Unternehmen verwendet. Das Quest 2, das bei 299 US-Dollar beginnt, hinkt in Genauigkeit und Latenz hinterher, ist aber für den durchschnittlichen Benutzer freundlich genug.

Social in VR zu betreiben, war das Ziel vieler VR-Hersteller.

Meta will VR sicherlich weiter in den Massenverbrauchermarkt drängen. Eine realistischere physische Darstellung wird zwar wahrscheinlich mehr Interesse an VR wecken, könnte aber auch die Benutzererfahrung umständlicher und kostspieliger machen, zumindest kurzfristig.

Das sogenannte „kleinere von zwei Übeln“, eine niedrigere Nutzungsschwelle, ist von großer Bedeutung für die Popularisierung von VR.

Erwähnenswert ist, dass Timoni West , Vizepräsident für Augmented und Virtual Reality bei Unity, eine Lösung vorgeschlagen hat – zuerst eine große Menge an Daten über Gehmuster sammeln und dann mit Hilfe von KI die Beine basierend auf den Kopfbewegungen vorhersagen vom Headset erkannt Ministeriumsbewegung.

Die KI ist möglicherweise nicht in der Lage, jede Aktion eines bestimmten Benutzers genau vorherzusagen, was zu unnatürlichen Aktionen führt, die von der KI reproduziert werden; die Prämisse, „eine große Menge an Laufmusterdaten zu sammeln“, ist nicht einfach. Wenn es irgendwann in der Zukunft jeder tun wird Wenn omnidirektionale Laufbänder die Beinbewegung erfassen, sind digitale Modelle der menschlichen Bewegung möglicherweise nicht mehr schwierig.

Kurz gesagt, perfektes Bein-Tracking in einem All-in-One-VR-Gerät für Verbraucher ist ohne eine Reihe von Sensoren am oder um den Körper im Grunde unmöglich, wie O'Brien, General Manager von HTC America, sagte:

Was jeder sucht, ist ein immersives Erlebnis, das immer vollständig eingetaucht ist und in der Lage ist, jede Bewegung des Körpers mit einem All-in-One-Headset zu reproduzieren. Allerdings können wir das noch nicht.

Möchtest du tanzen?

Im September 2019 kündigte Meta genaues Hand-Tracking mit Deep Neural Networks auf der Oculus Quest an.

Wenn wir das Quest 2 tragen, können wir unsere Hände bewegen, um einige einfache Operationen auf der Menüoberfläche auszuführen, oder wir können den Griff halten , um das Quartett im Spiel zu töten.

In Horizon Worlds können schwebende „beinlose Monster“ abhängen, Freunde treffen, Zombies erschießen oder ihre eigenen Welten erschaffen.

Warum ist eine genaue Handverfolgung wichtig? Weil es eine ganze Reihe neuer Erfahrungen freischalten wird – Filme in VR mit Gesten anhalten, sich in Gesellschaftsspielen natürlicher ausdrücken, winken, raten, Hände schütteln, greifen, High Fives …

Wenn Sie dagegen keine Spiele wie Tanzen benötigen, scheint das Bein-Tracking nicht so notwendig zu sein. Auch ohne Beinverfolgung kann die Software Aktionen wie Gehen, Hocken usw. simulieren, sodass Sie „alle Bärte und Schwänze“ aussehen.

Um das Gehen in VR realistischer zu machen, haben einige Forscher ein Fuß-VR-Force-Feedback-Schema eingeführt . Beispielsweise umfasst die somatosensorische Empfindung beim Gehen Änderungen in der visuellen Szene, die Rückmeldung der Fußsohle auf dem Boden und die somatosensorische Empfindung der Bewegung der Gliedmaßen. Daher kann theoretisch durch Stimulation und Simulation dieser somatosensorischen und visuellen Effekte auch ein realistisches Geherlebnis simuliert werden.

Wem das einfach nicht gefällt, dem reicht es, eine „Beinprothese“ anzuziehen. Andrew Bosworth denkt so:

Wir können Beine für Avatare vortäuschen und Menschen volle Bilder voneinander sehen lassen, und niemand wird den Unterschied erkennen.

Natürlich gibt auch Andrew Bosworth zu, dass Beinprothesen das Erlebnis echter Beine nicht ersetzen können. Die Beinprothese lässt Ihren schwebenden Avatar in einfachen sozialen VR-Erlebnissen wie Abhängen, Chatten usw. einfach natürlicher aussehen.

Aber ohne ein Paar bewegliche Beine habe ich immer das Gefühl, dass etwas fehlt. Für ein immersiveres und realistischeres VR-Erlebnis brauchen wir immer Beine, was durch die soziale VR-Plattform VRChat repräsentiert wird.

Ein Hauptmerkmal von VRChat ist, dass die virtuellen Charaktere nicht begrenzt sind. Das den zweidimensionalen Menschen wohlbekannte MMD-Modell kann direkt in die Charaktere von VRChat umgewandelt werden, und Kirby, SpongeBob und Hatsune Miku erscheinen zusammen. Nicht nur das, sondern immer mehr VR-Tänzer treten hier in Echtzeit-Tanzwettbewerben mit an ihren Körpern befestigten Bewegungstrackern an.

Um Ganzkörper-Tanzbewegungen in VR auszuführen, hat der südkoreanische VRChat-Tänzer Makoto eine besonders gute Mischung aus Trackern: ein HTC Vive-Headset mit drahtlosem Add-on, Index-Controller am Handgelenk und Vive-Tracker für Taille und Füße.

VR-Enthusiasten sind bereit, für Ganzkörper-Tracking viel Geld und Energie auszugeben, wodurch die Schwelle zu „echten Beinen“ noch hoch ist.

Aber längerfristig wird die Community um diese Ereignisse herum gebildet, die weltweit erste VR-Tanz-Community @IDA_officialVR veranstaltete eine Reihe von Tanzwettbewerben in VRChat, VR verbindet wirklich Menschen, die sich vielleicht nie treffen werden.

Wir erwarten immer noch, dass VR mehr unerwartete Erfahrungen bieten wird, da die Technologie besser und billiger wird.

Vielleicht lässt sich an der Frage „Warum keine Beine haben“ erkennen, dass die aktuelle VR-Technologie im Vergleich zu Zuckerbergs Metaversum-Konzept noch ein gutes Stück entfernt ist und Horizon Worlds kein vollständig ausgearbeitetes Metaversum ist.

Andererseits mag es vielleicht nicht jeder, Beine zu haben, und nicht jeder möchte ein Avatar sein, der seinen Alltag widerspiegelt.

Lassen Sie zumindest in der VR-Welt, die in Zukunft jeder anfassen kann, das „schwebende beinlose Monster“ zu einer Wahl werden, nicht zu einem Bedauern.

#Willkommen beim offiziellen WeChat-Konto von Aifaner: Aifaner (WeChat: ifanr), weitere aufregende Inhalte werden Ihnen so bald wie möglich zur Verfügung gestellt.

Liebe Faner | Ursprünglicher Link · Kommentare anzeigen · Sina Weibo