Die leistungsstärksten AR-Brillen sind da! Metas zehnjähriges streng geheimes Projekt: Ihr nächstes Mobiltelefon könnte eine Brille sein

Wie werden Brillen in Zukunft aussehen? Ich weiß nicht, wie viele Menschen sich das vorgestellt haben.

Es hat ungefähr die gleiche Größe wie jetzt. Beim Navigieren wird das dynamische Bild des Gesprächspartners in der Luft angezeigt. Auf jeden Fall ist es ähnlich zu denen, die Vegeta und Iron Man tragen.

Meta hat heute früh Orion herausgebracht, die erste AR-Datenbrille, die uns diesem idealen Produkt ein Stück näher bringt. Obwohl AR-Brillen in den letzten Jahren reihenweise auf den Markt kamen, sind auch die Gemeinsamkeiten offensichtlich: Entweder haben sie eine einzige Funktion und sind nur ein mobiler Projektor, oder sie sind sperrig und teuer und für den Massenmarkt völlig ungeeignet.

Das im Vergleich zu früheren Produkten weniger wuchtige Erscheinungsbild und die integrierten AR-Funktionen von Meta Orion haben erneut allen Hoffnung auf die Implementierung von AR-Brillen gemacht.

Darüber hinaus ist Meta Connect 2024 ein wichtiger Knotenpunkt zum zehnjährigen Jubiläum der Konferenz. Zuckerberg brachte auch weitere neue Gadgets mit:

• Die Datenbrille Meta Orion feiert ein atemberaubendes Debüt und ist branchenführend im Bereich AR-Erlebnisse.
• Die am Kopf montierte MR-Brille Meta Quest 3S erscheint. Die „Youth Edition“ von Quest 3 ist nicht neu, aber günstiger;
• Meta AI wird weiterhin aktualisiert, um der am Kopf montierten Display-Hardware zu einem besseren Benutzererlebnis zu verhelfen.
• Die neuen KI-Funktionen von Meta Ray-Ban: Echtzeitübersetzung, personalisierte Outfitvorschläge und können Ihnen auch dabei helfen, sich Parkplätze zu merken
• Metas erstes Open-Source-Großmodell Llama 3.2 mit multimodalen Funktionen wird vorgestellt.

KI + Hardware ist dieses Jahr ein unvermeidliches Thema für alle Produkte der Unterhaltungselektronik. Wie kombiniert Meta also seine eigenen großen Modelle mit neuer Hardware? Wie sieht die mit Spannung erwartete Datenbrille Meta Orion aus? Werfen wir einen Blick darauf.

Metas erste AR-Brille feiert ein atemberaubendes Debüt, ein Produkt von morgen, das zehn Jahre brauchen wird, um „all-in“ zu sein

Nach Ansicht von Zuckerberg sollten Brillen das beste „futuristische“ Gerät sein.

Zuvor konnte die Co-Branding-Brille Ray-Ban Meta, die in den Massenmarkt eingestiegen war und gute Ergebnisse erzielte, die Marktakzeptanz von Datenbrillen erfolgreich verifizieren.

Man kann jedoch nur sagen, dass dieses Produkt Metas Ziel zur Hälfte erreicht hat: Ray-Ban Meta bietet hauptsächlich Audio-, Foto- und einige KI-Funktionen. Einfach ausgedrückt ist es immer noch ein traditionelles Gerät, das am Auge getragen wird.

Das vollständige Produkt, das Zuckerberg als „tadellos“ bezeichnet, ist Metas erste AR-Datenbrille Orion. Nach zehn Jahren geheimer Entwicklung und Milliardeninvestitionen wurde sie heute endlich aus der Geheimhaltung genommen. Das wahre Gesicht von Lushan wurde enthüllt.

Der erste Eindruck dieser Brille ist natürlich, dass das Erscheinungsbild einer gewöhnlichen Sonnenbrille sehr nahe kommt, was sofort einen großen Abstand zwischen ihnen und den bestehenden „großen und rauen“ Konkurrenzprodukten auf dem Markt schafft.

Denn eine Brille muss auch gut aussehen.

Das liegt natürlich auch daran, dass Meta sich nicht dafür entschieden hat, alle Komponenten in einer Brillenform zu integrieren. Meta Orion besteht aus drei Teilen: dem Brillenkörper, einem Hand-Tracking-Armband und einem „Computermodul“ in der Größe einer Fernbedienung. Die drei sind drahtlos verbunden.

Diese „geteilte“ Lösung, gepaart mit dem leichteren Magnesiummaterial, das im Körper verwendet wird, ermöglicht es dem Orion-Brillenkörper, ein erstaunliches Gewicht von 98 Gramm zu erreichen. Zum Vergleich: Snaps neue AR-Brille Spectacles, die letzte Woche veröffentlicht wurde, wiegt 226 Gramm.

Noch beeindruckender ist, dass die Orion, die ein dünnes und leichtes Gehäuse hat, eine Akkulaufzeit von etwa 2 Stunden erreichen kann, während die dickeren und schwereren Spectacles nur 45 Minuten durchhalten können.

Bei den AR-Projektionsfähigkeiten, die den Kern von Brillen bilden, hat Orion in vielerlei Hinsicht „weit vorne“ gelegen.

Bei der Linse von Orion handelt es sich nicht um eine Glasanzeige, sondern um eine Siliziumkarbidlinse. Der Miniaturprojektor auf dem Rahmen sendet Licht in einen Wellenleiter aus, und der Wellenleiter wird auf die Linse projiziert, wodurch AR-virtuelle Inhalte (Zhao) mit unterschiedlichen Tiefen und Größen angezeigt werden nennt es das „Panorama“).

Laut Tests von The Verge verfügt Meta Orion über ein Sichtfeld von bis zu 70 Grad und ist damit möglicherweise die AR-Brille mit dem breitesten Sichtfeld der Branche.

Den vorhandenen Demonstrationsvideos zufolge können Benutzer eine Brille tragen, um mehrere Fenster der Meta Horizon App für Multitasking zu öffnen, oder Meta AI verwenden, um Dinge in der realen Welt zu identifizieren und zu kennzeichnen.

Selbst wenn sich die Perspektive des Benutzers von diesen Fenstern entfernt, „existieren“ diese virtuellen Projektionen immer und warten darauf, dass der Blick des Benutzers wieder zurückkehrt.

Was die Qualität und Klarheit des projizierten Bildes angeht, stellt das Lesen von Bildern und Texten kein Problem dar, zum Ansehen von Filmen werden Sie diese Brille jedoch vorerst nicht verwenden wollen.

Metas gute soziale Fähigkeiten haben auch mit AR-Brillen kollidiert, um neue Tricks zu erstellen. Freunde werden beim Anruf als holografisches Projektionsbild vor Ihnen angezeigt, aber im Moment ist es noch relativ grob.

Orion verfügt außerdem über eine nach innen gerichtete Kamera, die das Gesicht des Trägers scannt, um ein Echtzeitmodell für Videoanrufe mit dem Telefonbenutzer zu erstellen.

Was die Interaktion betrifft, unterstützt Meta Orion Eye-Tracking, Gestensteuerung und KI-Sprachbedienung. Durch das Tragen des passenden Armbands können anspruchsvollere Gestenoperationen erreicht werden.

Dieses Armband kann einige Gesten erkennen: Drücken des Zeigefingers mit dem Daumen, um Inhalte auszuwählen; Drücken des Mittelfingers und Daumens, um den Anwendungsstarter aufzurufen oder auszublenden, indem der Daumen gegen die geschlossene Handfläche gedrückt wird, um eine Münzwurfgeste auszuführen, um nach oben oder unten zu scrollen; , insgesamt sehr natürlich.

Erwähnenswert ist, dass das Armband auch eine taktile Rückmeldung gibt, die Ihnen mitteilt, ob die Geste erfolgreich erkannt wurde, und so ein Problem bei der aktuellen MR-Interaktion löst.

Das Prinzip dieses Armbands besteht darin, Nervensignale im Zusammenhang mit Gesten mittels Elektromyographie zu lesen. The Verge kommentierte sogar, dass es „ein bisschen wie das Lesen von Gedanken“ sei.

Mit diesem Armband können Benutzer ihren Blick als Zeiger auf der Orion-Oberfläche und das Kneifen als Klick verwenden. Das Gesamterlebnis ist sehr natürlich, wenn Sie AR-Brillen in der Öffentlichkeit verwenden möchten. „Befehle in die Luft geben“ oder „mit dem Finger zeigen“, die Interaktion kann auch mit den Händen in den Taschen durchgeführt werden.

Meta-KI, die bereits auf Ray-Ban-Brillen zu glänzen beginnt, wurde ebenfalls mit AR kombiniert, um ein neues Gameplay zu schaffen, und kann nun weiter mit der realen Welt interagieren.

In der Praxis nutzte The Verge Orion, um die Zutaten auf dem Tisch schnell zu identifizieren und zu kennzeichnen, und bat Meta AI, auf der Grundlage dieser Zutaten ein Milchshake-Rezept zu erstellen.

Obwohl Zuckerberg sagte, Meta Orion sei ein Produkt für Verbraucher, ist das aktuelle Orion-Gerät noch ein Prototyp und steht nur einigen Entwicklern und Erfahrenen zur Verfügung, darunter dem alten Freund Jensen Huang.

Zuckerberg gab den Preis des Quest 3S innerhalb von zehn Sekunden nach seinem Erscheinen bekannt. Das kommt bei der Einführung elektronischer Produkte selten vor, aber ich muss trotzdem seufzen.

Im Allgemeinen ist Meta Quest 3S eigentlich die „Youth Edition“ von Quest 3, mit einem Startpreis von 299,99 US-Dollar (ca. 2.108 RMB) für 128 GB und 399,99 US-Dollar (ca. 2.810 RMB) für 256 GB.

Der Konfiguration nach zu urteilen ist das Quest 3S mit dem Snapdragon XR2 Gen 2-Prozessor ausgestattet, dem gleichen Modell wie das Quest 3, und unterstützt auch Hand-Tracking.

Nachdem ich mir die Pressekonferenz angesehen habe, bin ich der Meinung, dass es angemessener wäre, es die verbesserte Version von Quest 2 zu nennen, statt es „Quest 3S“ zu nennen. Es wurde zuvor berichtet, dass Quest 3S als „kostengünstigere“ Option immer noch das gleiche Objektiv wie Quest 2 verwendet und das Gesamtgehäuse dicker als Quest 3 sein wird.

Obwohl Quest 3S in Bezug auf die Hardwarekonfiguration nicht so gut ist wie Quest 3, ist es in Bezug auf das Software-Ökosystem im Grunde dasselbe wie sein großer Bruder. Quest 3S kann auch umfangreiche Unterhaltungs- und Office-Funktionen in HorizonOS erhalten.

Nach der Veröffentlichung von Quest 3 im letzten Jahr waren die Kritiken gemischt. Am meisten wurde die hohe Verzögerung und starke Verzerrung nach der Aktivierung der Videoperspektive kritisiert. Zuckerberg sagte, dass sich das aktuelle Erlebnis nach einem Jahr der Optimierung und Verbesserung verbessert habe , insbesondere in den drei Aspekten VR-Funktionalität, Handverfolgung und Softwareanpassung.

Benutzer können jetzt auf beiden Produkten, genau wie Vision Pro, 2D-Webseiten direkt in immersive Büros umwandeln und die im Gerät geöffnete Benutzeroberfläche an einer beliebigen Stelle im Raum platzieren.

Darüber hinaus kann der Kinomodus des Quest 3S eine separate Schnittstelle zu einem Kino mit Riesenleinwand erweitern und die Leinwandreichweite kann so erweitert werden, dass sie den gesamten Raum abdeckt. Das immersive Ansehen von Filmen ist auf Head-Mounted-Displays nichts Neues. Wie viele Filmquellen und Plattformen angepasst werden können, ist der Kern des Erlebnisses jedes Produkts.

Quest 3S unterstützt alle wichtigen europäischen und amerikanischen Mainstream-Medienplattformen. Netflix, YouTube und Amazon Prime können zum Ansehen von Filmen im Kinomodus verwendet werden.

Filme und Spiele sind für VR-Headsets unverzichtbare Unterhaltungsfunktionen, die häufig die Leistung des Produkts selbst widerspiegeln. Auf dieser Konferenz wurde auch eine neue Funktion von Quest 3S angekündigt.

Benutzer können mit ihrem Mobiltelefon die Umrissdetails des Raums und die Platzierung der Möbel scannen und dann auf dem Quest 3S eine nahezu 1:1-Restaurierungsszene rekonstruieren.

Der Demonstration auf der Pressekonferenz nach zu urteilen, ist die Szenenrestaurierung wirklich gut und es gibt nicht zu viele Ecken und Kanten. In Zukunft wird es eine weitere Plattform für immersive Hausbesichtigungen online oder den Besuch von Museen oder historischen Stätten geben, ohne sie zu verlassen heim. . Aber was sind darüber hinaus die praktischen Aspekte der Szenenwiederherstellung? Wie die Technologie basierend auf den unterschiedlichen Bedingungen jeder Region implementiert werden kann, ist ein schwieriges Problem, das Meta und Quest in Zukunft lösen müssen.

Der vollständige Name von Meta ist Metaverse, was Metaversum bedeutet. Die Namensänderung von Facebook in Meta zeigte Zuckerbergs Entschlossenheit, neue Technologien zu erforschen, und Meta war der erste Technologieriese, der das Metaversum betrat. Daher ist das „Metaverse“ zu einem unverzichtbaren Bestandteil jeder neuen Meta-Produktveröffentlichung geworden, auch wenn es in diesem Bereich an viele Hindernisse stößt.

Zuckerberg stellte auf der Pressekonferenz vor, dass Meta Quest 3S erweiterte Funktionen für immersive soziale Interaktion eingeführt hat. Quest-Benutzer können nun Avatare auf dem Gerät erstellen, miteinander Spiele spielen, sich für Fitness zusammenschließen oder sich ein Online-Konzert anhören.

Mit der Veröffentlichung von Quest 3S kündigte Quest 2/Pro auch die vollständige Einstellung der Produktion an. Darüber hinaus wurde der Preis von Quest 3 von 649 US-Dollar auf 499 US-Dollar gesenkt. Das neue Produkt wird nach dem 15. Oktober ausgeliefert.

Llama 3.2 veröffentlicht, multimodale Funktionen ermöglichen es Brillen, Augen zu haben

Im Vergleich zum Meta Quest 3S, das fast keine Änderungen aufweist und sogar über reduzierte Spezifikationen verfügt, sind die neuen Funktionen von Meta AI innovativer.

Zuckerberg gab auf der Pressekonferenz bekannt, dass Meta AI die Sprachfunktion offiziell eingeführt hat. Benutzer können Meta AI Fragen stellen oder auf andere Weise über Messenger, Facebook, WhatsApp und Instagram chatten und simulierte Sprachantworten erhalten.

Darüber hinaus kann die Klangfarbe der KI-Stimme unabhängig ausgewählt werden und Sie können KI-Stimmen verwenden, darunter Prominente wie Judi Dench, John Cena, Awkwafina und Kristen Bell.

Zuckerberg hat auch die Sprachfunktion vor Ort demonstriert. Im Allgemeinen ist die Reaktionsgeschwindigkeit des Dialogs recht schnell und der Inhalt der Antworten kommt dem einer echten Person und dem Dialog einen Schritt näher kann jederzeit unterbrochen werden. Neues Thema oder Frage einfügen.

Obwohl es dabei zu einigen Fehlern kam, ist dies für eine Technologie, die erforscht und weiterentwickelt wird, normal. Zuckerberg selbst hat nicht oft davor zurückgeschreckt, wie er selbst sagte: „Das passiert oft in Demos.“

Darüber hinaus können Benutzer über die AI Studio-Funktion auch selbstständig entsprechende KI-Charaktere entsprechend ihren eigenen Bedürfnissen, Hobbys usw. erstellen. Sie können uns dabei helfen, Emoticons zu generieren, Reisevorschläge zu machen und natürlich auch tägliche Gespräche zu führen.

Dem Effekt nach zu urteilen, ist die nächste KI-Übersetzungsfunktion jedoch praktischer. Derzeit können mit Meta AI ausgestattete Terminals die Sprachübersetzung in Echtzeit unterstützen. Die beiden Redner auf der Pressekonferenz führten sofort ein sprachübergreifendes Gespräch (Englisch-Spanisch), indem sie Meta Ray-Ban trugen.

Meta Ray-Ban kann die Stimme des anderen Teilnehmers über das Mikrofon erfassen und schnell in die Muttersprache des Besitzers übersetzen. Obwohl die Reaktionsgeschwindigkeit der Übersetzung in jeder Sprache nicht langsam ist, sind die Sätze etwas länger und die Wartezeit ist immer noch etwas umständlich , und Meta AI übernimmt manchmal das Gespräch.

Der Sprachübersetzungseffekt eines anderen Online-Videos wird im Vergleich zur obigen Echtzeitübersetzung noch besser sein, ich würde es gerne als „erweiterte Übersetzungsfunktion“ bezeichnen. Meta AI kann die Stimme eines Online-Videos in die Stimme einer anderen Sprache übersetzen. Was noch leistungsfähiger ist, ist, dass es den Ton, die Klangfarbe und sogar den Akzent des Sprechers im Originalvideo perfekt wiederherstellen kann, wenn er in verschiedenen Ländern Englisch spricht.

Eine Reihe aktualisierter Funktionen von Meta AI auf der Pressekonferenz haben tatsächlich einen gemeinsamen Antriebskern: Llama 3.2.

Im Juli dieses Jahres hat Meta gerade das Llama 3.1-Modell angekündigt. Einfach ausgedrückt ist das supergroße Llama 3.1 405B das bisher leistungsstärkste Modell von Meta und es ist auch das leistungsstärkste Open-Source-Großmodell der Welt leistungsstärkstes Großmodell der Welt.

Ich hätte nicht erwartet, dass Llama 3.2 in nur zwei Monaten hier sein würde.

Llama 3.2 ist Metas erstes Open-Source-KI-Modell, das zwei visuelle Modelle (11B und 90B) und zwei leichte Klartextmodelle (1B und 3B) umfasst, was bedeutet, dass es über multimodale Fähigkeiten verfügt und Text und Bilder verarbeiten kann Gleichzeitig kann das leichte Klartextmodell den Benutzereingabeinhalt direkt lokal verstehen.

Dank der neuen Funktionen von Llama 3.2 verfügen viele mit großen Modellen ausgestattete Geräte auch über ein breiteres Spektrum an praktischen Szenarien. Zusätzlich zu der oben erwähnten KI-Übersetzungsfunktion kann Meta Ray-Ban mit visuellen Funktionen nun Menschen tiefer in ihre Arbeit und ihr tägliches Leben unterstützen.

Sie können Meta Ray-Ban direkt bitten, ein paar köstliche Avocado-Getränke zuzubereiten. Sie müssen die Avocado nicht einmal im Satz erwähnen, sondern verwenden Sie einfach Pronomen wie „dies“, weil sie sichtbar ist.

Ich weiß nicht, wie viele Leute vergessen haben, wo sie ihr Auto im Einkaufszentrum geparkt haben. Wenn Sie auch ein häufiger Besucher sind, der die Parkplatznummer vergisst, kann Ihnen Meta Ray-Ban jetzt dabei helfen, die Parkplatznummer zu notieren Sie können die entsprechenden Informationen jederzeit abrufen, wenn Sie sie vergessen.

Wählen Sie die Nummer auf dem Poster und scannen Sie den QR-Code auf der Broschüre, um Ihre täglichen Outfits anzupassen … Kurz gesagt, durch die Kamera auf der Brille und das neu verbesserte visuelle Modell und andere KI-Funktionen kann Meta Ray-Ban fast Erscheinen Sie in jeder Ecke Ihres Lebens.

Gerade durch die Existenz dieser Kamera wurde die Hochzeit zwischen Be My Eyes und Meta möglich. Be My Eyes ist eine öffentliche Wohlfahrtsplattform, die blinde oder sehbehinderte Menschen mit sehenden Freiwilligen und Unternehmen durch Echtzeit-Videoanrufe verbindet. Freiwillige/Organisationen können Menschen mit geistiger Behinderung helfen unmittelbare Schwierigkeit.

Die Entwicklung der Technologie wertet nicht nur das Leben der überwiegenden Mehrheit der Menschen auf, sondern gleicht auch den fehlenden Teil spezieller Gruppen aus und macht so das Leben aller komfortabler. Hier kommt die Bedeutung der Technologie zum Ausdruck.

Der Beginn der nächsten Generation von Computergeräten ist da

Obwohl wir schon lange auf eine Meta-Orion-Brille gewartet haben, vermittelte uns Zuckerberg, als er das echte Telefon hervorholte, immer noch ein lange verlorenes „erstaunliches Gefühl“ bei neuen Technologieprodukten.

Dieses Erstaunen liegt nicht nur daran, dass der von Meta skizzierte Zukunftsplan attraktiv genug ist, sondern auch daran, dass die tatsächliche Wirkung dieses Produkts der Vision sehr nahe kommt. Die Bewertung von The Verge ist nach dem Erleben sehr aufschlussreich:

Es handelt sich weder um eine Fata Morgana noch um ein tatsächliches Produkt. Es liegt irgendwo dazwischen.

Das ist auch der Unterschied zwischen Orion und vielen der fantastischen Ideen, die Meta erforscht hat: Es handelt sich nicht um ein Konzept, das schwer aus dem Labor zu holen ist, sondern um ein Produkt von morgen, für das sich Meta entschieden hat, eine perfekte Kombination zu sein von KI und MR.

Es ist das beste KI-Gerät: Es kann sehen, was der Benutzer sieht, hört zu, was der Benutzer hört, und kann die realen Szenarien des Benutzers kombinieren, sodass es effektivere Antworten geben kann.

Es ist auch die ultimative Art der Interaktion und Verbindung: Sie müssen sich nicht auf einen kleinen Bildschirm oder ein schweres Headset beschränken. Die virtuelle und die reale Welt sind eng miteinander verbunden und können jederzeit und überall interagiert werden.

In der Branche besteht bereits Konsens darüber, dass Computergeräte wie Mobiltelefone das Ende ihres Lebenszyklus erreicht haben und die nächste Generation von Computergeräten von Apple, Meta und sogar OpenAI erforscht wird.

Obwohl es sich noch um einen Prototyp handelt, scheint die Antwort von Meta, Orion, derzeit gut zu sein. Ob es nach Mobiltelefonen das nächste Mainstream-Smart-Terminal werden wird, ist noch unklar, aber Zuckerberg ist voller Zuversicht .

Brillen und Hologramme werden zu einem allgegenwärtigen Produkt. Wenn wir jeden auf der Welt, der bereits eine Brille besitzt, dazu bringen können, auf eine Brille mit KI und MR aufzurüsten, dann wird dies eines der erfolgreichsten Produkte in der Geschichte der Welt sein, und ich denke, es wird noch weiter gehen.

*Su Weihong hat ebenfalls zu diesem Artikel beigetragen

# Willkommen beim offiziellen öffentlichen WeChat-Konto von aifaner (WeChat-ID: ifanr). Weitere spannende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner |. Ursprünglicher Link · Kommentare anzeigen · Sina Weibo