Zuckerberg, dieses neue Produkt, das nicht veröffentlicht wird, erforscht erneut die ultimative Form der KI-Brille

Seit Zuckerberg FaceBook in Meta umbenannt hat, konkurriert das Unternehmen vollständig mit Brillen.

Es gibt ein kleines Wissen, das sowohl heiß als auch kalt ist. Der Name Meta leitet sich von den ersten vier Buchstaben von „metaverse“ ab. Als der Name 2021 geändert wurde, sagte Zuckerberg selbst sehr selbstbewusst:

Das Metaverse wird im nächsten Jahrzehnt eine Milliarde Menschen berühren, und das Metaverse wird jedes Produkt berühren, das wir entwickeln.

Vier Jahre sind vergangen, und das Metaversum ist zu einem häufigen Thema in Science-Fiction-Romanen, kreativen Animationen sowie Film- und Fernsehwerken geworden, aber es entfernt sich immer weiter von der realen Welt. Die wenigen Dinge, die die Aufmerksamkeit der Menschen auf sich ziehen, sind die nervigen Dinge, die gelegentlich Schlagzeilen bei angesagten Suchanfragen machen und unter dem Deckmantel des Metaversums und virtueller Vermögenswerte betrügen.

Was die Popularisierung und Verbreitung des Metaversums angeht, hat sich bei Meta nicht viel geändert wie vor vier Jahren, aber sie haben viele interessante neue Dinge auf VR/AR-Head-Mounted-Geräten, dem Eingang zum Metaversum, geschaffen.

Meta Quest, positioniert als neue Spielekonsole, hat eine neue Welt interaktiver VR-Spiele eröffnet. Im Jahr 2024 wird die Meta Quest-Serie mit großem Abstand 73 % des Marktanteils einnehmen.

Nach zwei Generationen der Produktbemühungen hat sich Ray-Ban Meta im Februar dieses Jahres offiziell über 2 Millionen Mal verkauft. Es integriert nicht nur die dekorative Rolle einer traditionellen Brille, sondern integriert auch leise Technologie in das tägliche Leben.

Oberflächlich betrachtet hat Meta privat mehrere erfolgreiche Produkte auf den Verbrauchermarkt gebracht, sie arbeiten auch stillschweigend an der toB-Strecke, und diese Datenbrillen für Unternehmen und professionelle Institutionen kamen sogar noch früher auf den Markt, als sie ihren Namen änderten.

Der Fünfjahresvertrag ist eingetroffen und Meta hat die Papiere eingereicht

Im Jahr 2020 brachte Meta seine erste experimentelle Datenbrille auf den Markt, die Meta Aria Gen 1. Im Vergleich zu herkömmlichen Brillen ist die Aria Gen 1 leicht aufgebläht, insbesondere die beiden verdickten Bügel, die sehr auffällig sind.

Das riesige Erscheinungsbild ist nicht nur eine Dekoration, es enthält eine Vielzahl von Sensorpaketen, wie RGB-Kameras, Positionsverfolgungskameras, Inertialmesseinheiten (IMU), Barometer, Magnetometer usw. Die Hauptfunktion dieser Komponenten besteht darin, visuelle, Bewegungs- und räumliche Daten aus der Ich-Perspektive zu sammeln.

Theoretisch ist Aria Gen 1 speziell für die Forschung zu maschinellen Wahrnehmungssystemen, künstlicher Intelligenz und Robotik konzipiert. Durch die Integration multimodaler Sensoren hilft es Forschern, die technischen Kernprobleme von AR-Brillen wie Umgebungswahrnehmung, räumliche Positionierung usw. zu überwinden.

Wenn es um das tatsächliche Erlebnis geht, hat Aria Gen 1 eine sehr ferne und aufregende Mission:

Stellen Sie sich einen Tag vor, an dem wir alle Vorteile der Vernetzung genießen können, ohne den Kopf hängen zu lassen und auf unsere Geräte zu starren. Stellen Sie sich vor, Sie rufen einen Freund an und unterhalten sich mit einem lebensechten Avatar am anderen Tisch.

Stellen Sie sich einen digitalen Assistenten vor, der intelligent genug ist, um Gefahren im Straßenverkehr zu erkennen, bei Geschäftstreffen Statistiken bereitzustellen oder Ihnen sogar dabei zu helfen, in lauten Umgebungen besser zu hören.

Dies ist eine Welt, in der die Geräte selbst vollständig in den Höhen und Tiefen des täglichen Lebens verschwinden.

Als Prototyp dieses Experiments und Produkt der ersten Generation sorgte Aria Gen 1 nicht für großes Aufsehen. Nach fünfjähriger Entwicklungszeit veröffentlichte Meta diese Woche offiziell Aria Gen 2. Gegenüber der ersten Generation gab es ein umfassendes Upgrade.

Die offensichtlichste Änderung betrifft das Sensorsystem. Die Maschine der ersten Generation verwendet die grundlegendsten Umgebungssensorkomponenten, nur Kameras und Trägheitssensoren. Auf dieser Basis fügt Aria Gen 2 viele neue Zubehörteile hinzu, darunter RGB-Kameras, 6DOF-SLAM-Kameras, Eye-Tracking-Kameras, Weltraummikrofone, IMUs, Barometer, Magnetometer und GNSS.

Die neue Produktgeneration verfügt insbesondere über zwei innovative Sensoren, die in die Nasenpads eingebettet sind: einen PPG-Sensor zur Messung der Herzfrequenz und ein Kontaktmikrofon zur Unterscheidung der Stimme des Trägers von der Stimme Umstehender.

Wenn man die erste Generation damit vergleicht, „die Welt nur mit einer Brille zu sehen“, kann man sagen, dass Aria Gen 2 alle Sinne geöffnet hat. Sie kann externe Informationen aus mehr Dimensionen gleichzeitig erfassen, und die Betriebs- und Lerneffizienz der Maschine wird höher sein.

Darüber hinaus hat sich die Art und Weise der Datenverarbeitung qualitativ verändert. Obwohl es keine lokalen Berechnungen durchführt, kann die Rechenleistung in der Cloud ausreichend sein, aber es wird eine unangenehme Reaktionszeit geben, wenn das Netzwerk nicht gut ist. Freunde, die häufig intelligente Assistenten verwenden, sind sehr unportiert fähig.

Aria Gen 2 nutzt den selbst entwickelten Chip von Meta, der Daten auf der Geräteseite verarbeiten kann, die Reaktionsgeschwindigkeit ist sehr schnell, sie wird nicht durch das Netzwerk eingeschränkt und auch das interaktive Erlebnis wurde erheblich verbessert.

Im Allgemeinen verfügen Geräte mit selbst entwickelten Chips über endseitige Rechenfunktionen, erhöhen jedoch auch das Gewicht der Geräte. Aber Meta spricht mit Daten für sich und sie waren in den letzten fünf Jahren wirklich beschäftigt: Aria Gen 1 wiegt 98 g und Aria Gen 2 wiegt 75 Gramm. Erhöhen Sie die Dosierung ohne Verschlimmerung, und die Langzeiterfahrung führt nicht zu einer Gewichtszunahme.

Aria Gen 2 ist auch für seine interaktiven Methoden bekannt, die auf der Sprachinteraktion der ersten Generation basieren. Die Maschine der zweiten Generation verfügt über „Augenverfolgung + Gesten + Kontaktbedienung“. Die Sprachinteraktion ist sehr direkt und der Abrufweg wird stark verkürzt, ist jedoch nicht für alle Lebensszenarien geeignet, z. B. U-Bahn-Stationen während der Hauptverkehrszeit und extrem ruhige Büros.

Es liegt auf der Hand, dass sich die Akkulaufzeit mit zunehmender Anzahl an Sensoren und interaktiven Funktionen negativ auf die Akkulaufzeit des Aria Gen 2 auswirkt. Beamte behaupten, dass die Nutzung bis zu 6–8 Stunden dauern kann. Basierend auf der aktuellen Nutzungsdauer von kabellosen Headsets stehen dem Aria Gen 2 grundsätzlich allwettertaugliche Smart-Funktionen zur Verfügung.

Sobald die Hardware-Grundlage gelegt ist, wird es mehr Möglichkeiten für spätere Nutzungserlebnisse geben. Das Upgrade von Aria Gen 2 spiegelt Metas zwei strategische Richtungen für die Implementierung der AR-Technologie wider:

Die erste ist die Stealth-Integration: Die Reduzierung der Präsenz des Geräts durch leichtes Design und das Verstecken von Sensoren (wenn beispielsweise die Kameraanzeige ausgeschaltet ist, ähnelt das Erscheinungsbild einer gewöhnlichen Brille); die zweite Möglichkeit besteht in einem offenen Ökosystem, das zugrunde liegende API-Schnittstellen und modulare Erweiterungsmöglichkeiten bereitstellt, um Wissenschaftler zu ermutigen, maßgeschneiderte Toolkits zu entwickeln und die Technologietransformation zu beschleunigen.

Daher haben sich die Anwendungsszenarien von Aria Gen 2 auch von der bisherigen Indoor-Navigation und der AR-Grundlagenforschung auf mehrdimensionale Bereiche verlagert, was alles zum Nährboden für das Wachstum von Aria Gen 2 werden könnte.

Fassen wir an dieser Stelle den Fortschritt und die Bedeutung von Aria Gen 2 zusammen:

• Upgrades der Wahrnehmungshardware, um die Fusion biologischer Daten und ein tiefgreifendes Verständnis der Umwelt zu erreichen;
• Ausgestattet mit einem selbst entwickelten Chip zur Verbesserung der Echtzeitleistung und zur Unterstützung netzwerkfreier Outdoor-Szenarien;
• Interaktionsmethoden bereichern, akustische Interferenzen reduzieren und sich an komplexe experimentelle Umgebungen anpassen;
• Die Akkulaufzeit deckt den ganzen Tag ab, wodurch die Dauernutzungszeit verlängert und der Tragekomfort verbessert wird.
• Erweitern Sie Anwendungsszenarien und fördern Sie die interdisziplinäre Technologieintegration und -standardisierung.

Zuckerbergs „dunkle Seite“

Wenn Sie die Interpretation und Einführung von Meta Aria gelesen haben, sind Sie immer noch etwas verwirrt über die Anwendung auf dem Verbrauchermarkt. Das ist normal, denn Meta hat klargestellt, dass dieses Produkt „nicht an Verbraucher verkauft wird“. Dann möchten Sie vielleicht fragen, wofür es verwendet wird. Um den Zweck seiner Entstehung zu klären, müssen wir mehr als zehn Jahre zurückgehen.

Im Jahr 2014 erlebte Zuckerberg im Stanford Virtual Human Interaction Laboratory (VHIL) die neueste VR-Ausrüstung und verschiedene Spieleszenarien. Er lief über eine Einplankenbrücke, flog über die Stadt und fällte mit einer VR-Brille ein paar Bäume …

Cody Woputz, damals VHIL-Laborleiter, verriet einmal, dass er (Zuckerberg), als er die Absturzszene aus großer Höhe erlebte, so verängstigt war, dass er seine Hand auf seine Brust legte.

Diese Erfahrung hinterließ bei Zuckerberg einen tiefen Eindruck, da sich VR noch in einem frühen Forschungsstadium befand, das Positionierungssystem viele Male unterbrochen wurde und die Ausrüstung zu diesem Zeitpunkt noch nicht als All-in-One-Maschine eingesetzt werden musste.

Andererseits erkannte Zuckerberg auch die enormen Möglichkeiten dieser revolutionären Technologie in der Zukunft. Diese Erfahrung bewog ihn dazu, Oculus für 2 Milliarden US-Dollar zu erwerben, und erläuterte in der Ankündigung die Gründe für die Übernahme:

Mobile ist die aktuelle Plattform und die Übernahme von Oculus bereitet sich auf die Plattform von morgen vor.

Danach nutzte Zuckerberg Facebook, um mit der Erforschung von AR/VR/MR-Technologie und -Geräten zu beginnen. Mit der Anhäufung von Zielen und Hardwaretechnologie startete Meta im Jahr 2020 offiziell das Aria-Projekt, dessen Ziel es ist, „AR und KI aus menschlicher Sicht zu beschleunigen“.

Es ist etwas mysteriös, das so zu sehen. Eine etwas populäre Erklärung ist, dass Brillen als Brücke dienen, die es dem Gerät ermöglichen, die Welt aus menschlicher Perspektive zu beobachten und zu verstehen und die interaktive Beziehung zwischen Mensch und Umwelt zu erlernen. Dies wird die Entwicklung von Software- und Hardware-Technologie fördern und es letztendlich ermöglichen, dass Maschinen vom Menschen ausgehen und den Menschen dienen.

Die Brillen in Project Aria können Forschern helfen, Informationen aus der Perspektive des Benutzers zu sammeln, und zwar durch bahnbrechende Technologie, insbesondere die neuen Sensoren der Aria Gen 2, die Audio- und Videodaten der Umgebung des Trägers sowie seine Augenbewegungen und Standortinformationen erfassen können.

Ausgehend von der ersten Perspektive des Trägers können Forscher leichter herausfinden, wie AR in der realen Welt und im täglichen Leben eine echte Rolle spielen kann, anstatt nur bei ausgefallenen, aber unpraktischen Funktionen zu bleiben.

Darüber hinaus ist es für die multimodale KI sehr wichtig, Informationen aus der realen Welt aus menschlicher Sicht zu sammeln. Diese Trainingsmethode kann menschliche multimodale kognitive Methoden simulieren.

Wir nehmen die Welt mit mehreren Sinnen wie Sehen, Hören, Berühren usw. wahr, und multimodale KI kann durch die Integration von Text, Bild, Audio, Video und anderen Daten dem natürlichen kognitiven Modell des Menschen näher kommen. Darüber hinaus kann die Fähigkeit zur modalübergreifenden Informationsintegration nicht durch einzelmodale KI erreicht werden.

Multimodale Sammlung und Training können auch die Entscheidungsgenauigkeit von KI in komplexen Szenarien verbessern. Wenn die Welt nicht durch mehrdimensionale Informationen verstanden wird, wird es zwangsläufig Unterschiede zwischen „Käufershows“ und „Verkäufershows“ geben, aber in der realen Welt gibt es neben Schwarz und Weiß auch Grauzonen, die schwer zu verstehen sind.

Die Interaktion selbst ist tatsächlich multimodal. Neben der Sprache im Gespräch mit Freunden beeinflussen auch Mimik, Gestik, Tonfall und sogar Kleidung unser Verständnis. Daher kann multimodale KI durch die gleichzeitige Verarbeitung von Text, Bildern und Audio ein natürlicheres interaktives Erlebnis erzielen.

Meta gab auch einige Details ihrer Forschung im Projekt Aria bekannt. In Projekt Aria ist der Weg für Datenbrillen, die Welt zu verstehen, sehr einfach und grob: Digitalisierung. Die SceneScript genannte Technologie ist eine Methode zur Darstellung und Ableitung von Szenengeometrie mithilfe autoregressiver strukturierter Sprachmodelle und End-to-End-Lernen.

Vereinfacht ausgedrückt können alle aus der Ich-Perspektive betrachteten Szenen und Objekte durch die Brille in bestimmte Zahlen und Namen umgewandelt werden. Die transparenten und regelmäßigen Löcher in der Wand werden „Fenster“ genannt.

Damit das in die Brille eingebaute Modell die Welt nicht nur sehen, sondern auch besser verstehen kann, nutzt Meta die selbst entwickelte dreidimensionale Bildgebungstechnologie EMF3D, um alle Objekte in der realen Welt mit verschiedenfarbigen Liniensegmenten „deutlich zu markieren“ und so die Gewichte und Maße von Dingen aus unterschiedlichen Materialien, Formen und Größen zu vereinheitlichen.

Wenn Brillen die Umgebung lesen und aufzeichnen können, wird es einfacher, eine virtuelle Welt nachzubilden. Die Umgebungssynthesetechnologie im Projekt reproduziert einen groß angelegten, vollständig simulierten Innenraum-Szenendatensatz, der von einem Programm durch eine große Datenerfassung generiert wird. Sie setzt auch einen neuen Standard für „digitale Zwillinge“ und beschleunigt die Forschung zu Herausforderungen wie 3D-Objekterkennung, Szenenrekonstruktion und Simulation-zu-Realität-Lernen.

Diese „Entwicklungssystem“-Lernmethode hat ihre Vor- und Nachteile. Wenn das Lernen erst einmal sehr solide ist, besteht die Schwierigkeit darin, dass man große Mengen an Daten durchgehen muss, um am Projekt Aria teilzunehmen und über einen langen Zeitraum eine Meta-Brille zu tragen.

Anstatt Menschen zu finden, ist es am wichtigsten, wie man sie dazu bringt, es mit Zuversicht zu nutzen, denn Datenerfassung und Schutz der Privatsphäre sind zwei Feinde, die schwer miteinander zu vereinbaren sind. Die von Meta vorgeschlagene Lösung ist ein neues „selbstunschärfendes“ KI-Modell, das die Privatsphäre schützt, indem es personenbezogene Daten in Bildern erkennt und unkenntlich macht und vertrauliche Informationen wie Gesichter und Nummernschilder direkt kodiert.

Massives Lernen kann es dem Modell auch ermöglichen, die Absichten des Benutzers besser zu verstehen. Durch das Scannen und Zusammenfassen der Alltagsszenen des Benutzers kann es beispielsweise bestimmen, was der Benutzer zu welchem ​​Zeitpunkt mit größerer Wahrscheinlichkeit tun wird. Egal, ob Sie nach unten gehen, um Sport zu treiben, ins Wohnzimmer gehen, um Spiele zu spielen, oder in die Küche gehen, um zu kochen. Die Möglichkeit, das Verhalten von Menschen vorherzusagen, kann im Voraus komfortablere Funktionen bieten.

Dies ähnelt der Funktion des intelligenten Assistenten auf unserem Mobiltelefon, der zu einem bestimmten Zeitpunkt ein Fenster öffnet, um uns an die Verkehrslage zu Hause und das morgige Wetter zu erinnern.

In den fünf Jahren seit der Gründung von Project Aria haben sie Ergebnisse wie den Ego-Exo4D-Datensatz hervorgebracht, der mit der Aria-Brille der ersten Generation erfasst wurde und zu einem grundlegenden Werkzeug in der modernen Computer Vision und dem sich ständig weiterentwickelnden Bereich der Robotik geworden ist.

Einige Unternehmen haben auch damit begonnen, zu untersuchen, wie Aria in ihren Arbeitsabläufen eingesetzt werden sollte. BMW beispielsweise überlegt, wie sich Augmented-Reality- und Virtual-Reality-Systeme in intelligente Autos integrieren lassen.

Forscher am Georgia Institute of Technology haben kürzlich auch gezeigt, wie Aria dazu beitragen kann, Ihnen den Stress der Hausarbeit zu nehmen, wenn es um Ihr Zuhause geht.

Schon vor längerer Zeit haben wir in einem Erfahrungsartikel über mobile smarte Assistenten das Fazit gezogen: Aus heutiger Sicht sollte die größte Bedeutung der Kombination von künstlicher Intelligenz und verschiedenen elektronischen Geräten darin bestehen, älteren und behinderten Menschen dabei zu helfen, sich besser in die neue Zeit und das neue Leben zu integrieren. Auch bei der Entwicklung der barrierefreien Technologie hat Aria gewisse Fortschritte gemacht:

Die Carnegie Mellon University nutzt die erste Generation der Aria-Brille in einem Projekt zur Entwicklung einer Technologie, die blinden und sehbehinderten Menschen die Navigation in Innenräumen erleichtert.

Die KI-Sprachfunktion des Aria der zweiten Generation wurde von Envision auch in seine eigene Ally-KI und räumliches Audio integriert, um die Indoor-Navigation und das barrierefreie Erlebnis zu verbessern.

Wenn ich einen Satz verwenden müsste, um die Beziehung zwischen Project Aria, Meta und seinen Produkten zu beschreiben, wäre er meiner Meinung nach wie die Wurzeln, der Stamm und die Äste eines Baumes. Das Projekt Aria ist normalerweise unsichtbar und immateriell, aber die im Laufe der Jahre angesammelten technischen Errungenschaften werden letztendlich auf verschiedene Weise im Unternehmen und in verschiedenen Produkten zum Ausdruck kommen.

Ende September letzten Jahres holte Zuckerberg auf der Pressekonferenz eine Datenbrille Meta Orion aus dem Safe, die gewöhnlich aussah, in Wirklichkeit aber zehn Jahre lang ein streng geheimes Projekt war. Dem Demonstrationsbildschirm auf der Pressekonferenz zufolge kann sie sehr ähnliche interaktive Funktionen wie Vision Pro bieten. Noch wichtiger ist, dass es sich bei Orion um eine echte holografische AR-Brille handelt.

Sie sieht etwas dicker aus als eine gewöhnliche Brille, aber nach dem Tragen können Sie sowohl die reale Welt durch die Gläser als auch das projizierte Bild sehen.

Obwohl die Klarheit nicht so gut ist wie bei herkömmlichen Fernsehern und Projektionen, ist sie mehr als ausreichend, um Bilder und Text zu sehen. Das Erstaunliche ist, dass wir keine großen Prismen an den Augen gefunden haben. Der Realitätseffekt, der der Realität so nahe kommt und aus dem Nichts erscheint, besteht darin, das Bild durch den LED-Projektor um die Linse herum auf die Siliziumkarbidlinse zu projizieren.

Die 7 Kameras und Sensoren rund um den Rahmen ermöglichen es Meta Orion, die Fähigkeit, virtuelle Realität in die Realität umzusetzen und in die Realität zu integrieren, wirklich zu realisieren. Es kann holografische Bilder präzise in der Luft schweben lassen und auch Gegenstände vor Ihnen identifizieren. Beispielsweise kann es basierend auf den Zutaten auf dem Tisch ein Rezept für Sie anpassen.

Es ist nicht übertrieben zu sagen, dass Orion in puncto interaktives Erlebnis genauso gut ist wie Vision Pro, denn es unterstützt wirklich die Hand- und Augenverfolgung, und das passende Nervenarmband kann die Hand auch in eine Maus verwandeln, indem es Veränderungen im Muskelstrom erkennt und dadurch verschiedene Bewegungen der Finger unterscheidet:

• Zum Auswählen mit Daumen und Zeigefinger zusammenziehen
• Daumen und Mittelfinger rufen gemeinsam das Menü auf
• Machen Sie eine Faust und bewegen Sie Ihren Daumen, um über den Bildschirm zu scrollen

Auf der Pressekonferenz sahen wir auch die tatsächliche Demontage des Meta Orion. Die hochkomplexe und äußerst präzise Innenstruktur und die fertig zusammengebaute Karosserie wogen nur 98 g.

Es ist nicht schwer festzustellen, dass die Beziehung zwischen Meta Aria Gen 2 und Meta Orion im Spiegel gleich ist. Allerdings sagte Zuckerberg damals in einem Interview, dass das Unternehmen aufgrund der hohen Kosten (jede Einheit kostet etwa 10.000 US-Dollar, etwa 70.000 Yuan) den Massenproduktionsplan stoppen musste und nur 1.000 Einheiten für interne Forschung und Entwicklung produzierte.

Meta plant jedoch auch, die Technologie von Aria nach 2026 schrittweise in AR-Brillen für Verbraucher einschließlich Orion zu integrieren. Ziel ist es, die Transformation von AR-Brillen durch neuronale Schnittstelleninteraktion und holografische Anzeige zu realisieren und so den „iPhone-Moment“ der Smart-Brillen einzuläuten.

# Willkommen beim offiziellen öffentlichen WeChat-Konto von aifaner (WeChat-ID: ifanr). Weitere spannende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner |. Ursprünglicher Link · Kommentare anzeigen · Sina Weibo