Zerschmettere die Dimensionswand! Die holografische 3D-Anruftechnologie von Google ist in die Testphase eingetreten, und Videoanrufe werden untergraben

Wenn Ihr Fernbeziehungspartner Geburtstag hat, wie feiern Sie ihn/sie?

Senden Sie eine WeChat-Nachricht? Einfache Worte wirken etwas kalt.

Jemanden anrufen? Echte Emotionen scheinen nicht vollständig genug freigesetzt zu werden.

Einen Videoanruf tätigen? Es gibt immer ein Gefühl der Unsichtbarkeit.

In dieser Zeit denken wir immer: Am besten wäre es, wenn wir zum ersten Mal nebeneinander auftreten könnten.

Doraemons willkürliche Tür ist jedoch immer noch zu fortschrittlich für die menschliche Technologie im 21. Jahrhundert, aber lassen Sie sich nicht entmutigen, zumindest können wir uns jetzt ein virtuelles Selbst schicken.

Was? Glaubst du, ich werde noch einmal über das mysteriöse Metaversum sprechen?

Ich spreche nicht von einem beinlosen Comic-Avatar, sondern von einem holografischen „Du“, das fast genauso aussieht wie du.

Gespräch mit „echten Menschen“

Auf der Google I/O-Konferenz im Mai letzten Jahres veröffentlichte Google-CEO Sundar Pichai das Project Starline, ein Projekt, das holografische 3D-Videoanrufe realisieren kann, ohne auf Headsets angewiesen zu sein.

Das Projekt Starline ist eines der streng vertraulichen experimentellen Projekte von Google. Laut den Forschern von Google hat das Projektteam vor 6 Jahren damit begonnen, entsprechende technische Forschungen durchzuführen, und es wird nicht vor 2021 der Öffentlichkeit zugänglich gemacht, und seitdem hat es geschwiegen. fast das ganze Jahr.

Gerade als die Leute dachten, dies sei ein weiteres „Kuchen zeichnen“-Projekt von Google, lud Project Starline kürzlich Medien und Partner, einschließlich The Verge, ins Labor ein, um es selbst zu erleben.

Der Verge-Redakteur Jay Peters beklagte nach der Erfahrung, dass dies die realistischste Virtual-Reality-Interaktion sei, die er je erlebt habe, „es fühlt sich an, als würde Science-Fiction in die Realität hineinscheinen.“

Die Mittel der menschlichen Kommunikation wurden mit der Entwicklung der Informationstechnologie ständig verbessert. Von antiken Telegrammen über Telefonanrufe bis hin zu Videoanrufen wurden die Dimensionen der menschlichen Informationsübermittlung kontinuierlich erweitert, und auch die Aktualität und der Inhalt der Informationsübermittlung wurden kontinuierlich verbessert.

Wenn diese beiden Dimensionen als Koordinatenachsen der Entwicklung verwendet werden, ist es nicht schwer vorstellbar, dass die nächste Stufe der Kommunikationstechnologie reichhaltigere Inhalte wie Ton, Bild und räumliche Lokalisierung abdecken und nahezu ohne Verzögerung sofort übertragen kann.

In vielen Science-Fiction-Filmen glauben Science-Fiction-Schöpfer, dass holografische stereoskopische Videoanrufe die nächste Generation von Kommunikationsmethoden sind, die dieser Definition entsprechen.

Das heißt, nachdem Menschen erfolgreich bekannte Gesichter auf ihre Seite gebracht haben, besteht der nächste Schritt darin, „persönlich“ auf die Szene zu kommen.

Daraus entstand das Projekt Project Starline.

Andrew Nartker, Director of Product Management bei Starline, erwähnte in einem Interview mit den Medien, dass ihre Durchbrüche in der Kommunikationstechnologie es den Benutzern ermöglicht haben, intimer und verbundener mit Menschen auf der ganzen Welt zu werden.

Dem Erscheinungsbild der Installation von Project Starline nach zu urteilen, scheint sie nichts mit High-Tech-Wörtern wie „3D“ und „holografisches Bild“ zu tun zu haben – Sie müssen wissen, dass in Science-Fiction-Filmen die Protagonisten durch ein futuristisches Metall getragen werden Verglichen mit der holografischen Stereoprojektion ist Project Starline eher eine filigrane Kommode.

Als der große Bildschirm von Project Starline eingeschaltet wurde, entfaltete sich langsam der Sinn für späte Technologie.

Jay Peters sagte, Project Starline sei wie ein magisches Fenster, das die beiden Räume miteinander verbinde. Der Google-Forscher, der ihm gegenüber sitzt, sieht fast genauso groß und gleich aus wie die reale Person. Wenn er einen Apfel überreicht, kann er sogar die räumliche Distanz spüren die sich durch die Schatten auf dem Bild der realen Welt annähert.

Es ist wie eine Face-to-Face-Interaktion am selben Tisch, so realistisch, dass man fast vergisst, dass die beiden Testräume eigentlich weit voneinander entfernt sind.

Der Grund, warum „Realismus“ verwendet wird, um dieses einzigartige Treffen zu beschreiben (Sie werden nie jemanden sagen hören, dass die Person in dem Videoanruf so realistisch aussieht), liegt darin, dass der auf dem Bildschirmterminal angezeigte Bildschirm kein einfacher Videobildschirm ist „virtueller Mensch“, der basierend auf Informationen wie Bildern und Tiefen neu gerendert wird, was der Schlüssel zur Schaffung einer surrealen Präsenz ist.

3D-Geheimnisse

Warum ist die Virtualisierung echter Menschen realer? Um dieses Problem zu verstehen, beginnen Sie damit, wie Project Starline funktioniert.

Vor diesem exquisiten „Schminktisch" sitzt vor allem dieser 65 Zoll große Bildschirm. Dabei handelt es sich nicht um einen gewöhnlichen Heimfernseher, sondern um ein 8K/60Hz-3D-Lichtfeld-Display. Die Google-Forscher nennen es ein Monokular Die beobachtbare Pixeldichte ist doppelt so hoch wie bei VR-Geräten wie Oculus Quest, was eine feinere stereoskopische Anzeige ermöglicht.

Damit diese Lichtfeldanzeige einen stereoskopischen Effekt anzeigt, ist es notwendig, die Tiefeninformationen des Objekts zu sammeln. Die Forscher platzierten mehrere binokulare Stereokameras und Infrarotkameras am oberen und unteren Rand des Bildschirms, sodass die räumliche Distanz der Zeichen durch die Kombination von Tiefeninformationen aus mehreren Winkeln wiederhergestellt werden kann.

Auf beiden Seiten und oben auf dem Bildschirm sind außerdem mehrere monochrome Tracking-Kameras installiert, um die Gesichtszüge der Figur in Echtzeit in 3D zu positionieren, sodass das Charaktermodell genau wiederhergestellt werden kann, wenn sich die Figur bewegt.

Wenn die gesammelten Positions- und Bildinformationen an das empfangende Ende übertragen werden, rendert das System drei Tiefenstreams entsprechend den Positionen des linken und rechten Auges des Publikums und mischt sie mit dem Texturstream, um einen realistischen „virtuellen Menschen“ zu rendern.

Wenn sich die Augenposition des Betrachters zu diesem Zeitpunkt ändert, folgt die Position des Bildes der Bewegung des Augapfels, um eine leichte Positionsablenkung vorzunehmen, was die räumliche Realität ist, die herkömmliche 2D-Bilder nicht bieten können.

Neben dem visuellen Durchbrechen der „Dimensionswand“ hat sich Project Starline auch beim Hören große Mühe gegeben.

Auf der Eingangsseite kann das Mikrofon mit den Gesichtsverfolgungsdaten einen gerichteten dynamischen Strahl bilden, um eine Rauschunterdrückung und Entstörung zu erreichen. Am Ausgang lokalisiert das Tracking-System die Ohren des Publikums, simuliert die räumliche Ausrichtung des Gesprächs und lässt es so klingen, als würde der Mund auf der Leinwand sprechen.

Stellen Sie sich vor, wenn Sie eine wichtige Videokonferenz mit Kollegen und Partnern abhalten möchten, müssen sich die Teilnehmer nicht mehr auf den kleinen Bildschirm konzentrieren und ihre Augen müssen nicht mehr aus der Kamera geblendet werden, sondern können einen natürlichen Augenkontakt herstellen , und verwenden Sie sogar etwas Körpersprache, um den Ausdruck zu unterstützen, eine solche Teilnahmeerfahrung wird ein qualitativer Sprung sein.

Von der praktischen Anwendung ist das Projekt Starline zum jetzigen Zeitpunkt jedoch noch weit entfernt.

Wired-Redakteurin Lauren Goode sagte, nachdem sie Project Starline erlebt hatte, dass, obwohl die visuellen Effekte von holografischem Video die meiste Zeit über großartig sind, das ursprüngliche stereoskopische Bild kurz zurück in die Ebene wechselt, wenn sich die Figur zu sehr bewegt, was nicht sehr erfahren ist .

Die Google-Forscher erwähnten auch, dass beim Umgang mit komplexen Formen (z. B. flauschigen Haaren, optischen Brillen) oder sich bewegenden Objekten häufig falsche „Artefakte“ auftreten, und ihr Team arbeitet derzeit daran, die Genauigkeit der Bildverarbeitung zu verbessern.

Neben den technischen Hürden sind auch die Kosten für den Einsatz eines kompletten Sets von Project Starline recht hoch: Teure Lichtfelddisplays und diverse optische Kameras sind derzeit nur als Laborprodukte bestimmt und der Einstieg in den Consumer-Markt ist kaum möglich. möglich.

Andrew Nartkerct sagte offen in einem Interview mit The Verge, dass Project Starline eine aufregende neue Technologie und eine bahnbrechende Erforschung im Bereich der räumlichen Interaktion sei, aber derzeit noch kaum ein „Produkt“ sei.

Das Meer hat einen Vertrauten, und die Welt ist wie ein Nachbar

Was genau versucht Project Starline zu lösen? Auch die Antwort des Projektteams ist ganz einfach: Ihnen das Gefühl geben, mit einer realen Person zusammen zu sein.

Im vergangenen Jahr wurde die von Zoom repräsentierte Remote-Konferenzsoftware in Unternehmen und Schulen weit verbreitet. Menschen sind aus verschiedenen Gründen getrennt und müssen über diese Videosoftware zusammenarbeiten und sogar ein seltenes Treffen organisieren. Die Verbindung mit Menschen war ebenfalls dadurch verdünnt.

In einem Bericht über die Auswirkungen von Videokonferenzen auf die Produktivität erwähnte Microsoft, dass Menschen bei Videokonferenzen eher abgelenkt sind als in der realen Kommunikation, was eine natürliche Reaktion auf Menschen ist, die Videokonferenzen mit hohem Stress ausgesetzt sind.

Das Projekt Starline, das ein reales Dialogerlebnis bietet, scheint dieses Druckgefühl zu beseitigen, das die Kommunikation behindert.

Obwohl Project Starline voll mit allerlei Kameraequipment ist, werden diese kalten Technologien, wenn es funktioniert, von den Teilnehmern zurückgelassen, denn zu diesem Zeitpunkt ist die Person, die vor ihm sitzt, eine nahezu reale Person. Person".

Die Forscher von Google führten ein Vergleichsexperiment durch und stellten fest, dass Teilnehmer, die über Project Starline kommunizierten, im Vergleich zur herkömmlichen Videokommunikation mehr Augenkontakt und Körpersprache hatten und sich nach der Kommunikation an 28 % mehr Inhalte erinnern konnten. Das mag der Reiz natürlicher Kommunikation sein.

Derzeit stellt Project Starline nur ein kleines Experiment für Mitarbeiter von Google dar. Google sagte, dass es den Test ab diesem Jahr schrittweise für Partner wie Salesforce, WeWork und T-Mobile öffnen wird, um die Menschen zu ermutigen, tiefere Verbindungen aufzubauen.

Wird Project Starline in Zukunft als Telefonzelle für das 3D-Zeitalter an Popularität gewinnen?

Bei einem so technologisch fortgeschrittenen Projekt ist es derzeit schwierig, ein Fazit zu diesem Thema zu ziehen: Project Starline kann es schaffen, ein echtes Produkt zu werden, aber es wird auch von übermäßigen Kosten gebremst und zu einer Totgeburt führen und möglicherweise sogar zu Google werden Teil der zukünftigen AR-, VR-Technologie.

Aber egal was passiert, diese Art von Zukunftstechnologie, die auf die wirklichen Bedürfnisse der Menschen eingeht, verdient mehr Aufmerksamkeit in der Technologiebranche.

Denn in einer Zeit, in der Menschen an Trennung gewöhnt sind, gibt es nichts Wertvolleres, als sich persönlich zu sehen.

#Willkommen beim offiziellen WeChat-Konto von Aifaner: Aifaner (WeChat: ifanr), weitere aufregende Inhalte werden Ihnen so bald wie möglich zur Verfügung gestellt.

Liebe Faner | Ursprünglicher Link · Kommentare anzeigen · Sina Weibo