Die Gebärdensprachübersetzung von Huawei HDC2021 brennt: Warum kann „sie“ so genial sein?

Huawei, sowohl hart als auch weich, muss neu verstanden werden.

Am 22. Oktober wurde in Songshan Lake, Dongguan, die Huawei Developer Conference 2021 (Together) offiziell eröffnet.In der Keynote-Rede hat Huawei offiziell die neue Multi-Terminal-, OS-übergreifende Full-Scene-Mobile-Core-Service-Fähigkeit HMS Core 6 von Huawei vorgestellt. und Entwickler Erstellen, teilen und gewinnen Sie ein neues HMS-Ökosystem. Aber es gehört nicht nur den Entwicklern, es kann jedem von uns gehören. Die grundlegende Softwaretechnologie ist bei uns nicht weit entfernt.

HMS Core (Huawei Mobile Core Services) ist eine Sammlung offener Software- und Hardware-Funktionen von Huawei, die auf dem Betriebssystem ausgeführt wird und verschiedene offene Funktionen verwendet, um eine Vielzahl von Diensten bereitzustellen. Als wichtiger Teil des HMS-Ökosystems verbindet HMS Core Entwickler und Benutzer und ermöglicht es Entwicklern, effizient und innovative Anwendungen zu entwickeln und gleichzeitig die Benutzererfahrung zu verbessern.

Wenn Sie es mit dem Bau eines Hauses vergleichen, bietet Huawei Baumaterialien und -werkzeuge wie Ziegel, Fliesen, Beton, Stahlstangen, Lastwagen, Glas usw Entwickler entscheidet.

Obwohl HDC2021 eine Konferenz hauptsächlich für Entwickler ist, gibt es auch viele ungewöhnliche Neuigkeiten: So unterscheidet sich beispielsweise der Gebärdensprachdolmetscher, der die Live-Übertragung der Konferenz begleitet, von der Live-Übersetzung, die wir in der unteren linken Ecke des Fernsehsenders gesehen haben. Die Dolmetscherin, die Huawei diesmal entsendet hat Sie ist ein "digitaler Mensch". .

Dieser Gebärdensprachübersetzer ist nicht nur eine Darstellung der neuesten Technologie von Huawei, sondern auch eine Basistechnologie, von der viele Entwickler profitieren können: Sofern der Entwickler bereit ist, kann er einen ähnlichen Gebärdensprachdolmetscher in seiner eigenen Anwendung einrichten, genau wie Huawei. .

Dieser Gebärdensprachübersetzer ist eine konkrete Manifestation einer wichtigen Fähigkeit in HMS Core 6, die gerade veröffentlicht wurde.

Bis 2021 ist HMS Core 6 bereits den Grenzen der Entwicklung mobiler Anwendungen entgangen. Wo kann seine Stufe also jenseits der Grenzen erweitert werden?

Was kann HMS Core 6 Entwicklern helfen?

Nachdem wir verstanden haben, was HMS Core 6 ist, können wir herausfinden, was es kann. Die Übersetzung in Gebärdensprache ist diesmal eine konkrete Manifestation der Fähigkeiten von HMS Core 6. Tatsächlich heißt die Technologie dahinter SignPal Kit. Da dahinter ein Kit (Toolkit) steckt, können Entwickler damit arbeiten mehr Dinge. Kurz gesagt, der Gebärdensprachdienst (SignPal-Kit) bietet die Möglichkeit, Gebärdensprache zu generieren, die Text in reibungslose, natürliche Bewegungsdaten in Gebärdensprache übersetzen kann, die den Ausdrucksgewohnheiten von hörgeschädigten Gruppen in Echtzeit entsprechen und so beim Aufbau von Informationen helfen barrierefreie innovative Anwendungen.

Schwerwiegender als gedacht, zeigen die neuesten Daten der Weltgesundheitsorganisation, dass weltweit etwa 466 Millionen Menschen an einer Schwerhörigkeit leiden, das sind fast mehr als 5 % der Weltbevölkerung Die Zugänglichkeit von Informationen ist fast eine der wichtigen gesellschaftlichen Aufgaben großer Unternehmen. SignPal Kit ist ein Werkzeug, um Menschen das Fischen beizubringen, aber es ist nicht einfach, es zu vervollständigen.Zuerst hat Huawei das selbst entwickelte Vortrainings-Sprachmodell, den maschinellen Übersetzungsalgorithmus und den multimodalen digitalen Algorithmus zur Generierung menschlicher Bewegungen fertiggestellt Gleichzeitig arbeitete es mit dem Information Accessibility Research Council zusammen. , Und in Zusammenarbeit mit der Fakultät für Pädagogik der Beijing Normal University, integriertes Expertenwissen der Gebärdensprachlinguistik, um die Erzeugung kohärenter und natürlicher Körperhaltungen, Gesten und Ausdrücke in Gebärdensprache zu realisieren .

Derzeit verfügt es über mehr als 10.000 Vokabular, und die Genauigkeit liegt bei über 90. Entwickler können das 3D-Zeichenbild auch anpassen, um natürliche und sanfte Handbewegungen, Körperhaltungen und Gesichtsausdrücke auszudrücken, die den menschlichen Gewohnheiten entsprechen.

Die 3D-Modellierungsfunktion (3D Modeling Kit) ist ein weiteres wichtiges Update von HMS Core 6. Tatsächlich ist die 3D-Modellierungsfunktion nicht neu, aber der Unterschied besteht diesmal darin, dass nur eine gewöhnliche RGB-Kamera benötigt wird, um 3D effizient über ein Mobiltelefon zu erzeugen. Modell.

Der Schlüssel ist, die "Schwelle" zu senken. Ich habe in den letzten Jahren viele 3D-Scan- und Modellierungsgeräte auf vielen Technologiemessen gesehen. Sie sind alle sperrig und teuer, aber jetzt verlassen sie sich nur auf ein normales Smartphone. Gekoppelt damit 3D Modeling Kit, es kann die Segmentierung des Objekthintergrunds unterstützen.Das rekonstruierte Modell hat keinen Hintergrund und die Kanten sind klarer und sauberer. Das einfachste Szenario für diese Fähigkeit sollte die Shopping-Anwendung sein. Nun möchte ich das gesamte Bild eines Produkts sehen, entweder mit acht oder neun Bildern oder ein Video aufnehmen. Jetzt kann ein 3D-Modell generiert werden, um das Produkt in drei Dimensionen darzustellen. Diese Fähigkeit beschränkt sich natürlich nicht nur auf Shopping-Szenen. Viele Spielrequisiten werden oft anhand von realen Objekten modelliert und dann neu gezeichnet. Natürlich kann das 3D Modeling Kit auch für Spieleentwickler praktisch sein.

HMS Core 6 verfügt über mehrere neue Funktionen, von denen Spieleentwickler profitieren: AR-Umgebungslichtverfolgung, Computer Graphics Kit (Grafik-Computing-Kit) und Scene-Kit (Grafik-Engine).

Wenn die 3D-Modellierungsfunktion das Reale realer machen soll, dann sollen diese neuen Fähigkeiten das Virtuelle real machen. Um ein Eintauchen in die AR-Erfahrung zu erreichen, ist die visuelle Konsistenz zwischen dem virtuellen Objekt und dem realen Objekt erforderlich, sonst werden die Menschen aktiv. Huawei AR Environment Light Tracking ist das erste, das die virtuelle und reale Fusionsfunktion auf Zentimeter-Ebene realisiert.Es kann die Umgebungslichtbedingungen in Kombination mit der Rendering-Engine schätzen, sodass durch AR virtualisierte Objekte die gleichen Licht- und Schatteneffekte wie reale haben können Objekte.

Computer Graphics Kit (Grafikberechnungs-Kit) ist das erste, das dynamische Dunsteffekte auf dem mobilen Endgerät erzielt; Scene Kit (Grafik-Engine) ist das erste, das Raytracing-Technologie auf mobilen Geräten verwendet, um reale Lichtreflexions- und Lichtbrechungseffekte zu simulieren Entwickelte Szenen, die unter Kopfschmerzen leiden, wie Seereflexionen und Spiegelreflexionen, können simuliert werden. Gleichzeitig umfasst der Realismus des Scene-Kits (Grafik-Engine) auch die Auswirkungen von Kollisionen, Stürzen und Drehungen des 3D-Modells sowie Spezialeffekte nach der Bearbeitung wie Überflutung, Schärfentiefe und Bewegungsunschärfe Kurz gesagt, Grafikprobleme stellen oft physikalische Probleme dar. Am Ende des physikalischen Problems steht das mathematische Problem.

Auf der Pressekonferenz der Huawei P50-Serie gibt es eine signalverstärkende Technologie namens KI heterogene Kommunikationstechnologie.Als Technologieführerbereich von Huawei steht diese Technologie neben HMS Core 6 auch allen Entwicklern offen und verhilft den Benutzern zu Highspeed-Stabilität Netzwerkerfahrung, diese Erfahrung umfasst WiFi und mobile Netzwerke. Zum Beispiel muss mein Spiel aktualisiert werden. Das Update-Paket hat 2G. Wenn das Network Kit in der heterogenen Kommunikationstechnologie der KI nicht verbunden ist, kann es unter dem 4G-Netz mehr als zehn Minuten dauern, aber mit dem Network Kit, durch Multi-Threading-Download, intelligenter Fragmentierungsalgorithmus, kann die Download-Geschwindigkeit beschleunigen, durch transparente Komprimierungstechnologie, kann die Menge der heruntergeladenen Daten reduzieren, die beiden überlagert, der endgültige Download kann in wenigen Minuten erfolgen. Und nach dem Betreten des Spiels kann diese Technologie auch eine Rolle spielen, sodass die Verzögerung des Spielnetzwerks erheblich reduziert wird, solange Ihre Hände mit Ihrem Gehirn Schritt halten können, kann die Reaktion des Telefons mithalten.

Als großes Update bietet HMS Core 6 eine Vielzahl neuer Funktionen, und es ist sicherlich schwierig, es mit einem Artikel zu behandeln, aber ich habe so viel gesagt, tatsächlich gibt es nur eine Richtung: Verwenden Sie praktische Fähigkeiten, um Entwicklern bei praktischen Lösungen zu helfen Probleme und verbessern letztendlich die Benutzererfahrung. Zum Beispiel kann das Audio Editing Kit verschiedene Komponenten des Audios an die angegebene räumliche Position rendern, um die neuesten räumlichen Audioeffekte zu erzielen; die Spurführungsfunktion der Petal Maps Platform kann die Navigation präziser und humaner machen; das Sicherheitschipmodul und das Modul Trusted Management Services kann die digitale RMB-Akzeptanzumgebung unterstützen und Transaktionen sicher und schnell machen…

Unter diesen vielen Funktionen sollen einige alte Probleme lösen, wie etwa Probleme mit der Signal- und Netzwerkgeschwindigkeit; während andere zukunftsorientiert sind, plattform- und geräteübergreifend, wie zum Beispiel 3D-Modellierungsfunktionen mit extrem niedrigem Schwellenwert, AR-Umgebungslichtverfolgung usw .. Und so weiter, es gibt auch einige, die beides haben und einen Gemeinwohlcharakter haben, wie Gebärdensprachdienste und digitale Humantechnologie.

Aus Sicht der digitalen Zwillinge lässt sich HMS Core 6 sogar auf das Konzept des „Meta-Universums“ übertragen.

Zuvor haben wir "Metacosm needs "Infrastructure Madness" geschrieben, in dem viele Hersteller verzeichnet sind, die die Infrastruktur für Metaverse in der frühen Phase des Konzepts aufgebaut haben, wie Unity, Nvidia, Epic und so weiter. Unser Kernpunkt ist, dass, wenn wir über die tatsächliche Erfahrung des Meta-Universums 30 Jahre später sprechen, es uns leid tut, dass wir es jetzt nicht geben können. Wenn Sie von einer kleinen Realisierungsbedingung auf dem Weg zur Vision sprechen, können die Techniker wahrscheinlich eine praktikable Lösung nennen. Am Ende, wenn viele Bedingungen nach und nach erfüllt sind, wird die Meta-Universums-Erfahrung dort nicht mehr weit sein.

Dies ist eine Reise, bei der Sand zu einem Turm gesammelt wird.

Aber manchmal Sand sammeln, zusammensammeln, am Ende ist es immer noch ein lockerer Sand. Dies erfordert eine Vielzahl von Entwicklungswerkzeugen, um Sandkörner effektiv zusammenzubringen, um eine endgültige Form zu bilden.

Metaverse fehlt es an Konzepten und Visionen, aber es fehlt an Rechenleistung, Highspeed- und Low-Latency-Netzwerken, es fehlen Plattformen, es fehlen sozusagen Inhalte, niedrigschwellige 3D-Modellierung in HMS Core 6, Echtzeit-Liveübertragung in Gebärdensprache + digitaler Mensch , AR-Umgebungslichtverfolgung, Lichtverfolgungstechnologie für Mobilgeräte und Blütenblattkarten sind alles Technologien, die zukünftige Inhalte zum Konzept des Meta-Universums beitragen und zu grundlegenden Fähigkeiten werden können.

Die Zukunft ist zu weit, welche praktische Bedeutung hat HMS Core 6?

Viele Leute haben ein grundlegendes Missverständnis, dass das Meta-Universum ungefähr der virtuellen Realität entspricht, und dieser virtuelle Raum hat mit der realen Welt wenig zu tun.

Tatsächlich ist der rein virtuelle Raum in den Augen der Fachexperten in seinem spezifischen Realisierungsprozess aber nur ein Teil davon; die organische Verbindung mit der physischen Welt, die üblicherweise als CPS-Cyber-Physical-System oder digitaler Zwilling bezeichnet wird, kann Den Technologietrend und die ursprüngliche Absicht der Technologie, die auf Menschen basiert, genau zum Ausdruck bringen.

Letztlich müssen alle Objekte im physischen Raum inklusive ihrer Attribute, Verhaltensweisen und Beziehungen digital modelliert und auf den Cyberspace abgebildet werden, damit der physische Raum zu einem im Cyberspace berechenbaren Objekt wird. Aber noch wichtiger ist, dass die Berechnungsergebnisse im Cyberspace auch auf den physischen Raum zurück abgebildet werden müssen, um die Fähigkeiten des Menschen in der realen Welt zu verbessern.

Wenn wir also nicht über das Konzept der Zukunft sprechen und nur über eine der Kernentwicklungslogiken der Internet-Technologie sprechen, dann geht es tatsächlich darum, "den physischen Raum zu einem Rechenobjekt im Cyberspace zu machen und die menschlichen Fähigkeiten in der Welt zu stärken". echte Welt."

In diesem Entwicklungsprozess gibt es unzählige Probleme zu lösen und Bereiche abzudecken. Beispielsweise ist die Handy-Animation von der anfänglichen linearen Animation bis zur nicht-linearen Animation, die den intuitiven Gefühlen der Menschen entspricht und den physikalischen Gesetzen der realen Welt entspricht, ein Beispiel für Fortschritt.

So können Sie von flachen 2D- bis hin zu Stereo-3D-Modellen das Einkaufserlebnis der Anwendung verbessern; AR-Umgebungslichtverfolgung und Lichtverfolgungstechnologie für Mobilgeräte können dazu beitragen, ein besseres mobiles Spielerlebnis zu schaffen, sodass mobile Spiele nicht mehr nur über den Bildschirm reiben. .

Die Echtzeit-Liveübertragung in Gebärdensprache + digitale Person hat zwei Bedeutungen von Inklusivität: Menschen mit Behinderungen zu helfen, die Errungenschaften der technologischen Entwicklung besser zu schätzen, und Entwicklern zu helfen, dieser Gruppe von Menschen zu dienen. Die geniale Gebärdensprachübersetzung auf HDC2021 kann in jedem Handy vorhanden sein.

Wenn der Satz "den physischen Raum zu einem Rechenobjekt im Cyberspace machen und die Fähigkeiten der menschlichen realen Welt stärken" zu ehrgeizig ist, dann ist Gebärdensprache-Live-Übertragung + digitale menschliche Technologie ein geeignetes Beispiel für diesen Satz. Huawei HMS Core, Entwickler und Benutzer haben diesen großartigen Vorschlag an einer kleinen, aber wichtigen Kreuzung eingegeben.

Wenn es immer mehr solcher Beispiele gibt, wird die Ökologie von HMS Gestalt annehmen.

Bisher hat Huawei weltweit mehr als 5,1 Millionen Entwickler registriert und mehr als 173.000 Anwendungen haben HMS Core weltweit integriert. HMS Core ist in Webanwendungen, schnellen Anwendungen und Anwendungen und Diensten wie Android und HarmonyOS sowie auf Mobiltelefonen, Tablets, Smartscreens, Smartwatches und Automaschinen zu finden.

Dieses Mal hat HMS Core 6 innovative Fähigkeiten und Funktionen in den fünf Bereichen Grafik, Medien, KI, App Services und System (Grafik, Medieninhalte, künstliche Intelligenz, Anwendungsdienste und Systeme) weiter erschlossen und 9 neue Kits auf den Markt gebracht . Ähnlich dem schnellen Lauf von HarmonyOS deckt der aktuelle HMS Core insgesamt sieben Bereiche und 69 Kits ab, was der Entwickler-Community eine Fülle von Hilfestellungen bietet, die natürlich letztendlich den Massennutzern dienen.

Wie eingangs erwähnt, bietet HMS Core Ziegel, Fliesen, Beton, Stahlstangen, Lastwagen, Glas und andere Baumaterialien und Werkzeuge, um Entwicklern beim Hausbau zu helfen, aber tatsächlich können wir uns auch vorstellen, dass die Fähigkeiten von HMS Core 6 sein können möglich Nachdem Sie Entwicklern beim Straßenbau, der Feindekoration und der Landschaftsgestaltung geholfen haben, beschränkt sich die Vorstellungskraft der HMS-Ökologie nicht auf eine Ansammlung von Häusern, sondern kann eine lebendige oder sogar aufregendere Stadt sein.

#Willkommen, um dem offiziellen WeChat-Account von Aifaner zu folgen: Aifaner (WeChat-ID: ifanr), weitere spannende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner | Ursprünglicher Link · Kommentare anzeigen · Sina Weibo