Reicht es, auf das Kinn zu schauen? Hier kommt die Halskette, die stille Sprachen erkennt

Stellen Sie sich vor, Sie würden in einem Konferenzraum oder einer Bibliothek sitzen, wo Sie Nadeln hören und „Siri, schauen Sie sich das Wetter morgen an“ herausplatzen könnten, was möglicherweise nicht angemessen ist.

Was tun, wenn eine Person nicht sprechen kann oder leise sein muss, aber einem Smart Device Anweisungen geben muss?

Zu diesem Zweck entwarfen Cheng Zhang, Assistenzprofessor für Informationswissenschaften an der Cornell University, und Ruidong Zhang, ein Doktorand, eine Halskette namens „Speechin“ .

Basierend auf Kieferbewegungen erfasst es „Bilder von Deformationen der Hals- und Gesichtshaut“, um stille Sprache zu erkennen und derzeit einfache Sätze in Englisch und Chinesisch zu erkennen.

Die Infrarotkamera von SpeeChin ist auf einem 3D-gedruckten „Halskettengehäuse“ montiert, das an einer silbernen Kette hängt, wobei die Kamera auf das Kinn des Trägers gerichtet ist. Um die Stabilität zu verbessern, haben die Entwickler „Flügel“ an den Seiten entworfen und eine Münze auf der Unterseite platziert.

Darüber hinaus ist SpeeChin mit einem Mikroprozessor, einer Batterie und einem Bluetooth-Modul ausgestattet.

Mithilfe von auf maschinellem Lernen basierenden Algorithmen kann das Gerät basierend auf den Kieferbewegungen des Trägers feststellen, welche Befehle der Träger lautlos ausspricht, und diese Befehle an ein gekoppeltes Smartphone weiterleiten, ähnlich wie Siri in einer anderen Form der Kommunikation.

Um Datenschutzprobleme zu vermeiden, hockt sich SpeeChin nur unter das Kinn und zeigt nicht direkt auf das Gesicht des Benutzers.

In einem ersten Versuch mit 20 Teilnehmern (10 sprachen Englisch, 10 Mandarin) maßen die Forscher die Grundposition ihrer Kiefer und verwendeten dann Differenzbilder, um SpeeChin zu trainieren, einfache Befehle zu erkennen.

10 englischsprachige Teilnehmer sagten lautlos 54 Befehle, darunter Zahlen, interaktive Befehle, Sprachassistentenbefehle, Interpunktionsbefehle und Navigationsbefehle, ebenso wie 44 Befehle von den anderen 10 Mandarin sprechenden Teilnehmern.

Es stellt sich heraus, dass SpeeChin englische und Mandarin-Befehle mit einer durchschnittlichen Genauigkeit von 90,5 % bzw. 91,6 % erkennt. Die Forscher sagen, dass das Gerät das Potenzial hat, die stillen Sprachmuster einer Person zu lernen.

Die Forscher baten außerdem sechs Teilnehmer, während des Gehens lautlos 10 Mandarin- und 10 englische Sätze zu sagen. Die Studie hatte eine geringe Erfolgsquote, hauptsächlich weil sich die Köpfe der Teilnehmer auf unvorhersehbare Weise bewegten.

Warum stille Spracherkennung in Form von Halsketten? Ein Forscher gab den Zweck seiner Studie an:

Wir denken an Halsketten als eine Form, an die Menschen gewöhnt sind, und nicht an Over-Ear-Geräte, die unbequem sein können; was die stille Stimme betrifft, denken die Leute vielleicht: „Ich habe bereits ein Spracherkennungsgerät an meinem Telefon“. Aber Sie müssen sich für einige Menschen und Situationen einsetzen, in denen Sie dies nicht können.

Es ist erwähnenswert, dass SpeeChin im Aussehen NeckFace ähnelt . NeckFace, ein Gerät, das letztes Jahr von Cheng Zhang und seinem SciFi-Lab-Team eingeführt wurde, verfolgt kontinuierlich Gesichtsausdrücke, indem es eine Infrarotkamera verwendet, um Bilder des Kiefers und des Gesichts unterhalb des Halses aufzunehmen und 3D-Rekonstruktionen des vollständigen Ausdrucks zu erstellen.

NeckFace könnte im Bereich der psychischen Gesundheit besonders nützlich sein, da es die Stimmungen der Menschen den ganzen Tag über verfolgt. Während Menschen nicht immer Emotionen in ihren Gesichtern zeigen, kann das Ausmaß der Veränderung des Gesichtsausdrucks im Laufe der Zeit auf Stimmungsschwankungen hinweisen.

NeckFace kann auch in anderen Szenarien verwendet werden, z. B. in virtuellen Meetings, wenn Frontkameraoptionen keine Option sind, Gesichtsausdruckerkennung in Virtual-Reality-Szenarien und mehr.

Wenn sich SpeeChin weiterentwickelt, werden auch seine Anwendungsfälle zunehmen, darunter Umgebungen, die leise sein müssen, nicht erkennbare laute Umgebungen und Menschen, denen es an Sprachkenntnissen mangelt.

#Willkommen beim offiziellen WeChat-Konto von Aifaner: Aifaner (WeChat: ifanr), weitere aufregende Inhalte werden Ihnen so bald wie möglich zur Verfügung gestellt.

Liebe Faner | Ursprünglicher Link · Kommentare anzeigen · Sina Weibo