Apple Watch Luftgesten veröffentlicht! Hier ist die Geschichte dahinter Exklusiv
Apple hat gestern Abend watchOS 10.1 offiziell vorgestellt und damit Double Tap auf die beiden neuen Apple Watches gebracht – Sie können den Bildschirm aus der Luft mit einem Fingertipp steuern: Songs schneiden, Anrufe entgegennehmen und auf WeChat-Nachrichten antworten. Vor zwei Wochen habe ich im Ausland mit dem Produktmanager der Apple Watch telefoniert und über die Geschichte hinter dieser kraftvollen Geste gesprochen.
„Hard Philosophy“ ist Ai Faners Kolumne über Hardware-Design. Wir hoffen, die äußere Hülle von Technologie und Parametern abzustreifen und die Ursprünge von Design und Geisteswissenschaften zu erforschen.
„Zweimal mit zwei Fingern aufeinander tippen“, die neue Funktion der diesjährigen neuen Apple Watch ist keine plötzliche Inspiration des Produktmanagers, sondern entspringt dem, was jeder Nutzer nachvollziehen kann – „diesen Momenten, in denen man nur auf den Watch-Button klicken kann.“ mit deiner Nase.
In einem exklusiven Interview mit iFan'er erklärte der watchOS-Softwareentwickler David Clark unverblümt, dass es immer einige unbefriedigende Interaktionen mit der Apple Watch gibt:
Der Anruf kommt, während Sie mit Ihrem Hund spazieren gehen. Sie eilen zu Ihrem nächsten Meeting, den Mac in der Hand, als Sie plötzlich eine Nachricht von einem Kollegen erhalten. Der Timer Ihrer Uhr klingelt, während Sie backen, aber Ihre andere Hand ist mit Eierbrei bedeckt und Sie möchten sie nicht berühren.
Eric Charles, Produktmanager der Apple Watch, sagte, dass diese zögernden Momente den Benutzern tatsächlich mehr Zeit kosten, über die Bedienung nachzudenken. Das Team wollte eine zuverlässige und intuitive Möglichkeit bieten, um sicherzustellen, dass alles reibungslos läuft, ohne dass zusätzliche Vorgänge erforderlich sind, wenn es darauf ankommt.
Achten Sie auf die Gesteninteraktion der Apple Watch, denn jeder erlebt „situative Behinderungen“
Der Prototyp von „Zwei Finger tippen sich gegenseitig“ lässt sich bis ins Jahr 2015 zurückverfolgen, weniger als ein Jahr nach der Veröffentlichung der Apple Watch.
In einem Patentdokument mit dem Titel „Bewegungs- und Gesteneingabe von einem tragbaren Gerät“ versucht Apple, die Möglichkeit zu untersuchen, Sehnenerkennung und Skelettbewegungen als Eingabebefehle zu verwenden.
Sechs Jahre später führten diese interaktiven Erkundungen zur Einführung der unterstützenden Berührung (AssistiveTouch) in watchOS 8. Benutzer können die Uhr in der Luft durch vier Gesten steuern: kneifen, zweimal kneifen, eine Faust machen und zweimal eine Faust machen.
Im Rahmen der Barrierefreiheitsfunktionen waren die Probleme, die die Gestensteuerung seinerzeit lösen musste, folgende:
Wie soll ein Benutzer die Apple Watch steuern, wenn er nur eine Hand hat?
Eines der Designprinzipien von Apple besteht darin, die Perspektive jedes Einzelnen zu berücksichtigen. Sie glauben, dass Menschen mit Behinderungen nicht aufgrund ihrer Größe unterschiedlich behandelt werden sollten und dass Menschen mit Behinderungen die gleichen Rechte bei der Nutzung von Produkten haben sollten.
Aber im offiziellen Dokument zum Interaktionsdesign ist Apples Definition von „Behinderung“ ungewöhnlich :
Jeder kann eine Behinderung erleben. Zusätzlich zu den Behinderungen, unter denen die meisten Menschen mit zunehmendem Alter leiden, gibt es auch vorübergehende Behinderungen – etwa einen kurzfristigen Hörverlust aufgrund einer Infektion – und situative Behinderungen – etwa die Unfähigkeit, in einem lauten Zug zu hören. Qing – Diese können Auswirkungen haben jeder zu unterschiedlichen Zeiten.
Das Telefon kann mit einer Hand gesteuert werden, die Apple Watch wurde jedoch von Anfang an so konzipiert, dass sie am Handgelenk des Benutzers befestigt wird. Wenn Sie den Bildschirm berühren, sind tatsächlich beide Hände besetzt.
In gewissem Sinne hat jeder Apple Watch-Benutzer nur eine Hand und alle leiden unter „situativen Behinderungen“.
Um dieses Problem zu lösen, gibt es nur zwei Möglichkeiten: Sprach- und Gestensteuerung. Die auf physischen Bewegungen basierende Gestensteuerung ist offensichtlich natürlicher. Sie ist nicht auf die Tasten und Bedienelemente der Benutzeroberfläche angewiesen und eignet sich besonders für Geräte mit schmalen Bildschirmen wie der Apple Watch.
Tatsächlich unterstützte die Apple Watch der ersten Generation „Heben Sie Ihr Handgelenk, um aufzuwachen“, was das grundlegende Paradigma der Gesteninteraktion begründete.
Apple hat eine Vielzahl von Handbewegungen untersucht, darunter auch einige komplexe Gestenoperationen.
„Zweimal mit zwei Fingern aufeinander tippen“ stach schließlich von diversen Gestenlösungen dadurch ab, dass es zwei Kriterien erfüllte:
- Einfach und intuitiv
- klarer Zweck
Ersteres erfordert keine Lernschwelle, und der Zweck erfordert eindeutig, dass die Aktion die Absicht des Benutzers widerspiegeln muss und nicht das Ergebnis einer versehentlichen Berührung sein muss.
Aus dem gleichen Grund kann „Mit zwei Fingern zweimal aufeinander tippen“ nur aktiviert werden, wenn der Bildschirm eingeschaltet ist. Eric erklärt, dass der Benutzer möglicherweise nicht weiß, was die Antwort war, wenn er den Bildschirm nicht sehen kann.
Ein kleiner Fehler im Herzfrequenzsensor führte unerwartet zu dem „Mit zwei Fingern aufeinander tippen“
„Zweimal mit zwei Fingern aufeinander tippen“ scheint einfach zu sein, man muss nur zwei Finger zusammenfügen, aber das Funktionsprinzip dahinter ist ziemlich kompliziert.
„Mit zwei Fingern aufeinander tippen“ basiert auf einem durch maschinelles Lernen erstellten Algorithmus und seine Daten stammen von drei Sensoren: Beschleunigungsmesser, Gyroskop und optischer Herzfrequenzsensor. Der Sensor erkennt die Merkmale kleiner Bewegungen und Veränderungen des Blutflusses, wenn Hand und Finger zweimal angetippt werden, und ermittelt so genau die wahre Eingabeabsicht des Benutzers.
Der optische Herzfrequenzsensor ist ein unverzichtbarer Bestandteil. Obwohl er nicht für die Gestensteuerung ausgelegt ist, hat das Team in jahrelanger Forschung herausgefunden, dass die täglichen Handgelenksbewegungen des Benutzers den Kontakt zwischen Handgelenk und Herzfrequenzsensor selbst bei der kleinsten Lücke verändern. All dies wirkt sich auf die vom Herzfrequenzsensor erfassten Daten aus.
Sein Arsen, mein Schatz. Diese unerwartete Entdeckung ermöglichte es dem Team, den Zusammenhang zwischen Gestenbedienung und Herzfrequenzsensoren aufzudecken. Ohne diese Lücken ist die Geste „Zwei Finger zweimal aufeinander tippen“ möglicherweise nicht möglich.
Wie David sagte:
Mit demselben Sensor, denselben Daten können wir völlig unterschiedliche Zwecke erreichen.
Im Gegensatz zur Gestensteuerung der Hilfsfunktion, die auf der CPU läuft, ruft „Zwei Finger zum Doppeltippen“ die Quad-Core-Neuronale Netzwerk-Engine des S9-Chips auf, was die Genauigkeit der Algorithmuserkennung um 15 % verbessert.
Dies kann erklären, warum die alte Apple Watch kein „Doppeltippen mit zwei Fingern“ unterstützt und auch die zusätzlichen Touch-Gesten deutlich weniger zuverlässig sind.
Während des Entwicklungsprozesses sah sich das Team vielen Herausforderungen gegenüber. Wie stellen Sie beispielsweise sicher, dass jeder Benutzer ein einheitliches Erlebnis erhält, wenn er mit subtilen Unterschieden in Körpertypen, Gliedmaßenlängen und sogar Gesten konfrontiert wird? Wie können Störungen durch Bluetooth-Funksignale und LTE überwunden werden?
David erwähnte, dass das Team eine große Datenmenge innerhalb des Unternehmens gesammelt hat, um das Modell für maschinelles Lernen zu trainieren. Das Modell wird unnötiges Rauschen entfernen und die Zuverlässigkeit der Gestenerkennung in verschiedenen Szenarien, insbesondere in instationären Szenen, gewährleisten. , kann genau erkennen Gesten.
Was Sie mit „Zwei Finger aufeinander tippen“ tun können, hängt von der Primäraktion ab
Nach der Lösung des Algorithmusproblems muss Apple noch einen Mechanismus auf Softwareebene entwerfen, um zu bestimmen, was „zwei Finger, die aufeinander tippen“ bewirken können.
In meiner Erfahrung mit der Apple Watch Series 9/Ultra habe ich erwähnt, dass das Bedienobjekt „zweimal mit zwei Fingern aufeinander tippen“ keine vorgegebene Richtung hat. Im Gegensatz dazu führt die Pinch-to-Zoom-Funktion immer zu einem Zoomeffekt. Und ein Doppelklick mit zwei Fingern führt in verschiedenen Apps zu unterschiedlichen Ergebnissen.
Gemäß der Informationsverarbeitungstheorie in der Mensch-Computer-Interaktion kommt es während des Interaktionsprozesses mit der Schnittstelle zu einer kontinuierlichen wechselseitigen Informationsverarbeitung zwischen dem Benutzer und der Maschine. Das etablierte Feedback wird dazu beitragen, die Zufriedenheit des Vorgangs zu steigern Senken Sie die Nutzungsschwelle und umgekehrt. Beeinträchtigen Sie Effizienz und Erfahrung.
Die Lösung von Apple besteht darin, logische Primäraktionen für verschiedene Apps in verschiedenen Szenarien einzurichten. Wenn beispielsweise ein Anruf eingeht, besteht die logischste Aktion darin, ihn anzunehmen, und ein erneuter Klick bedeutet, aufzulegen. Bei WeChat-Benachrichtigungen sollte die Antwort am logischsten sein, sodass durch Tippen mit zwei Fingern direkt die Voice-to-Text-Funktion aktiviert werden kann und dann erneut mit zwei Fingern getippt wird, um den Versand abzuschließen.
Unser Prinzip ist, dass Sie nicht viel nachdenken müssen, sondern einfach dann handeln, wenn Sie es brauchen.
Nach einem Monat Nutzung habe ich festgestellt, dass sofortiges Gesten-Feedback für Benachrichtigungen im Vergleich zu Gesten innerhalb der App praktischer ist, insbesondere in hochfrequenten Anwendungsszenarien wie Telefonanrufen und WeChat. Ersteres ist nur das Tüpfelchen auf dem i, während Letzteres eine rechtzeitige Hilfe ist.
Dies lässt den Entwicklern auch mehr Spielraum für Fantasie. Als ich Entwickler fragte, wie sie mit Double Tap das Software-Erlebnis verbessern könnten, sagte mir David die Antwort, die mir durch den Kopf ging: auf Benachrichtigungen reagieren.
Entwickler können vorhandene Benachrichtigungs-APIs nutzen, um die wichtigsten Vorgänge an der richtigen Stelle zu platzieren. Auf diese Weise kann der Benutzer beim Eintreffen einer Benachrichtigung direkt mit zwei Fingern klicken, um den Vorgang abzuschließen.
Das Problem, das durch „Mit zwei Fingern aufeinander tippen“ gelöst wird, ist genau die ursprüngliche Absicht der Apple Watch-Entwicklung
Das Wired-Magazin dokumentiert die wenig bekannte Geschichte von Apples Entwicklung der Apple Watch. Nachdem das Team bei der Produktdefinition schwankte, erkannte es schließlich den Grund für die Existenz der Apple Watch: Smartphones ruinieren Ihr Leben.
Kevin Lynch, technischer Leiter der Apple Watch-Software, sagte, dass die Leute ihre Telefone bei sich tragen und häufig auf den Bildschirm schauen. Die Leute verspotten diejenigen, die mit ihren Telefonen am Esstisch sitzen und jedes Mal, wenn ihr Telefon klingelt oder vibriert, in ihre Taschen greifen.
Letztendlich entschied sich das Team für die Entwicklung eines Geräts, das man stundenlang nicht benutzen würde und könnte, eines, das die meisten Informationen herausfiltert und einem nur die wichtigsten Informationen liefert.
Wenn die Entwicklung von Produkten, die Benutzer süchtig machen, die Grundlogik kommerzieller Unternehmen ist, dann ist die Apple Watch möglicherweise das erste Anti-Aufmerksamkeits-Gerät von Apple.
Auf der Entwickler-Website betont Apple, dass der Kern des Apple Watch-Erlebnisses im Moment liegt. In einem früheren Interview hatte Kevin Lynch sogar ein Zeitlimit für diesen Moment festgelegt: von den letzten 10 Sekunden auf 2 Sekunden verkürzt.
Die Geburt von „Zwei Finger zueinander“ ist für die Apple Watch ein Fortschritt, um Störungen zu beseitigen. In vielen Fällen muss ich die Uhr nicht mehr mit der anderen Hand steuern und für intensive Nachrichtenbenachrichtigungen auch nicht ständig mein Telefon herausnehmen.
Die Apple Watch ist vielleicht nicht in der Lage, unsere Hände vollständig zu befreien, und sie wird auch nicht die ultimative Waffe gegen die Informationsüberflutung sein, aber sie bietet eine neue Perspektive auf eine Art und Weise, die einen Unterschied macht: wenn die Informationsflut nicht nur Angst, sondern auch Angst mit sich bringt Da wir taub sind, wissen wir auch, wie man gelassen mit Maschinen umgeht.
# Willkommen beim offiziellen öffentlichen WeChat-Konto von aifaner: aifaner (WeChat-ID: ifanr). Weitere spannende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.
Ai Faner | Ursprünglicher Link · Kommentare anzeigen · Sina Weibo