Die iOS 18-Funktion von Apple kann die Art und Weise ändern, wie Sie das iPad verwenden

Es besteht kein Zweifel, dass das neue iPad Pro immer noch das beste Tablet zum Lesen, Spielen, Ansehen von Videos und Zeichnen ist. Aber mit dem M4-Chip, dem Magic Keyboard und dem Apple Pencil Pro kommt das iPad einem Laptop näher als je zuvor.

Wird das iPad also in Zukunft nach und nach zu einem MacBook mit Touch-Funktionalität?

Die Antwort ist wahrscheinlich nein.

Im neuesten iOS 18 nutzt Apple diese „Barrierefreiheitsfunktion“, um eine neue Zukunft für die iPad-Interaktion vorherzusagen.

Eye Tracking: Von Vision Pro zum iPad

Kürzlich hat Apple die neue „Eye-Tracking“-Funktion für sein Betriebssystem iPadOS 18 angekündigt. Diese scheinbar unauffällige Funktion ist oben auf der Einführungsseite platziert.

Wenn es um Eye-Tracking geht, denken viele vielleicht zuerst an das Vision Pro, das zuvor von Apple veröffentlicht wurde. Eines der herausragendsten Merkmale dieses Geräts ist, dass es Eye-Tracking verwendet, um den herkömmlichen Griff zu ersetzen.

Benutzer können Anwendungen steuern, durch Menüs navigieren und sogar Spiele spielen, indem sie ihre Augäpfel bewegen, ohne auf Berührungen oder externe Geräte angewiesen zu sein, was den Bedienkomfort erheblich verbessert und den Charme dieser interaktiven Methode demonstriert.

Dies ist hauptsächlich auf das Design mehrerer Infrarotkameras und M2- und R1-Doppelchips zurückzuführen, die in Vision Pro verteilt sind und es ermöglichen, mithilfe der Bildverarbeitungstechnologie Merkmale im Zusammenhang mit Augenbewegungen zu extrahieren und durch die Erstellung von Modellen eine Augenbewegungsverfolgung zu erreichen.

Eine wichtige Änderung in der Form des neuen iPad Pro, das vor nicht allzu langer Zeit veröffentlicht wurde, besteht darin, die Kamera von der schmalen Seite auf die lange Seite zu verlagern.

Der Dot-Matrix-Projektor, das Flutlicht-Sensorelement, die Frontkamera und die Infrarotkamera im Kameramodul werden mit dem neuen M4-Chip gepaart, der nun den Weg für weitere Pläne zu ebnen scheint.

Die Update-Beschreibung zeigt auch, dass Apples Eye-Tracking-Funktion vollständig durch maschinelles Lernen auf dem Gerät implementiert ist, was bedeutet, dass keine zusätzliche Hardware erforderlich ist und sofort auf allen Geräten mit iPadOS 18 verwendet werden kann, was ein Urteil bestätigt.

Derzeit umfassen die branchenweit anerkannten Eye-Tracking-Methoden das auf der Erscheinung basierende Eye-Tracking und das auf zweidimensionaler Kartierung basierende Eye-Tracking.

Ersteres verwendet hauptsächlich Gesichtsbilder oder Augenbilder als Eingabe für die Merkmalsextraktion und verknüpft diese Merkmale dann durch maschinelles Lernen mit der Blickrichtung. Diese Methode ist einfach und erfordert nur eine Kamera, erfordert jedoch viele Trainingsdaten, um ein genaues Modell zu erstellen und die Richtung Ihres Blicks richtig zu interpretieren.

Eine andere Eye-Tracking-Methode, die auf Binärkartierung basiert, bestimmt die Augenbewegung hauptsächlich durch Analyse der relativen Positionsänderungen des Augapfels und der Hornhautreflexion.

Da sich die Position des Hornhautreflexionsflecks bei Bewegung des Augapfels nicht ändert, kann er als Referenzpunkt für die Pupillenbewegung verwendet werden, und die Realisierungsrichtung wird anhand der Änderungen der relativen Positionen der beiden berechnet.

Während der Kalibrierung müssen Sie bestimmte Punkte auf dem Bildschirm betrachten. Das System zeichnet diese Punkte und Ihre Augendaten auf, um ein Kartierungsmodell zu erstellen. Wenn Sie dann woanders suchen, kann das System dieses Modell verwenden, um genau zu wissen, wo Sie suchen.

Tatsächlich scheint es nun so zu sein, dass das Prinzip des Eye-Trackings nicht sehr kompliziert ist und die vorhandenen Hardwarebedingungen ausreichen, um die Anforderungen zu erfüllen. Tatsächlich hat Apple jedoch einen langen Prozess durchlaufen, um diese Funktion zu erreichen.

Der letzte Schritt in vielen Jahren der Planung

Bereits vor vielen Jahren begann Apple, netzwerkbezogene Talente und Technologien im Bereich Eye Tracking einzusetzen.

Im Jahr 2013 erwarb Apple PrimeSense aus Israel, das Microsofts Motion-Control-Technologie für Xbox Kinect unterstützt hatte.

Dieses Unternehmen hat eine sehr kleine 3D-Kamera namens Capri auf den Markt gebracht, die in Mobiltelefone, Tablets und andere Geräte integriert werden kann. Hier ist, was PimeSense auf der Google I/O 2013 vorstellte:

Außerdem wurde der damals „kleinste 3D-Sensorchip der Welt“ auf den Markt gebracht, der aufgrund seiner guten Leistung und kompakten Größe auf vielen elektronischen Geräten wie Mobiltelefonen und Fernsehern eingesetzt werden kann.

Im Jahr 2017 erwarb Apple SensoMotoric Instruments, ein erfahrenes Eye-Tracking-Technologieunternehmen aus Deutschland. Es war einst der weltweit größte Hersteller von Eye-Tracking-Geräten.

Basierend auf der Reihe von Eye-Tracking-Hardware und -Software von „Money Capacity“ nutzte Apple im selben Jahr erstmals Eye-Tracking-Funktionen in seiner Face ID, um die Sicherheit beim Entsperren zu verbessern.

In den folgenden Jahren sickerten weiterhin Patentanmeldungen von Apple im Zusammenhang mit Eye-Tracking durch, und Apple erforschte auch weiterhin. Dies trug nicht nur zur Eye-Tracking-basierten Interaktionsmethode von Vision Pro bei, sondern führte auch zu endlosen Forschungen zum Eye-Tracking an anderen Apple-Geräte möglich.

Die Zukunft des Eyetrackings

Im Vergleich zu herkömmlichen Interaktionsmethoden (Maus, Tastatur, Touch usw.) bietet Eye Tracking mehrere Vorteile:

• Natürlich und intuitiv: Eye Tracking nutzt die natürliche Bewegung des menschlichen Auges zur Interaktion und erfordert keine zusätzlichen Bediengeräte. Benutzer müssen nur auf das Ziel schauen, um den entsprechenden Vorgang abzuschließen, was den Lernaufwand reduziert und die Interaktion intuitiver macht.
• Verbessern Sie die Effizienz: Die Augenmuskeln gehören zu den am schnellsten reagierenden Muskeln im menschlichen Körper. Durch Eye-Tracking können Benutzer Schnittstellenelemente schneller auswählen und steuern, Handbewegungen reduzieren und die Betriebsgeschwindigkeit und -effizienz verbessern.
• Kombiniert mit anderen Eingabemethoden: Eye Tracking kann mit anderen Eingabemethoden wie Sprachsteuerung und Gestenbedienung kombiniert werden, um umfassendere und flexiblere Interaktionsmethoden bereitzustellen.
• Multitasking: Benutzer können die Eye-Tracking-Steuerung nur dann ohne unnötige Bewegungen verwenden, wenn sie andere Aufgaben ausführen (z. B. Autofahren oder Gehen) oder mehrere Aufgaben gleichzeitig erledigen, was die betriebliche Effizienz verbessert.
• Datenanalyse und Personalisierung: Eye Tracking kann wertvolle Daten über die Aufmerksamkeit und Interessen der Benutzer liefern. Diese Daten können verwendet werden, um das Interface-Design, die Werbebereitstellung und die Personalisierung des Benutzererlebnisses zu optimieren und das System intelligenter und benutzerfreundlicher zu machen.
• Augmented Reality (AR): In einer AR-Umgebung kann Eye-Tracking ein immersiveres und natürlicheres interaktives Erlebnis bieten. Benutzer können virtuelle Objekte auswählen und bedienen, indem sie sie betrachten, was das Benutzererlebnis verbessert.

Gerade aufgrund dieser Vorteile hat es in vielen spezifischen Szenarien großes Potenzial gezeigt.

In vielen Spielen beispielsweise sorgt Eye Tracking nicht nur für eine komfortablere Bedienung, sondern auch für ein besseres Gefühl des Eintauchens in die Spielwelt, da es den Spielern ermöglicht, Charaktere im Spiel einfach durch die Implementierung zu steuern und mit ihnen zu interagieren.

Darüber hinaus können Entwickler nach der Implementierung der Eye-Tracking-Funktion viele Parameter wie Szenenbeleuchtung und Perspektivenwechsel basierend auf Augenbewegungsdaten anpassen, um sie an die persönlichen Sehgewohnheiten des Benutzers anzupassen und den Spielbildschirm realistischer zu gestalten.

Durch die soziale Interaktion im Spiel können virtuelle Charaktere auch verschiedene Aktionszustände realisieren, die sich in Echtzeit mit dem Gesicht des Spielers ändern, z. B. Richtung, Blinzeln, Blinzeln usw., wodurch der emotionale Ausdruck des Charakters bereichert und das Eintauchen aller in das Spiel verbessert wird Aspekte.

Abgesehen von den Spielen sind die Veränderungen, die diese Technologie im täglichen Leben mit sich bringen wird, vielleicht eher eine Vorfreude wert.

Nach der Veröffentlichung von Vision Pro sind Bildungs-, Medizin- und andere Szenarien ein wichtiges Anwendungsszenario. Es besteht kein Zweifel, dass dies auch auf das iPad anwendbar ist, das Eye-Tracking implementiert.

In Berufsausbildungsbereichen wie der Pilotensimulationsausbildung und der chirurgischen Simulation werden die Augenbewegungen der Schüler verfolgt, um die Geschwindigkeit und Genauigkeit der Entscheidungsfindung zu beurteilen.

Eye-Tracking kann Lehrern Echtzeit-Feedback über die Konzentration und das Verständnis der Schüler während des Lernens geben und dabei helfen, personalisierte Unterrichtsstrategien festzulegen und Kursinhalte zu verbessern.

Es gibt auch einige Szenarien, die sich sehr gut für die Eye-Tracking-Interaktion eignen, beispielsweise die häusliche Umgebung. Durch Eye-Tracking kann das iPad zu einer Smart-Home-Mittelkonsole werden, um das Zuhause zu steuern oder ein besseres interaktives Erlebnis zu bieten, wenn andere Dinge zur Hand sind oder die Hände schmutzig sind.

Obwohl das Anwendungspotenzial von Eye-Tracking enorm ist, stellen einige Branchenvertreter die Sicherheit dieser Technologie in Frage.

Daten zeigen, dass die Augendaten einer Person eine Vielzahl von Informationen implizieren, wie z. B. das Alter, das Geschlecht, die Rasse, den emotionalen Zustand, die Persönlichkeitsmerkmale usw. des Benutzers.

John Villasenor, Gründer und Co-Direktor der Fakultät des Institute for Technology, Law and Policy an der UCLA, sagte:

Sobald die Eye-Tracking-Technologie ausgereift ist, wird sie noch mehr Informationen sammeln: was wir online lesen und sogar wie wir es lesen. Haben wir beispielsweise eine Werbeanzeige auf einer Webseite gesehen, eine Weile darüber nachgedacht und es schließlich nicht geschafft, darauf zu klicken? Wie bewegen sich unsere Augen, wenn wir die gesamte Webseite lesen? Welche Wörter, Phrasen oder Themen bevorzugen oder vermeiden wir? Werden die vor uns angezeigten Werbeanzeigen in Zukunft nicht nur davon abhängen, was wir gekauft haben, sondern auch vom Bewegungszustand unserer Augäpfel?

Wenn wir die Dauer des Blicks und die Fokuspräferenz des Benutzers in Kombination mit Daten aus mehreren Dimensionen wie Pupillengröße und Sakkaden verstehen können, wird es zweifellos genauer sein, „zu erraten, was Ihnen gefällt“, und die Schwierigkeit der Privatsphäre zu erkennen Auch der Schutz wird umgehend verbessert.

In dieser Hinsicht besteht die Antwort von Apple darin, die gesamte Erfassung und Interpretation auf dem Gerät zu platzieren, ohne dass andere externe Hardware erforderlich ist, wie z. B. eine Brille, die speziell für die Erfassung von Augenbewegungsdaten entwickelt wurde, und Apple kann nichts sehen, was von der Kamera erfasst wird.

Im aktuellen Kontext, in dem Benutzer immer mehr auf Datenschutz und Sicherheit achten und es immer wieder zu Informationslecks kommt, kann es jedoch immer noch schwierig sein, die Bedenken der Benutzer zu lösen, und es kann auch zu einem wichtigen Faktor werden, der dies ermöglicht Es ist schwierig, Eye-Tracking-Funktionen zu implementieren.

Darüber hinaus besteht ein größeres Problem darin, sicherzustellen, dass das Eye-Tracking in verschiedenen Umgebungen stabil und genau funktioniert und an Brillenträger, besondere Augeneigenschaften usw. angepasst werden kann.

Und da sich die Augen von Menschen oft sehr schnell bewegen, sind die Bewegungen oft unregelmäßig oder sprunghaft, was ebenfalls ein wichtiges Problem darstellt, das durch Eye Tracking gelöst werden muss.

Als Reaktion auf dieses Problem könnte Apple KI einsetzen, um es zu lösen.

Sterling Crispin, ein ehemaliger Apple-Mitarbeiter, der für die Entwicklung von Vision Pro verantwortlich war, sagte einmal auf Twitter, dass Apple viel Neurowissenschaft nutzt, um einige seiner Schlüsselfunktionen zu entwickeln, wie zum Beispiel die Verwendung von KI zur Vorhersage des Bedienverhaltens der Benutzer:

Das KI-Modell versucht vorherzusagen, ob Sie neugierig, abgelenkt, verängstigt oder konzentriert sind, sich an vergangene Erfahrungen erinnern oder andere kognitive Zustände haben. Diese können durch Eye-Tracking-Messungen abgeleitet werden.

Er sagte auch, dass dies hauptsächlich auf Folgendes zurückzuführen sei:

Ihre Schüler reagieren, bevor Sie klicken, zum Teil weil Sie davon ausgehen, dass nach dem Klicken etwas passieren wird. Daher kann Biofeedback mit dem Gehirn des Benutzers erzeugt werden, indem das Augenverhalten des Benutzers erkannt und versucht wird, die Benutzeroberfläche neu zu gestalten, um mehr von dieser erwarteten Pupillenreaktion zu erzeugen.

Er sagte auch begeistert, dass diese Art von Eye-Tracking-Feedback, das KI-Algorithmen und Echtzeit-Feedback einbezieht, es zu einer „groben Gehirn-Computer-Schnittstelle“ macht, was sehr cool ist.

Erweiterung der iPad-Funktionalität und Neugestaltung seines Status

Natürlich mag die Beschreibung, dass Eyetracking zu einer „Gehirn-Computer-Schnittstelle“ wird, etwas übertrieben sein, aber was nicht verschwiegen werden kann, ist das Potenzial, Interaktionsmethoden zu erweitern.

Das iPad hatte bei seiner Einführung große Hoffnungen, wird aber von vielen immer noch als „Nachkauf-iQiyi“ angesehen. Der Hauptgrund liegt in der mangelnden Interaktion.

In dieser Hinsicht hat Apple tatsächlich viele Anstrengungen unternommen, beispielsweise die Hinzufügung von Apple Pencil und Magic Keyboard, die in gewisser Weise als Versuche von Apple angesehen werden können, die Interaktionsmethoden für Tablets zu bereichern.

Allerdings scheinen diese Bemühungen die peinliche Situation des iPad nicht grundlegend geändert zu haben. Wenn Sie schließlich eine Tastatur verwenden möchten, warum entscheiden Sie sich nicht einfach für ein MacBook? Obwohl der Apple Pencil das Potenzial der iPad-Form im professionellen Bereich ausgeschöpft hat, ist er durch den engen professionellen Bereich eingeschränkt und kann nicht der Schlüssel zur Rettung des iPads sein.

Darüber hinaus war das Finden neuer Interaktionen aus „Barrierefreiheitsfunktionen“ für Apple schon immer eine wichtige Möglichkeit, Produktpotenziale auszuschöpfen und neue Durchbrüche zu erzielen.

Beispielsweise kann die Doppelklickfunktion der Apple Watch Series 9 Fingerbewegungen erkennen und die Uhr steuern, ohne sie zu berühren. Sie wurde nach ihrer Einführung von vielen Benutzern gut angenommen, wurde jedoch auch in der Ecke „Auxiliary“ versteckt touch" schon lange.

Interaktionen, die dem Eye-Tracking sehr ähnlich sind, sind tatsächlich in der Liste „Barrierefreiheitsfunktionen“ von Apple versteckt. In den „Barrierefreiheitsfunktionen“ vieler Mac-Computer ist beispielsweise ein „Kopfsteuerungszeiger“ aufgetaucht, zu dem Benutzer ihren Kopf verwenden können Steuern Sie die Bewegung des Zeigers.

Mit dem Update von iOS 18 ist es auch sehr wahrscheinlich, dass das Eye-Tracking aus der Ecke von „Assistive Touch“ in die Mitte der Bühne rückt und nach einer Weile zu einer wichtigen Funktion wird, die Sie täglich nutzen iPad Interactive-Ära.

Vielleicht ist nicht nur die Fingersteuerung die Zukunft des iPad.

# Willkommen beim offiziellen öffentlichen WeChat-Konto von Aifaner: Aifaner (WeChat-ID: ifanr) wird Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner |. Ursprünglicher Link · Kommentare anzeigen · Sina Weibo