Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken

Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 124

Er lag im Bett, konnte sich kaum bewegen, seine Gliedmaßen waren völlig außer Kontrolle. Selbst das einfachste Tippen auf den Bildschirm schien ihm unmöglich. Doch sein Blick blieb auf dem Startbildschirm des iPads hängen – wenige Sekunden später leuchtete der Bildschirm auf, ein Symbol wurde ausgewählt, und er „öffnete“ das Gerät erfolgreich mit einem einzigen Gedanken.

Mark Jackson ist einer der ersten ALS-Patienten weltweit, der seine Apple-Geräte mit seinen Gedanken steuern kann. Möglich macht dies die Stentrode, ein winziger Metallstent, der in die Blutgefäße seines Gehirns implantiert wird und neuronale Signale aufnimmt. Der Stentrode wurde von der Brain-Computer-Interface-Firma Synchron entwickelt.

Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 1

Ergänzend dazu hat Apple eine neue Reihe von Mensch-Computer-Interaktionsprotokollen eingeführt: BCI HID (Brain-Computer Interface Human-Computer Interaction Standard). Damit hat Apple erstmals neben Touch, Tastatur und Sprache auch „Gehirnsignale“ in die native Eingabemethode seines Betriebssystems integriert.

Kurz gesagt: Das Gehirn wird zur nächsten nativen „Eingabemethode“ auf Apple-Geräten. Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 12434

Brainwave + Apple-System: die stärkste „Cyber-Fusion“

Die Stentrode, die Jackson verwendet, ist ein hauchdünnes, stentartiges Gehirn-Computer-Interface. Es wird in eine Vene in der Nähe des motorischen Kortex des Gehirns implantiert. Ein Elektroden-Array auf dem Gerät erfasst neuronale Signale und erkennt mithilfe von Algorithmen die Absicht des Benutzers, um schließlich digitale Geräte zu steuern.

Noch wichtiger ist, dass es das erste Gerät ist, das eine native Integration in das Apple-Ökosystem erreicht. Der Schlüssel zu dieser Integration liegt im neuen Protokoll, das Apple im Mai dieses Jahres eingeführt hat – BCI HID (Brain-Computer Interface Human Interface Device), dem Standard für die Mensch-Computer-Interaktion für Gehirn-Computer-Schnittstellen.

Es fungiert als „Universalsprache“ zwischen dem Gehirn und iOS, iPadOS und VisionOS und macht Gehirnwellen offiziell zu einer legitimen Eingabemethode neben Berührung, Tastatur und Sprache. Durch die Integration mit der Barrierefreiheitsfunktion „Switch Control“ von iOS können Stentrode-Benutzer nun Gehirnwellensignale anstelle von Tasten, Tippen oder Wischen verwenden.

Mark Jackson war einer der ersten Patienten, der eine Stentrode erhielt. Er leidet an ALS (Amyotrophe Lateralsklerose) und kann weder stehen noch sein Haus in einem Vorort von Pittsburgh verlassen. Die Technologie hat ihm jedoch neue Bewegungsfreiheit gegeben.

Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 3

Im August 2023 wurde er operiert. Nach der Implantation der Stentrode begann Jackson, die Vision Pro mit seinen Gedanken zu steuern. Er „sah“ sich selbst am Rande einer Alpenklippe stehen und „fühlte“, wie seine Beine zitterten – obwohl sein Körper nicht mehr stehen konnte.

Später lernte er nach und nach komplexere Vorgänge: das Starten von Anwendungen, das Senden von Nachrichten und das Öffnen von E-Mails durch Gehirnsteuerung. „In der mir verbleibenden Zeit hoffe ich, den technologischen Fortschritt voranzutreiben und das Verständnis der Menschen zu verbessern“, sagte Jackson.

Seine Worte offenbaren auch die Kernaufgabe des Synchron-Teams: diese Technologie mehr Menschen zugute kommen zu lassen.

Peter, leitender Direktor für Neurowissenschaften und Algorithmen bei Synchron, sagte: „Unsere Vision ist es, Gehirn-Computer-Schnittstellen so populär zu machen wie Tastaturen und Mäuse.“ Er erklärte, die Schwierigkeit von BCI liege nicht nur in der Technologie selbst, sondern auch im Fehlen einer standardisierten „Interaktionssprache“.

Deshalb arbeiteten sie mit Apple zusammen, um das BCI-HID-Protokoll basierend auf dem HID-Standard zu entwickeln. „Es ist wie eine universelle Sprache zwischen Computern und Tastaturen. Jetzt haben wir dem Gehirn sein eigenes Eingabeprotokoll gegeben.“

Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 4

Das BCI HID übermittelt nicht nur die neuronale Absicht des Nutzers, sondern liefert auch visuelles Feedback. Wenn Mark eine Schaltfläche auswählen möchte, erscheint ein farbiges Markierungsfeld auf dem Bildschirm. Je dunkler die Farbe, desto stärker das neuronale Signal und desto sicherer ist das System, dass Mark die Schaltfläche anklicken wollte. Mark kann dieses Farbfeld dann gedanklich „ausfüllen“ und so eine präzise Auswahl treffen.

„Diese Art der visuellen Rückmeldung ist für Nutzer implantierbarer BCIs von entscheidender Bedeutung. Sie können in Echtzeit sehen, ob ihre neuronalen Signale ‚stark genug‘ sind, was ihnen hilft, sich besser zu konzentrieren“, erklärt Kurt Haggstrom, Chief Business Officer bei Synchron. Das gesamte System wird über Bluetooth verbunden und benötigt keine zusätzliche Ausrüstung oder Pflegepersonal. Mark „denkt“ einfach und das Gerät wird aktiviert.

Im Gegensatz zu herkömmlichen Hilfsgeräten handelt es sich bei BCI HID um ein interaktives Closed-Loop-System, das nicht nur die Absicht des Benutzers erkennt, sondern auch kontextbezogene Informationen in Echtzeit bereitstellt und so die Dekodierungsgenauigkeit und Reaktionsgeschwindigkeit verbessert.

Es kann auch mentale Aktionen direkt an Systemverknüpfungen binden: Stellen Sie sich vor, Sie tippen mit dem Finger, um zum Startbildschirm zurückzukehren, Sie ballen Ihre Faust, um eine Nachricht zu öffnen, Sie winken mit der Hand, um einen Videoanruf zu starten. Dies erhöht nicht nur die Steuerungsfreiheit, sondern macht die Systeminteraktion auch wirklich „null Eingriffe“.

Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 5

Darüber hinaus bietet BCI HID ein hohes Maß an Privatsphäre – Gehirnsignale sind für den jeweiligen Benutzer einzigartig und können von anderen Geräten weder manipuliert noch gelesen werden. Synchron wird BCI HID künftig als plattform- und herstellerübergreifenden Standard für neuronale Interaktion fördern, der allen BCI-Geräten eine nahtlose Verbindung zur digitalen Welt ermöglicht.

Apples Engagement wurde als der letzte Nagel im Sarg angesehen. „Apples Fähigkeit, die Bedürfnisse der Benutzer zu erkennen und darauf zu reagieren, zeigt ihr Engagement für ein nahtloses Benutzererlebnis“, sagte Kurt Haggstrom.

Gehirn-Computer-Schnittstellen, die keine Kraniotomie erfordern, könnten Musk schlagen

Wenn es um Gehirn-Computer-Schnittstellen geht, denken die meisten Menschen an Musks Neuralink. Die früheren Livestreams und Tweets von Neuralink auf X haben ein breites Interesse an Gehirn-Computer-Schnittstellen geweckt.

Im Gegensatz dazu ist Synchro außerhalb der Branche relativ unbekannt.

Allerdings gibt es zwischen den beiden Unternehmen schon seit längerem Überschneidungen. An einem Wochenende vor drei Jahren, als Synchron in den USA erstmals einem Patienten ein Gehirn-Computer-Interface implantierte, rief Musk den Gründer und CEO von Synchro, Tom Oxley, an.

Oxley erinnerte sich später, dass Musk der Ansicht war, die Lösung für die Gehirn-Computer-Schnittstelle müsse darin bestehen, den größten Teil des Schädels zu entfernen und durch eine eingebettete Titanschale zu ersetzen. Er war jedoch fest davon überzeugt, dass dieses Ziel erreicht werden könne, ohne den Schädel zu berühren.

Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 4 8

▲Tom Oxley

Musk bot Oxley außerdem seine Unterstützung an, falls das Unternehmen nicht mehr über die nötigen Mittel verfügte, um seine Ziele, insbesondere im Bereich der Gehirn-Computer-Schnittstellen, zu verfolgen. Doch vielleicht aufgrund unterschiedlicher Philosophien scheiterte diese Partnerschaft letztlich.

Tatsächlich testen Forscher seit zwei Jahrzehnten Gehirnchip-Implantate an Menschen, doch für fast alle dieser Geräte muss der Schädel aufgeschnitten und Elektroden in das Gehirn eingeführt werden, wobei Drähte vom Kopf herabhängen.

Vereinfacht ausgedrückt wird ein Loch in den Kopf geschnitten und ein Gerät von der Größe einer Apple Watch eingesetzt. Ganz abgesehen von den Risiken der Operation kann es selbst bei einem erfolgreichen Eingriff zu einer Abstoßung des menschlichen Gehirns kommen – eine der technischen Schwierigkeiten invasiver Gehirn-Computer-Schnittstellen.

Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 5 4

Stentrode hat diesen Schmerzpunkt nicht.

Der Eingriff ähnelt der Implantation eines Herzstents. Das Implantat wird über die Drosselvene in den motorischen Kortex des Gehirns (den Bereich, der die motorischen Absichten des Menschen signalisiert) implantiert. Das Gehirn stößt die Stentrode ab, indem es sie in das Hirngewebe drückt, sodass die Stentrode innerhalb weniger Wochen vom Gewebe umhüllt und an ihrem Platz fixiert wird.

Alle von der Stentrode erfassten Gehirnsignale werden über ein Kabel gesendet, das durch eine Vene verläuft und mit einem in die Brust des Patienten eingenähten Empfänger in der Größe eines iPod Shuffle verbunden ist.

Ähnlich wie die Batterie eines Herzschrittmachers hat die Empfängerbatterie eine Lebensdauer von bis zu 10 Jahren.

Der Empfänger überträgt Anweisungen per Bluetooth an den Computer oder das iPad des Patienten, sodass dieser auf Textnachrichten zugreifen und andere Apps steuern kann. Sobald die Stentrode installiert ist, führen die Patienten Kalibrierungsübungen durch, bei denen sie von Synchron-Mitarbeitern angeleitet werden, verschiedene Körperteile zu bewegen.

Unterschiede in den Implantationsmethoden und -konzepten führen natürlich auch zu Unterschieden in der technischen Leistung.

Beispielsweise verfügt das N1-Gerät von Neuralink über 1.000 Elektroden und erfasst somit mehr neuronale Daten, während Stentrode nur über 16 verfügt. Die Elektroden des N1 werden direkt in das Hirngewebe implantiert und erfassen umfangreichere Daten, die sich in empfindlicheren Mausklicks und Tastatureingaben niederschlagen.

In früheren Berichten konnten Neuralink-Benutzer den Cursor auch mit ihren Gedanken bewegen, und die Geschwindigkeit war sogar höher als bei den Mausoperationen einiger normaler Benutzer.

Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 6 7

Warum hat sich Apple trotz allem letztendlich für eine enge Zusammenarbeit mit Synchron und nicht mit Musks Neuralink entschieden? Dahinter steckt eigentlich eine andere Antwort, die Apple für Gehirn-Computer-Schnittstellen hat: Sicherheit.

Wie bereits erwähnt, handelt es sich beim Neuralink N1 um ein invasives Implantat mit hoher Dichte. Invasive Operationen bergen ein höheres Risiko und können Entzündungen oder Gewebereaktionen auslösen. Die Synchron Stentrode hingegen verwendet ein nicht-invasives Implantat mit geringerer Dichte. Dies bietet ein geringeres Operationsrisiko und eine kürzere Genesungszeit und eignet sich daher besonders für Patienten, für die eine Kraniotomie nicht in Frage kommt.

Der Nachteil von Stentrode besteht natürlich darin, dass die Elektroden keinen direkten Kontakt mit den Neuronen haben, die Signalqualität und Auflösung gering sind, die Datenbandbreite gering ist und es sich nur für die Dekodierung neuronaler Signale auf grundlegender Ebene eignet.

Ein Gedanke, ein Tweet

Die technischen Parameter sind nur ein Teil der großen Geschichte. Was bei Synchron wirklich auffällt, ist das, was es bereits geleistet hat.

Im März 2024 postete ein Neuralink-Patient einen Tweet auf der X-Plattform. Drei Jahre zuvor hatte der 62-jährige ALS-Patient Phillip O'Keefe jedoch bereits den ersten Satz auf der X-Plattform mithilfe der Gehirn-Computer-Schnittstelle Synchron getippt:

Hallo Welt!

Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 7 5

Beachten Sie, dass dies der erste Tweet in der Menschheitsgeschichte ist, der über Gehirnwellen „gesendet“ wurde. Es gab keine Tastatur, keine Stimme und nicht einmal Eye-Tracking; alles war „ausgedacht“. Obwohl der Tweet kurz ist, könnte er ihm mehr wert sein als ein 100.000 Wörter langer Roman.

Natürlich endet Synchrons Geschichte hier nicht.

Als ChatGPT die ganze Welt in Beschlag nahm, dachten viele Menschen darüber nach, wie man damit Aufsätze, Codes und Liebesbriefe schreiben könnte, während Synchron darüber nachdachte, wie man mithilfe von KI die Gehirn-Computer-Schnittstellentechnologie verbessern könnte.

Der 64-jährige Mark ist einer der ersten Nutzer, der die Integration von KI-Gehirn und -Computer erlebt hat. Obwohl er aufgrund von ALS die meisten seiner körperlichen und sprachlichen Fähigkeiten verloren hat, kann er seine Gehirnströme immer noch nutzen, um Apple Solitaire zu spielen, Apple TV zu schauen und sogar auf seinem Vision Pro die Sterne zu betrachten.

Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 8 5

Insbesondere ermöglicht Synchron großen Sprachmodellen wie ChatGPT, relevanten Kontext in Form von Text, Audio und Bild zu erfassen, vorherzusagen, was der Benutzer sagen möchte, und ihm ein Menü mit Aktionen zur Auswahl zu präsentieren.

Darüber hinaus hat die Synchron-Gehirn-Computer-Schnittstelle nach der Hinzufügung von GPT-4o vier bedeutende Änderungen mit sich gebracht:

  1. Unterstützte Kommunikation: GPT generiert vordefinierte Antwortoptionen, sodass Benutzer diese nicht wörtlich eingeben müssen.
  2. Intelligente Vorhersage: GPT kombiniert Kontext, um mögliche Anforderungen vorherzusagen, wodurch die Anzahl der erforderlichen Schritte erheblich reduziert wird.
  3. Multimodale Eingabe: GPT-4o akzeptiert Text-, Audio- und Videoeingaben und stellt Informationen auf verschiedene Weise bereit
  4. Adaptives Lernen: Das System lernt schrittweise die Benutzerpräferenzen, um eine effiziente Personalisierung zu erreichen.

Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 9 3

Noch wichtiger ist, dass dieser multimodale Informationseingabemodus der KI + Gehirn-Computer-Schnittstelle einige Ähnlichkeiten mit den Verhaltensmustern des Gehirns selbst aufweist. Das Synchron-Team erklärte:

Der Grund dafür liegt darin, dass Multimodal 4o anders ist, da es Eingaben aus der Umgebung nutzt, die wie eine Erweiterung des Gehirns des Benutzers wirken. Sobald der Benutzer mit der Eingabeaufforderung interagiert, erhält er in Echtzeit Informationen über alles, was in der Umgebung passiert.

In einem Interview mit den Medien sagte Mark, dass ihn eine Anwendung in Vision Pro zur Beobachtung von Sternbildern am Nachthimmel am meisten beeindruckt habe:

Es ist so cool, es wird wirklich lebendig. Die Nutzung dieser Augmented-Reality-Technologie ist unglaublich leistungsfähig, und ich kann mir vorstellen, dass sie für Menschen in meiner Situation oder andere, die ihre Alltagskompetenz verloren haben, genauso effektiv wäre. Sie kann einen an Orte versetzen, von denen man nie gedacht hätte, sie jemals wiederzusehen oder zu erleben, und bietet mir so eine neue Möglichkeit, Unabhängigkeit zu erleben.

Dies ist Marks neue Erfahrung und zugleich die ultimative Fantasie vieler Menschen zum Thema Gehirn-Computer-Schnittstelle.

Und Synchron hat es wirklich geschafft.

Auf der NVIDIA GTC-Konferenz 2025 stellte Synchron das weltweit erste kognitive KI-basierte Gehirnmodell Chiral vor ™ , und brachte ein sehr schockierendes Demonstrationsvideo mit.

Ein ALS-Patient namens Rodney ist vollständig behindert, doch durch eine Gehirn-Computer-Schnittstelle und Vision Pro wird sein Gehirn zu einer Fernbedienung, die es ihm ermöglicht, sein Smart Home mit seinen Gedanken zu steuern: Lichter einstellen, Musik abspielen, den Raum steuern und Haushaltsgeräte einschalten.

Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 10 3

Damals drückte Oxley seine Zuversicht aus:

„Wir verwenden generative Vortrainingstechnologie, um ein echtes ‚gehirnbasiertes Modell‘ zu erstellen. ™ Durch direktes Lernen aus neuronalen Daten und Abstraktion von der Quelle menschlicher Kognition können wir Funktionen entwickeln, die das Leben der Nutzer wirklich verbessern. All dies basiert auf unserer Fähigkeit, in großem Umfang auf neuronale Daten zuzugreifen, so wie wir die BCI-Technologie so zugänglich machen wie die Stentimplantation.

Ob GPT-4o oder EEG-Schnittstelle, ihr ultimatives Ziel ist eigentlich dasselbe: einen neuen Weg für alle zu finden, insbesondere für diejenigen, die von der Technologie ignoriert werden, mit Computern zu kommunizieren.

Benutzer wie Mark sind endlich nicht mehr auf andere angewiesen und können wieder sagen, was sie sagen möchten, die Sterne sehen, die sie sehen möchten, und sogar ein paar Kartenspiele spielen.

Wenn das nicht die ultimative Romantik der menschlichen Technologie ist, was dann?

Humanistische Fürsorge ist immer der ultimative Hintergrund von Wissenschaft und Technologie

Doch wem nützen diese Entwicklungen letztlich?

Vielleicht sollten wir uns genauer ansehen, was diese Technologie für manche Menschen bedeutet.

Synchron-CEO Tom Oxley sagte, dass die Unternehmen für Gehirn-Computer-Schnittstellen derzeit den Computer „austricksen“ müssten, damit er glaube, das Signal des implantierten Geräts stamme von der Maus. Doch wenn es speziell für diese Geräte entwickelte Standards gäbe, könne das Potenzial der Technologie noch weiter ausgeschöpft werden.

Nun verfolgt Apple ausländischen Medienberichten zufolge einen ähnlichen Ansatz, um die Integration von Geräten mit Gehirn-Computer-Schnittstelle in das Apple-Ökosystem voranzutreiben, und plant, diese neue Standardsoftwareschnittstelle noch in diesem Jahr für Drittentwickler freizugeben, damit diese die weitere Anwendung der Gehirnsteuerungstechnologie fördern können.

Seit 2019 hat Synchron die Stentrode bei 10 Patienten implantiert.

Morgan Stanley schätzt, dass in den USA etwa 150.000 Menschen an schweren Funktionsstörungen der oberen Gliedmaßen leiden und potenzielle Erstnutzer von Brain-Computer-Interface-Geräten sind. Laut Daten aus dem Jahr 2021 leiden weltweit etwa 15,4 Millionen Menschen an Rückenmarksverletzungen, die zu den häufigsten Ursachen für Lähmungen zählen.

Apples erste öffentliche Demonstration seines „gehirngesteuerten“ iPad: Ein Tetraplegiker ergreift die Welt wieder mit einem einzigen Gedanken - 12 4

Wenn Sie sich darüber beschweren, dass Ihr Mobiltelefon nicht einfach zu bedienen ist, empfinden manche Leute es sogar als Luxus, „ein Mobiltelefon zu benutzen“.

Für Patienten mit Lähmungen oder ALS war die Bedienung eines Geräts nie selbstverständlich. Sie können nicht einmal auf Schaltflächen klicken, über den Bildschirm wischen oder ihre Hände heben, um einen einfachen Befehl zu erteilen.

Die Definition von „Operation“ in der menschlichen Gesellschaft war schon immer zu eng.

Früher dachten wir, dass „Bedienung“ Klicks, Wischbewegungen, Sprache und Gesten bedeutet, und wir haben nach „natürlicheren“ Interaktionsarten gesucht, aber diese Definition hat von Anfang an keinen Raum für sie vorgesehen.

Das Aufkommen von Gehirn-Computer-Schnittstellen hat dies geändert. Wenn Gedanken auch zu einer Funktionsweise werden, bedeutet das, dass sich Menschen nicht mehr an das Gerät anpassen müssen, sondern dass das Gerät sie versteht. Selbst wenn sich ein Mensch nicht bewegen oder sprechen kann und nur noch ein klares, denkendes Gehirn übrig ist, kann er sich mit der Welt verbinden. Wahre Barrierefreiheit bedeutet, die Welt an jede Seinsweise anzupassen.

#Willkommen beim offiziellen öffentlichen WeChat-Konto von iFaner: iFaner (WeChat-ID: ifanr), wo Ihnen so bald wie möglich weitere spannende Inhalte präsentiert werden.

iFanr | Originallink · Kommentare anzeigen · Sina Weibo