Wie zwei Apps Smartphones in Navigationsgeräte für Blinde verwandeln

Das erste Mal wurde ich Zeuge der Herausforderungen einer Behinderung, als ich 2016 mit dem College begann. Meine Mitbewohner kamen aus ganz Asien und Afrika und verfolgten unterschiedliche Karrierewege und Hobbys, jedes mit seiner eigenen kulturellen Identität und eigenen Lebenserfahrungen.

Damals war ein ganzer Flügel meines Wohnheims blinden Studenten und Gleichaltrigen mit eingeschränktem Sehvermögen gewidmet. Ihnen in den Gassen, auf dem Weg zur Mensa oder zum College zu begegnen – und sie Hand in Hand an ihr Ziel zu führen – wurde schnell zur täglichen Routine.

Die kurzen Gespräche waren immer faszinierend und das Auswendiglernen ganzer Urdu-Gedichtbände hat mich immer wieder in Erstaunen versetzt. Während der Prüfungssaison war ich regelmäßig ehrenamtlich als Autor tätig, während meine Freunde die Antworten vortrugen.

Für mich war es eine aufschlussreiche Erfahrung, doch zwei Aspekte stachen hervor. Erstens war es die ständige Präsenz von Smartphones in ihrem Leben. Zweitens gab es auf dem gesamten Campus, obwohl es sich um eine anerkannte nationale Universität handelte, einen völligen Mangel an Behindertenhilfe, insbesondere für blinde Bewohner oder Gäste.

Diese Mängel reichen von ungeplanter Infrastruktur bis hin zum Fehlen eines unterstützenden Technologie-Stacks. Saif Khan, ein Architekt, erzählt mir, dass es keine Standardrichtlinien gibt, um Gebäude für blinde Menschen zugänglich zu machen. „Das Beste, was wir tun, ist, Rampen für Menschen mit motorischen Behinderungen zu bauen“, sagt Khan, Inhaber des Pause Design Studio in der indischen Hauptstadt, gegenüber Digital Trends.

Die Situation ist aus mehreren Gründen düster. Dr. Arif Waqar, der intensiv mit Blinden gearbeitet hat, erzählt mir, dass selbst in der medizinischen Wissenschaft der Fokus mehr auf der heilenden Seite als auf der Lösung bestehender Probleme liegt.

„Wir setzen nicht auf die Seite der technischen Innovation. Und das bedeutet, dass die Probleme der realen Welt weiterhin bestehen, ohne dass es eine universelle Lösung gibt. Navigationsunterstützung ist eine davon“, sagt Waqar.

Eine neue Art, blinden Menschen zu helfen

Ein Team der University of California, Santa Cruz, will Blinden mithilfe von Smartphone-Apps die Orientierung in Gebäuden erleichtern. Insbesondere erfordern diese Anwendungen keine vorherige technische Einrichtung und benötigen lediglich die internen Sensoren eines Telefons. Nicht einmal das Kameramodul ist hier Teil der Gleichung.

Roberto Manduchi, Professor für Informatik und Ingenieurwesen an der UC Santa Cruz, leitete die Entwicklung dieser Apps, um blinden Benutzern mithilfe von Audiohinweisen dabei zu helfen, sich innerhalb eines Gebäudes zu bewegen. Das Praktischste – und Sicherste – daran ist, dass Benutzer das Telefon dabei nicht halten müssen.

Stellen Sie sich diese beiden Apps – Wayfinding und Backtracking – als das GPS-Äquivalent für die Indoor-Navigation vor. Im Gegensatz zu anderen Versuchen, die vorinstallierte Sensoren in Gebäuden oder unzuverlässiges GPS erfordern, benötigen diese Apps jedoch nur die in einem Telefon eingebauten Sensoren, um Orientierung zu geben.

Konkret nutzte das Team die Messwerte der Trägheitssensoren – Beschleunigungsmesser, Gyroskop und Magnetometer –, um den Navigationsfortschritt zu messen. Obwohl die Apps hauptsächlich auf Smartphone-Lautsprecher für Sprachsignale angewiesen sind, können sie auch mit einer Smartwatch gekoppelt werden.

Fünf Meter vor jeder Abbiegung informieren die Apps den Nutzer über die bevorstehende Richtungsänderung. Während die Wayfinding-App bei der Eingabe und Navigation hilft, nutzt die Backtracking-App den Plan der ursprünglichen Fahrt und kehrt ihn einfach um, um die nötige Orientierung zu geben.

In naher Zukunft hofft das Team, Computer-Vision-Technologie in die Apps zu integrieren. Dies würde es Benutzern ermöglichen, auf ein Bild ihrer Umgebung zu klicken, wenn sie sich an einer schwierigen Stelle befinden, und die KI die Welt um sie herum beschreiben zu lassen.

Die Vision ähnelt der Art und Weise, wie moderne KI-Chatbots jetzt Bilder verarbeiten können , sodass Benutzer einfach auf die Kamera richten und die KI die Bilder verstehen lassen können.

Wie das Ganze funktioniert

Im Rahmen der Tests hatte das Team der UC Santa Cruz sieben blinde Teilnehmer, die die Wayfinding-App nutzten, um an Routen mit insgesamt 13 Kurven vorbeizukommen. Anschließend nutzten sie die Backtracking-App, um ihren ursprünglichen Weg auf dem Rückweg nachzuvollziehen.

Diese Apps sind weder auf eine externe Infrastruktur angewiesen, noch erfordern sie, dass Benutzer die Telefone in einer bestimmten Position halten, um Daten aus ihrer Umgebung zu erfassen. Die Apps funktionieren auch dann einwandfrei, wenn das Telefon sicher in der Tasche verstaut ist.

Unter dem Gesichtspunkt der Bequemlichkeit ist dies ein entscheidender Sieg. „Blinde Reisende benutzen normalerweise einen langen Stock oder einen Hundeführer und sind daher bereits mit einer Hand damit beschäftigt, den Stock zu manövrieren oder den Hund zu halten“, heißt es in der Forschungsarbeit, die in der Fachzeitschrift ACM Transactions on Accessible Computing veröffentlicht wurde.

Für die Wayfinding-App testete das Team zwei separate Algorithmen: Azimuth/Steps und RoNIN. Die erste basiert auf dem Konzept der Schrittverfolgung und erstellt bei jedem aufgezeichneten Schritt einen zweidimensionalen Schrittvektor sowie Richtungsinformationen, die vom integrierten Kompass des Telefons abgerufen werden.

Um die Position des Benutzers abzuschätzen, wird ein „Dead Reckoning“-System angewendet. „Dies ähnelt der alten Navigationstechnik, bei der der Weg eines Schiffes anhand des Kompasses für den Kurs und eines Chip-Logs (ein Seil mit einer Anzahl regelmäßig platzierter Knoten) für die Geschwindigkeit berechnet wurde“, erklärt Manduchi. „Sie rekonstruieren den Weg des Schiffes, indem Sie auf der Karte eine Linie zeichnen, die auf dem gemessenen Kurs und der Geschwindigkeit basiert.“

Algorithmusfehler – oder „Drift“ – sind unvermeidlich. Um dem entgegenzuwirken, nutzte das Team eine Technik namens Partikelfilterung, die hauptsächlich zur räumlichen Verfolgung eingesetzt wird. In diesem Fall wurde die Partikelfilterung verwendet, um bestimmte Korrekturbeschränkungen hinzuzufügen, um diese Drift zu vermeiden.

„Wir können keine Mauern überqueren (es sei denn, wir sind Superman). Durch das Hinzufügen dieser vorherigen Einschränkungen (ausgehend von den zugrunde liegenden Grundrissen) wird der Drifteffekt drastisch reduziert“, erklärt Manduchi gegenüber Digital Trends.

Der RoNIN-Algorithmus wurde hauptsächlich als ausfallsichere und vergleichende Analyse eingesetzt und war im Testverlauf nur einmal erforderlich. Um den kürzesten Weg zu ermitteln, stützen sich die Apps auf das GameplayKit-System von Apple, ein Framework, das vorwiegend zum Erstellen von Spielen verwendet wird. Insbesondere stellt Apple Entwicklern bereits ein Indoor-Karten-Framework zur Verfügung.

Das Team verwendete auch Smartwatch-basierte Steuerungen auf einer Apple Watch und nutzte dabei eine Mischung aus Steuerungen, darunter berührungsbasiertes Wischen, Digital Crown-Bewegung und VoiceOver. Die Apps warnen Benutzer vor dem nächsten Abbiegen, falschen Bewegungsmustern, nahegelegenen Orientierungspunkten und wenn sie einen neuen Routenabschnitt betreten.

Das Team zeigte sich von der trägheitsbasierten Lokalisierungstechnik der App überzeugt, vor allem weil sie zugänglich ist und keine externe Infrastruktur benötigt, um Leitdienste anzubieten. Manduchi sagt mir jedoch, dass Wayfinding und Backtracking „nur experimentelle Apps sind, noch weit von einer Distributionsversion entfernt“.

Insbesondere erwägt das Team den Open-Source-Weg über die UCSC Center for Research on Open Source Software-Plattform. Allerdings könnte eine öffentliche Veröffentlichung einige Zeit in Anspruch nehmen, um „mehrere praktische Probleme“ zu lösen, sagt Manduchi. Leider ist eines dieser Probleme grundlegender Natur.

Der große Vorbehalt

Komfort ist ein wiederkehrendes Thema beider Apps und es scheint, dass es keine anspruchsvollen Hardware-Einschränkungen gibt. Ich fragte, ob die Apps beim Testen ein bestimmtes Maß an Silizium-Feuerkraft erforderten oder ob die fertige App eine Leistungsbasislinie hätte.

Manduchi sagt mir, dass von der nativen Hardware keine derartigen Leistungserwartungen bestehen, da das Team die beiden Apps auf einem iPhone X getestet hat, das vor acht Jahren herauskam. Man kann mit Sicherheit davon ausgehen, dass die meisten iPhone-Besitzer die beiden Apps problemlos ausführen können, wenn sie öffentlich veröffentlicht werden.

Jetzt wird die Wayfinding-App von der Verfügbarkeit von Grundrissen gesteuert. Es wäre nutzlos, wenn die App den Grundriss nicht bereits in ihrem Verzeichnis gespeichert hätte. Konkret müssen die Gebäudegrundrisse in einem vektorisierten Format eingespeist werden.

Manduchis Team hat bereits einen Teil dieser entscheidenden Hürde überwunden. „Wir haben eine Web-App erstellt, die die Vektorisierung eines Grundrisses in jedem vorhandenen Format ermöglicht, sodass er von unserer App verwendet werden kann“, sagt Manduchi gegenüber Digital Trends. Er sagt, dass sie die Web-App in naher Zukunft öffentlich veröffentlichen wollen.

Das eigentliche Hindernis ist die Verfügbarkeit dieser Gebäudekarten, ob vektorisiert oder nicht. „Wir haben die Erfahrung gemacht, dass die Verfügbarkeit von Grundrissen öffentlicher Gebäude lückenhaft ist und die verfügbaren Grundrisse in verschiedenen Formaten vorliegen können“, erzählt mir Manduchi.

Dieses Problem kann nur durch freiwillige Beteiligung oder durch staatliche Intervention gelöst werden. „Als Architekt gebe ich meinen Kunden den Grundriss oder die digitale Kartenskizze im PDF-Format, weil sie das sehen müssen. Realistisch gesehen nützen ihnen die umfangreichen Vektorkarten in IMDF-Dateien nichts“, erzählt mir Khan.

Er betont, dass es sich hier nicht um ein Geschäftsgeheimnis der Hardliner handele, die meisten Architekturbüros oder -einrichtungen die 3D-Vektorkarten jedoch nicht weitergeben würden. „Betrachten Sie es als geistiges Eigentum, etwas, das die Grundlage meiner Arbeit bildet“, sagt Khan.

Diese Vektorkarten werden normalerweise in anspruchsvollen Apps wie Revit oder AutoCAD erstellt und können nur mit diesen Apps angezeigt oder bearbeitet werden. Daher macht es wenig Sinn, sie so oder so weiterzugeben, da der Kunde lediglich eine Grundrisskarte benötigt, die er öffnen und verstehen kann, etwa Zeichnungen auf einem einfachen PDF- oder digitalen Blatt.

Selbst wenn der derzeitige Eigentümer eines bestimmten Gebäudes sich bereit erklärt, eine Kopie der Karte für Apps wie Wayfinding zur Verfügung zu stellen, müsste er zunächst den Architekten oder das Planungsbüro dahinter ausfindig machen. Aus logistischen, vertraglichen oder anderen gesetzlich geschützten Gründen ist die Weitergabe möglicherweise nicht möglich.

Bei Gebäuden, die von staatlichen Stellen betrieben werden, wird die Situation jedoch noch schwieriger. Dies kann alles sein, vom nächstgelegenen öffentlichen Krankenhaus bis zur örtlichen U-Bahn-Station. Die Beantragung einer Genehmigung und deren Genehmigung für den Zugriff auf die vektorisierten Karten könnte ein langwieriger und langwieriger Prozess sein.

In Indien beispielsweise wurden während der britischen Kolonialzeit Universitätsgelände, öffentliche Infrastruktur und Regierungsbüros gebaut. Eine Karte oder auch nur einen architektonischen Grundriss zu finden, wäre wie die Suche nach der Nadel im historischen Heuhaufen.

Der einzige Weg nach vorn wäre, sie professionell digital neu abzubilden, was ein weiteres gewaltiges Unterfangen wäre. Im Moment scheint Open-Sourcing der einzig sinnvolle Weg zu sein, da dies zumindest sicherstellen würde, dass Wayfinding- und Backtracking-Apps in sinnvoller Weise Navigationsunterstützung bieten können.

„Es gibt keine architektonische Regelung für blinde Menschen. Es gibt keine durchsetzbaren Richtlinien“, erzählt mir Khan. „Diese Apps bieten zumindest eine praktikable Routenlösung, um diese Fehler zu umgehen.“