Einige Android-Telefone werden bald über superleistungsfähige KI-Apps verfügen
Möglicherweise haben Sie bereits eine Reihe generativer KI-Apps auf Ihrem Telefon ausprobiert. ChatGPT oder HeyPi von OpenAI sind einige Beispiele für gesprächige KI-Apps, während Sie mit Runway ML KI-generierte Videos direkt auf Ihrem Telefon erstellen können.
Aber bisher ist fast jede generative KI-App auf Cloud-basiertes Computing angewiesen, was bedeutet, dass die gesamte magische KI-Verarbeitung in der Cloud stattfindet, genau wie Xbox-Kits die schwere Arbeit in Microsoft-Serverzentren erledigen, wenn Sie ein Konsolenspiel auf Ihre Konsole streamen Telefon oder Tablet.
MediaTek möchte das ändern und ermöglicht generatives KI-Computing auf dem Gerät direkt auf Ihrem Smartphone. Dieser ehrgeizige Mondschuss wird mit dem nächsten Flaggschiff-Chipsatz von MediaTek Wirklichkeit werden, der Ende dieses Jahres in Android-Handys zum Einsatz kommen wird. Unterstützt wird das Unternehmen bei seinen Bemühungen von der Facebook-Muttergesellschaft Meta, die das Llama-2-Modell als Grundstein für generative KI-Apps anbietet.
Der Chiphersteller preist eine ganze Reihe von Vorteilen seines generativen KI-Verarbeitungsansatzes auf dem Gerät an, darunter „nahtlose Leistung, mehr Datenschutz, bessere Sicherheit und Zuverlässigkeit, geringere Latenz, die Möglichkeit, in Bereichen mit wenig bis gar keiner Konnektivität zu arbeiten und niedrigere.“ Operations Kosten."
Beschleunigung der generativen KI auf Telefonen
Der kommende High-End-MediaTek-Chip wird drei Schlüsseltaktiken anwenden, um das generative KI-Erlebnis für Smartphones zu verbessern. Erstens wird es über einen dedizierten Software-Stack verfügen, der für die Ausführung von Llama 2 optimiert ist, einem von Meta entwickelten Open-Source-Sprachmodell für große Sprachen, das die GPT-Modelle von OpenAI und die PaLM 2-Modelle von Google herausfordern soll.
Llama 2, das im Juli veröffentlicht wurde, ist „kostenlos für Forschung und kommerzielle Nutzung“. Bisher sind nicht viele Apps angekommen, die auf dem Sprachmodell Llama 2 basieren, da GPT-basierte KI-Apps derzeit in aller Munde sind. Aber Meta hat aktiv Akteure in der Smartphone-Branche umworben, darunter MediaTeks Erzrivale Qualcomm.
Genau wie MediaTek hat Qualcomm auch einen Vertrag mit Meta unterzeichnet, um ab 2024 die On-Device-Verarbeitung für Llama-basierte Anwendungen auf Smartphones zu präsentieren, die von seinen Flaggschiff-Chips angetrieben werden. Beide Unternehmen zielen auch auf andere Anwendungsbereiche ab, beispielsweise auf Fahrzeuge. XR-Hardware, Smart-Home-Geräte und mehr mit ihren gerätelokalen generativen KI-Bemühungen, die durch erstklassiges Silizium ermöglicht werden.
Auf seinem kommenden KI-freundlichen Flaggschiff-Chip wird MediaTek auch eine aufgemotzte APU (AI Processing Unit) verwenden, die auf „Transformer-Backbone-Beschleunigung“ setzt. Transformer sind eine Art neuronaler Netzwerkarchitektur, deren Aufgabe es ist, große Sprachmodelle wie GPT (Generative Pre-Trained Transformers) zu erstellen, aus denen Produkte wie ChatGPT und Microsofts Bing Chat hervorgegangen sind.
Schließlich wird der neue Chip von MediaTek auch in das DRAM-Modul eingreifen, um das Benutzererlebnis von Llama-basierten generativen KI-Apps zu verbessern. DRAM, kurz für Dynamic Random Memory, ist das Hochgeschwindigkeits-Speichermodul mit geringer Latenz, das die Arbeitsdaten einer App speichert. Je mehr DRAM in Ihrem Telefon vorhanden ist, desto mehr Apps können Sie problemlos im Hintergrund ausführen. Es gibt einen Grund, warum Smartphone-Hersteller wie OnePlus bis zu 24 GB DRAM in ihre Telefone eingebaut haben.
Was diese KI-Upgrades für Sie bedeuten
Mit den oben genannten Optimierungen sagt MediaTek, dass sein kommender KI-Chip das LLM- und AIGC-Erlebnis (Artificial Intelligence-Generated Content) verbessern wird, indem er den Großteil der Verarbeitungsanforderungen auf die lokale Hardware verlagert.
Was die Art der Aufgaben betrifft, von denen Sie erwarten können, dass sie schneller werden, hängt das von den Fähigkeiten des Meta-Llama-2-Modells und der Art der Apps ab, die darauf basieren. Llama 2 ist ein textbasiertes Modell in natürlicher Sprache, sodass Sie davon ausgehen können, dass es die gleichen Tricks anwendet wie ChatGPT oder Bard. Es kann Anfragen verarbeiten und basierend auf seinen Trainingsdatensätzen Antworten bereitstellen, Texte zusammenfassen oder erweitern und vieles mehr.
Was MediaTek betrifft, wird dies nicht die erste KI-Partnerschaft dieser Art sein. Im Juli dieses Jahres unterzeichnete das Unternehmen einen Vertrag mit dem chinesischen Zweig von Unity – der die gleichnamige Spieleentwicklungs-Engine entwickelt – zur Erforschung generativer KI-Anwendungen im Gaming-Segment.
MediaTek geht davon aus, dass sein neuer Chip mit Llama 2-Apps bis Ende des Jahres in Smartphones verfügbar sein wird. Wir müssen also nicht mehr lange warten, um zu sehen, wie das alles in einem tatsächlichen Produkt aussieht.