Öffnen Sie den Snapdragon 8 und sehen Sie, dass er voller Top-Meeting-Papiere ist

"Was hat Handy-KI außer Fotooptimierung und Sprachassistenten noch?"

Als in diesem Jahr die neue Generation der mobilen Plattform Snapdragon 8 veröffentlicht wurde, übersetzte und übersetzte Qualcomm erneut, was ein großes Hirnloch ist——

Lassen Sie das Mobiltelefon lernen, mögliche Krankheiten des Benutzers durch die Stimme zu "autorisieren" und zu erkennen, wie z. B. Depressionen und Asthma;

Lassen Sie das Mobiltelefon "Anti-Peeping" realisieren und realisieren Sie den automatischen Sperrbildschirm, indem Sie den Anblick unbekannter Benutzer erkennen.

Lassen Sie mobile Spiele superauflösend werden und bringen Sie die Bildqualität, die nur auf der PC-Seite lauffähig war, auf das Mobiltelefon, um es zu erleben…

Noch wichtiger ist, dass Snapdragon 8 diese KI-Funktionen gleichzeitig ausführen kann !

Qualcomm behauptet, dass die KI-Engine der 7. Generation des Snapdragon 8 eine bis zu 4-fache Leistungssteigerung im Vergleich zur vorherigen Generation aufweist .

Das bedeutet, dass es beim Spielen auf Mobiltelefonen kein Problem ist, mehrere KI-Anwendungen gleichzeitig zu "öffnen". Noch wichtiger ist, dass es nicht nur eine einfache Verbesserung der KI-Leistung ist, sondern auch ein reibungsloses Anwendungserlebnis für die Benutzer.

Wie hat Qualcomm heute, wenn Hardwareprozess-Upgrades so schwierig sind, so viele neue Tricks in der Leistung und Anwendung der KI-Engine der 7. Generation „umgesetzt“?

Wir haben einige von Qualcomm veröffentlichte Forschungspapiere und technische Dokumente durchgesehen und einige "Hinweise" gefunden:

In dem von Qualcomm veröffentlichten AIMET-Open-Source-Tool-Dokument finden sich Informationen zum "Komprimieren des KI-Superauflösungsmodells";

In einem technischen Blog zum Thema "Anti-Peeping" habe ich den Einsatz von Zielerkennungstechnologie unter der Prämisse des Datenschutzes vorgestellt…

Diese Dokumente und die wichtigsten Konferenzdokumente hinter den technischen Blogs stammen alle von einer einzigen Organisation – dem Qualcomm AI Research Institute .

Man kann sagen, dass Qualcomm viele vom Forschungsinstitut veröffentlichte KI-Papiere in der KI-Engine der 7. Generation „versteckt“ hat.

Top-Meeting-Papier "Verstecken" mobile AI

Werfen wir einen Blick auf die Verbesserung des Kameraalgorithmus der KI-Engine der 7. Generation .

Um diesen Punkt der intelligenten Erkennung zu erreichen, hat Qualcomm dieses Jahr die Erkennungspunkte für Gesichtsmerkmale auf 300 erhöht, wodurch subtilere Ausdrucksänderungen erfasst werden können.

Gleichzeitig hat Qualcomm die Geschwindigkeit der Gesichtserkennung um 300% erhöht . wie hast du das gemacht?

In einer von Qualcomm veröffentlichten Studie zu CVPR haben wir die Antwort gefunden.

In diesem Artikel schlug Qualcomm eine neue Faltungsschicht namens Skip-Convolutions (Skip-Faltung) vor, die zwei Bilder davor und danach subtrahieren und nur den geänderten Teil falten kann.

Ja, genau wie das menschliche Auge ist es leichter, den "bewegten Teil" zu bemerken.

Dadurch kann sich Snapdragon 8 bei der Durchführung von Echtzeit-Videostream-Erkennungsalgorithmen wie der Zielerkennung und Bilderkennung mehr auf das Zielobjekt selbst konzentrieren und gleichzeitig überschüssige Rechenleistung verwenden, um die Genauigkeit zu verbessern.

Sie fragen sich vielleicht, was die Gesichtserkennung mit solchen Details zum Fotografieren nützt?

Darüber hinaus haben Qualcomm und Leica dieses Mal gemeinsam den Leica Leitz-Filter auf den Markt gebracht , der eine KI-basierte intelligente Engine verwendet, die Algorithmen wie die Gesichtserkennung umfasst und es Benutzern ermöglicht, ohne nachzudenken intelligentere Fotos aufzunehmen.

Zu den intelligenten Aufnahmefunktionen von Qualcomm gehören nicht nur die Gesichtserkennung, sondern auch Super-Resolution, Multi-Frame-Rauschunterdrückung, lokale Bewegungskompensation…

Allerdings ist der Videostream bei hochauflösenden Aufnahmen meist in Echtzeit: Wie verarbeitet die KI-Engine so viele Daten intelligent?

Es stellt auch ein CVPR-Papier dar. Qualcomm schlug ein neuronales Netzwerk vor, das aus mehreren kaskadierten Klassifikatoren besteht, die die Anzahl der im Modell verwendeten Neuronen entsprechend der Komplexität des Videoframes ändern und den Berechnungsumfang selbst steuern können.

Angesichts des "großen und komplexen" Prozesses der intelligenten Videoverarbeitung kann KI ihn jetzt halten.

Neben Smart Photography ist diesmal auch die Sprachtechnologie von Qualcomm ein Lichtblick.

Wie eingangs erwähnt, unterstützt die KI-Engine der 7.

Wie genau unterscheidet es die Stimme des Benutzers, ohne dass eine Datensammlung erforderlich ist?

Konkret hat Qualcomm eine föderierte Lernmethode auf dem Mobiltelefon vorgeschlagen, die nicht nur das Sprachtrainingsmodell von Mobiltelefonbenutzern nutzen kann, sondern auch dafür sorgt, dass die Privatsphäre der Sprachdaten nicht durchgesickert ist.

Viele dieser KI-Funktionen finden sich in Veröffentlichungen des Qualcomm AI Research Institute.

Die Hinweise, die sich auch finden lassen, sind die eingangs erwähnten theoretischen Unterstützungen der KI, um die Leistung von Mobiltelefonen zu verbessern. Dies muss eine Frage erwähnen:

Wie verbessert Qualcomm bei so vielen gleichzeitig ausgeführten KI-Modellen die Verarbeitungsleistung der Hardware?

Hier ist die Quantifizierung einer zentralen Forschungsrichtung von Qualcomm in den letzten Jahren zu erwähnen .

Nach der neuesten Technologie-Roadmap von Qualcomm zu urteilen, war die Modellquantifizierung schon immer eine der Kerntechnologien, die das AI Research Institute in den letzten Jahren untersucht hat, um KI-Modelle zu „verkleinern“.

Aufgrund begrenzter Leistung, Rechenleistung, Speicher und Wärmeableitungsfähigkeiten unterscheidet sich das von Mobiltelefonen verwendete KI-Modell stark vom KI-Modell auf PCs.

Auf dem PC hat die GPU auf Schritt und Tritt Hunderte Watt Leistung, und die Berechnung des KI-Modells kann mit 16- oder 32-Bit-Gleitkommazahlen (FP16, FP32) erfolgen. Der Handy-SoC hat nur wenige Watt Leistung und es ist schwierig, großvolumige KI-Modelle zu lagern.

Zu diesem Zeitpunkt ist es erforderlich, das FP32-Modell auf eine 8-Bit-Ganzzahl (INT8) oder sogar eine 4-Bit-Ganzzahl (INT4) zu reduzieren, während gleichzeitig sichergestellt wird, dass die Genauigkeit des Modells nicht zu stark eingebüßt wird.

Am Beispiel des KI-Matting-Modells können wir mit der Rechenleistung eines Computerprozessors in der Regel sehr genaue KI-Mattierungen erreichen, aber wenn wir im Gegensatz dazu ein Handy verwenden wollen, um KI-Matten "fast effektvoll" zu erreichen, müssen es zur Methode der Modellquantifizierung verwenden.

Damit mehr KI-Modelle auf Mobiltelefonen installiert werden können, hat Qualcomm viel quantitative Forschung betrieben: Die auf der Spitzenkonferenz veröffentlichten Papiere umfassen die datenfreie Quantisierung DFQ, den Rundungsmechanismus AdaRound und die gemeinsame Quantisierungs- und Beschneidungstechnologie Bayesian Bits ( Bayessche Bits). )Warten Sie.

Unter ihnen ist DFQ eine datenfreie Quantisierungstechnologie, die die Zeit für das Training von KI-Aufgaben verkürzen und die Leistung der Quantisierungsgenauigkeit verbessern kann. Auf MobileNet, dem gängigsten visuellen KI-Modell auf Mobiltelefonen, hat DFQ die beste Leistung über alle anderen Methoden hinweg erreicht:

AdaRound kann das Gewicht komplexer Resnet18- und Resnet 50-Netzwerke auf 4 Bit reduzieren, was den Speicherplatz des Modells stark reduziert, während nur weniger als 1% an Genauigkeit verloren geht:

Als neue Quantisierungsoperation können Bayessche Bits nicht nur die Bitbreite verdoppeln, sondern auch den Restfehler zwischen dem Wert mit voller Genauigkeit und dem vorherigen gerundeten Wert bei jeder neuen Bitbreite quantisieren, um Genauigkeit und Effizienz zu erreichen -aus zwischen.

Diese Technologien ermöglichen nicht nur, dass mehr KI-Modelle auf Mobiltelefonen mit geringerem Stromverbrauch ausgeführt werden , z.

Sogar einige dieser KI-Modelle können „gleichzeitig laufen“, wie zum Beispiel Gestenerkennung und Gesichtserkennung:

Tatsächlich ist die Diplomarbeit nur der erste Schritt.

Wenn Sie KI-Funktionen schnell auf mehr Anwendungen anwenden möchten, benötigen Sie auch mehr Plattformen und Open-Source-Tools.

Entfesseln Sie mehr KI-Funktionen für die Anwendung

In dieser Hinsicht bleibt Qualcomm aufgeschlossen.

Die Methoden und Modelle zum effizienten Erstellen von KI-Anwendungen in diesen Papieren hat das Qualcomm AI Research Institute durch Kooperation, Open Source und andere Methoden mit mehr Entwicklergemeinschaften und Partnern geteilt, damit wir mehr über Snapdragon 8 erfahren können. Interessante Funktionen und Anwendungen.

Einerseits kooperierte Qualcomm mit Google, um Entwicklern die Möglichkeit zu geben, schnell mehr KI-Anwendungen zu entwickeln.

Qualcomm ist auf Snapdragon 8 mit dem Vertex AI NAS- Dienst von Google ausgestattet , der weiterhin monatlich aktualisiert wird, was bedeutet, dass KI-Anwendungen, die von Entwicklern auf der KI-Engine der 7. Generation entwickelt wurden, die Modellleistung schnell aktualisieren können.

Mithilfe von NAS können Entwickler mithilfe von KI automatisch geeignete Modelle generieren, einschließlich des Smart-Kamera-Algorithmus, der Sprachübersetzung und der Superauflösung, die Qualcomm beim Top-Meeting angekündigt hat. Sie alle können in den "Screening-Bereich" von KI aufgenommen und automatisch entwickelt werden für die Entwicklung Passen Sie das beste Modell an.

Hier kommen die Bewegungskompensations- und Frame-Interpolationsalgorithmen von Qualcomm zum Einsatz. Und ähnlich wie bei diesen KI-Technologien können Entwickler es auch über NAS implementieren und es kann sich besser an Snapdragon 8 anpassen, ohne das Problem des "ineffektiven Tunings".

Stellen Sie sich vor, wenn Sie in Zukunft Spiele auf einem mit Snapdragon 8 ausgestatteten Mobiltelefon spielen, werden Sie das Gefühl haben, dass das Bild glatter ist, aber nicht mehr Leistung verliert (in Bezug auf den erhöhten Stromverbrauch):

Gleichzeitig ist die Pflege des KI-Modells einfacher geworden. Laut Google kann die Anzahl der Codezeilen, die zum Trainieren eines Modells für Vertex AI NAS erforderlich sind, im Vergleich zu anderen Plattformen um fast 80 % reduziert werden.

Auf der anderen Seite hat Qualcomm auch seine eigenen Tools als Open Source bereitgestellt, die im Laufe der Jahre recherchiert und quantifiziert wurden.

Im vergangenen Jahr hat Qualcomm ein Modell-Tool zur Verbesserung der Effizienz namens AIMET (AI Model Efficiency Toolkit) als Open Source veröffentlicht .

Es enthält eine große Anzahl von Kompressions- und Quantisierungsalgorithmen wie das Pruning von neuronalen Netzwerken und die Singulärwertzerlegung (SVD), von denen viele das Ergebnis von Top-Konferenzpapieren sind, die vom Qualcomm AI Research Institute veröffentlicht wurden. Nachdem Entwickler AIMET-Tools verwenden, können sie diese Algorithmen direkt verwenden, um ihre KI-Modelle zu verbessern und für einen reibungsloseren Betrieb auf Mobiltelefonen zu sorgen.

Die quantitativen Fähigkeiten von Qualcomm stehen nicht nur normalen Entwicklern als Open Source zur Verfügung, sondern ermöglichen auch die Implementierung weiterer KI-Anwendungen führender KI-Unternehmen auf Snapdragon 8.

Beim neuen Snapdragon 8 kooperierten sie mit Hugging Face, einem bekannten Unternehmen im NLP-Bereich, damit der intelligente Assistent am Telefon den Benutzern helfen kann, Benachrichtigungen zu analysieren und zu empfehlen, welche zu priorisieren sind, damit die Benutzer die wichtigsten sehen können Benachrichtigungen auf einen Blick.

Wenn ihr Sentiment-Analysemodell auf der Qualcomm-KI-Engine ausgeführt wird, kann sie 30-mal schneller als die normale CPU-Geschwindigkeit sein .

Es ist genau der Niederschlag technischer Forschung und die offene Haltung gegenüber der Technologie, die Qualcomm weiterhin die verschiedenen "neuen Gehirnlöcher" der KI in der Mobiltelefonindustrie auffrischt:

Vom vorherigen Video Smart "Elimination", Smart Meeting Mute, bis hin zum diesjährigen Sichtschutz, Handy-Superauflösung…

Es gibt mehr KI-Anwendungen, die von Papieren, Plattformen und Open-Source-Tools implementiert werden, die alle auch in dieser KI-Engine enthalten sind.

Das Qualcomm AI Research Institute, das sich hinter diesen Forschungen versteckt hat, ist mit dem Erscheinen der KI-Engine der 7. Generation wieder aufgetaucht.

Qualcomm AI ist "weich und hart"

Unser Eindruck von Qualcomm AI scheint die meiste Zeit bei der „Hardware-Performance“ der AI-Engine zu bleiben.

Schließlich hat Qualcomm seit dem Start des ersten KI-Projekts im Jahr 2007 die Verarbeitungsfähigkeiten für KI-Modelle in Bezug auf die Hardwareleistung verbessert.

Allerdings habe Qualcomms Forschung zu KI-Algorithmen auch "bereits geplant".

2018 gründete Qualcomm das AI Research Institute unter der Leitung von Max Welling , einem bekannten Theoretiker auf dem Gebiet der KI , und er ist Schüler von Hinton, dem Vater des Deep Learning.

Laut unvollständigen Statistiken wurden seit der Gründung des AI Research Institute durch Qualcomm Dutzende von Artikeln auf führenden akademischen KI-Konferenzen wie NeurIPS, ICLR und CVPR veröffentlicht.

Unter ihnen wurden mindestens 4 Modellkompressionspapiere auf der KI-Seite von Mobiltelefonen implementiert, und es gibt viele Papiere zu Computer Vision, Spracherkennung und Datenschutz.

Die oben erwähnte KI-Engine der 7. Generation kann nur als Mikrokosmos der Forschungsergebnisse von Qualcomm zu KI-Algorithmen der letzten Jahre bezeichnet werden.

Durch die Forschungsergebnisse von Qualcomm AI hat Qualcomm das KI-Modell auch erfolgreich auf viele Anwendungsszenarien der Spitzentechnologie ausgeweitet.

In Bezug auf das autonome Fahren hat Qualcomm die Snapdragon Automotive Digital Platform auf den Markt gebracht, die eine One-Stop-Lösung von Chips bis hin zu KI-Algorithmen „enthält“. ihre Lösungen wurden 200 Millionen Fahrzeuge erreicht.

Unter ihnen werden das assistierte Fahrsystem und das autonome Fahrsystem der nächsten Generation von BMW die autonome Fahrlösung von Qualcomm übernehmen.

Auf XR hat Qualcomm die Snapdragon Spaces XR-Entwicklungsplattform für die Entwicklung von Geräten und Anwendungen wie kopfgetragenen AR-Brillen veröffentlicht.

Durch die Kooperation mit Wanna Kicks bringt Snapdragon 8 auch die Fähigkeiten der KI-Engine der 7. Generation in die AR-Anprobe-App.

Auf Drohnen hat Qualcomm in diesem Jahr die Flight RB5 5G-Plattform veröffentlicht.Viele dieser Funktionen, wie etwa 360° Hindernisvermeidung, Drohnenfotografie und Anti-Shake, können durch das KI-Modell auf der Plattform umgesetzt werden. Unter ihnen ist das erste UAV, das den Mars erreicht, das "Gizwit", mit Prozessoren und verwandten Technologien von Qualcomm ausgestattet.

Rückblickend ist es nicht schwer festzustellen, dass Qualcomm diesmal nicht mehr die Verbesserung der Hardware-Rechenleistung (TOPS) der KI-Leistung betont, sondern Software und Hardware als Ganzes integriert und die Daten einer 4-fachen Verbesserung der KI-Leistung erhält. und stärkt das KI-Anwendungserlebnis weiter.

Dies zeigt nicht nur, dass Qualcomm mehr auf die tatsächlichen Erfahrungen der Nutzer achtet, sondern zeigt auch das Vertrauen von Qualcomm in die eigene Softwarestärke, da die Hardware nicht mehr die volle Manifestation der KI-Fähigkeiten von Qualcomm ist.

Man kann sagen, dass das Upgrade der KI-Engine der 7. Generation von Snapdragon 8 den Beginn der KI- Software- und Hardware-Integration von Qualcomm markiert .

Vor kurzem hat Qualcomm mehrere neue Forschungen zu Codecs vorgelegt, die auf ICCV 2021 bzw. ICLR 2021 veröffentlicht wurden.

In diesen Papieren verwendete Qualcomm auch KI-Algorithmen, um neue Ideen zur Codec-Optimierung aufzuzeigen.

In einer Studie nach dem GAN-Prinzip macht der neueste Codec-Algorithmus von Qualcomm das Bild nicht nur klarer, sondern auch kleiner pro Frame, was mit nur 14,5 KB möglich ist:

Im Gegensatz dazu wird der Wald extrem verschwommen, nachdem der ursprüngliche Codec-Algorithmus auf 16,4 KB pro Frame komprimiert wurde:

In einem anderen Papier, das die Idee der Frame-Interpolation und des neuronalen Codecs verwendet, entschied sich Qualcomm dafür, die auf einem neuronalen Netzwerk basierende P-Frame-Komprimierung und die Frame-Interpolationskompensation zu kombinieren und KI zu verwenden, um die Bewegungskompensation vorherzusagen, die nach der Frame-Interpolation durchgeführt werden muss.

Nach dem Test ist dieser Algorithmus besser als der bisherige SOTA-Rekord von Google zum CVPR 2020 und er ist auch besser als die aktuelle Komprimierungsleistung des Open-Source-Codecs basierend auf dem H.265-Standard.

Es ist nicht der erste Versuch von Qualcomm, KI-Modelle auf weitere Felder anzuwenden.Die Anwendung von Video-Codecs ist eine neue Richtung.

Wenn diese Modelle erfolgreich auf der Plattform oder sogar der Anwendung implementiert werden können, können wir beim Anschauen von Videos auf dem Gerät wirklich frei sein.

Da das Programm „weiche und harte Integration“ fortgesetzt wird, werden diese neuesten KI-Ergebnisse möglicherweise in Zukunft auf Smartphones angewendet.

Die Kombination von Qualcomms "Muskeln zeigen" in PC, Automotive, XR und anderen Bereichen…

Es ist absehbar, dass der Ihnen bekannte Qualcomm und der Ihnen bekannte Snapdragon definitiv nicht vor dem Handy und seine KI-Fähigkeiten auch vor dem Handy nicht Halt machen.

#Willkommen, um dem offiziellen WeChat-Account von Aifaner zu folgen: Aifaner (WeChat-ID: ifanr), weitere spannende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner | Ursprünglicher Link · Kommentare anzeigen · Sina Weibo