Warum entscheiden Sie sich für das Flaggschiff der Bildgebung 2023–2024?

Die mobile Plattform Snapdragon 8 der dritten Generation wurde im Oktober veröffentlicht, was eine gewaltige Kettenreaktion auslöste: Im vierten Quartal dieses Jahres wurden Android-Flaggschiff-Telefone nacheinander auf den Markt gebracht, sowohl hinsichtlich des Preises als auch der Produktstärke, und die Konkurrenz war extrem heftig. Selbst wenn einige Mobiltelefone auf den Markt kommen, werden Sie Fragen haben: Kann diese Maschine Geld verdienen?

Beispielsweise bietet das vor einiger Zeit veröffentlichte, äußerst kostengünstige Flaggschiff-Handy Realme GT5 Pro in seiner Preisklasse von über 3.000 Yuan äußerst aufrichtige Konfigurationen:

• Die dritte Generation der mobilen Plattform Snapdragon 8 (Snapdragon 8 Gen3)
• Startkonfiguration von 12+256 GB
• Bis zu 4500 Nits Helligkeit, ein beispielloser Bildschirm, der gemeinsam mit BOE entwickelt wurde
• 100 W kabelgebunden + 50 W kabelloses Laden
• Deckenhohes Teleobjektiv bestehend aus Snapdragon 8 Gen3 + IMX890 + ArcSoft-Algorithmus

Moment, warum erscheint Snapdragon 8 Gen3 zweimal?

SoC verfügt nicht nur über CPU und GPU, sondern auch über ISP und so weiter.

Wenn wir vor mehr als zehn oder zwanzig Jahren über Chips sprachen, gingen wir grundsätzlich von CPUs aus. Die Vorstellung, dass Chips ungefähr gleich CPUs sind, ist jedoch längst überholt, denn große Chips haben sich mit dem zu SoC (System on Chip) entwickelt Dieselbe Plattform, und es gibt viele Arten kleiner Chips: diejenigen, die für die Energieverwaltung verantwortlich sind, diejenigen, die für die Bildschirmanzeige verantwortlich sind usw.

Wenn wir über SoC sprechen, konzentrieren wir uns meist auf die CPU und die GPU, denn sie tragen am meisten zum Benchmarking von Spielen bei.

Allerdings besteht das Leben aus mehr als nur Essen und Schlafen, und Mobiltelefone sind mehr als nur Benchmarking-Spiele. Wenn wir das Telefon heben, öffnen wir die Kamera, um die Ansicht anzuzeigen, drücken den Auslöser, machen dann ein Foto und laden es dann in ein soziales Netzwerk hoch In diesem kurzen Prozess ist das SoC fast „Abteilungsübergreifende Zusammenarbeit“ und verwendet viele Module.

Innerhalb des SoC gibt es viele andere Teile, die nicht an Benchmarking-Software beteiligt sind, aber von entscheidender Bedeutung sind.

Nehmen wir als Beispiel den kürzlich veröffentlichten Snapdragon 8 Gen3. Seine Zusammensetzung ist recht komplex. Neben der CPU, die für die allgemeine Datenverarbeitung zuständig ist, und der GPU für die Grafikverarbeitung, gibt es auch eine NPU und eine KI-Engine, die hauptsächlich für die KI-Datenverarbeitung zuständig ist, und ein Modem, das verantwortlich ist für 5G-Verbindung und FastConnect-Mobilverbindungssystem für Wi-Fi, Snapdragon Listen für Audio, Software- und Hardware-Kombination für Sicherheit und ISP für Bildsignalverarbeitung usw.

ISP (Image Signal Processor) ist einer der Gründe, warum Snapdragon 8 Gen3 wiederholt in der Konfigurationsliste des Realme GT5 Pro auftauchen kann.

Ein gutes Objektiv und ein guter Bildsensor reichen nicht aus. ISP wird auch benötigt, um das, was das Objektiv sieht und was der Sensor empfängt, in das umzuwandeln, was der Bildschirm anzeigen und das menschliche Auge sehen kann.

Dieser Vorgang ist ziemlich kompliziert: Zuerst geht das Licht durch die Linse und gelangt in den lichtempfindlichen Bereich des Bildsensors. Der Sensor durchläuft eine fotoelektrische Umwandlung, um das Originalbild im Bayer-Format zu erhalten, also das Bild mit der Endung .raw Das Originalbild im Bayer-Format wird dann vom ISP verarbeitet, die räumlichen Bilddaten an die nachfolgende Videoschnittstelleneinheit ausgegeben und dann zur Anzeige auf dem Bildschirm bereitgestellt. Die Aufgabe des ISP besteht darin, die von der Kamera des Telefons erfassten Bild- und Videosignale zu optimieren, zu verbessern und zu verarbeiten sowie die Sensorschnittstelle und die anschließende Verarbeitung der Bilddaten zu verwalten.

Der Prozess ist wie ein Konverter, der das Bildsystem mit dem Anzeigesystem verbindet, aber der ISP übernimmt eine Menge Arbeit, einschließlich, aber nicht beschränkt auf, Bildqualitätsverbesserung, wie Farbverbesserung, Weißabgleichsanpassung und Rauschunterdrückungsverarbeitung, was besonders wichtig ist Wichtig bei Nachtszenenaufnahmen. Entscheidend ist, dass die Nachtszenen aktueller Flaggschiff-Telefone ohne einen leistungsstarken ISP zur Reduzierung von Rauschen und Partikeln sehr verschwommen sind. Darüber hinaus verfügt es über eine Multi-Frame-Synthese hinter HDR-Aufnahmen, Zeitlupenaufnahmen und den Panoramamodus Nähen usw.

Darüber hinaus hängt die niedrige Schwelle für die mobile Fotografie auch vom Beitrag des ISP ab. Viele Menschen können mit einer Leica-Mittelformatkamera möglicherweise kein klares Foto aufnehmen, da Fokus, Blende usw. manuell angepasst werden müssen . Auf Mobiltelefonen nutzt ISP Echtzeitberechnungen zusammen mit Laserfokus, Lichtsensoren und anderen Komponenten, um Funktionen wie Autofokus, automatische Belichtung, automatische Blende und automatischen Weißabgleich zu implementieren und Benutzern so eine klare Aufnahme zu ermöglichen Fotos, sobald sie die Kamera des Telefons einschalten. Foto.

Wenn wir einige Mobiltelefonkameras wegen langsamer Fokussierung, schlechtem Weißabgleich, Überbelichtung bei automatischem HDR und unreiner Bildqualität bei Nachtszenen kritisieren, liegt das Problem wahrscheinlich beim schwachen ISP.

Der Hauptverursacher der Entstehung der Chips der Snapdragon 8-Serie und der Flaggschiff-Smartphones mit Bildverarbeitung ist natürlich der ISP, der sich dahinter verbirgt.

Der Zweck des Beispiels Realme GT5 Pro am Anfang liegt hier, denn die Kombination aus Sony IMX890-Bildsensor + Snapdragon 8 Gen3 + ArcSoft-Algorithmus ist von typischer Bedeutung. Leistungsstarke Bildgebungshardware mit leistungsstarken ISP-Fähigkeiten, gepaart mit hervorragenden Algorithmen, kann Die Grundlage für gute Bilder.

Die Grundleistung des ISP dieser Generation von Snapdragon 8 Gen3 ist sogar noch leistungsstärker. Tatsächlich verfügt Snapdragon 8 Gen3 über drei ISPs, die drei Kameras für die gleichzeitige Aufnahme von HDR-Videos unterstützen. Die Farbbittiefe erreicht 18 Bit und Die maximale Unterstützung beträgt 200 Millionen. Pixelkamera und 8K 30fps oder 4K 120fps Videoaufzeichnung, Zeitlupenvideoaufzeichnung unterstützt 720p 960fps…..

Dies bedeutet, dass der ISP von Snapdragon 8 Gen3 über sehr hervorragende Datenverarbeitungsfähigkeiten verfügt.

Aber das sind noch nicht alle Bildgebungsfunktionen von Snapdragon 8 Gen3.

KI ist die Magie der Technologie, Snapdragon Sight ist der Zauber, der Fotos besser macht

Wenn ein Hersteller vor fünf Jahren gesagt hätte, dass seine Fotos Spiegelreflex- oder Studio-Niveau hätten, hätten ihn Profis und Massenfotografen dafür kritisiert, dass sie ihre Behauptungen übertrieben hätten.

Aber im Jahr 2023 haben viele Hersteller damit begonnen, Porträts auf Spiegelreflex- und Studioniveau zu fördern. In einigen unterteilten Szenen scheint die Leistung der Flaggschiff-Telefone im Bildbereich die Schwelle professioneller Bildgeräte erreicht zu haben.

Hier kommt die Leistungsfähigkeit der Computerfotografie ins Spiel, die bewegte Bilder wie professionelle Bilder von Rücklichtern um die Ecke aussehen lässt. Blende nicht groß genug? Computerfotografie kann natürliche Unschärfeeffekte simulieren. Die Brennweite ist nicht lang genug? Durch die Verwendung des Periskop-Zooms, des Digitalzooms und der Berechnung der Details zur Fotooptimierung können Sie auch gute Super-Telefotos erhalten.

Aber im Jahr 2023, dem magischen Jahr der KI, wird die Kopplung von Bildgebung und KI von selbst kommen.

Snapdragon Sight Der Fortschritt der Snapdragon-Bildgebungstechnologie ist mit der Veröffentlichung von Snapdragon 8 Gen3 enger mit der KI verbunden. Die herausragende ISP-Leistung von Snapdragon 8 Gen3 und die weiter verbesserte KI-Rechenleistung machen die Snapdragon Sight-Bildgebungstechnologie noch stärker und werden zur technischen Basis für viele Bildgebungs-Flaggschiffe.

Beispielsweise ist die von Snapdragon Sight unterstützte DCG-Technologie (Dual Conversion Gain) eine Technologie, die eine bessere Bildqualität und schnellere Bildgebung liefern und für HDR-Bildgebung verwendet werden kann. Im Wesentlichen handelt es sich auch hier um eine Multi-Frame-Synthese-Technologie, aber die Multi-Frame-Bilder von DCG werden gleichzeitig generiert und nicht vor und nach der herkömmlichen Multi-Frame-Synthese.

Es gibt auch Funktionen wie den Nachtsichtmodus und die Unterstützung des Dolby-Formats, die im Wesentlichen das Ergebnis einer verbesserten ISP-Leistung sind.

Allerdings erfordern Technologien wie Bilderweiterung und Objektlöschung auch die Unterstützung von KI-Rechnermodulen wie NPU.

Früher hätten wir gedacht, dass diese magischen KI-Technologien nicht zur Kategorie der Bildgebung gehören, aber bis zu einem gewissen Grad sind diese Technologien, die einst komplexe Vorgänge in Software wie PhoneShop erforderten, jetzt einfach und leicht zu beschaffen.

Und die Funktion zum Löschen von Objekten ist auf Bilder beschränkt, aber jetzt unterstützt Snapdragon 8 Gen3 das Löschen von Objekten in Videos, und dahinter steckt immer noch das Schlüsselwort „Rechenleistung“.

Gleichzeitig kann sich der ISP mit der Unterstützung von KI zu einem kognitiven ISP entwickeln, der mithilfe der KI-Engine von Qualcomm eine semantische Segmentierung in Echtzeit beim Aufnehmen von Fotos und Videos durchführen und verschiedene Elemente des Bildes identifizieren kann, z. B. Gebäude, Boote, Flüsse, Bäume, menschliches Gesicht, Augen, Haare, Haut usw. Zur Zeit von Snapdragon 8 Gen2 war Cognitive ISP in der Lage, 8 semantische Schichten in Bildern zu identifizieren. Damals konnte es sogar die Fähigkeit unterstützen, die Spiegelung von Brillen zu entfernen. Jetzt mit Snapdragon 8 Gen3 ist die Anzahl der semantischen Schichten, die Erkennbarkeit in Echtzeit wurde erhöht. Upgrade auf Level 12.

Je mehr Erkennungsebenen vorhanden sind, desto klarer ist das Verständnis des Bildes und desto größer ist die Möglichkeit einer späteren Verbesserung.

Für Verbraucher befindet sich die Bildgebungstechnologie im Jahr 2023 mit der Unterstützung von Snapdragon 8 Gen3 in einem beschleunigten Stadium: Das Aufnehmen eines guten Fotos und eines guten Videos wird einfacher denn je, und gleichzeitig werden diese Fotos und Videos unter der Magie der KI gespeichert und unterstützt durch die Bildgebungstechnologie Snapdragon Sight, bieten mehr Möglichkeiten und können erweitert, gelöscht und erneut bearbeitet werden.

Wenn wir die Seiten vieler Imaging-Flaggschiff-Mobiltelefone öffnen und zum Bildeinführungsbereich scrollen, werden wir ständig das Gefühl haben, dass es überall „Algorithmen“ gibt, die verschiedene „Engines“ wie ISP und NPU unterstützen.

Wenn Sie die technischen Vorbereitungen der Snapdragon Sight Snapdragon-Bildgebungstechnologie vergleichen, werden Sie feststellen, dass in dieser Phase tatsächlich viel Redundanz für die Mobiltelefonfotografie verbleibt. Beispielsweise sind Funktionen wie 4K-Videoaufnahmen mit 120 Bildern pro Sekunde, gleichzeitige Aufnahme mit drei Kameras usw. noch nicht vollständig implementiert. Der Grund dafür ist natürlich, dass vorgelagerte Hersteller den Terminalherstellern voraus sein müssen und stattdessen mehr Potenzial für die Erkundung bieten müssen als zur Einschränkung zu werden.

Wir freuen uns auf die Bildgebungs-Flaggschiffe im Jahr 2024, die OPPO Find .

Bis dahin werden wir den Wert dieses Kerns besser verstehen.

# Willkommen beim offiziellen öffentlichen WeChat-Konto von aifaner: aifaner (WeChat-ID: ifanr). Weitere spannende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner | Ursprünglicher Link · Kommentare anzeigen · Sina Weibo