Der selbst entwickelte Surging-Chip auf dem Mi MIX-Faltbildschirm ist die Zukunft der mobilen Fotografie?

"Prozessorchips sind die Höhepunkte der Technologie in der Mobiltelefonbranche und sie stehen an der Spitze der Pyramide. Wenn Sie ein großartiges Unternehmen in dieser Branche werden möchten, müssen Sie über Autonomie bei den Kerntechnologien verfügen, damit das Unternehmen erfolgreich sein kann." weit."

Dies war Lei Juns Rede auf der Pressekonferenz, als Xiaomi seinen Eintritt in das Chipfeld ankündigte und den ersten Serienchip "Surge S1" herausbrachte.

Nach dem Anstieg des S1 war der S2-Chip jedoch schwierig herzustellen, und Xiaomis selbst entwickelter Anstiegschip wurde allmählich zurückhaltend und verschwand aus der Öffentlichkeit. Erst im August letzten Jahres gab Lei Jun bekannt, dass der aufstrebende Chip noch in der Entwicklung ist. Ich glaube, dass Xiaomi MIX FOLD zu diesem Zeitpunkt bereits die Testproduktion abgeschlossen und die Massenproduktion gestartet hat, ebenso wie der eingebaute "Surge C1" -Chip.

Im Vergleich zum Surging S1 und der Dystocia S2 ist der Surging C1 nur ein ISP. Seine Funktionen sind viel einfacher als der von SoC, und das Chipdesign ist nicht so kompliziert. Er eignet sich besser für das „Auf und Ab“ eines Neuanfangs.

Gleichzeitig ist der selbst entwickelte Surging C1 ein unabhängiger ISP (Bildprozessor) innerhalb von MIX FOLD und kann als das einzige Produkt angesehen werden, das mit einem unabhängigen ISP in der aktuellen Flaggschiff-Maschine ausgestattet ist.

In der Produktlinienplanung ist MIX FOLD kein massenorientiertes Produkt wie die Mi 11-Serie. Daher hat sich der wachsende C1-Chip oder der unabhängige ISP im Mobiltelefon noch nicht in die Massen bewegt. Es ist immer noch ein kleines Produkt -skaliger Versuch.

Dies schließt die Entstehung unabhängiger ISPs bei Xiaomi-Flaggschiffen der nächsten Generation (in der zweiten Jahreshälfte?) Nicht aus oder kann einen "Schmetterlingseffekt" auslösen, der zum Standardmerkmal inländischer Flaggschiffe wird und zu einem Trend in der mobilen Bildgebung wird. Ist das möglich?

Welche Rolle spielt der ISP bei der Bildgebung?

Kurz gesagt, der ISP ist für die Verarbeitung der vom Sensor gesammelten Bilder verantwortlich.

Unabhängig von Smartphones, spiegellosen Kameras und DSLRs spielen ISPs fast die gleiche Rolle, und die Prozesse sind ähnlich. Sie alle führen Bayer-Transformations-, De-Mosaik-, Rauschunterdrückungs- und Schärfungsvorgänge für die vom Bildsensor gesammelten "Rohdaten" durch . Auf der Smartphone-Seite wird der ISP aber auch den Prozess der "Computerfotografie" mit unterschiedlichen Algorithmen und Anpassungen einschließen und letztendlich unterschiedliche Fotos produzieren.

Die Konfiguration von SoC mit unabhängigem ISP ähnelt einer professionellen spiegellosen Kamera. Nehmen Sie als Beispiel den BIONZ X-Bildprozessor von Sony (Royal der α7-Serie). Er verpackt SoC- und ISP-Chips und ist nicht zusammen verpackt. Der Vorteil besteht darin, dass Sony die Anzahl der ISP-Chips gemäß den Leistungsanforderungen von CMOS (α7RIII BIONZ) erhöhen kann. .X ist mit Dual ISP ausgestattet), der Nachteil ist, dass der Integrationsgrad nicht hoch ist.

Vor MIX FOLD wurden die ISPs der meisten Smartphones in SoCs verpackt und jedes Jahr mit SoC-Upgrade-Iterationen aktualisiert.

Der Flaggschiff-Chip von Qualcomm, Snapdragon 888, verfügt beispielsweise über drei integrierte ISP-Chips mit einer Pixelverarbeitungskapazität von 2,7 Milliarden Pixel pro Sekunde und kann drei Standbilder mit 28 Megapixeln oder drei 4K-HDR-Videos gleichzeitig aufnehmen. Gegenüber der Vorgängergeneration von Snapdragon 865 ergibt sich eine Verbesserung um 35%.

MediaTek im anderen Lager hat auch die Leistung des integrierten ISP im neuesten Dimensity 1200 SoC erheblich verbessert. Von den 80 Millionen Pixeln der vorherigen Generation Dimensity 1000 wurde es auf die Unterstützung von 200 Millionen Pixel in einem verbessert go, und es hat auch eine Reihe neuer Funktionen hinzugefügt, die auf AI-Algorithmen basieren.

Die Verarbeitungsleistung des Internetdienstanbieters muss nicht nur mit der Leistung des Sensors übereinstimmen, sondern auch mit dem Algorithmus der "Computerfotografie" verknüpft sein. Er bestimmt direkt die Bildgebungstendenz eines Smartphones, ob die Farbe reich ist oder nicht, wie viele Glanzlichter bleiben erhalten, und die Auswahl der dunklen Teile. Wie viel und wie viel Gradienteninformationen werden im HDR-Algorithmus usw. beibehalten.

Daraus ist ersichtlich, dass bei der Entwicklung von SoCs der nächsten Generation von vorgelagerten Chipherstellern die Verbesserung der ISP-Leistung eine wichtige Richtung sein wird, die eng mit der Bedeutung der Bildgebung von Mobiltelefonen zusammenhängt.

Unter dem Gesichtspunkt der Möglichkeit, Sensoren mit hohen Pixeln allein zu steuern, ist die integrierte ISP-Leistung des aktuellen Mainstream-SoC immer noch reichhaltig und es reicht aus, die derzeit höchsten 100 Millionen Pixel-Fotos in einem einzigen Schritt zu verarbeiten.

Darüber hinaus läuft der Sensor für ultrahohe Pixel, von dem wir sprechen, jetzt in den Modi "Vier-in-Eins" und "Neun-in-Eins". Bei der Konvertierung beträgt ein Foto tatsächlich 20 Millionen Pixel. Selbst wenn Sie a einschließen Bei einem anderen Berechnungsprozess wird der ISP von SoC die "Computerfotografie" immer noch nicht nach unten ziehen.

Warum einen unabhängigen ISP führen?

Warum ist der ISP im SoC mit einem unabhängigen ISP-Chip ausgestattet, da er über ausgereifte Technologie, ausgereifte Algorithmen und eine hervorragende Leistung verfügt?

Für Xiaomi kann dieser "kleine Chip" als Neuanfang angesehen werden. Da es nicht ausreicht, einen unabhängigen SoC zu starten, ist es besser, die Last zu legen, vom "kleinen" zu starten, vom ISP zu starten und langsam Sammeln Sie Erfahrungen und aus langfristigen Diskussionen ist es eine gute Wahl. Sagen Sie mutig, dass viele "kleine Chips" wie ISP im nachfolgenden Fahrzeugbau verwendet werden können, was auch als Vorab-Layout angesehen wird.

Wie oben erwähnt, dient ISP nicht nur der "Computerfotografie", sondern die Hauptfunktion besteht darin, die vom Sensor erfassten Rohdaten zu verarbeiten. Dieser Verarbeitungsprozess unterscheidet sich nicht von dem einer herkömmlichen Kamera. Bei der Pressekonferenz konzentrierten sich die von Xiaomi erwähnten Vorteile für die Funktion des selbst entwickelten ISP C1 hauptsächlich auf die 3A-Verarbeitung, dh die Fokussierung (AF), den Weißabgleichalgorithmus (AWB) und die Belichtungsstrategie (AE). Das Handling ist besser.

Tatsächlich ist die 3A-Verarbeitung nur die "Spitze des Eisbergs" für die vom Sensor erfassten Daten. Genau genommen wird der ISP mehr als ein Dutzend Rohdaten verarbeiten, und die 3A-Verarbeitung kann auch in "weiten Sinn" und "engen Sinn" unterteilt werden.

Im engeren Sinne ist es das, was Xiaomi auf der Pressekonferenz sagte. Im weitesten Sinne kann AF auf Autofokus, Autofokus-Motorsteuerung und Autofokus-Punktauswahl erweitert werden. AE umfasst mehr, Auto-ISO, Auto-ND-Filter, automatische Verschlüsse usw., AWB wird auch verschiedene Farbtonverschiebungen beinhalten.

Im Allgemeinen wird der Effekt der endgültigen Bildverarbeitung im Wesentlichen durch die unterschiedlichen Strategien und Kompromisse der einzelnen Schritte des ISP verursacht.

Ausgestattet mit einem unabhängigen ISP dient im Wesentlichen die Verbesserung des endgültigen Bildeffekts. In den letzten Jahren hat Xiaomi weiterhin Anstrengungen auf Bilder unternommen und sich in der Strategie der ISP-Verarbeitung von Bildern angesammelt. In Kombination mit dem unabhängigen ISP Surging C1 möchte ich den Prozess und die Strategie des ISP bei der Verarbeitung von Rohdaten noch besser verstehen. Dies kann auch als Wegbereiter für nachfolgende Xiaomi-Mobiltelefone angesehen werden, um die Bildleistung weiter zu verbessern.

Werden unabhängige ISPs in Zukunft zu einem Trend für "bewegte Bilder"?

Das Mi 11 Ultra verwendet eine Außensohle, die nahe an einem Zoll liegt. Wenn es im Follow-up keinen "optischen Durchbruch" gibt, ist dies fast eine physikalische Grenze. Und die aktuelle Anzahl von CMOS-Pixeln befindet sich ebenfalls im Zustand des "Wettrüstens". Wir sollten bald sehen, dass Smartphones die Schwelle von 200 Millionen Pixeln erreichen.

Die kontinuierliche Verbesserung der Bildleistung ist bereits ein wichtiger Trend in der Smartphone-Branche und hat auch zu einer "Homogenisierung" geführt. Um unterschiedliche Bilderlebnisse zu schaffen, werden viele Hersteller Ressourcen investieren, um unterschiedliche Technologien zu entwickeln, und einige arbeiten sogar mit traditionellen Bildherstellern zusammen, um ihren Bildstil zu verbessern.

Aber für bewegte Bilder sind es die traditionellen Aspekte der Sensorqualität, der ISP-Verarbeitungskapazität und der Objektivqualität, die das endgültige Bild beeinflussen, solange das eiserne Gesetz der physikalischen Optik noch besteht. Die anderen sind nur das i-Tüpfelchen.

Seitdem werden die Hersteller von Mobiltelefonen das CMOS (Sensor) anpassen, um eine bessere Bildgebungsgrundlage zu erhalten, den Algorithmus zu verfeinern, um die endgültige Bildgebung natürlicher zu gestalten, und intensiv an der Kollokation der Linsen arbeiten, um sich an mehr Szenen anzupassen.

Unabhängige ISPs wollen zu einem wichtigen Trend werden, der der oben genannten Situation ähnelt. Wenn man es jetzt betrachtet, ist es zu früh. Um genau zu sein, sollte es in Zukunft eine "allgemeine Richtung" sein.

Einerseits wird der in den aktuellen SoC integrierte ISP weder ein Hindernis sein, noch ist es das kürzeste Holzbrett auf dem Laufbild. Andererseits gibt es bei einem unabhängigen ISP einen nicht niedrigen Schwellenwert. Derzeit haben vorgelagerte Chiphersteller wie Qualcomm und MediaTek noch keine unabhängigen ISPs für Smartphones auf den Markt gebracht. Wenn sie mit unabhängigen ISPs ausgestattet werden möchten, müssen sie sich möglicherweise auf die Eigenproduktion verlassen. Derzeit gibt es nicht viele Mobiltelefonhersteller, die dies tun können ihre eigenen Chips produzieren.

Darüber hinaus haben die derzeitigen unabhängigen ISPs ihre Vorteile noch nicht unter Beweis gestellt. Nach dem Erleben der ursprünglichen Worte von MIX FOLD Zhijian unterscheiden sich MIX FOLD-Kameras nicht. Mit anderen Worten, ob es sich um eine "flüssige Linse" oder einen unabhängigen ISP handelt, es ist eher so, als würde man zukünftige Produkte auslegen und kleine Ströme in einen Fluss ansammeln.

#Willkommen Sie, wenn Sie Aifaners offiziellem WeChat-Konto folgen: Aifaner (WeChat ID: ifanr). Weitere aufregende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner | Ursprünglicher Link · Kommentare anzeigen · Sina Weibo