Das vierte Objektiv des Huawei Mate 70 Pro, dessen stärkste Fähigkeit darin besteht, keine Bilder aufzunehmen

Aifaner konzentriert sich auf „Produkte von morgen“. Die Kolumne „harte Philosophie“ versucht, den Mantel von Technologie und Parametern zu enthüllen und den Ursprung der menschlichen Natur im Produktdesign zu erforschen.

Die Hauptkamera, das Teleobjektiv und das Ultraweitwinkelobjektiv können als die „drei Könige“ der mobilen Fotografie bezeichnet werden. Sie sind im Grunde für die täglichen Aufnahmeszenen der meisten Benutzer geeignet. Einige Flaggschiff-Bildtelefone werden auch mit einem zusätzlichen Teleobjektiv ausgestattet sein Erfüllen Sie extremere kreative Anforderungen.

Auch die neu erschienenen Huawei Mate 70 Pro und Pro+ verfügen über vier Kameras, doch die zusätzliche Kamera ist etwas Besonderes: Huawei nennt sie „Red Maple Primary Color Camera“, bei der es sich eigentlich um ein Miniatur-Multispektrometer handelt.

Multispektrale Imager werden hauptsächlich in professionelleren Szenarien wie der Boden- und Wasserlandwirtschaft, Lebensmitteltests usw. eingesetzt. Smartphone-Anwendungen sind nicht nur selten, sondern Objektive mit so hohen Parametern wie die von Huawei sind fast nicht vorhanden.

Aber in nicht allzu ferner Zukunft werden ähnliche multispektrale Sensormodule in weiteren intelligenten Geräten um uns herum Einzug halten.

Lösen Sie das Problem der „Farbschwäche“ beim Fotografieren

Obwohl Smartphone-Hersteller seit vielen Jahren ihre Bildgebungsfähigkeiten verbessern und die Kameramodule in Mobiltelefonen immer größer und konvexer werden, gibt es immer noch eine schwierige Aufgabe, die gelöst werden muss – die Farbwiederherstellung.

Derzeit erfassen herkömmliche Mobiltelefonkamerasensoren normalerweise Rot, Grün und Blau (RGB), um Farben innerhalb eines bestimmten Bereichs darzustellen. Jedes Pixel verfügt nur über eine Farbinformation: Rot, Grün oder Blau. Es ist ein Algorithmus erforderlich, um die Farbbeziehungen zu kombinieren Berechnen Sie die wahre Farbe jedes Pixels und stellen Sie schließlich die Szene wieder her, die wir mit bloßem Auge sehen.

Allerdings machen Farben aus Rot, Grün und Blau nur 75 % der für das menschliche Auge sichtbaren Farben aus, und der Farbverlust im fertigen Film ist relativ groß.

Darüber hinaus kann die Genauigkeit nicht vollständig garantiert werden, da sie zum „Berechnen“ auf Algorithmen angewiesen ist. In komplexeren Farb- und Lichtumgebungen wird die Genauigkeit des Algorithmus weiter verringert, weshalb die Haut von Menschen auf Fotos manchmal gelblich und gelblich erscheint . Rötung.

Um das Problem des Farbstichs zu lösen, versuchen Hersteller, von zwei Seiten auszugehen: Software und Hardware.

Google Pixel, das mit der Computerfotografie ein Vermögen gemacht hat, hat einen Farbalgorithmus namens „Real Tone“ eingeführt, um bei der Hintergrundverarbeitung von Fotos die wahren Hauttöne verschiedener Rassen wiederherzustellen.

Viele Hersteller versuchen auch, den Kurs zu ändern, indem sie nicht die perfekte Farbwiederherstellung anstreben, sondern stilisierte Ideen übernehmen, um Fotos ein besseres visuelles Aussehen zu verleihen, anstatt eine 100-prozentige Wiederherstellung durchzuführen.

Huawei ist seit seinen P20-Mobiltelefonen mit einem 5-Kanal-Farbtemperatursensor ausgestattet und hat in der P50-Serie schrittweise auf einen 10-Kanal-Multispektral-Farbtemperatursensor aufgerüstet, der andere Bänder als gewöhnliches RGB erfassen kann, darunter auch einige andere Bänder als sichtbares Licht.

Anschließend werden durch den Algorithmus von XD Fusion Pro sichtbares und nicht sichtbares Licht verschmolzen, um mehr Farbdetails darzustellen.

Der Einsatz von Mehrkanal-Multispektralsensoren zur Korrektur der „Farbschwäche“ von Kameras ist tatsächlich eine gängige Lösung in der Branche, und OPPO hat versucht, seine Flaggschiffe mit ähnlichen Multispektral-Farbtemperaturmodulen auszustatten.

Einfach ausgedrückt kann dieser Sensortyp mehr Farben in bestimmten Wellenlängenbändern erfassen, aber er kann nur eine Gesamtwahrnehmung und Beurteilung des gesamten Umgebungslichts vornehmen. Er kann keine lokalen Lichtquellen- und Farbinformationen liefern und verfügt nicht über Bildgebungsfunktionen.

Das 1,5-Megapixel-Rotahorn-Primärfarbkameramodul besteht im Wesentlichen aus 150 unabhängigen multispektralen Instrumenten mit höherer Farbempfindlichkeit und Bildgebungsfähigkeiten, d. h. es kann gleichzeitig zweidimensionale Bilder und chromatographische Informationen erfassen und aufzeichnen. Die Fähigkeiten gehen auch weit über RGB hinaus drei Farben.

Menschlich gesehen können die Hauptkamera, das Teleobjektiv und der Ultraweitwinkel des Huawei Mate 70 Pro normalerweise hochauflösende Fotos aufnehmen, während die primäre Farbkamera gezielt die Farbdetails jedes Bereichs im Foto aufzeichnet und diese dann vom Prozessor weitergibt dem Foto die korrekten Farbinformationen anhand dieser präzisen Farbinformationen.

Doch die Obergrenze dieser Multispektralkamera mit hohen Parametern liegt weit darüber hinaus.

Die „Feueraugen“ von Mobiltelefonen

Verschiedene Materialien absorbieren und reflektieren Licht unterschiedlich und weisen unterschiedliche Spektren auf.

Vereinfacht ausgedrückt zeigen verschiedene Substanzen unterschiedliche „Farben“, einige sind mit bloßem Auge sichtbar und andere müssen von Multispektralkameras erfasst werden.

Anhand dieser Spektren können wir auf die aktuellen Eigenschaften und den Status von Stoffen schließen. Daher kommen Multispektrometer häufig in Berufsfeldern wie der Umweltüberwachung, der Land- und Forstwirtschaft und Tierhaltung, der medizinischen Diagnostik, der chemischen Analyse und der Kriminalpolizei zum Einsatz.

Einschlägige Brancheninsider sagten Aifaner, dass die maximale Pixelanzahl des Spektralmoduls in der Branche 2 Millionen erreichen kann, während die Multispektralkamera der Huawei Mate 70-Serie 1,5 Millionen Pixel erreicht hat.

Solche Qualitäten mögen zwar nicht auf die oben genannten Berufsfelder anwendbar sein, aber wenn Huawei bereit ist, Schnittstellen von Drittanbietern zu öffnen, könnte es mehr Möglichkeiten für das für Verbraucher auf den Markt gebrachte Mate 70 schaffen.

Beispielsweise können wir mit dem Multispektrometer unserer Mobiltelefone die landwirtschaftlichen Produkte, die wir auf dem Gemüsemarkt kaufen, scannen. Auch Pestizidrückstände, die mit bloßem Auge nicht sichtbar sind, werden aufgrund unterschiedlicher spektraler Eigenschaften von der Multispektralkamera erkannt. Ebenso können damit auch fluoreszierende Stoffe in Papierhandtüchern nachgewiesen werden.

Beispielsweise kann der Zustand der Haut auch mit einem Multispektrometer fotografiert werden, um Probleme wie trockene Haut, Aufhellung, Mattheit, Flecken usw. im Vorfeld für die Hautbehandlung zu erkennen.

Da die Spektren des Blutes im nahen und mittleren Infrarot theoretisch von einem Spektrometer erkannt werden können, ist es möglich, mit der Huawei Mate 70-Serie ein „Selfie“ zu machen, um den Blutzucker, den Blutsauerstoff und andere Indikatoren des Körpers grob zu überwachen.

Kurz gesagt, diese Multispektralkamera ähnelt wirklich Sun Wukongs „Fire Eyes“, die Objekte allein durch „Sehen“ „ihre ursprüngliche Form offenbaren“ lassen kann.

Für KI ist dies definitiv eine begehrte Fähigkeit.

Die derzeitige Art der Interaktion zwischen KI-Assistenten und der Außenwelt erfolgt hauptsächlich über den Einsatz von Kameras zur Aufnahme und anschließenden Analyse. Allerdings sind die Informationen in einem Grundriss begrenzt und es ist für die KI schwierig, umfassendere Interpretationen durchzuführen.

Und wenn multimodale KI multispektrale Kameras aufrufen kann, kann sie die externen Informationen, die sie erhalten kann, erheblich bereichern. Durch den „Blick“ auf den Kühlschrank kann die KI beispielsweise die Frische von Zutaten anhand spektraler Eigenschaften analysieren und passendere und detailliertere Rezeptvorschläge für das Abendessen liefern.

Wenn man aus dem Mobiltelefon herausspringt und zur Spektrumkamera im Smart Home kommt, gibt es auch viel Raum für Entwicklung. Stellen Sie sich einen Ofen vor, der den Status der Zutaten intelligent bestimmen kann. Benutzer müssen die Temperatur und die Zeit nicht manuell einstellen, sondern können die optimale Garmethode festlegen.

Die Verwendung eines Mobiltelefons zum Fotografieren von Welpen zur intelligenten Identifizierung wird kritisiert, aber wenn Sie Welpen für einen schnellen Hautkrankheitstest fotografieren können, wird das Ihr Leben wirklich verändern.

Weitere Geräte sind unterwegs

Warum kam ein so nützliches Multispektrometer erst heute auf unsere Mobiltelefone?

Tatsächlich lassen sich Größe und Gewicht herkömmlicher Multispektralinstrumente bei weitem nicht auf das Niveau eines Handykameramoduls komprimieren. Das für die Spektrometrie in einem Multispektrometer verwendete Kernelement, das Gitter, lässt sich nur schwer verkleinern und erfordert einen bestimmten Transmissionsbereich. Um den Spektralbereich zu erweitern, ist es manchmal erforderlich, mehrere Gitter in das Instrument einzubauen.

Qiushi Spectroscopy, ein inländisches optisches Unternehmen, erforscht den Einsatz von Algorithmen, um physikalische spektroskopische Komponenten zu ersetzen und so eine erfolgreiche Reduzierung des Spektrometers zu ermöglichen.

Ein weiterer Faktor, der die Einführung von Multispektralkameras in Smartphones behindert, ist die Rechenleistung: Wenn der Auslöser des Mobiltelefons gedrückt wird, muss der Prozessor detaillierte Spektralinformationen verwenden, um die Verarbeitung des Fotos abzuschließen. Wenn die Leistung nicht mithalten kann, verkürzt sich die Produktionszeit Das Mobiltelefon wird gekürzt. Es ist sehr lang und beeinträchtigt das Schießerlebnis erheblich.

Nach kontinuierlichen Durchbrüchen in der Leistung von Mobiltelefonprozessoren, die CPU, GPU und NPU (KI-Prozessor) integrieren, wurde dieses Problem gelöst.

Im Jahr 2022 investierte Huawei Hubble in die Qiushi Spectrum Company. Heute, zwei Jahre später, wurde die Huawei Mate 70-Serie geboren, das erste Smartphone, das mit einem 1,5-Megapixel-Multispektrometer ausgestattet war.

Aber Huawei wird diesmal nicht allzu lange führen. Tatsächlich erforscht man im Ausland bereits ähnliche Wege, um Multispektral-Chips in mobile Geräte einzuführen.

Ein belgisches Unternehmen namens Spectricity brachte 2023 den Multispektralsensor S1 speziell für Smartphones auf den Markt. Das Prinzip und die Wirkung ähneln der Rotahorn-Primärfarbkamera und können auch die Farbgenauigkeit von Mobiltelefonkameras verbessern.

In diesem Jahr gab Spectricity eine Partnerschaft mit Qualcomm bekannt mit dem Ziel, hervorragende Spektralbildsensorprodukte für die Qualcomm Snapdragon-Plattform zu entwickeln.

Derzeit wurden keine mit S1 ausgestatteten Verbraucher-Mobiltelefonprodukte auf den Markt gebracht, Spectricity sagte jedoch, dass es eine Zusammenarbeit mit mehreren Mobiltelefonherstellern, darunter Marken aus China, erreicht habe und verwandte Produkte bald auf den Markt kommen würden.

Vielleicht wird dieser der Öffentlichkeit noch etwas unbekannte Sensor im nächsten Jahr häufig bei der Einführung verschiedener Flaggschiff-Mobiltelefone vorgestellt und zu einem weiteren neuartigen Verkaufsargument.

Für Verbraucher bedeutet diese Kamera nicht nur, dass wir Fotos mit genaueren Farben aufnehmen können, sondern sie birgt auch neue Möglichkeiten, die Mensch-Computer-Interaktion zu revolutionieren.

Referenzartikel:
„Spektrumkamera, das brillanteste „Auge“ des Huawei Mate in der Geschichte“
„Spektrale Bildgebung, Beginn einer neuen Ära der KI-Bildgebung für Mobiltelefone“

# Willkommen beim offiziellen öffentlichen WeChat-Konto von Aifaner: Aifaner (WeChat-ID: ifanr) wird Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner |. Ursprünglicher Link · Kommentare anzeigen · Sina Weibo