Warum nicht eine Kamera für Computerfotografie verwenden, die die Kamerafunktionen des iPhones erheblich verbessert?

Bei der Einführung der iPhone 11-Serie stellte Apples Senior Vice President Philip W. Schiller das Konzept der Computerfotografie erstmals vor, als er das Bildgebungssystem der iPhone 11 Pro-Serie vorstellte. Dieses Konzept war auch das erste Der Öffentlichkeit bekannt.

Tatsächlich ist das Konzept der Computerfotografie nicht neu. Es erschien erstmals 1994 in einer öffentlichen Veröffentlichung, und es wurde festgestellt, dass die In-Camera-Synthese von HDR, Panoramafotos und simuliertem Bokeh zur Kategorie der Computerfotografie gehört. Zu dieser Zeit war der Hauptträger von Fotos noch Film, und Digitalkameras fingen gerade erst an, und es gab keine Kameras auf Mobiltelefonen.

Jahrzehnte später hat sich der Träger der Bildaufzeichnung von Film zu Digital gewandelt, Mobiltelefone haben Kameras, und Computerfotografie ist allmählich zu einem wichtigen Trend geworden.

Dieser Trend hat jedoch wenig mit Kameras zu tun. Die Kamerahersteller verbessern nach und nach die Pixel-, Serienbild- und Videofunktionen. Sie scheinen blind für Computerfotografie zu sein. Die (direkt aufgenommenen) Fotos sind immer noch sehr mittelmäßig und werden nach und nach von Smartphones verwendet. "Darüber hinaus".

Im Gegenteil, die Rechenleistung von Smartphonechips wird immer stärker, KI, Algorithmen und maschinelles Lernen spielen eine größere Rolle. Es gibt immer deduktivere Methoden für Bilder und schließlich Fotos, die von einer Reihe von "Algorithmen" verarbeitet werden. Es wird auch besser.

Heutzutage sind viele Menschen eher bereit, Mobiltelefone zum Aufzeichnen und Teilen zu verwenden, und Kameras werden immer seltener. Dies spiegelt sich auch in der Marktleistung der beiden wider. Der Smartphone-Markt ist schnell gewachsen und der Kameramarkt ist Jahr für Jahr geschrumpft. Sogar DC (Kartenkamera) ) Allmählich verschwunden.

Zu diesem Zeitpunkt fragen sich einige Leute vielleicht, warum traditionelle Kamerahersteller nicht dem Trend der Computerfotografie folgen und erwägen, das unkomplizierte Erscheinungsbild von Fotos zu verbessern, da die von Smartphones aufgenommenen Fotos so gut aussehen und sich so gut anfühlen.

Hat die Kamera nicht genug Rechenleistung, um zu zählen?

Beginnen wir mit dem "Kern" dieser Ausgabe.

Der Kern eines Mobiltelefons ist SoC, das CPU, GPU, ISP, NPU und Basisband integriert. Sie können Anrufe tätigen, Bilder aufnehmen, Videos ansehen, Spiele spielen und im Internet surfen. Außerdem wird die Leistung des Mobiltelefons direkt bestimmt.

Die Kernkomponente der Kamera ist der Bildsensor (CMOS), der mit Ausnahme des Komponentenbereichs einem Mobiltelefon für die Bildgebung und Lichtempfindlichkeit ähnlich ist. Darüber hinaus wird der Zentralverarbeitungschip, der das gesamte Kamerasystem steuert, als Bildprozessor bezeichnet.

Nehmen Sie als Beispiel den BIONZ X-Bildprozessor von Sony (Royal der α7-Serie). Er enthält SoC- und ISP-Chips. ISP ist nicht in SoC integriert. Der Vorteil besteht darin, dass Sony die Anzahl der ISP-Chips gemäß den Leistungsanforderungen von CMOS erhöhen kann. (Das BIONZ X von α7RIII ist mit zwei ISPs ausgestattet.) Der Nachteil ist, dass der Integrationsgrad nicht so hoch ist wie der von Mobiltelefonen.

Die Rolle des SoC in BIONZ X ähnelt der eines Mobiltelefons. Die Leistungsanforderungen für die Steuerung der Steuerschnittstelle und der Kamerafunktionen sind nicht hoch. Das Durchführen von Bayer-Transformation, Demosaikieren, Rauschunterdrückung, Schärfen und anderen Operationen an den vom Bildsensor gesammelten "Daten" hängt hauptsächlich vom ISP ab und konvertiert schließlich die vom CMOS gesammelten Daten in die Echtzeitansicht der Kamera. In diesem Prozess beinhaltet der ISP der Kamera nicht den Berechnungsprozess, sondern behandelt die Fotos als Produkte am Fließband für eine einheitliche Verarbeitung.

Mit der kontinuierlichen Verbesserung der Pixelanzahl, der kontinuierlichen Aufnahmegeschwindigkeit und der Videoleistung der aktuellen Kamera stellt der Bildprozessor der Kamera eine hohe Anforderung an die Geschwindigkeit und den Durchsatz der Bildverarbeitung, und das einzelne Datenvolumen ist sehr groß, ohne dass eine "Berechnung" erforderlich ist. Die Verarbeitungsleistung des Kamerabildprozessors übersteigt die Verarbeitungsleistung des aktuellen Smartphone-ISP bei weitem.

Aber wenn es um Computerfotografie oder KI-Fähigkeiten geht, gibt es etwas anderes. Der Bildgebungsprozess eines Smartphones ähnelt dem einer Kamera, aber bevor das endgültige Bild präsentiert wird, sind auch ISP- und DSP-Berechnungen, Echtzeitanpassungen und -optimierungen erforderlich, insbesondere nachdem das Mehrkamerasystem zum Mainstream geworden ist, verdoppelt sich das Berechnungsdatenvolumen des Mobiltelefons.

Nach der Einführung des Multikamerasystems durch die iPhone 11 Pro-Serie stehen hinter dem reibungslosen und nahtlosen Umschalten des Multikamerasystems die enormen Datenverarbeitungsfunktionen der beiden neu hinzugefügten Beschleuniger für maschinelles Lernen in A13 Bionic, die eine Billion Mal pro Sekunde erreichen. Hochfrequente und effiziente Datenverarbeitungsfunktionen können als Verzehr der großen Datenmenge angesehen werden, die von drei Kameras generiert wird.

Der Bildprozessor der Kamera verarbeitet die Originaldaten größtenteils vor, und es gibt fast keinen Berechnungsprozess, während der SoC des Mobiltelefons eine Vorverarbeitung der Datenerfassung und nachfolgende Berechnungsprozesse umfasst und die beiden sich auf unterschiedliche Richtungen konzentrieren.

Verschiedene Gruppen, das Ergebnis der Marktsegmentierung

Die Fotografie für mobile Computer hat sich rasant entwickelt. Die Hauptursache ist, dass der Bildsensor (CMOS) des Mobiltelefons zu klein ist. Wenn Sie mit der aktuellen Technologie die Kamera physisch übertreffen oder sich ihr nähern möchten, können Sie sie nur durch Algorithmen optimieren, damit sie beispielsweise automatisch aussieht HDR, Super-Nachtszene, simulierte große Blende, magischer Himmelswechsel und andere Funktionen.

Die Interpretation dieser Algorithmen ist jedoch immer noch schwierig, um eine "personalisierte" Intervention zu erreichen, z. B. inwieweit der Filter hinzugefügt wird und inwieweit die HDR-Lichter und -Schatten erhalten bleiben. Lassen Sie jedoch die meisten Menschen bei Mobiltelefonen, die der Öffentlichkeit zugänglich sind, so weit wie möglich gute Fotos machen, was eher der Marktpositionierung und der Crowd-Positionierung von Mobiltelefonen entspricht.

Seit der Erfindung der Kamera hat die Kamera ein absolutes "Werkzeug" -Attribut. Um effizient zu sein, werden Aussehen, Steuerung, Funktion usw. die Effizienz beeinträchtigen. Bei einer professionellen Nischengruppe entspricht dies natürlich eher ihren Anforderungen. Kameras zeichnen Farbtiefe, Farbe, Licht und andere Informationen so weit wie möglich auf, sodass Benutzer eine größere Auswahl an Nachanpassungen vornehmen können, um festzustellen, ob sie gut sind oder nicht. Nicht in ihren Bedürfnissen.

Für die meisten Menschen, die keine Grundlage in der Fotografie haben, ist es weitaus wichtiger, ein gut aussehendes Foto zur Hand zu haben als ein informatives Foto. Für professionelle Kamerahersteller entspricht die Erhöhung der Farbtiefe der RAW-Aufnahme eher der Marktpositionierung als die Erhöhung des direkten Effekts von JPG.

Die Dinge sind jedoch nicht so absolut, und Kameras versuchen auch, sich zu ändern. Fuji hat sich immer dem direkten Effekt der Kamera verschrieben und durch verschiedene Algorithmen eine "Filmsimulation" eingeführt, um die Fotos geschmackvoller zu machen und besser auszusehen. Dieser Prozess durchläuft jedoch keine Szenenberechnungen, sondern erfordert, dass Benutzer selbst auswählen. Dies ähnelt einigen Filmsimulations-Apps auf Mobiltelefonen und beinhaltet keine sogenannte "Computerfotografie".

Ist nach AI die allgemeine Richtung der Kamera?

Auf dem Gebiet der Fotografie ist die Nachbearbeitung ein unverzichtbarer Schritt. Zum einen kann die Nachbearbeitungssoftware die im RAW-Format aufgezeichneten umfangreichen Informationen voll ausnutzen, zum anderen kann sie auch die hohe Leistung und Rechenleistung des PCs nutzen, um die Fotos schnell zu verarbeiten.

Im Gegensatz zu Kameraherstellern hat die fast gängige professionelle Postproduktionssoftware begonnen, an KI zu arbeiten, wobei die Verarbeitungsfähigkeiten von KI hervorgehoben werden.

Adobe Photoshop hat in den letzten Versionen des Updates eine automatische Erkennungsfunktion zu den Vorgängen Ausschneiden, Reparieren und Dermabrasion hinzugefügt, wodurch der Vorgang immer sinnloser und der Effekt immer präziser wird. Die Retuschiersoftware Pixelmator Pro auf der Mac-Plattform begann bereits 2018 mit dem maschinellen Lernen von Apple Core ML, um Bilder zu erkennen, um Farbanpassungen, Mattierungen, Auswahl und sogar Komprimierungsausgaben durchzuführen. ML-maschinelles Lernen wurde verwendet. Motor.

Wie oben erwähnt, haben Kamerahersteller aufgrund der Begrenzung der Rechenleistung von Chip-KI und des Problems des Nischenmarktes ihre Anstrengungen in der Computerfotografie kaum unternommen. Die Explosion späterer Software in der KI kann jedoch auch als Ausgleich für die Mängel von Kameras in der Computerfotografie angesehen werden.

Selbst wenn die KI der späteren Software enthalten ist, haben die Kameras den traditionellen Prozess noch nicht losgeworden. Die Kameraaufzeichnung und die Softwareprozesse. Dieser Prozess ist für die Öffentlichkeit immer noch umständlich. Für professionelle Fotografen kann das Eingreifen einer späteren Software-KI zwar die Arbeitsbelastung verringern und die ursprünglichen komplizierten Ausschnittvorgänge erheblich vereinfachen, aber den Fotoverarbeitungs- (Erstellungs-) Prozess der traditionellen Fotoindustrie, der sich völlig vom Mobiltelefon unterscheidet, nicht umkehren. anders.

Nach Angaben von CIPA schrumpft der Kameramarkt allmählich. Im Gegenteil, der Mobilfunkmarkt wächst weiter. Der Trend der "Computerfotografie" auf Smartphones wird weder die Richtung ändern, in der Kameras professioneller werden, noch das allmähliche Schrumpfen des Kameramarktes umkehren.

Angesichts bedrohlicher Mobiltelefone können sich Kameras nur in eine professionellere Richtung entwickeln und den Markt weiterhin nach oben unterteilen. In den letzten Jahren waren es 40 Millionen und 60 Millionen Vollbildpixel, Mittelformate mit über 100 Millionen Pixeln und Micro-Single Die Videofunktionen nähern sich weiterhin professionellen Camcordern, die alle Produkte des Kamerasegments sind.

Die zunehmende Spezialisierung von Kameras bedeutet, dass leistungsfähigere Bildsensoren (CMOS) erforderlich sind. Die "Computerfotografie" beruht jedoch auf einem separaten Modul für maschinelles Lernen. Wie wir alle wissen, erschweren die hohen Kosten und das hohe Risiko der Chipentwicklung die Kamerahersteller. Berücksichtigen Sie beides. Computerfotografie und Spezialisierungsentwicklung sind zwei verschiedene Wege. Gleichzeitig werden Kamerahersteller für Funktionen wie "Computerfotografie" und "KI-Intervention", die für professionelle Benutzer von geringem Nutzen sind, aufgrund des Ausgleichs von Forschungs- und Entwicklungskosten wahrscheinlich vorübergehend strategisch aufgegeben.

In dieser Phase oder in absehbarer Zukunft ist es noch schwieriger zu wollen, dass Kamerahersteller "Computerfotografie" mit hohem Risiko, hohen Investitionen und langsamen Ergebnissen einführen, ganz zu schweigen davon, dass es immer noch viele professionelle Postproduktionssoftware gibt, die KI zum Retuschieren von Fotos verwendet. Am Ende.

#Willkommen Sie, wenn Sie Aifaners offiziellem WeChat-Konto folgen: Aifaner (WeChat ID: ifanr). Weitere aufregende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner | Original Link · Kommentare anzeigen · Sina Weibo