Den Filmeffektmodus des iPhone 13 entmystifizieren, so hat Apple ihn geschaffen

Ich erinnere mich, dass ich in meiner Jugend einen Dokumentarfilm gesehen habe, der die Arbeitsteilung hinter dem Film erklärt. Und Fotografen werden oft von einem "Follow-Focuser"-Begleiter begleitet, so wie jeder Golfer einen Caddie und jeder Rallye-Spieler einen Navigator hat, der in der Filmindustrie fast zum Standard geworden ist.

Der Fokusfolger sorgt hauptsächlich nur dafür, dass der Brennpunkt (Brennebene) des Objektivs den Bedürfnissen des Kameramanns entspricht, d. h. dass das Motiv klar ist.

Klingt nach einem recht einfachen Job, kann aber nicht jeder selbst. Er stellt hohe Anforderungen an die Fokusgeschwindigkeit und die Schaltgenauigkeit. Ohne jahrelange Ansammlung zur Bildung des Muskelgedächtnisses ist es schwierig, den Punkt der Leistungsfähigkeit zu erreichen, und es ist schwierig, genau zwischen verschiedenen Schwerpunkten zu wechseln.

Selbst jetzt, wo die Autofokus-Technologie der Kamera große Fortschritte gemacht hat, ist die Filmindustrie immer noch unzertrennlich, und sie ist immer noch vollständig manuell, und der Fotograf hat immer noch ein solches "Folgen".

Die Bewegung des Fokus wird den Charakter und die Umgebung hervorheben. Der Instinkt des menschlichen Auges ist es, ein klares Motiv zu verfolgen, und die Änderung des Fokus führt die Aufmerksamkeit des Publikums dazu, sich mit dem Fokus zu verschieben, wodurch eine Erzählung oder Atmosphäre erreicht wird Film Ein Stück Sprache. Dabei sollte Zha Dao mitreden.

Wenn normale Leute einen ähnlichen "Film"-Effekt aufnehmen möchten, wenn dies nicht ein späteres Stadium ist, reichen eine Vollformatkamera und ein Objektiv mit großer Blende aus, aber aus wirtschaftlicher und universeller Sicht kann es sein eine negative Bewertung NS.

Und der diesjährige "Movie Effect Mode" auf der gesamten iPhone 13-Serie könnte eine neue Wahl sein.

Der Filmeffektmodus ist der Videoporträtmodus

Von allen TVCs auf dem iPhone 13 haben mich am meisten beeindruckt "Whodunnit" und "Wer hat mein iPhone gestohlen". Der Filmeffektmodus hat die Geschichte des gesamten Films stark verbessert. Natürlich sind die Schauspieler des letzteren auch ein großes. Highlights.

Tatsächlich gab es bereits bevor Apple am 15. September das iPhone 13 auf den Markt brachte, entsprechende Gerüchte, dass Apple die „Video-Portrait“-Funktion auf den Markt bringen würde, und hielt diese damals für wenig „nützlich“.

Aber als wir die kommerzielle Demonstration von "Whodunnit" sahen und nachdem wir die iPhone 13-Serie bekamen, versuchten wir eine Weile, "zu reproduzieren" und verstanden dann allmählich, dass die Bedeutung von "Filmeffektmodus" mit dem "Filmeffekt" vergleichbar ist Modus" auf dem iPhone 7 Plus. Porträtmodus".

Sie basieren nicht auf klassischer optischer Technologie, sondern finden einen anderen Weg. Der ehemalige "Portrait-Modus" und der aktuelle "Movie-Effekt-Modus" basieren auf Multi-Linsen-Parallaxe, nicht auf LiDAR, was erklärt, warum das iPhone 13 von allen Systemen unterstützt wird, nicht nur in der Pro-Serie.

Der Zweck liegt auf der Hand, nämlich wie das "Porträtmodell" des Jahres zu popularisieren.

Darauf basiert auch, dass der Aufnahmeeffekt des "Filmeffektmodus" des iPhone 13 ähnlich ist und die Erkennung des Motivs zur Simulation der Schärfentiefe auf das Gesicht fokussiert, und unter mehreren Gesichtern wird die große Priorität gegeben.

Es kann keine Gegenstände und Tiere identifizieren und erfordert ein manuelles Eingreifen, um zu wechseln. In einer überfüllten Szene kann das iPhone 13 mehrere Gesichter gleichzeitig erkennen, wechselt jedoch häufig den Fokus. Zu diesem Zeitpunkt muss es auch eingreifen, um die Person auszuwählen, der Sie folgen möchten, oder zum Sperren direkt gedrückt halten es.

Außerdem wurde der "Filmeffektmodus" zuerst von Apple eingeführt, und natürlich gibt es viele Einschränkungen. Einer ist, dass der Ausschnitt nicht detailliert genug ist, die Kanten der Charaktere manchmal "durchbohrt" sind und die höchste nur 1080p 30p-Video aufnehmen kann, dasselbe gilt für die iPhone 13 Pro Max 1TB-Version.

Unter den oben genannten Einschränkungen kann der "Filmeffektmodus" der gesamten iPhone 13-Serie jedoch weiterhin die Dolby Vision HDR-Codierung berücksichtigen, die auch von Apple abgewogen werden kann.

"Movie Effect Mode" wurde eigentlich aus Neugier geboren

In der Vergangenheit erforderten viele der Entstehung neuer Funktionen Einblicke in die Bedürfnisse und erhalten aus Benutzer-Feedback, aber Apple, an der Spitze der Pyramide, hat Produkte mehr im Einklang mit seinem eigenen Verständnis und Rhythmus hergestellt.

In einem Interview mit Matthew Panzarino, dem Chefredakteur von TechCrunch, erklärte Apples Human-Machine Interface Designer Johnnie Manzari Anfang und Ende des Filmeffektmodells.

Der "Filmeffektmodus" geht nicht von der Funktion selbst aus, sondern nur, weil die Designabteilung neugierig auf den Prozess des Filmens ist und diesen als Ausgangspunkt nutzt, um filmische Fotografietechniken zu studieren und zu erlernen, um so nah an echte Fokusumwandlung und einige optische Eigenschaften.

Gleichzeitig sagte John, dass die Entwicklung des "Filmeffektmodus" der auf dem iPhone X erschienenen Studio-Lichteffekt-Porträtfotofunktion ähnlich ist.

Aus den Porträtwerken des klassischen Porträtkünstlers Andy Warhol (Avedon Warhol), des Barockmalers Rembrandt und der chinesischen minutiösen Malerei erfahren und analysieren und dann im Algorithmus des Produkts anwenden.

Der "Movie-Effekt-Modus" ist ein ähnlicher Vorgang: Das Apple-Team diskutierte zunächst mit Weltklasse-Videofilmern und sah sich eine Vielzahl von Filmen an.

Dabei entdeckten wir einige unveränderliche Trends im Filmherstellungsprozess. Der Wechsel zwischen den Schwerpunkten ist eine gängige Sprache in der Filmbranche, und wir müssen genau verstehen, wie und wann sie verwendet werden.

Daher arbeiteten John und die Teammitglieder eng mit dem Kameramann und dem ersten Kameraassistenten zusammen, um den Mechanismus dahinter zu verstehen. Die Verwendung einer geringen Schärfentiefe kann die Aufmerksamkeit des Publikums lenken und die Darstellung der Geschichte unterstützen.

Der "Zoom" ist jedoch etwas für Profis und für normale Leute ist es schwierig, die Genauigkeit zu erfassen.

Nachdem John, das Designteam und Apple wussten, dass es viele Jahre der Übung braucht, bis der Fokus-Follower die Echtzeit-Situation meistert, den Fokus entsprechend der Position der Filmkamera und des Motivs konstant zu halten, glauben alle, dass dieser "Film" Effektmodus" steht kurz vor der Markteinführung. "Es wird ein sehr konkurrenzfähiges Feature sein.

Dazu wird der "Filmeffektmodus" durch das Studium von Apple in zwei Teile zerlegt, zum einen "den Fokus finden" und zum anderen die reibungslose Übertragung.

Das Finden des Brennpunkts wird schließlich als "Blickerkennung" festgelegt, was eigentlich näher an der Gesichtserkennung liegt, damit sich das Publikum auf die Bewegung des Protagonisten konzentrieren und das Publikum anleiten kann, die Geschichte schnell zu verstehen.

Die reibungslose Übertragung ist ein Merkmal, das Johns Langzeitbeobachtung des Fokus-Einstellrads hinzugefügt hat, das von einem Follower bedient wird Objektivlänge Die Objektentfernung ändert sich in Echtzeit.

Apple hat im "Filmeffektmodus" viel Zeit damit verbracht, die Handarbeit dieses Anhängers zu simulieren, daher fotografieren wir im "Filmeffektmodus". Beim Umschalten zwischen verschiedenen Fokuspunkten ist es kein mechanisches schnelles Drücken und Ziehen , aber es gibt einen offensichtlicheren Folgeprozess.

Natürlich ist der "Movie-Effects-Modus" gerade erschienen, genau wie der "Portrait-Modus", hat er noch einiges zu optimieren.

Es ist, als ob Sie Lang Lang so leicht und frei Klavier spielen sehen, aber Sie wissen, dass es unmöglich ist, Algorithmen zu verwenden, um sein Meisterniveau zu erreichen.

Der Held hinter der Landung des "Filmeffektmodus" A15

Da es durch einen Algorithmus "erraten" wird, kann der "Filmeffektmodus" theoretisch über OTA auf andere iPhones (wie das iPhone 12) heruntergeladen werden, aber die Echtzeitvorschau kann geopfert werden. Aber mit Apples Denkweise ist es schwierig, neue Funktionen zu dezentralisieren, indem man etwas Erfahrung opfert.

Daher wird der "Filmeffektmodus" vorübergehend ein exklusives Feature der gesamten iPhone 13-Serie sein, und es wird auch eine Schwelle für die Rechenleistung der A-Serie-Chips sein, und es könnte auch eine neue Generation von iPhones werden. Nagelbenutzer."

Kaiann Drance, Vice President of iPhone Marketing, sagte in einem Interview, dass das Erstellen von Videos mit simulierter Tiefenschärfe "herausfordernder" sei als Porträtfotos.

Das Video muss sich bewegen, wenn sich das Motiv bewegt, Echtzeit-Anti-Shake (digital plus Optik) ist erforderlich und verschiedene Szenen, Menschen, Tiere und Objekte werden genau erkannt. Daher für neuronale Engines und maschinelles Lernen eine höhere Tiefenqualität benötigte Daten und in Echtzeit gerendert.

Ach ja, und Echtzeit-Fokus und Unterstützung für Dolby Vision HDR-Codierung. Und hinter all dem kommt von A15, man kann sagen, dass das junge Alter die wichtige Verantwortung der ganzen Familie übernommen hat.

Im Vergleich zur CPU des A15 hat sich im aktuellen Test die GPU-Leistung deutlich verbessert, sie darf eine ganz neue Architektur annehmen und einen weiteren Kern aufbauen. Darüber hinaus wurde die Rechenleistung der neuronalen Netzwerk-Engine von A15 auf 15,8TOPS erhöht.

Und diese Hardware-Verbesserungen könnten diesmal mit der Verbesserung der Videofunktionen der iPhone 13-Serie zusammenhängen. Der "Movie-Effekt-Modus" enthält einige Machine-Learning-Probleme, die sich von statischen Fotos unterscheiden. Ich glaube, dass Johns Design-Team für Mensch-Computer-Interaktion bereits bei der Entwicklung von A15 einen intensiven Austausch mit der Chip-Entwicklung hatte.

Im Testvideo von TechCrunch fanden sie außerdem heraus, dass der "Filmeffektmodus" der iPhone 13-Serie redundante Sensoren verwendet, um das Motiv während des Prozesses der Identifizierung von Personen vorherzusagen.

Sobald der Hinterkopf von Matthews Tochter auf dem Bildschirm erschien, wechselte das iPhone 13 in seiner Hand sofort den Fokus, als ob es einen Regisseur gibt, der die Gesamtsituation in einem Bühnenstück kontrolliert.Der Protagonist ist nicht auf der Bühne erschienen. und die Beleuchtung wird im Voraus vorbereitet. , Und führen das Publikum dazu, sich auf ihren Auftritt zu freuen.

Zu diesem Detail des "Filmmodus" sagte Apples Mensch-Computer-Interaktionsdesigner John:

Während wir die Produktion des Films beobachteten, stellten wir fest, dass der Fokusfolger nicht darauf wartet, dass der Protagonist den Fokus bewegt, sondern einen Vorhersageprozess hat. Außerdem nutzen wir redundante Sensoren, um durch maschinelles Lernen die Bewegung von Personen außerhalb des Bildschirms vorherzusagen.Wenn sie auf dem Bildschirm erscheinen, stehen sie bereits im Fokus.

Jobs sagte einmal gerne, dass Apple an der Schnittstelle von Technologie und Kunst steht.

Vor der Veröffentlichung der iPhone 13-Serie war "Portrait-Modus" eher ein technischer Begriff und fühlte sich kalt an. Was den "Filmeffektmodus" und die Darstellung von TVC angeht, ist es nicht mehr kalt, sondern mit einer bestimmten Temperatur. Nach eingehendem Verständnis der Geschichte hinter dem "Filmeffektmodus" brachte es ein bisschen "die Kunst des Schießens".

Für gewöhnliche Leute hat der "Filmeffektmodus" vielleicht keine so tiefe Bedeutung. Es ist eher wie ein Rotweinschraubendreher in einem Schweizer Taschenmesser. Es ist vielleicht nicht das perfekteste und arbeitssparendste Werkzeug, aber es ist ein Werkzeug die in Notfällen verwendet werden können. .

Filme zeigen uns menschliche Emotionen und Geschichten, die mit der richtigen Sprache transportiert werden. Momentan haben wir lange daran gearbeitet, Ihre Lebensgeschichte auf Ihrem Handy aufzeichnen und interpretieren zu können.

#Willkommen, um dem offiziellen WeChat-Account von Aifaner zu folgen: Aifaner (WeChat-ID: ifanr), weitere spannende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner | Ursprünglicher Link · Kommentare anzeigen · Sina Weibo