Wie das Thanos VFX-Team die Charaktere von The Quarry zum Leben erweckte (und sie dann tötete)

Der Spieleentwickler Supermassive Games erntete viel Lob für sein interaktives, kinoreifes Horror-Abenteuer Until Dawn und legte mit dem diesjährigen „spirituellen Nachfolger“ des Hits von 2015, The Quarry , nach. Das Spiel gibt den Spielern die Kontrolle über eine Gruppe von Lagerberatern, die von einer Vielzahl tödlicher Bedrohungen – sowohl menschlichen als auch übernatürlichen – belagert werden, nachdem sie auf dem abgelegenen Campingplatz gestrandet sind, auf dem sie ihren Sommer verbracht haben.

Wie Until Dawn bietet The Quarry eine Besetzung bekannter Schauspieler, die die Charaktere des Spiels darstellen, mit einer Mischung aus hochmodernen Performance-Capture-Systemen und visueller Effekttechnologie auf Hollywood-Niveau, die es der Besetzung ermöglicht, ihre Gegenstücke im Spiel zum Leben zu erwecken und umzusetzen das Schicksal dieser Charaktere in den Händen der Spieler. Um die Arbeit der Schauspieler an einem Performance-Capture-Set in die erschreckende Welt des Spiels zu bringen, rekrutierte Supermassive das Oscar-prämierte Visual-Effects-Studio Digital Domain , das vor allem für seine Arbeit bei der Verwandlung von Josh Brolin in Thanos in Avengers: Infinity War bekannt ist .

Digital Trends sprach zuvor mit dem Team von Digital Domain über das KI-gesteuerte Masquerade-Gesichtsverfolgungssystem, das sie für Infinity War entwickelt haben und das seit diesem Film von 2018 ein bedeutendes Upgrade erhalten hat. Jetzt kehrt es in The Quarry , einem Spiel, das mit dem verbesserten Masquerade 2.0-System des Studios erstellt wurde, wieder ins Rampenlicht. Aruna Inversin , Creative Director und VFX Supervisor von Digital Domain bei The Quarry , und Senior Producer Paul „Pizza“ Pianezza erklärten, wie eine Mischung aus bahnbrechender Technologie, cleveren Filmtechniken und inspirierten Darbietungen der Darsteller des Spiels das neueste interaktive Abenteuer von Supermassive so aufregend machte kreatives Team wie für Spieler.

[Anmerkung: In diesem Interview werden Handlungspunkte in The Quarry besprochen . Betrachten Sie dies als Spoilerwarnung, wenn Sie das Spiel noch nicht gespielt haben.]

Digitale Trends: Bereits 2019 haben wir über Masquerade gesprochen, das Gesichtserfassungssystem, das Digital Domain für Thanos in Avengers: Infinity War entwickelt hat . Ihr Team hat Masquerade 2.0 entwickelt, um etwas Ähnliches wie The Quarry zu machen, aber mit mehr Charakteren und über viel mehr Bildschirmzeit. Was waren einige der großen Schritte auf dem Weg?

Aruna Inversin: Thanos war das am weitesten verbreitete Produkt, weil es Marvel ist, aber ein Großteil unserer Entwicklung [von Gesichtserfassungssystemen] begann bereits 2007, als wir an The Curious Case of Benjamin Button arbeiteten. Ein Großteil [unserer Arbeit an diesem Film] bestand darin, alles herauszufinden. Danach haben wir an Tron: Legacy gearbeitet, also haben wir für eine Weile digitale Menschen für Spielfilme gedrängt. Mit Thanos und dem Masquerade-Prozess war es jedoch wirklich ein großer Sprung nach vorne.

Was können Sie mit Masquerade und Masquerade 2.0 tun?

Inversin: Es erlaubt uns, jede Art von Kopfkamera zu nehmen und damit einen digitalen Charakter, ein digitales Gesicht, zu steuern. Für Thanos war es interessant, weil wir eine nicht menschliche Darbietung der Performance hatten. Und natürlich gab es Animatoren, die hineingingen und es optimierten, um ihn zu Thanos zu machen. Es gibt jedoch immer noch eine zugrunde liegende Leistung von Josh Brolin. Seitdem haben wir an der Echtzeit-Effizienz gearbeitet – wie wir Masquerade echtzeitfähiger, effizienter und kostengünstiger machen können. Und dabei sind uns noch ein paar andere Produkte eingefallen. Masquerade 2.0 ist eine Kombination aus Head-Tracking und allen anderen Nebenentwicklungen, die es effizienter machen. Es gibt ein besseres automatisiertes Eye-Tracking, ein stärker automatisiertes Integrations-Tracking der Punkte auf dem Gesicht, mehr maschinelles Lernen … Es ist eine Verzehnfachung der Datenmenge, die wir liefern und mit der wir interagieren können.

Thanos‘ gesamte Bildschirmzeit betrug 45 Minuten. Wir sind jetzt in der Lage, 32 Stunden [Performance] über mehr Charaktere für The Quarry zu liefern.

Wie sieht der allgemeine Prozess aus, wenn Sie Daten von Schauspielern bei so etwas wie The Quarry sammeln?

Paul Pianezza: Wir haben 32 Stunden Filmmaterial aufgenommen, aber zu Beginn machen wir Trainingssets. Wir werden die Schauspieler nehmen und einige Daten von ihnen scannen. Und daraus sammeln wir etwa 60 Sekunden ROM-Daten (Range of Motion). Dann machen wir einen Ganzkörperscan. Danach machen wir mehr ROMs und erfassen mehr Gesichtsformen, um eine 1:1-Ähnlichkeit herzustellen – wie sich das Gesicht bewegt und all diese Dinge. Das ist unser Ausgangspunkt. Und dann, wenn wir jeden Tag zum Drehen gehen, machen wir noch mehr ROM-Aufnahmen, während sie auftreten, sodass das Set, von dem aus wir arbeiten, mit der Zeit immer größer wird.

Es ist eine Sache, all dieses Rohmaterial zu haben, aber auf welche Art von Herausforderungen stoßen Sie normalerweise, wenn Sie versuchen, es in Echtzeit für etwas Interaktives wie ein Spiel zu manipulieren und zu bearbeiten?

Inversin: Nachdem wir alle Trainingssets haben, besteht eine der Herausforderungen darin, dass, sobald Sie die Leistung eines Schauspielers zu der Mischung hinzufügen, dieser nicht nur herumsteht und Ihnen zeigt, wie sich sein Gesicht und sein Körper bewegen. Sie rennen herum, springen, ringen mit Werwölfen und machen alle möglichen Dinge. Und um das zu verfolgen, haben wir neue Technologien entwickelt, die es uns ermöglichen, die Kopfkamera zu stabilisieren und Bewegungen zu erfassen, die beispielsweise nicht durch das Wackeln der Kopfkamera beeinträchtigt werden. Diese Kameras sind ziemlich schwer, also mussten wir die Kamerastabilisierung und -verfolgung sowie das maschinelle Lernsystem so weiterentwickeln, dass Sie sehen, wie sich das Gesicht einer Figur beim Laufen durch die Schwerkraft bewegt, wenn sie rennt. Diese Nuance in einer Echtzeit-Performance ist etwas, das Sie nicht bekommen, wenn Sie das Gesicht eines Schauspielers getrennt von seiner Körperperformance erfassen. Wir nehmen gerne alles gleichzeitig auf, damit die Schauspieler nicht nur diese Beziehung zueinander haben, sondern die Bewegung in ihren Gesichtern dem entspricht, was sie körperlich tun.

Pianezza: Und der lustige Teil ist, wenn Sie 32 Stunden Filmmaterial mit diesen Kameras aufnehmen, finden Sie alle möglichen Möglichkeiten, wie sie kaputt gehen können.

Inversin: Richtig? Kabel vor dem Gesicht, abfliegende Helme … Zum Glück hatten wir eine wirklich transparente Beziehung zu Supermassive. Als wir am Set waren und Will [Byles, Regisseur von The Quarry ] zuriefen, dass jemandem ein Kabel ins Gesicht gelaufen ist oder eine Kopfkamera ausgeschaltet war oder was auch immer, hatte Will immer die Weitsicht, um zu wissen, ob es etwas war, das nötig war neu gedreht werden, oder er würde sagen: „Kein Problem. Ich werde das umgehen.“

Die subtilen Gesichtsbewegungen im Spiel sind faszinierend – wie wenn jemand ganz leicht die Augen zusammenkneift, um anzudeuten, dass er skeptisch ist, oder sein Kinn auf eine winzige Weise bewegt, die darauf hindeutet, dass er nervös ist. Wie fangen Sie dieses Maß an Subtilität ein und halten die Charaktere aus dem Uncanny Valley heraus?

Pianezza: Das ist eines der Dinge, über die wir ständig sprechen: Die Unvollkommenheiten und Feinheiten, die es real machen. Alles, was wir aufgenommen haben, wurde dafür entwickelt. Deshalb haben wir 32 Stunden Material im Wert von 4500 Aufnahmen. Und wenn Sie das System mit all diesem Material einwählen, erhalten Sie all diese Feinheiten in den Darbietungen der Schauspieler.

Inversin: Eines der wirklich großen Verkaufsargumente des von uns entwickelten Systems ist, dass es erkennt, dass die subtilen Bewegungen – diese Augenzuckungen und andere Dinge, die Sie im Spiel gesehen haben – wirklich wichtig sind. Sie kommen direkt vom Schauspieler. Es gibt keine zusätzliche Animation darüber. Die Schauspieler wissen also, dass ihre Darbietung mit hoher Genauigkeit auf diese digitale Figur übertragen wird. Und es wird mit der Zeit nur besser.

Wie gehen Sie also mit den Todesszenen im Spiel um? Ändern sie die Art und Weise, wie Sie Performances aufnehmen oder übersetzen?

Inversin: Nun, zuerst, wen hast du getötet, als du gespielt hast? Wer ist unter Ihrer Aufsicht gestorben?

Zwei Ratgeber starben bei meinem Durchspielen, Abigail (Ariel Winter) und Kaitlyn (Brenda Song), womit ich eigentlich ziemlich zufrieden bin, angesichts meiner typischen ersten Todesrate in Spielen wie diesem.

Inversin: Wenn es Abis Todesszene im Bootshaus war, war das einer meiner Favoriten. Will gab den Schauspielern Anweisungen, indem er sagte: „Okay, du musst hier stehen, Ariel, und so tun, als würdest du auf die Knie fallen und sterben. Und Evan [Evagora, die im Spiel den Berater Nick Furcillo spielt], du musst auf sie springen, aber nicht ganz, denn an einem bestimmten Punkt wirst du ein Werwolf sein.“ Und so spielten wir das am Set aus. Ariel schreit, fällt auf die Knie und kippt um. Und dann springt Nick und hält an, und das war's für die Aufnahme. Will meinte: „Perfekte Aufnahme. Wir sind fertig." Und dann sagen sie beide: „Warte, was wird in der Szene passieren?“ Aber nachdem sich Abis Kopf löst und die Kamera zu ihr zurückkehrt, wie sie umkippt, war das eine echte Mo-Cap-Fotografie von ihr, wie sie umkippt und stirbt. Auch der Ausdruck auf ihrem Gesicht am Ende war ein Ausdruck, den sie in ihren letzten Zügen am Set machte. Dieser Ausdruck ist ganz ihr. Sie hielten einfach diesen Rahmen. Es hat an dem tag Spaß gemacht.

Pianezza: Menschen können auch auf so viele verschiedene Arten sterben, aber man kann vielleicht nur zwei Takes in kurzer Zeit machen, weil sie sonst vor lauter Schreien ihre Stimme verlieren. Es war wie: „Okay, ich muss wieder sterben, also lass uns jetzt eine Pause machen, damit ich später weiter schreien kann.“ Sie mussten eine Reihe verschiedener Todesfälle planen, die über die Dreharbeiten verteilt waren.

Inversin: Es gab eine großartige Zeit mit Justice [Smith, der Berater Ryan spielt], in Kapitel sieben oder acht, als er im Hackett-Haus ist und herumgejagt wird. Dieser Tag war ein bisschen verrückt. Es war wie: „Okay, Justice, Sie werden heute ungefähr sechs Mal sterben, und jeder wird schrecklich sein.“

Den Überblick über alle Permutationen von Handlungssträngen in einem Spiel wie diesem zu behalten, fühlt sich an, als könnte es überwältigend werden.

Pianezza: Es war alles Will. Es war wirklich beeindruckend. Zum Beispiel kann Dylan [gespielt von Miles Robbins] einmal seinen Arm verlieren, entweder durch eine Kettensäge oder durch eine Schrotflinte.

Ich ging mit der Schrotflinte.

Pianezza: Okay, Sie kennen diese Szene also. Als sie später verschiedene Szenen drehten, sagte Will: „Okay, du musst das jetzt mit deiner linken Hand machen, weil du zu diesem Zeitpunkt vielleicht deinen rechten Arm verloren hast.“ Er behält alles im Kopf.

Wie haben Sie Schauspieler, die vielleicht nicht mit Performance-Capture-Technologie oder interaktiven Kinospielen wie diesem vertraut sind, an den Prozess gewöhnt?

Pianezza: Digital Domain hat eine so lange Geschichte mit solchen Dingen, dass wir ihnen zum Beispiel Beispiele dafür zeigen könnten, was Brolin für Thanos getan hat. Wir sagten ihnen: „Ihr müsst nicht übertreiben. Sie sind in guten Händen.“ So viel von dem, was wir in den neuen Medien tun, ist nicht traditionell, also machen wir viel Bildung, für Kunden, Schauspieler oder wen auch immer. Und in diesem Fall vermitteln Sie ihnen im Grunde, dass es wie Theater ist. Es gibt keine Nahaufnahmen, Weitwinkel- und Halbaufnahmen, weil alles virtuell ist. Wir haben alle diese Kameras im Wesentlichen gleichzeitig am Laufen.

Inversin: Viele der Darsteller waren wirklich an dem Prozess interessiert, und es war wirklich gut, transparent mit ihnen zu sein und zu wissen, was dabei herauskommen könnte. Will war großartig darin, Regie zu führen und sagte: „Das ist wie ein Bühnenstück. Wir können die Kameras überall aufstellen.“ Dieses Repertoire und die Kameradschaft zwischen den Schauspielern, die wussten, dass sie sich wirklich nahe kommen und wie in jedem Bühnenstück sprechen und auftreten konnten, waren wirklich wichtig, um die Charaktere einzufangen. Die Prolog-Sequenz mit Ted Raimi, Siobhan Williams und Skyler Gisondo war ein großartiger Moment für das Ensemble. Das Hin und Her ist so gut, und das kommt davon, diese Schauspieler dazu zu bringen, wie in einem Bühnenstück aufzutreten.

Wie haben sie reagiert, als sie die Charaktere sahen, die aus ihren Auftritten stammten?

Pianezza: Was wirklich cool ist, ist, dass wir, um die Leute zu beruhigen, ihre Leistung in Echtzeit an ihren eigenen Körper im Spiel anhängen können. Wenn sie also ihren Arm bewegen, sehen sie, wie der Charakter im Spiel ihren Arm bewegt. Gerade bei Schauspielern, die das noch nie gemacht haben, hat das einen sehr befreienden Aspekt, weil man einfach einmal eine tolle Leistung abliefern muss. Sie müssen nicht anhalten, die Szene neu beleuchten oder die Kamera neu positionieren und alles noch einmal machen. Sie können einfach sagen: „Tolle Leistung! Sie sind fertig." Denn alles, was uns interessiert, ist die Leistung des Schauspielers. Wir können die Kameras und Beleuchtung und so später herausfinden.

Inversin: Die Möglichkeit, Takes aneinander zu reihen, bietet die Freiheit, schnell zu drehen und die Schauspieler, den Regisseur und das Team auch bei der Vorstellung der Aufführung zu halten. An einem traditionellen Set gehst du hin und her, wechselst Lichter und Kameras und so weiter, startest und stoppst. Manchmal nimmt das die Leute aus dem Moment. So kann wirklich jeder dort bleiben.

Wo sehen Sie Systeme wie Masquerade, die Filme und Spiele auf den Markt bringen? Welche Art von Zukunft für Filme und Spiele schafft es?

Pianezza: Ich möchte einfach sehen, wie dieser interaktive narrative Raum explodiert. Viele Leute auf beiden Seiten – Spiele und visuelle Effekte – lieben beides. Und das vermischt sie auf so großartige Weise. Was ich jedoch wirklich cool finde, ist, dass Sie diese Dinge digital erstellen, sodass die Campingplätze in Hackett's Quarry für immer existieren. Wenn sie diese Welt irgendwann noch einmal besuchen möchten, können Sie das tun, denn sie ist digital. Sie müssen sich keine Gedanken darüber machen, eine Genehmigung zu erhalten, um wieder vor Ort zu drehen, Sets umzubauen oder Nachtdrehs zu planen oder was auch immer, denn alles ist digital. Alles ist da. Gehen Sie einfach zurück und schalten Sie den Computer wieder ein.

Inversin: Besonders die Möglichkeiten für DLC sind riesig. Die Assets sind alle da, also können Sie im weiteren Verlauf diese Art von wiederkehrenden Dingen tun, und mit denselben Charakteren können Sie die Kosten über verschiedene Episoden oder Kapitel amortisieren. Sie können eine Horrorserie haben, bei der jede Episode alle paar Monate stattfindet, die um diese Gruppe von Charakteren herum aufgebaut ist, die lebt oder stirbt und sich verändert. Es ist also leicht, das filmische, interaktiv-narrative Potenzial dort zu erkennen, und es ist ziemlich kraftvoll. Wir fangen gerade erst an.

Supermassive Games und The Quarry von 2K sind ab sofort für Windows, PlayStation 4, PlayStation 5, Xbox One und Xbox Series X/S erhältlich.