Wie generative KI Spiele mit „breiteren, größeren und tieferen Welten“ erstellen wird

Von all den Anwendungsfällen für generative KI da draußen kann ich mir keinen bedeutenderen vorstellen als Videospiele. Sicher, wir haben gesehen, wie Leute einfache Spiele aus GPT-4 erstellt haben – aber ich bin sicher davon ausgegangen, dass eine so leistungsstarke Technologie auch auf den höheren Ebenen der Spieleentwicklung diskutiert wird .

Um eine Vorstellung davon zu bekommen, wie groß der Wandel sein könnte, wollte ich mit jemandem sprechen, der wirklich versteht, wie Spiele auf technischer Ebene gemacht werden. Marc Whitten, Senior Vice President und General Manager von Unity Create, ist sicherlich eine solche Person. Er ist besonders begeistert davon, wie KI die Spieleentwicklung verändern könnte, und wir sprachen darüber, wie die Tools, die diese Revolution ermöglichen könnten, bereits ihren Weg zu Entwicklern finden.

Schnellere Erstellungszeit

Die Entwicklung von Spielen erfordert viel Zeit und Mühe, aber die meiste Zeit wird der Erstellung aller Inhalte für das Spiel gewidmet. Whitton sagt, wenn man sich ein gewöhnliches AAA-Studio mit 300 Mitarbeitern anschaut, sind etwa 80 % davon der Erstellung von Inhalten gewidmet. KI kann diesen Prozess drastisch beschleunigen.

Whitton lieferte dafür ein klares Beispiel: Ziva Face Trainer. Ziva ist ein Unternehmen, das Unity Anfang 2022 übernommen hat und das seit etwas mehr als zwei Jahren an seinem Face Trainer-Tool arbeitet. Es nimmt ein Modell, trainiert es mit einer großen Anzahl von Emotionen und Bewegungen und erzeugt etwas Brauchbares.

Wie viel Zeit spart das? Whitton sagt, dass das High-End-Rigging einer Figur ein Team von vier bis sechs Künstlern vier bis sechs Monate dauern kann: „Ehrlich gesagt, [das ist] der Grund, warum sich die State-of-the-Art-Qualität von Figuren in letzter Zeit nicht so weit entwickelt hat zehn Jahre oder so.“

Mit dem Ziva Face Trainer „geben die Entwickler ihm ein Mesh und wir trainieren dieses Mesh anhand einer großen Menge von Daten … so erhalten Sie in fünf Minuten ein Rig-Modell zurück, mit dem Sie es dann in Echtzeit ausführen können.“ Ziva-Technologie wird auch viel verwendet. Es steckt hinter der Anzugverformung in Spider-Man: Miles Morales sowie dem Troll im Senua's Saga: Hellblade 2- Trailer. Sie haben es wahrscheinlich sogar in ein paar Filmen und Fernsehsendungen gesehen – Captain Marvel, John Wick 3 und Game of Thrones stehen auf der Liste.

Das sollte nicht überraschen. Maschinelles Lernen und prozedurale Techniken (wie Tools wie SpeedTree) sind in der Welt der Spieleentwicklung nicht gerade neu. Es stimmt, dass mehr Forschung zu KI-Modellen zu noch effizienteren Kreationspipelines führen kann, aber wir sehen eine Verschiebung bei der generativen KI. Wir sprechen von großen Sprachmodellen (LLMs) wie GPT-4 und Diffusionsmodellen wie Midjourney , und sie können die Spiele, die wir sehen, radikal verändern.

Das Spiel ändern

Whitton sagt, die Hoffnung mit KI sei es, Spiele „zehnmal um das Drittel besser“ zu machen, was bedeutet, dass Spiele zehnmal schneller, zehnmal einfacher und zehnmal billiger zu entwickeln sind. Das Ergebnis davon ist jedoch keine Flut von Spielen, die wir haben. Whitton glaubt, dass die Ergebnisse davon „breitere, größere, tiefere Welten“ sind.

Ich bat um ein Beispiel, und Whitton überlegte, wie Skyrim aussehen würde, wenn dahinter ein generatives KI-Modell stecken würde. Wir alle haben das „Pfeil zum Knie“-Mem aus dem Spiel gehört, aber Whitton stellte sich ein Spiel vor, bei dem diese Wegwerflinie mehr bedeutete.

„Nun, was wäre, wenn jede dieser Wachen tatsächlich eine Karte vom Typ Myers-Briggs hätte? Ein bisschen Hintergrundgeschichte und ehrlich gesagt, eine Hintergrundgeschichte, die davon beeinflusst worden sein könnte. Was ist mit der Figur auf dem Weg passiert? Und dann ein KI-Modell, um angesichts all dieser besonderen Ereignisse eine rationale Reaktion zu generieren.“

Wir sehen dort einige Anstrengungen bei Spielen wie The Portopia Serial Murder Case, die ganz offen gesagt nicht die besten Argumente für KI in Spielen geliefert haben. Es ist jedoch nicht schwer, das Potenzial zu erkennen, insbesondere in größeren Spielen mit NPCs, die keine festgelegten Quests oder erschöpfenden Dialoge haben.

Auch in Spielen im Sandbox-Stil steckt viel Potenzial. Whitton stellte sich ein Spiel im GTA-Stil vor, bei dem Sie „in das Pfandhaus gehen und die Person hinter dem Schreibtisch rekrutieren, und, wissen Sie, wobei der Spieleentwickler vielleicht nie darüber nachdenkt, weil etwas anderes passiert ist Spiel." Whitton dachte auch an Scribblenauts, außer in einer Welt, in der man wirklich alles machen und ihm beliebige Eigenschaften zuweisen konnte.

Das Problem im Moment besteht darin, das tatsächlich zum Laufen zu bringen, wie The Portopia Serial Murder Case beweist. Whitten war eines der Gründungsmitglieder des Xbox-Teams bei Microsoft und half, den Kinect-Vorstoß zu leiten. Über Kinect sagte Whitten: „Ich würde jedem sagen, dass es fantastisch funktioniert, wenn ich neben dir sitze.“ Sie mussten es auf eine bestimmte Weise veranlassen, und wenn Sie davon abwichen, würde es nicht funktionieren.

Das ist das große Problem, mit dem die KI insgesamt konfrontiert ist, da intelligente Assistenten wie Alexa nur in einem engen Bereich arbeiten. LLMs ändern diese Dynamik und lassen jede Aufforderung zu, und das ist das Spannende daran, tiefere Spielwelten zu erschaffen. Es gibt jedoch immer noch einen Weg dorthin.

„Wenn Sie das Tool auf den Markt bringen … werden [Creator] an alle Grenzen stoßen und sagen: ‚Nun, das macht keinen Spaß.' Aber dann werden sie tatsächlich den Raum finden, an den niemand auch nur denkt“, sagte Whitten.

Mit der Einführung weiterer Tools könnten wir im nächsten Jahr einige frühe Experimente mit KI sehen. In einigen Fällen haben wir das bereits, wie zum Beispiel beim äußerst beliebten AI Dungeon 2. Aber um diese Art von immersiver Welt in großem Maßstab zu ermöglichen, braucht man einen Mittelsmann. Und für Unity ist dieser Mittelsmann Barracuda.

Der Barrakuda

Unity enthält eine Inferenzbibliothek für neuronale Netzwerke namens Barracuda. Wie Whitten erklärt: „Es handelt sich um eine Inferenz-Engine, mit der Sie entweder die Verbreitung oder andere Formen generativer Inhalte zur Laufzeit auf dem Gerät steuern können, ohne die Cloud zu treffen, und dies in einem hochleistungsfähigen Tempo.“

Ach ja, Leistung. So gerne wir darüber sprechen, dass KI Inhalte für immer verändern kann, es gibt einen enormen Rechenaufwand (es gibt einen Grund, warum Zehntausende von GPUs benötigt wurden, um ChatGPT zu erstellen ). Barracuda ermöglicht es diesen Modellen, auf Ihrer CPU oder GPU zu laufen, sodass Sie nicht in die Cloud gehen müssen, was, fürs Protokoll, eine riesige Geldsenke für Entwickler wäre.

Unity arbeitet an weiteren Funktionen für Barracuda, und Whitten sagt, dass „das Interesse der Spieleentwickler-Community außerordentlich hoch war“. Es ist der Schlüssel, der generative KI in der Spieleentwicklung und im Design ermöglicht, insbesondere ohne dass eine bestimmte Hardware erforderlich ist.

Whitten sagt, das Team möchte damit beginnen, „Techniken zu entwickeln, die es Entwicklern ermöglichen, wirklich auf einen großen und zentralen Teil ihres Spieldesigns abzuzielen, und nicht ‚Oh, das wird mein Publikum wirklich schmälern, wenn ich dafür entwerfe.'“ Unreal Engine, hat seinerseits ein ähnliches Tool (das treffend benannte NeuralNetworkInference Tool oder NNI).

Wenn diese Bibliotheken auf große generative KI-Modelle und eine Beschleunigung der Inhaltsentwicklung treffen, können sie laut Whitten zu einer „Explosion der Kreativität“ führen. Und das ist etwas, worüber man sich für die Zukunft der Spiele freuen kann.

Dieser Artikel ist Teil von ReSpec – einer fortlaufenden zweiwöchentlichen Kolumne, die Diskussionen, Ratschläge und ausführliche Berichte über die Technologie hinter PC-Spielen enthält.