Die Entwickler von Gran Turismo Sophy erklären, wie es einem KI-Rennfahrer sportliches Verhalten beigebracht hat
Als erste bedeutende öffentliche Veröffentlichung der Technologie von Sony AI , das 2020 gegründet wurde, wird der bevorstehende „Gran Turismo Sophy Race Together“-Modus für Gran Turismo 7 viele Spieler zum ersten Mal mit komplexer KI-Technologie in Kontakt bringen, die einen nachhaltigen Einfluss auf viele von ihnen haben könnte Spiele von Sony Interactive Entertainment. Wenn also die KI für viele Spieler unhöflich, unfair und unschlagbar ist, könnte GT Sophy als ein weiteres Warnzeichen dafür angesehen werden, dass die KI noch nicht bereit für die Primetime ist. Aus diesem Grund ist es für die Entwickler von GT Sophy eine Priorität, sicherzustellen, dass die richtige Sportetikette vorhanden ist.
„ Im Rennsport müssen Sie sicherstellen, dass Sie aggressiv fahren, weil Sie gewinnen wollen, aber gleichzeitig fair fahren wollen“, sagt Michael Spranger, COO von Sony AI, gegenüber Digital Trends. „Man darf nicht mit anderen Autos zusammenstoßen, um sich einen Vorteil zu verschaffen, und muss dafür sorgen, dass alle fair konkurrieren können. Das ist ein interessanter Bereich, weil diese Regeln ziemlich ungenau sind; Es gibt ein Regelwerk, aber es muss von den Richtern interpretiert werden. Dies richtig zu machen – aggressiv und kompetitiv zu fahren statt fair zu fahren – ist eine der großen Herausforderungen von GT Sophy.“
Sony AI, Sony Interactive Entertainment und Polyphony Digital haben bestätigt, dass Spieler ab dem 21. Februar GT Sophy in einem zeitlich begrenzten Gran Turismo 7- Modus fahren können. Um an diesen Punkt zu gelangen, haben die Entwickler viel Arbeit geleistet, um nicht zu verfeinern nur GT Sophys Fähigkeiten durch Verstärkungslernen, aber auch seine Etikette gegenüber einem nebulösen Satz von Höflichkeitsregeln. Vor der Aufnahme in Gran Turismo 7 sprach Digital Trends mit Michael Spranger, COO von Sony AI, und Peter Wurman, Projektleiter von GT Sophy, um mehr über ihre ethische Herangehensweise an das sportliche Verhalten von GT Sophy zu erfahren und welche zukünftigen Verwendungsmöglichkeiten sie für diese Technologie im Gaming sehen.
Das folgende Interview wurde aus Gründen der Kürze und Klarheit bearbeitet.
Was machte Gran Turismo zur attraktivsten Option, um zunächst eine fortschrittliche KI zu entwickeln?
Michael Spranger: Weil es möglich war und weil Gran Turismo ein wirklich spannendes Spiel ist. Gran Turismo war von Anfang an Teil von PlayStation. Es ist ein ikonisches Spiel, das diesen spezifischen Herausforderungsbereich des physischen Realismus, der Strategie, der Entscheidungsfindung und der Sportetikette bietet. Außerdem hat es ein großes Publikum von Leuten, die das Spiel tatsächlich verfolgen, und das bedeutet, dass jede Technologie, die wir im Spiel entwickeln, einen potenziell bedeutenden Einfluss auf Millionen von Spielern haben kann. Ich liebe das Spiel auch. Diese Dinge zusammengenommen haben uns veranlasst, Gran Turismo als eines der ersten Ziele für Spiele-KI-Projekte auszuwählen.
Wie ermöglicht Reinforcement Learning dieser KI, mehr Risiken einzugehen oder beeindruckender zu fahren als Ihre Standardspiel-KI? Versucht es nur, die genaueste Ideallinie zu fahren?
Peter Wurman: Es gibt verschiedene Niveaus des Könnens. Die Basislinie fährt auf der Strecke schneller, daher funktioniert Reinforcement Learning, indem es den KI-Agenten erkunden lässt, welche Auswirkungen seine Aktionen auf die Welt haben, und dann versucht, seine Belohnung zu maximieren. Indem es positive Signale für schnelleres Fahren auf der Strecke gibt, lernt es, sehr schnell auf der Strecke zu fahren. Es lernt, auf das Gaspedal zu treten und in Kurven einzubrechen, damit es nicht abstürzt, was sich hervorragend eignet, um es für ein Zeitfahrszenario zu trainieren.
Um es tatsächlich zu einem konkurrenzfähigen Rennwagen zu machen, mussten wir ihm andere Belohnungssignale für das Überholen von vorausfahrenden Autos geben und nicht verhindern, dass dahinter stehende Autos daran vorbeifahren. Wir haben ihm auch Strafen für Kollisionen oder Zusammenstöße mit anderen Autos gegeben. Es hat einige Mühe gekostet, diese Kombination aus Belohnungen und Strafen richtig hinzubekommen, aber sobald wir mit der richtigen Population von Gegnern trainiert haben, hat sich herausgestellt, dass es ein sehr effektiver Rennfahrer ist.
Was waren die größten Erkenntnisse aus den ersten Race-Together-Events, die Sie mit Top-Spielern von Gran Turismo Sport abgehalten haben?
Peter Wurman: Wenn Sie das Projekt verfolgt haben, wissen Sie, dass es zwei Rennen gab. Beim ersten haben wir gut abgeschnitten, aber die Teamwertung haben wir nicht gewonnen. Einige der interessanten Dinge, die wir daraus gelernt haben, hatten damit zu tun, die Balance zwischen Durchsetzungsvermögen und einem guten Sport zu finden. Wir fanden zwei Wochen vorher heraus, dass der Agent, den wir trainiert hatten, zu aggressiv war und nicht an den Rennen teilnehmen durfte, also mussten wir uns durchkämpfen und die Dinge anpassen. Sie können nicht einen KI-Agenten haben, der wirklich gut darin war, schnell zu fahren, und einen anderen, der sich Gedanken über die taktischen Aspekte des Überholens gemacht hat. Stattdessen mussten wir sie in einen kohärenten Agenten integrieren, der beides gleichzeitig tat. Das sind die Dinge, die wir nach dem Rennen im Juli 2021 gesehen haben, daher fühlten wir uns viel zuversichtlicher, in das Rennen im Oktober 2021 zu gehen.
Michael Spranger: Da wurde uns gesagt, es sei zu aggressiv, aber am ersten Tag des Schaurennens haben wir das Rennen tatsächlich verloren, weil wir nicht aggressiv genug und zaghaft waren. Das Problem, wie man diese Dinge ausbalanciert, war während der Entwicklung des Projekts wirklich offensichtlich.
Welche Änderungen mussten an GT Sophy vorgenommen werden, als Sie sich entschieden haben, es zu Gran Turismo 7 hinzuzufügen und es nicht nur in einer Testumgebung zu trainieren?
Peter Wurman: Das Größte ist, dass GT Sophy in allen Ausstellungen auf einem separaten Computer lief und über eine Netzwerkverbindung mit der PlayStation-Konsole kommunizierte. Hier ist GT Sophy in das Spiel eingebettet. Es auf einer PlayStation mit den Ressourcen zum Laufen zu bringen, die uns nach all dem Rendering und anderen Dingen zur Verfügung standen, war ein bisschen Ingenieursarbeit.
Die andere Sache ist, dass Polyphony Digital wirklich wollte, dass der Agent ein extrem gutes Beispiel für Rennstil und Renngeschick ist. Wir haben einige Änderungen vorgenommen, um GT Sophy zu ermutigen, mehr innerhalb der Linien zu bleiben. Wenn Sie sich eine der Ausstellungen angesehen haben, werden Sie sehen, dass es wirklich gut war, die gesamte Strecke zu nutzen und manchmal zwei Reifen ins Gras zu legen. Das ist legal, aber nicht genau das, was Sie in einem echten Rennwagen tun könnten. Wir haben einige Änderungen vorgenommen, um GT Sophy mehr zwischen den Zeilen zu halten. Es ist immer noch sehr schnell, aber ein wenig sauberer.
Was erhofft sich das KI-Team von Sony vor allem durch das Hinzufügen von Gran Turismo Sophy Race Together zu Gran Turismo 7 ?
Peter Wurman: Der wichtigste ist, dass wir hoffen, dass es den Leuten Spaß macht, dagegen zu spielen, dass sie das Gefühl haben, auf allen Könnensstufen wirklich herausgefordert zu werden, und lernen, besser simulierte Rennfahrer zu werden.
Michael Spranger: Wir wollen auch sehen, wie Menschen mit der Technik interagieren. Im Moment haben nur eine Handvoll Leute Erfahrung mit der Technologie, also sind wir gespannt, wie die Leute diese nutzen werden, um für sich selbst zu lernen, neue Fähigkeiten zu erwerben und neue Erfahrungen zu sammeln. Ich denke, das ist in vielerlei Hinsicht der Kern des Projekts. Wir haben den technologischen Durchbruch, und ich denke, das ist wirklich wichtig, aber ich denke, wir erschließen eine brandneue Stufe für Menschen und in Gran Turismo. In vielerlei Hinsicht hat die eingebaute KI ein ziemlich schmales Leistungsband, und Sie können das übertreffen, sobald Sie ein fortgeschrittener Fahrer auf jeder Schwierigkeitsstufe werden.
Selbst mit den relativ wenigen Rennwagen-Kombinationen, die wir hier vorgestellt haben, von dem, was ich kann, bis zu dem, was einige der Top-Spieler können, kann jeder ein wirklich interessantes Match finden. Wir hoffen, mehr davon zu sehen und zu sehen, wie die Leute daraus lernen. Für einige Spieler ist es auch sehr schwierig, gute Gegner zu finden, und zum ersten Mal können Sie wiederholt mit einem würdigen Gegner interagieren, ohne alle Ihre Freunde anrufen und sie alle zusammenbringen zu müssen. Es wird etwas sein, bei dem die Leute große Fortschritte machen können, um besser im Spiel zu werden, weil sie bis zu einem gewissen Grad diese maßgeschneiderten Erfahrungen machen können.
Können Sie auf der ethischen Seite erklären, wie ermittelt wird, was für GT Sophy unter sportlichem Verhalten zu verstehen ist, damit bestimmte Spieler nicht belästigt werden?
Peter Wurman: Nun, es kann nicht mit Ihnen sprechen , also gibt es viele schlechte Dinge, die GT Sophy nicht tun kann, weil das nicht Teil des Spiels ist. Wir konzentrieren uns hauptsächlich darauf, die Regeln der Sportlichkeit im Automobilrennsport einzuhalten; jetzt sind die ziemlich nebulös. Sie können eine legitime Gelegenheit zum Überholen und ähnliches nicht blockieren. Es gibt eine Reihe unscharfer Wörter in diesen Regeln, die schwer zu codieren und zu programmieren waren, also mussten wir sie mit Belohnungssignalen und Strafen annähern, wenn sie Dinge wie das Anstoßen eines anderen Autos taten.
Dann mussten wir es Polyphony Digital und Testfahrern geben und sie uns Feedback geben lassen, denn Rennen gegen andere KI-Agenten zeigen uns nicht wirklich, ob es bereit ist, gegen die Vielfalt menschlicher Rennstile anzutreten. Das hat einige Mühe und Iteration gekostet, um das richtig zu machen.
Michael Spranger: Ich denke, es ist fair zu sagen, dass diese Veröffentlichung konkurrenzfähig ist. Es wird versuchen, die Spieler zu überholen, aber es wird sie nicht bombardieren. Es ist wettbewerbsfähig, aber höflich. Es übt definitiv Druck auf dich aus; Sie werden es in den Rückspiegeln sehen, wie es versucht, Sie zu überholen. Gleichzeitig wird es versuchen, Ihnen etwas Platz zu geben, damit Sie wettbewerbsfähig, aber fair Rennen fahren können.
Peter Wurman: Aber wenn Sie ein Chaos anrichten, wird es ausgenutzt.
Michael Spranger: Richtig, sofort!
Wo sehen Sie GT Sophy und KI-Technologie in Sony-Spielen in den nächsten fünf Jahren?
Michael Spranger: Natürlich können wir nichts Konkretes ankündigen, aber generell hat es mehrere Ebenen. Es gibt immer noch Herausforderungen und Dinge, die wir in Gran Turismo tun können, um neue Erfahrungen freizuschalten, und ich glaube nicht, dass wir damit fertig sind. Es ist wirklich aufregend, die Technologie weiter voranzutreiben. Aus der KI-Perspektive von Sony in Bezug auf Forschung und Entwicklung und strategische Initiativen von Unternehmen sind wir wirklich gespannt, was diese Technologie dem Gaming im Allgemeinen bringen kann.
Andere Spiele werden uns vor eine andere Herausforderung stellen und die Möglichkeiten der Technologie erweitern. Es ist eine aufstrebende Technologie, die in der Vergangenheit einige Erfolge hatte, aber ich denke, was wir hier tun, ist in dem Sinne ziemlich unterschiedlich, dass wir die wissenschaftlichen Durchbrüche schaffen, aber dann setzen wir sie auch ein und stellen sicher, dass die Leute sie in die Hände bekommen die KI-Technologie. Das wird die Technologie vorantreiben und größere Erfahrungen freisetzen.
Interaktion ist das Herzstück von PlayStation, es ist kein Fehler, dass es Sony Interactive Entertainment heißt. Es geht wirklich darum, wie Sie mit den Dingen interagieren, die Sie im Spiel finden, und ich glaube, dass diese Technologie das Potenzial hat, die nächste Generation von Spielen wirklich freizuschalten, und wir sind wirklich aufgeregt darüber.