Das weltweit erste KI-Multiplayer-Spiel ist da! Auch Ihr alter Computer kann abspielen Im Anhang finden Sie die Download-Adresse

KI-Spiele sind nichts Neues; Auch die KI-Programmierung von Spielen ist nichts Neues.

Aber KI nutzen, um eine Spielwelt aufzubauen, die Echtzeitinteraktion zwischen zwei Personen, konsistente Perspektiven und logische Synchronisation unterstützt? Dies geschah heute zum ersten Mal.

Das israelische Enigma Labs-Team gab heute die Veröffentlichung des weltweit ersten KI-generierten Multiplayer-Spiels bekannt – Multiverse auf der X-Plattform. Der Name klingt, als wäre es von Marvel produziert worden, und das Gameplay ist tatsächlich Science-Fiction.

Driften und Absturz sind alle synchronisiert, die Vorgänge reagieren aufeinander und die Details können mit der Bildrate übereinstimmen.

Alles im Spiel wird nicht mehr durch voreingestellte Skripte oder Physik-Engines gesteuert, sondern in Echtzeit von einem KI-Modell generiert, wodurch sichergestellt wird, dass beide Spieler die gleiche logisch einheitliche Welt sehen.

Darüber hinaus ist Multiverse vollständig Open Source: Code, Modelle, Daten und Dokumente sind alle auf GitHub und Hugging Face verfügbar. Sie können es sogar direkt auf Ihrem Computer ausführen.

Clément Delangue, CEO von Hugging Face, rief auch online auf der X-Plattform an:

Dies ist der coolste Datensatz, den ich heute auf Hugging Face gesehen habe: Aktionsbezeichnungen für 1v1-Rennen in Gran Turismo 4, die zum Trainieren eines Multiplayer-Weltmodells verwendet werden

Fahrzeuge ändern ständig ihre Position auf der Strecke, überholen, driften, beschleunigen und kommen dann an einem bestimmten Abschnitt wieder zusammen.

Worum geht es also bei diesem Modell namens Multiverse? Das offizielle technische Team teilte weitere Konstruktionsdetails in einem technischen Blog mit.

Zuvor müssen wir das traditionelle KI-Weltmodell vorstellen: Man bedient es und es sagt voraus, wie das Bild generiert werden muss. Das Modell betrachtet Ihre Vorgänge, schaut sich die vorherigen Frames an und generiert dann den nächsten Frame. Das Prinzip ist nicht schwer zu verstehen:

• Aktionseinbetter: Konvertieren Sie Spieleroperationen (z. B. welche Taste Sie gedrückt haben) in Einbettungsvektoren
• Netzwerk zur Rauschunterdrückung: Verwenden Sie ein Diffusionsmodell, um den nächsten Frame vorherzusagen, indem Sie Operationen und vorherige Frames kombinieren.
• Upsampler (optional): Verbessert die Auflösung und Detailgenauigkeit der generierten Bilder

Doch sobald ein zweiter Spieler hinzukommt, wird das Problem komplizierter.

Der typischste Fehler ist, dass das Auto auf Ihrer Seite gerade die Leitplanke berührt hat, die gegnerische Seite jedoch immer noch zu schnell fährt; Du wirfst von der Bahn ab, aber der Gegner sieht nicht einmal, wo du bist. Das gesamte Spielerlebnis ist wie zwei Frames, die feststecken und nicht synchron sind.

Multiverse ist das erste KI-Weltmodell, das die Perspektiven zweier Spieler synchronisieren kann. Egal, was einem der Spieler passiert, die andere Person kann es in Echtzeit auf ihrem eigenen Bildschirm sehen, ohne Verzögerung oder logische Konflikte.

Auch das war in der Vergangenheit bei KI-Simulationen nur schwer zu erreichen: Multi-View-Konsistenz.

Um dieses Problem zu lösen und ein wirklich kollaboratives Multiplayer-Weltmodell aufzubauen, hat sich das Multiverse-Team eine sehr clevere Lösung ausgedacht. Sie behielten die Kernkomponenten bei und zerstörten und rekonstruierten gleichzeitig die ursprüngliche Idee der „Einzelpersonenvorhersage“ völlig:

• Aktionseinbetter: Empfängt die Aktionen zweier Spieler und gibt einen Einbettungsvektor aus, der die Operationen beider Parteien integriert;
• Rauschunterdrückungsnetzwerk: Diffusionsnetzwerk, das gleichzeitig Bilder von zwei Spielern generiert, um sicherzustellen, dass sie als Ganzes konsistent sind;
• Upsampler: Ähnlich dem Einzelspielermodus, verarbeitet und verbessert jedoch das Filmmaterial für beide Spieler gleichzeitig.

Wenn es um ein Zwei-Personen-Bild ging, bestand die erste Reaktion vieler Menschen ursprünglich darin, den Bildschirm zu teilen: die beiden Bilder zu trennen und separat zu erzeugen.

Diese Idee ist einfach und grob, aber sie ist schwer zu synchronisieren, verbraucht Ressourcen und hat schlechte Auswirkungen. Sie dachten jedoch daran, die Perspektiven der beiden Spieler zu einem Bild zusammenzufügen, ihre Eingaben zu einem einheitlichen Aktionsvektor zusammenzuführen und das Ganze als eine „einheitliche Szene“ zu behandeln.

Die spezifische Methode ist das Stapeln der Kanalachsen: Dabei werden die beiden Bilder als ein Bild mit der doppelten Anzahl an Farbkanälen behandelt.

Das Ding klingt klein, ist aber technisch gesehen sehr clever. Da das Diffusionsmodell die U-Net-Architektur verwendet, besteht der Kern aus Faltung und Entfaltung, und das Faltungs-Neuronale Netzwerk verfügt über ein starkes strukturelles Bewusstsein für die Kanaldimension.

Mit anderen Worten geht es hier nicht darum, zwei Welten zusammenzufügen, sondern darum, dem Modell anhand der „unteren Neuronenschicht“ zu ermöglichen, dass die beiden Bilder zusammenhängen und gemeinsam generiert werden müssen. Das endgültige Bild muss nicht manuell ausgerichtet werden, es wird natürlich synchronisiert.

Damit das Modell jedoch den nächsten Frame genau vorhersagen kann, muss eines verstanden werden: Die Fahrzeuggeschwindigkeit und die relative Position sind dynamisch und es müssen ausreichend Informationen für eine genaue Vorhersage verfügbar sein. Sie fanden heraus, dass 8 Bilder (bei 30 fps) ausreichen, um kinematische Funktionen wie Beschleunigung, Bremsen und Lenken zu erlernen.

Das Problem ist jedoch: Die relative Geschwindigkeit wie beim Überholen ist viel langsamer als die absolute Geschwindigkeit (ca. 100 km/h vs. 5 km/h). Wenn die Bildnummer zu nahe beieinander liegt, kann das Modell die Änderung überhaupt nicht wahrnehmen.

Deshalb haben sie eine Kompromisslösung entwickelt – spärliche Stichproben:

• Stellt die letzten 4 aufeinanderfolgenden Frames bereit (gewährleistet eine sofortige Reaktion);
• Bietet zusätzlich 4 Frames mit historischen Bildern, die „alle 4 Frames abgetastet“ werden;
• Der früheste Frame ist 20 Frames vom aktuellen Frame entfernt, also vor etwa 0,666 Sekunden.

Damit das Modell „kooperatives Fahren“ wirklich verstehen kann, kann es sich nicht nur auf diese Eingabedaten verlassen, sondern erfordert auch ein intensives Training des interaktiven Verhaltens.

Herkömmliche Einzelspieleraufgaben (z. B. Gehen, Schießen) erfordern nur eine Vorhersage für ein kurzes Zeitfenster, z. B. 0,25 Sekunden. Bei der Interaktion mehrerer Personen ist eine so kleine zeitliche Änderung jedoch minimal und spiegelt überhaupt nicht den „Gefühl der Teamarbeit“ wider.

Die Lösung von Multiverse besteht darin, das Modell einfach eine Verhaltenssequenz von bis zu 15 Sekunden vorhersagen zu lassen, um eine langfristige, mehrstufige Interaktionslogik zu erfassen.

Die Trainingsmethode umfasst nicht nur jeweils 15 Sekunden, sondern verwendet eine „Lehrplan-Lern“-Strategie: Beginnen Sie mit einer Vorhersage von 0,25 Sekunden und erweitern Sie diese schrittweise auf 15 Sekunden. Auf diese Weise lernt das Modell zunächst Funktionen auf niedriger Ebene wie Fahrzeugstruktur und Streckengeometrie und beherrscht dann langsam Konzepte auf hoher Ebene wie Spielerstrategien und Spieldynamik.

Nach dem Training wurde die Leistung des Modells in Bezug auf Objektpersistenz und Interframe-Konsistenz deutlich verbessert. Kurz gesagt, das Auto wird nicht plötzlich verschwinden, noch wird die Logik zusammenbrechen.

Diese hervorragende Trainingsleistung ist auf den sorgfältig ausgewählten Datensatz dahinter zurückzuführen. Genau, es ist das PS2-Meisterwerk der Rennsimulation von 2004: Gran Turismo 4.

Um eine Haftung zu vermeiden, hat das Multiverse-Team natürlich nicht vergessen, zu scherzen, dass sie eingefleischte Sony-Fans sind.

Ihre Testszene war ein 1-gegen-1-Rennen auf dem Tsukuba Circuit, aber das Problem ist, dass GT4 die „1v1-Perspektivwiederholung“ nicht nativ unterstützt. Also haben sie es rückentwickelt und das Spiel in einen echten 1v1-Modus umgewandelt.

Dann:

• Zeichnen Sie jedes Spiel zweimal auf, einmal, um sich selbst und einmal, um Ihren Gegner zu sehen;
• Durch die Synchronisationsverarbeitung wird es dann zu einem vollständigen Video zusammengefügt, das den Echtzeitkampf zwischen den beiden Seiten zeigt.

Wie sieht es mit den Eckdaten aus? Schließlich stellt das Spiel selbst keine Betriebsprotokolle bereit.

Die Antwort ist, dass sie die vom HUD des Spiels angezeigten Informationen (Anzeigebalken für Gas, Bremse, Lenkrad) verwenden, mithilfe von Computer Vision die auf dem Spielbildschirm Bild für Bild angezeigten Gas-, Brems- und Richtungsbalken extrahieren und dann die Steueranweisungen ableiten.

Mit anderen Worten: Der Vorgang kann allein mithilfe der Bildschirminformationen wiederhergestellt werden, ohne dass zusätzliche Protokolldateien erforderlich sind.

Natürlich ist dieser Prozess ineffizient und es ist unmöglich, jedes Spiel zweimal manuell aufzuzeichnen.

Sie entdeckten, dass GT4 über eine versteckte Funktion namens B-Spec-Modus verfügt, die es der KI ermöglicht, selbstständig zu fahren. Also habe ich ein Skript geschrieben, um zufällige Anweisungen an die KI zu senden, die es ihr ermöglichen, von selbst zu rasen und abzustürzen und so stapelweise Datensätze zu generieren.

Übrigens haben sie auch versucht, das autonome Fahrmodell von OpenPilot zur Steuerung von Spielfiguren zu nutzen. Obwohl die Wirkung gut war, eignet sich B-Spec in Bezug auf Effizienz und Stabilität besser für groß angelegte Schulungen.

Hier kommt der Kernpunkt: Über Effekte zu reden, ohne über Kosten zu reden, ist natürlich ein Rowdytum.

Ein solches KI-Modell, das Multi-View-Welten ausführen, Bilder synchronisieren und die Ausgabe, einschließlich Modell, Training, Daten und Inferenz, stabilisieren kann, kostet nur 1.500 US-Dollar, was ungefähr dem Kauf einer High-End-Grafikkarte entspricht.

Multiversum-Mitarbeiter Jonathan Jacobi hat auf X gepostet:

Wir haben Multiverse mit nur 1.500 $ gebaut. Der Schlüssel liegt nicht in der Rechenleistung, sondern in der technologischen Innovation.

Noch wichtiger ist, dass Jacobi davon überzeugt ist, dass das Multiplayer-Weltmodell nicht nur eine neue Möglichkeit für die KI ist, Spiele zu spielen, sondern auch der nächste Schritt in der Simulationstechnologie. Es eröffnet eine völlig neue Welt: eine dynamische Umgebung, die von Spielern, Agenten und Robotern gemeinsam entwickelt und gestaltet wird.

In Zukunft könnte das Weltmodell wie eine virtuelle Version der realen Gesellschaft sein: Sie und die KI koexistieren darin und bilden ein äußerst realistisches „dynamisches Universum“, das auch über eine komplexe Interaktionslogik verfügt, die der realen Gesellschaft nahe kommt.

Klingt das für Sie etwas übermütig?

Im Anhang finden Sie die Referenzadresse:
GitHub: https://github.com/EnigmaLabsAI/multiverse
Hugging Face-Datensatz: https://huggingface.co/datasets/Enigma-AI/multiplayer-racing-low-res
Hugging Face-Modell: https://huggingface.co/Enigma-AI/multiverse
Offizieller Blog: https://enigma-labs.io/blog

# Willkommen beim offiziellen öffentlichen WeChat-Konto von aifaner: aifaner (WeChat-ID: ifanr). Weitere spannende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner | Ursprünglicher Link · Kommentare anzeigen · Sina Weibo