Ist die KI bereits auf einem Plateau? Neue Berichte deuten darauf hin, dass GPT-5 möglicherweise in Schwierigkeiten steckt

Laut einem neuen Bericht von The Information wird OpenAIs Orion-Modell der nächsten Generation von ChatGPT , von dem Gerüchten zufolge und dementiert wird , dass es bis Ende des Jahres auf den Markt kommen soll, nach seiner Ankunft möglicherweise nicht mehr das sein, was man sich vorgestellt hat.

Unter Berufung auf anonyme OpenAI-Mitarbeiter behauptet der Bericht, dass das Orion-Modell eine „weitaus geringere“ Verbesserung gegenüber seinem GPT-4-Vorgänger gezeigt habe als GPT-4 gegenüber GPT-3 . Diese Quellen weisen auch darauf hin, dass Orion „bei der Bewältigung bestimmter Aufgaben nicht zuverlässig besser ist als sein Vorgänger [GPT-4]“, insbesondere bei der Codierung von Anwendungen, obwohl das neue Modell bei allgemeinen Sprachfunktionen wie dem Zusammenfassen von Dokumenten oder dem Generieren von E-Mails deutlich stärker ist.

Im Bericht der Information wird ein „schwindendes Angebot an qualitativ hochwertigen Texten und anderen Daten“, auf denen neue Modelle trainiert werden können, als Hauptfaktor für die unbedeutenden Gewinne des neuen Modells genannt. Kurz gesagt, die KI-Branche gerät schnell in einen Engpass bei Trainingsdaten, da sie Websites wie X, Facebook und YouTube (letzteres bei zwei verschiedenen Gelegenheiten ) bereits die einfachen Quellen für Social-Media-Daten entzogen hat Es fällt ihnen schwer, knifflige Programmierherausforderungen zu finden, mit denen sie ihre Modelle über ihre aktuellen Fähigkeiten hinaus weiterentwickeln können, was ihr Training vor der Veröffentlichung verlangsamt.

Diese verringerte Trainingseffizienz hat massive ökologische und kommerzielle Auswirkungen. Da LLMs der Grenzklasse wachsen und ihre Parameterzahlen weiter in die hohe Billionenzahl steigern, wird erwartet, dass sich die Menge an Energie, Wasser und anderen Ressourcen im nächsten Jahrzehnt versechsfacht . Aus diesem Grund sehen wir , wie Microsoft versucht, Three Mile Island neu zu starten , AWS ein 960-MW-Kraftwerk kauft und Google die Leistung von sieben Kernreaktoren kauft, um den wachsenden Bestand an KI-Rechenzentren – die aktuellen des Landes – mit der nötigen Energie zu versorgen Die Energieinfrastruktur kann einfach nicht mithalten.

Als Reaktion darauf hat OpenAI, wie TechCrunch berichtet , ein „Stiftungsteam“ gegründet, um den Mangel an geeigneten Trainingsdaten zu umgehen. Diese Techniken könnten die Verwendung synthetischer Trainingsdaten beinhalten, wie sie beispielsweise die Nemotron-Modellfamilie von Nvidia generieren kann. Das Team prüft außerdem, die Leistung des Modells nach dem Training zu verbessern.

Orion, ursprünglich als Codename für GPT-5 von OpenAI gedacht, wird nun voraussichtlich irgendwann im Jahr 2025 auf den Markt kommen. Ob wir genug Strom haben werden, um es in Aktion zu sehen, ohne dass unsere städtischen Stromnetze ausfallen, bleibt abzuwarten.