Nvidias DLSS 4 ist nicht das, was Sie denken. Entlarven wir die Mythen

Nvidia hat auf der CES 2025 mit der Ankündigung der RTX 5090 die Show gestohlen, und obwohl viel über den Preis der Karte von 2.000 US-Dollar diskutiert wird, bringt sie eine Menge neuer Technologien mit sich. Das wichtigste davon ist DLSS 4, das die Multi-Frame-Generierung auf Nvidias GPUs bringt und eine vierfache Leistungssteigerung in über 75 Spielen bietet, sobald Nvidias neue GPUs der RTX 50-Serie auf den Markt kommen.

Ich habe jedoch viel zu viele Missverständnisse darüber gesehen, wie DLSS 4 tatsächlich funktioniert . Zwischen irreführenden Kommentaren von Nvidias CEO und einer radikalen Neugestaltung der Funktionsweise von DLSS ist es kein Wunder, dass Fehlinformationen über die neue Technologie, ihre Leistungsfähigkeit und vor allem ihre Einschränkungen im Umlauf sind.

Also, lasst uns den Sachverhalt klarstellen, zumindest so weit ich kann, bevor Nvidias neue Grafikkarten da sind und wir alle aus erster Hand erleben, was DLSS 4 zu bieten hat.

Nein, es sagt nicht „die Zukunft voraus“

Eines der Hauptprobleme beim richtigen Verständnis der Funktionsweise von DLSS 4 ergibt sich aus einem Kommentar von Nvidia-CEO Jensen Huang während einer Frage-und-Antwort-Runde. Jarred Walton von Tom's Hardware fragte Huang, wie DLSS 4 auf technischer Ebene funktioniert, und Huang bestritt kategorisch, dass DLSS 4 Frame-Interpolation verwendet. Er sagte, dass DLSS 4 „die Zukunft vorhersagt“, anstatt „die Vergangenheit zu interpolieren“. Das ist sicher ein lebhaftes Zitat. Schade, dass es falsch ist.

Huang hat sich in der Vergangenheit sehr poetisch über die DLSS-Frame-Generierung geäußert, und obwohl diese Art der Rahmung dazu geeignet ist, einem Mainstream-Publikum eine Technologie wie DLSS 4 zu erklären, führt sie auch zu einigen Missverständnissen darüber, wie sie tatsächlich funktioniert. Im Anschluss an dieses Zitat meldeten sich mehrere Leser bei mir und sagten mir, dass ich die Funktionsweise von DLSS 4 falsch verstehe . Wie sich herausstellt, verstehe ich die Funktionsweise nicht falsch, aber ich verstehe, warum es große Verwirrung gibt.

Die Multi-Frame-Generierung von DLSS 4 verwendet eine Technik namens Frame-Interpolation. Dies ist die gleiche Technik, die wir in DLSS 3 gesehen haben, und es ist die gleiche Technik, die Sie in anderen Frame-Generierungstools wie Lossless Scaling und AMDs FSR 3 finden. Die Frame-Interpolation funktioniert folgendermaßen: Ihre Grafikkarte rendert zwei Frames und dann greift ein Algorithmus ein, um die Differenz zwischen diesen Frames zu berechnen. Anschließend „generiert“ es einen dazwischen liegenden Frame und errät anhand der Differenz zwischen den beiden gerenderten Frames, wie der Interstitial-Frame aussehen würde.

Und DLSS 4 verwendet Frame-Interpolation. Es gab einige frühe Untersuchungen zu neuen Techniken zur Frame-Generierung – insbesondere Untersuchungen von Intel zur Frame-Extrapolation –, aber diese Technologie steckt noch in den Kinderschuhen. Es gibt einige Details, die ich noch nicht ganz mitteilen kann, aber ich habe jetzt mit mehreren Quellen bestätigt, dass DLSS 4 tatsächlich Frame-Interpolation verwendet. Es macht auch Sinn. Diese Art von Rendering-Tools tauchen nicht einfach aus dem Nichts auf und es gibt fast immer eine lange Reihe von Forschungsarbeiten, bevor aus einer neuen Rendering-Technik ein marktfähiges Produkt wie DLSS 4 wird.

Das schmälert nicht die Leistungsfähigkeit von DLSS 4. Es verwendet möglicherweise dieselbe Technik wie DLSS 3 zum Erstellen neuer Frames, aber das sollte Sie nicht davon ablenken, was DLSS 4 tatsächlich kann.

Latenz ist nicht das Problem, das Sie denken

Ich verstehe, warum Nvidia nicht viel über die Verwendung der Frame-Interpolation in DLSS 4 kommentieren möchte. Das liegt daran, dass die Frame-Interpolation Latenz mit sich bringt. Sie müssen zwei Frames rendern und dann die Interpolation durchführen, bevor der erste Frame in der Sequenz angezeigt wird. Wenn Sie also ein Frame-Interpolationstool verwenden, spielen Sie im Wesentlichen mit einer leichten Verzögerung. Die Annahme, die ich gesehen habe, ist, dass diese zusätzlichen Frames die Latenz linear erhöhen, was nicht der Fall ist.

The Verge zeigte sich besorgt und sagte, es wolle „sehen, wie sich die neue Frame-Generation-Technologie auf die Latenz auswirkt“, während TechSpot erklärte , dass „Benutzer besorgt sind, dass Multi-Frame-Rendering das [Latenz-]Problem verschärfen könnte.“ Es ist ein natürlicher Gegenpol zu den vervielfachten „falschen“ Frames, die DLSS 4 ausspucken kann. Wenn die Generierung eines Frames ein Latenzproblem verursacht, würde die Generierung von drei Frames sicherlich ein größeres Latenzproblem verursachen. Aber so funktioniert es nicht.

Aus diesem Grund ist es so wichtig zu verstehen, dass DLSS 4 Frame-Interpolation verwendet. Die Idee, mit einer Verzögerung zu spielen, unterscheidet sich nicht zwischen der Generierung eines zusätzlichen Frames durch DLSS 3 und der Generierung dreier zusätzlicher Frames durch DLSS 4 – der Prozess umfasst immer noch das Rendern zweier Frames und den Vergleich der Unterschiede zwischen ihnen. Ihre Latenz erhöht sich nicht wesentlich, wenn Sie zwischen den beiden gerenderten Frames ein, zwei oder drei zusätzliche Frames einfügen. Unabhängig von der Anzahl der dazwischen liegenden Frames ist die durch den Frame-Interpolationsprozess hinzugefügte Latenz weitgehend gleich.

Lassen Sie mich das veranschaulichen. Nehmen wir an, Sie spielen ein Spiel mit 60 Bildern pro Sekunde (fps). Das bedeutet, dass zwischen den einzelnen Frames, die Sie sehen, 16,6 Millisekunden liegen. Mit DLSS 3 würde sich Ihre Bildrate auf 120 fps verdoppeln, aber Ihre Latenz wird nicht auf 8,3 ms halbiert. Das Spiel sieht flüssiger aus, aber zwischen jedem gerenderten Frame liegen immer noch 16,6 ms. Mit DLSS 4 können Sie bis zu 240 fps erreichen, was Ihre Bildrate vervierfacht, aber auch hier sinkt die Latenz nicht auf 4,2 ms. Es sind immer noch die gleichen 16,6 ms.

Dies ist ein sehr reduzierter Blick auf die PC-Latenz – es gibt einen Overhead für die Ausführung der DLSS-Frame-Generierung sowie die durch Ihren Monitor und Ihre Maus hinzugefügte Latenz –, aber es ist nützlich, um zu verstehen, dass die Kernlatenz nicht linear ansteigt, wenn dem Frame weitere Frames hinzugefügt werden Interpolationsprozess. Die Zeit zwischen den einzelnen gerenderten Frames ändert sich nicht. Die auftretende Latenz ist immer noch größtenteils das Ergebnis Ihrer Basis-Framerate vor der DLSS-Frame-Generierung und des Overheads, den das Tool hat.

Dafür müssen Sie sich nicht nur auf mein Wort verlassen. Digital Foundry hat DLSS 4 inklusive Latenz getestet und genau das gefunden, was ich gerade beschrieben habe. „Mir scheint, dass der Großteil der zusätzlichen Latenz immer noch auf die Pufferung dieses zusätzlichen Frames zurückzuführen ist, aber das Hinzufügen weiterer Zwischenframes bringt eine relativ minimale Erhöhung der Latenz mit sich“, schrieb Richard Leadbetter von Digital Foundry . Die geringe zusätzliche Latenz entsteht einfach dadurch, dass DLSS mehr Frames zwischen den beiden gerenderten Frames berechnet, sodass sich der Großteil der Latenzerhöhung bei DLSS 4 nicht wesentlich von DLSS 3 unterscheidet.

Das Latenzproblem bei DLSS 4 ist im Großen und Ganzen das gleiche wie bei DLSS 3. Wenn Sie mit einer niedrigen Basisbildrate spielen, gibt es eine Diskrepanz zwischen der Reaktionsfähigkeit, die Sie erleben, und der Reibung, die Sie sehen. Diese Unterbrechung wird bei DLSS 4 noch größer sein, aber das bedeutet nicht plötzlich, dass es dadurch zu einem massiven Anstieg der Latenz kommt. Deshalb ist Nvidias beeindruckendes neues Reflex 2 für DLSS 4 nicht erforderlich; Genau wie bei DLSS 3 müssen Entwickler nur die erste Version von Reflex implementieren, damit DLSS 4 funktioniert.

Ein völlig neues Modell

Wenn man erklärt, wie DLSS 4 funktioniert, könnte man glauben, es sei eher das Gleiche, aber das ist nicht der Fall. DLSS 4 ist eine ganz wesentliche Abweichung von DLSS 3, und das liegt daran, dass es ein völlig anderes KI-Modell verwendet. Oder besser gesagt: KI-Modelle. Wie Nvidia ausführt , führt DLSS 4 bei Verwendung von Super Resolution, Ray Reconstruction und Multi-Frame Generation fünf separate KI-Modelle für jeden gerenderten Frame aus, die alle innerhalb von Millisekunden ausgeführt werden müssen.

Aufgrund dessen, was DLSS 4 mit sich bringt, hat Nvidia sein bisheriges Convolution Neural Network (CNN) abgeschafft und verwendet nun ein Vision-Transformer-Modell. Bei einem Transformatormodell gibt es zwei große Änderungen. Erstens gibt es etwas, das man „Selbstaufmerksamkeit“ nennt. Das Modell kann die Bedeutung verschiedener Pixel über mehrere Frames hinweg verfolgen. Diese Selbstreferenzialität sollte es dem neuen Modell ermöglichen, sich stärker auf problematische Bereiche zu konzentrieren, wie z. B. dünne Details mit Super Resolution, die möglicherweise schimmern.

Transformer-Modelle sind außerdem skalierbarer, sodass Nvidia weit mehr Parameter zu DLSS hinzufügen kann als beim vorherigen CNN-Ansatz. Nach Angaben des Unternehmens verfügt das neue Transformatormodell sogar über doppelt so viele Parameter.

Wie Sie in den Videos oben sehen können, behauptet Nvidia, dass dieses neue Modell im Vergleich zum vorherigen CNN-Ansatz eine bessere Stabilität und den Erhalt feiner Details aufweist. Diese Verbesserungen gelten auch nicht nur für GPUs der RTX 50-Serie. Alle RTX-Grafikkarten können das neue Transformer-Modell in DLSS 4-Spielen nutzen, zumindest für die Funktionen, die von jeder Generation unterstützt werden.

Ich habe DLSS 4 ein paar Mal in Aktion gesehen, aber der eigentliche Test für die Funktion wird der Start der GPUs der nächsten Generation von Nvidia sein. Dann kann ich bewerten, wie die Funktion in mehreren Spielen und Szenarien funktioniert, um zu sehen, wie sie funktioniert. Unabhängig davon gibt es viele Änderungen an der Funktion, und laut den bisherigen Angaben von Nvidia tragen diese Änderungen dazu bei, DLSS noch besser zu machen.