Wie plant NVIDIA die Generierung von Frames über Definitionen?

Wichtige Punkte

• NVIDIA und AMD verbessern das Spielerlebnis durch die Frame-Generation-Technologie, die zusätzliche Frames für ein flüssigeres Gameplay erzeugt. NVIDIA nutzt komplexe, hardwarespezifische Methoden, während AMDs einfachere AFMF-Technologie auf Treiberebene arbeitet und somit ohne Eingriff der Spieleentwickler auskommt.
• Es ist unklar, ob NVIDIA eine Frame-Generierungstechnologie auf Basis von Betriebsparametern wie AMDs AFMF einführen wird. Die aktuelle Technologie von NVIDIA setzt stark auf neuere GPUs und kombiniert mehrere Methoden für eine bessere Qualität, was auf eine mögliche Zurückhaltung gegenüber Strategieänderungen hindeutet.
• Beide Methoden verbessern die Bildwiederholrate, können aber visuelle Fehler oder Verzögerungen verursachen. AMDs AFMF-Technologie ist flexibler, aber möglicherweise weniger präzise, ​​während NVIDIAs Ansatz die Qualität priorisiert und sich mit neuen GPU-Generationen weiterentwickeln kann.

Mittlerweile haben wir wahrscheinlich alle schon von dem neuen Schlagwort in der Gaming-Welt gehört, das von NVIDIA und AMD geprägt wurde: „ Frame Generation“. Diese Technologie, die von Kritikern und Befürwortern gleichermaßen als die Zukunft des Gamings gefeiert wird, bedarf noch einiger Verbesserungen, bevor sie zur „ idealen “ Lösung für Leistungssteigerungen wird.

AMDs AFMF-Technologie setzt neue Maßstäbe für ein einfaches „ Press-and-Play “-Frame-Generierungstool. Wird NVIDIA diesem Beispiel folgen und eine universelle Frame-Generierungslösung auf Basis von Play-Definitionen implementieren? Finden wir es heraus.

Wird NVIDIA eine Lösung zur Frame-Generierung auf Basis von Betriebsdefinitionen entwickeln?

Bevor wir zum Hauptthema kommen, wollen wir uns ansehen, wie Upscaling- und Frame-Generierungstechniken funktionieren und einige wichtige Begriffe klären, die es zu verstehen gilt.

DLSS steht für Deep Learning Super Sampling und wurde 2018 von NVIDIA im Rahmen der RTX-Grafikprozessoren (GPUs) eingeführt . Vereinfacht gesagt , scannt DLSS die Bilder, sammelt Daten aus vorherigen Frames und verwendet diese, um fehlende Pixel im neuen Frame zu ergänzen. Dank KI- Unterstützung erhält man so ein verbessertes (hochskaliertes) Bild mit höherer Leistung.

Im Gegensatz dazu funktioniert AMDs FSR- oder Fidelity FX Super Resolution- Technologie auf nahezu jedem Grafikprozessor. Sie nutzt einen proprietären Open-Source -Algorithmus zur räumlichen Skalierung , um die Auflösung eines Spiels von einer niedrigeren auf eine höhere zu erhöhen. Sie ist deutlich praktischer als DLSS, da sie nicht hardwareabhängig ist.

Einige wichtige Begriffe und eine Einführung in die Frame-Generierung

Mit der RTX-40-Serie kamen DLSS 3.0 und NVIDIA Frame Generation . Was genau bedeutet „Frame Generation“? Vereinfacht gesagt, ist Frame Generation das Einfügen eines Bildes zwischen zwei anderen Bildern. Dieser Vorgang wird Interpolation genannt . Bei Fernsehern war dies eine gängige Technik, um die Bildwiederholfrequenz des angezeigten Inhalts an die Bildwiederholfrequenz des Fernsehers anzupassen.

Upscaling verbessert die Bildqualität und erhöht die Leistung. Frame-Generierung (FG) hingegen erzeugt ein komplett neues Bild zwischen zwei bestehenden Bildern, rendert diese und berechnet das nächste Bild – und das alles bei akzeptabler Reaktionszeit.

Diese fortgeschrittene Technik erfordert das Verständnis zweier grundlegender Konzepte auf diesem Gebiet: Optische Flussanalyse und Bewegungsvektoren . Betrachten wir sie nacheinander:

1) Optische Flussanalyse

Dieses Verfahren analysiert eine Bildserie und schätzt, wie die nächste Bildversion aussehen wird. Die Schätzung erfolgt durch die Analyse von Geschwindigkeit, Farbe und Helligkeit der Objekte im Bild. Anstelle eines klaren und präzisen Ergebnisses erhält man jedoch nur eine grobe Schätzung.

Stellen Sie sich einen Ball vor, der auf dem Boden nach rechts rollt. Der Ball erreicht sein Ziel in fünf einzelnen Schritten. Unter der Annahme, dass seine Bewegung quasi-linear und geradlinig verläuft, lässt sich sein endgültiger Zielort vorhersagen. Wenn Sie analytische Geometrie studiert haben , sind Sie wahrscheinlich schon einmal auf die Zwei-Punkte-Formel gestoßen:

y - y1 = (x-x1)(y2-y1) / (x2-x1)

Aus nur zwei Punkten lässt sich die Gleichung der gegebenen Geraden bestimmen. Da die Steigung konstant ist, lässt sich die nächste Position des Bildes/Punktes relativ einfach vorhersagen. Die tatsächliche Methode ist jedoch wesentlich komplexer.

Am wichtigsten ist, dass die optische Flussanalyse keinen Zugriff auf die Daten der Spiel-Engine benötigt. Sie kann auf Treiberebene angewendet werden , wo der Treiber Frames interpoliert (einfügt), indem er die Bewegung auf dem Bildschirm vorhersagt. Vereinfacht gesagt: Die optische Flussanalyse interagiert nicht mit der Spiel-Engine.

Der Nachteil besteht darin, dass der Treiber nicht zwischen der Benutzeroberfläche und der tatsächlichen 3D- Umgebung unterscheiden kann , wodurch unerwartete Verzerrungen auftreten können. Außerdem wird die Ausgabe nie optimiert, da sie mit Rohdaten arbeitet.

2) Bewegungsvektoren in der Spiel-Engine

Bewegungsvektoren sind Richtungsvektoren, die die Verschiebung von Objekten von einem Frame zum nächsten angeben. Sie sind ein grundlegender Bestandteil von Game-Engines und repräsentieren die Transformation und Bewegung von Objekten. Dies ist eine deutlich präzisere Methode, Bewegung darzustellen, als die Position eines Objekts einfach nur zu schätzen.

Falls Sie sich fragen: Bewegungsvektoren sind ein wesentlicher Bestandteil der Frame-Generierung. Diese Daten erfordern jedoch Kompatibilität zwischen Treiber und Spiel-Engine. Um diese Kompatibilität zu erreichen, ist eine Implementierung durch die Spieleentwickler notwendig.

Obwohl Bewegungsvektoren der optischen Flussanalyse überlegen sind, weisen sie daher nur sehr begrenzte Möglichkeiten und Skalierbarkeit auf, weshalb diese Funktion nicht in jedem Spiel verfügbar sein wird. Bei älteren Titeln aus den 2010er-Jahren ist es sehr unwahrscheinlich, dass Frame- Generierungsverfahren (FG), die auf Bewegungsvektoren basieren (wie DLSS FG und FSR3 FG), funktionieren.

Vergleich zwischen DLSS-Framegenerierung und FSR-Framegenerierung

Nun wollen wir sehen, wie die aktuellen Frame-Generation-Technologien von Team Grün und Team Rot im Vergleich abschneiden.

↪ NVIDIA:

NVIDIAs Version der Frame-Generierung nutzt eine Kombination aus Bewegungsvektoren und optischer Flussanalyse. Der Optical Flow Accelerator der RTX-40-Serie analysiert zwei Frames. Anschließend identifiziert er Informationen, die nicht in den Bewegungsvektoren des Spiels enthalten sind, wie beispielsweise Partikel, Reflexionen, Schatten usw. Im folgenden Beispiel ermöglicht die optische Flussanalyse eine präzise Schattenverfolgung.

Im Gegensatz dazu erfasst die Bewegungsvektorkomponente die dreidimensionale Umgebung und die Geometrie der Szene. Im Beispiel mit dem Fahrrad können die Bewegungsvektoren mathematisch die genaue zukünftige Position des Radfahrers oder der Straße bestimmen. Sie können jedoch den Schatten, der im Mittelpunkt der optischen Flussanalyse steht, nicht erfassen. Daher müssen beide Komponenten zusammenarbeiten, um ein präzises Bild zu erzeugen.

• Benötigt Entwicklerunterstützung die Spiele
• يستخدم mischen من Optische Flussanalyse وBewegungsvektoren
• eingeschränkt mit Hardware Auf Grafikprozessoren RTX 40
• Nicht möglich Implementierung auf Fahrerprogramm-Ebene

↪ AMD:

Die FSR-3-Framegenerierungstechnologie ähnelt stark NVIDIAs DLSS-Framegenerierungstechnologie. Abgesehen von einigen Namensänderungen integriert auch diese Technologie eine Kombination aus visueller Flussanalyse und Bewegungsvektoren . Aus naheliegenden Gründen benötigen beide Technologien die Unterstützung von Spieleentwicklern.

• Benötigt Entwicklerunterstützung die Spiele
• يستخدم mischen من Optische Flussanalyse وBewegungsvektoren
• Es kann auf Grafikprozessoren der Serie aktiviert werden. RX 5000/6000 وRTX 20/30/40
• Nicht möglich Implementierung auf Fahrerprogramm-Ebene

Anomalie: AMD Fluid Motion Frames (AFMF)

Das Tool, das einem vom Spieler definierten Frame-Generierungstool am nächsten kommt, ist AMD Fluid Motion Frames ( AFMF). AFMF interagiert in keiner Weise mit dem Spiel. Es basiert ausschließlich auf der Analyse des visuellen Ablaufs bzw. der Vorhersage des nächsten Frames.

Dadurch ist es mit nahezu allen DirectX 11/12 -Titeln kompatibel , da keine zusätzliche Softwareunterstützung erforderlich ist. AFMF erhöht zwar nicht die Bildrate, lässt das Spiel aber flüssiger wirken, da ein Plus von Bildern pro Sekunde auf dem Bildschirm angezeigt wird.

Was ist also der Nachteil? Nun, AFMF kann mit DLSS FG oder FSR FG nicht annähernd mithalten. Außerdem müssen Benutzer mit Darstellungsfehlern in der Benutzeroberfläche leben. Da es jedoch auf Hardwareebene arbeitet, ist es eine sehr gute Option, wenn man bereit ist, mit möglichen Fehlern umzugehen.

• لا يتطلب Unterstützung von Spieleentwicklern
• يستخدم Nur optische Flussanalyse
• Es unterstützt ausschließlich Grafikprozessoren. RDNA2 oder neuer
• Arbeiten rein على Operatordefinitionsebene

Wird NVIDIA auf AFMF reagieren?

Die naheliegende Antwort ist „ Wir wissen es nicht “, da NVIDIA sich zu einer solchen Option noch nicht geäußert hat. Aaron Steinman von AMD bestätigt jedoch, dass ihr Schritt NVIDIA dazu bewegen wird, bald etwas Ähnliches wie AFMF zu entwickeln.

„Ich bin gespannt, ob NVIDIA nun der Meinung ist, dass es dem Beispiel von uns folgen und einige dieser Lösungen treiberdefiniert gestalten sollte.“

Aaron Steinman , für PC Gamer

Interessanterweise haben wir noch keine NVIDIA-Version von AFMF gesehen, insbesondere nachdem stolz verkündet wurde, dass die RTX-40-Serie im Vergleich zur Ampere-Serie (RTX 30) einen besseren optischen Flussbeschleuniger besitzt . Dies war der Hauptgrund, warum NVIDIA FG (mit optischem Fluss und Bewegungsvektoren) nur auf der Ada Lovelace aktiviert werden konnte.

Andererseits müsste NVIDIA für dieses Projekt möglicherweise ein weiteres Modell von Grund auf trainieren, was erhebliche zusätzliche Kosten verursachen würde.

Lohnt es sich wirklich?

Die Framegenerierung mittels optischer Flussanalyse und Bewegungsvektoren hat ihre Nachteile. Die dadurch entstehende Eingabeverzögerung macht sie für Gamer unattraktiv. Treiberbasierte AFMF-Verfahren sind jedoch keine bessere Lösung, da sie durch Interpolation die Framerate (FPS) reduzieren und zudem inkonsistent sowie anfällig für Grafikfehler sind.

Die wichtigere Frage lautet: „ Sollte NVIDIA nicht zuerst die DLSS-Framegenerierung verbessern ?“ Da sich KI tendenziell mit der Zeit verbessert, dürfte das Latenzproblem weitgehend gelöst sein. Sofern NVIDIA nicht durch seine Datenmodelle stark eingeschränkt ist, sollte die Entwicklung einer Framegenerierungslösung auf Treiberebene nicht schwierig sein. Aber lohnt sich der Aufwand?

Wird es sinnlos sein?

Wo würden Sie standardmäßig NVIDIAs Version von AFMF einsetzen? NVIDIA wird diese Funktion wahrscheinlich auf GPUs der RTX-40 -Serie oder höher beschränken, da diese bereits leistungsstark genug sind, um ältere Spiele mit exzellenten Frameraten auszuführen. Neuere Spiele unterstützen häufig DLSS 3 FG/FSR 3 FG.

Mobile GPUs stellen einen Sonderfall dar, doch ein Treiberansatz wäre für ältere Architekturen wie Pascal , Maxwell , Kepler und Fermi sehr nützlich . Aus technischen Gründen ist es jedoch nahezu unmöglich, diese Funktion auf diese Einheiten auszuweiten. Ihnen fehlen Tensor-Kerne , und CUDA kann damit kaum etwas anfangen. Selbst AFMF funktioniert nur mit RDNA2- oder späteren Architekturen.

Hoffnungen für die RTX 50 „Blackwell“

Gerüchten zufolge soll die RTX-50- Serie im vierten Quartal 2024 erscheinen . Es ist mit einer Reihe von Ankündigungen zu rechnen, die möglicherweise auch eine universelle Lösung für die Frame-Generation beinhalten. Trotz der erwarteten Hardware-Bindung an die RTX-40/50-Serie ist NVIDIA nicht dafür bekannt, in irgendeinem Bereich hinterherzuhinken. Dies ist jedoch reine Spekulation, und es gibt keine Gerüchte, die auf solche Pläne von NVIDIA hindeuten.

Fazit

Künstliche Intelligenz (KI) hat zwar ein beispielloses Wachstum erlebt, doch um KI-Inferenz und -Beschleunigung zu ermöglichen, ist leistungsstarke Hardware erforderlich. Sind die GPU-Kerne nicht schnell genug, ist Echtzeit-Frame-Interpolation schlichtweg unmöglich. Zwar ließe sich diese Verarbeitung auf einen Server auslagern, doch das würde ein Abonnement erfordern und zu sehr hohen Latenzzeiten führen. Für GPU-Hersteller ist es daher wichtig, ein ausgewogenes Verhältnis zu finden. Was denken Sie darüber? Teilen Sie uns Ihre Meinung in den Kommentaren mit.

häufige Fragen

Was ist treiberbasierte Frame-Generierung in einfachen Worten?

Vereinfacht ausgedrückt ist die Frame-Generierung auf Definitionsebene eine universelle Lösung zur Erzeugung von Frames innerhalb von Frames, ohne dass die Unterstützung von Spieleentwicklern erforderlich ist.

Falls diese Lösung jemals veröffentlicht wird, wird NVIDIA seine Lösung zur Frame-Generierung auf Treiberebene (FG) auf GPUs der RTX 40-Serie oder höher beschränken?

Höchstwahrscheinlich ja. Da DLSS 3 FG aufgrund seines neuen „Optical Flow Accelerator“ GPUs der RTX 40-Serie benötigt, ist zu erwarten, dass offizielle treiberbasierte Lösungen ähnliche Anforderungen stellen.

Wird die RTX-50-Serie die Frame-Generation-Technologie, wie wir sie kennen, revolutionieren?

Es gibt dazu keine bestätigten Gerüchte. Die Zeit wird es zeigen, insbesondere da die meisten von uns vor NVIDIAs Ankündigung vor zwei Jahren mit der Frame-Generation-Technologie nicht vertraut waren.