DLSS 2.2 vs Temporal Super Resolution (UE5) - Großer Vergleich

[Geldmann3]

DLSS 2.2 vs Temporal Super Resolution (UE5) - Großer Vergleich

Mir ist bewusst, dass bereits ein Thread zum Thema DLSS existiert, doch da es solch einen Vergleich, wie ich ihn hier aufbieten werde, noch nirgendwo anders gibt, (und ich mehrere Stunden in diesen Beitrag gesteckt habe), denke ich, dass dieses Thema einen eigenen Thread wert ist. Auch da sich dieser kleine Artikel hier nicht nur mit DLSS befasst, ist der Vergleich zwischen den unterschiedlichen Technologien in meinen Augen einen eigenen Diskussionsthread wert.

Aufgrund meiner Neugier habe ich mich dazu entschieden, den heutigen Abend dafür zu verwenden, das temporale Supersampling der Unreal Engine 5 mit DLSS 2.2 zu vergleichen. Weiterhin möchte ich in den nun folgenden Beispielszenarien Vergleiche zu klassischem Super-Sampling als Referenz ziehen.


Beginnen wir mit der Eintrittsszene zur Nanite und Lumen Demo der Unreal Engine 5, ,,Valley of the Ancient".

Das Lagerfeuer soll in diesem Fall als exzellentes Beispiel dafür dienen, wie die unterschiedlichen, temporalen Upsampling-Verfahren mit Elementen umgehen, für welche keine sauberen Motion-Vektoren zur Verfügung stehen.

Lassen wir an dieser Stelle DLSS-Performance (https://i.ibb.co/ZWg611V/DLSS-Performance.png) gegen TSR-Performance (https://i.ibb.co/xXMFcLm/TSR-Performance.png), (Intern 1280x720p, Zielauflösung 2560x1440p) antreten, sehen wir recht schnell die Schwachstelle der aktuellen Ausführung des temporalen Upsamplings der Unreal Engine 5. Sowohl an den Haaren der Protagonistin, als auch im sich bewegenden Lagerfeuer macht sich die niedrige, interne Auflösung bemerkbar. In den Haaren erkenne ich ein Checkerboard-Pattern und im Feuer scheint es beinahe so, als würde hier nur die interne Auflösung vorliegen. Selbstverständlich kann Epic Games in diesem Edge-Case bis zum finalen Release der Unreal Engine 5 noch nachbessern, doch im Moment ist mit DLSS 2.2 ein deutlicher Qualitätsschub in diesen Bereichen zu beobachten. Positiv anzumerken ist jedoch die Gesamtqualität des Bildes, welche bei statischen Elementen durchaus vergleichbar mit Nvidias-Deep-Learning-Supersampling ist.

Vergesst bitte nicht die Vergleichsbilder sehr groß zu betrachten, da sie in einer Ausgabeauflösung von etwa 2560x1440 Pixeln aufgenommen wurden. Auch solltet ihr euch nicht von der angezeigten Framerate verwirren lassen, denn in dem Moment, in welchem ich einen Screenshot nahm, brach diese extrem ein. (Die UE5 geht in eine Art-Sparmodus, wenn sie nicht im Fokus ist.)

Im Folgenden für alle, die selbst vergleichen wollen, die unterschiedlichen Vergleichsbilder:

Zur Auswahl stehen:

Nativ + TAA
DLSS Qualität
DLSS Performance
TSR Qualität
TSR Performance
Bilinear Qualität
Bilinear Performance

https://i.ibb.co/zmZPCbv/Compare2.png (https://imgsli.com/NTg2ODk/0/2)


Als nächstes Knöpfen wir uns mit den unterschiedlichen Upsampling-Verfahren Nanite vor. Abhängig von der internen Renderauflösung, werden mithilfe dieser Technologie dynamisch unterschiedliche Mengen an Szenengeometrie gerendert. Dabei wird intelligent so skaliert, dass nicht viel mehr als ein Dreieck pro internem Pixel gerendert wird. Was im ersten Moment intelligent klingt, führt in Kombination mit temporalem Upsampling jedoch dazu, dass schnell zu wenig Geometrie für die finale Szene gerendert wird, sodass wir bei einer niedrigeren, internen Auflösung entsprechend weniger Polygone pro Pixel im finalen Bild vorliegen haben, als eigentlich vonnöten wären, um alle Details darzustellen.

Vergleichen wir an dieser Stelle zum Beispiel das mit 4xSSAA gerenderte Bild mit dem Nativen+TAA oder DLSS Qualität, fällt bereits auf, dass wir einiges an feiner Geometrie verlieren. Je geringer wir die interne Auflösung wählen, desto mehr Geometrie geht entsprechend verloren. In meinen Augen wäre es wünschenswert, wenn Epic Games ein entsprechendes Setting für Nanite anbieten würde, welches es erlaubt, die Geometriedichte unabhängig von der Auflösung zu konfigurieren.

Wie im Beispiel mit 4xSSAA bewiesen, profitieren wir optisch durchaus von mehr als einem Dreieck pro Pixel, was einfach mit der Funktionsweise von Nanite zusammenhängt, wie dieses Geometriedetails abhängig von ihrer Größe aus dem Bild ,,cullled". So werden als Folge die zugehörigen Texturen nicht mehr gerendert, wenn die Geometrie, auf welcher diese liegen, nicht mehr vorhanden ist.

Auch in dieser Szene ist die Gesamtqualität des Bildes mit TSR wieder bemerkenswert und durchaus auf einer Stufe mit DLSS zu betrachten.
Besonders dafür, dass es sich bei der Unreal Engine 5 noch um eine Beta handelt, kann Epic Games sehr zufrieden mit dem erzielten Ergebnis sein.

Im Folgenden zum Vergleich wieder unterschiedliche Settings für die genannte Szene.

Zur Auswahl stehen:

4xSSAA + TAA (Referenz)
Nativ + TAA
DLSS Qualität
DLSS Performance
TSR Qualität
TSR Performance
Bilinear Qualität
Bilinear Performance

https://i.ibb.co/bzFZSHg/Comparethem.png (https://imgsli.com/NTg5NTQ/)


Nun möchte ich die Bildqualität der unterschiedlichen Upscaling-Verfahren in Verbindung mit foliage betrachten.

Besonders dünne, halbtransparente Elemente haben sich bei der Rasterisierung einer Szene in der Vergangenheit als sehr flimmeranfällig herauskristallisiert, sofern die interne Renderauflösung nicht hoch genug ist, um die feinen Details abzubilden. In solchen Szenarien können temporale Verfahren häufig brillieren, jedoch trennt sich in diesen Szenen beim Rasterizing auch die Spreu vom Weizen.

Da Blattwerk und Gras besonders hohe Anforderungen an die Samplingrate eines 3D-Spiels stellen, habe ich in diesem Falle ein intern in 10k gerendertes Bild als Referenz hinzugefügt. (16xSSAA)
Selbst das native Bild mit TAA, DLSS Qualität und TSR-Qualität haben hier keine Chance gegen das intern mit 16xSSAA berechnete Bild, obwohl dieses laut Nvidia für DLSS immerhin als Referenz dient.

Wir sehen also, dass durchaus noch Luft nach oben für die Bildqualität in aktuellen Spielen vorhanden ist, jedenfalls so fern man das Bild wie in meinem Falle, auf einem 65 Zoll OLED 40cm, direkt vor der Nase hat. :D

Hier die Vergleichsbilder:

16xOGSSAA+TAA
https://i.ibb.co/s1b59N1/16XSSAA.png (https://i.ibb.co/ykdhFZk/16XSSAA.png)

4xOGSSAA+TAA:
https://i.ibb.co/Vm0Tgdm/4xSSAA.png (https://i.ibb.co/9tmWbJt/4xSSAA.png)

Nativ+TAA:
https://i.ibb.co/PjFw4g9/Native.png (https://i.ibb.co/MSZMp7G/Native.png)



DLSS Qualität:
https://i.ibb.co/64pNRH3/DLSS-Quality.png (https://i.ibb.co/bry7gsS/DLSS-Quality.png)

TSR Qualität:
https://i.ibb.co/pKbLs4h/TSA-Quality.png (https://i.ibb.co/4SKVD41/TSA-Quality.png)

Beide Verfahren leisten hervorragende Arbeit darin feine Details, wie beispielsweise den Zaun links im Bild zu rekonstruieren, wozu selbst 16xOGSSAA nicht im Stande ist.
Jedoch arbeitet DLSS 2.2 an einigen Stellen sauberer, was zu erkennen ist, wenn man einen Blick ins Geäst wirft.


Zu guter Letzt ein interessanter Bildvergleich, welcher zeigt, wie die unterschiedlichen Upscaling-Technologien mit der großen Herausforderung umgehen, ein 540p Bild nach 1080p hochzurechnen.

Zur Auswahl stehen:

16xOGSSAA (Als Referenz)
Nativ + TAA
DLSS-Performance
TSR Performance
State of the Art AI Upscaling
Bilineares Upscaling

https://i.ibb.co/VxbQg93/Compare.png (https://imgsli.com/NTg2ODM/2/3)

TSR liefert ein recht ausgefranstes Ergebnis. Weiterhin ist sowohl mit DLSS als auch mit TSR ein unschöner Fliegengittereffekt an der Stelle zu sehen, wo oben rechts das Licht eintritt.

DLSS Performance liefert noch einen recht guten Kampf mit dem nativen Bild ab, verliert an den meisten Stellen jedoch leicht.

Das bilineare Ergebnis ist einfach nur unscharf, der einzige Vorteil dabei ist die Freiheit von jeglichen Artefakten.

Das AI Upscaling liefert recht gute Ergebnisse dafür, dass es nicht mehr Informationen als der bilineare Filter zur Verfügung stehen hat. Wirkt jedoch ein wenig so, als hätte man einen zu starken ,,unscharf maskieren" Filter angewendet und eventuell etwas stilisiert.
Es wurde übrigens mit der aktuellen Version von AI-Gigapixel durchgeführt, sollte also so ziemlich das maximale Potenzial von dem zeigen, zu dem DLSS 1.0 in der Lage gewesen wäre, wenn man die Technologie irgendwann perfektioniert hätte und nie auf ein temporales Verfahren gewechselt hätte.


Hier ein weiterer Bildvergleich, welcher zeigt, wie die unterschiedlichen Upscaling-Technologien damit umgehen, ein 720p Bild nach 1080p hochzurechnen.

Zur Auswahl stehen:

16xOGSSAA (Als Referenz)
Nativ + TAA
DLSS-Qualität
TSR Qualität
State of the Art AI Upscaling
Bilineares Upscaling
Nearest Neighbor Upscaling

https://i.ibb.co/VxbQg93/Compare.png (https://imgsli.com/NTg3NTQ/5/4)

TSR liefert wieder ein recht ausgefranstes Ergebnis. Es enttäuscht mich in dieser Szene sehr. Wo mit DLSS noch Grashalme zu erkennen sind, zeigt TSR teils nur noch eine wilde Pixeltapete.

DLSS Qualität liefert wieder einen recht guten Kampf mit dem nativen Bild ab, verliert diesen jedoch insgesamt. Der Fliegengittereffekt beim eintretenden Licht ist sowohl mit DLSS als auch mit TSR, auch im Qualitätsmodus, noch leicht vorhanden.

Auch das AI-Upscaling enttäuscht mich hier. Es hat keine Chance gegen die temporalen Verfahren, obwohl es nun mehr Auflösung zu Verfügung hat.

*Qualität entspricht intern ca. 66,666% xy Auflösung
*Performance entspricht intern ca. 50% xy Auflösung


Ich hoffe ihr fandet diesen Vergleich ebenfalls so interessant wie ich, weshalb ich mich über eine lebhafte Diskussion und weitere Vergleichsbilder der unterschiedlichen Technologien von eurer Seite her freuen würde.

Hier findet ihr ein paar weitere Vergleichsbilder in 8k. (https://www.forum-3dcenter.org/vbulletin/showpost.php?p=12714292&postcount=34)

[Tobalt]

danke für die Arbeit !

beim Dreieckculling sollte sich halt nicht an der Renderauflösung orientiert werden, sondern an der Anzahl der Samplingpositionen, die ins Displaybild eingehen.

Ein zusätzliches Setting wäre IMO aber sinnlos, da noch mehr Dreiecke dann auch nichts bringen

[Geldmann3]

danke für die Arbeit !

beim Dreieckculling sollte sich halt nicht an der Renderauflösung orientiert werden, sondern an der Anzahl der Samplingpositionen, die ins Displaybild eingehen.

Ein zusätzliches Setting wäre IMO aber sinnlos, da noch mehr Dreiecke dann auch nichts bringen

Stimmt, das wäre in meinen Augen durchaus ein logischer Ansatz. Allerdings kann es Sinn ergeben, bei niedrigeren, internen Auflösungen weniger Geometrie zu rendern, obwohl dabei Details verloren gehen. Denn sicher resultiert ein großer Teil des Performanceboosts aus der Verringerung der mit der geringeren, internen Auflösung einhergehenden Geometriedetails.

[Troyan]

Wie sieht es in Bewegung aus? Ich habe deine komplilierte Version der UE5 Demo getestet und das TAA finde ich schlecht.

[Geldmann3]

Wie sieht es in Bewegung aus? Ich habe deine komplilierte Version der UE5 Demo getestet und das TAA finde ich schlecht.

Wahrscheinlich hast Du die Version von BeetleatWar1977 (https://www.forum-3dcenter.org/vbulletin/showpost.php?p=12700119&postcount=120) getestet, denn ich habe keine kompiliert.

In der Tat erinnere ich mich, dass das TAA keine optimalen Ergebnisse lieferte.
An einigen Stellen flickern Mikrodetails in and out of existence.

Insgesamt sah es in Ordnung für mich aus, wobei man bei nur 50% interner Auflösung pro Achse schon ein paar Checkerboard-artige Artefakte zu Gesicht bekommt, die mit DLSS so nicht auftreten.
Beispielsweise im Laub des letzten Vergleichs.

Das entsprechende Bild musste ich leider streichen, da ich die maximale Bildanzahl für einen Post in diesem Forum weit überschritten hatte.
Wobei ich gerade sehe, dass man es im letzten Vergleich sogar mit TSR-Quality sieht, (etwa in der Bildmitte, im Laub) wenn man genau hinschaut.
Ursprünglich hatte ich sogar etwa doppelt so viele Vergleichsbilder angefertigt, doch die wichtigsten Aspekte sollten rübergekommen sein.
Die angesprochenen Artefakte sahen in Bewegung jedoch sogar weniger schlimm aus, finde ich. Da sie sich im Bildfluss wieder aufgehoben haben. Jedenfalls sofern die Bildrate hoch genug war.

[Dampf]

Schöner Vergleich. Im Standbild kann TSR wirklich sehr überzeugen und erreicht fast DLSS Qualität, zumindest in den höheren Input-Auflösungen. Aber wie du schon sagtest, in Bewegung sieht das wieder anders aus. Insgesamt aber echt gelungen!

Täusch ich mich oder sieht DLSS Qualität teils besser aus als 16xSSAA? Achte mal auf den Zaun im Hintergrund, Bildmitte, mit DLSS ist die Detailrekonstruktion deutlich besser. Auch die Texturen sehen IMO einen Tick schärfer aus.

Einen deutlichen Unterschied sieht man aber in den Baumkronen, dort sieht SSAA deutlich besser aus.

[TheAntitheist]

Erst mal danke für die Mühe Geldmann3,

Die TSR ist schon nicht verkehrt, muss man einfach zugeben, aber wie gut ist DLSS bitte.

[robbitop]

Wesentlich mehr als TSR bietet, ist wohl mit statischer Heuristik vs NN nur schwierig. Aber TSR ist schon eine wirklich gute Alternative wenn es ohne NN und ohne NN Hardware gehen soll.

Eigentlich schade, dass AMD nicht ein genau solches Verfahren für FSR gewählt hat.

[Geldmann3]

Täusch ich mich oder sieht DLSS Qualität teils besser aus als 16xSSAA? Achte mal auf den Zaun im Hintergrund, Bildmitte, mit DLSS ist die Detailrekonstruktion deutlich besser. Auch die Texturen sehen IMO einen Tick schärfer aus.

Einen deutlichen Unterschied sieht man aber in den Baumkronen, dort sieht SSAA deutlich besser aus.

In der Tat kam mir der Gedanke gestern ebenfalls, als ich einen zweiten Blick über die Bilder geworfen hatte.
WTF? Links stellt DLSS den Zaun tatsächlich noch dar, wo er mit 16xSSAA ganz verschwindet, verrückt. Wobei TSR den Zaun hier tatsächlich ebenfalls rekonstruieren kann.
An einigen Stellen scheinen DLSS 2.2 und auch TSR 16xSSAA überlegen zu sein, obwohl sie nur rund 4% der internen Auflösung zur Verfügung haben. :freak: Die Aussage ist schon krank.
Allerdings kann man sich hier auch die Frage stellen, ob DLSS und TSR das Bild hier nicht verfälschen, denn wahrscheinlich sollte der Zaun eben nicht so dick sein, wie er mit DLSS gezeigt wird. Immerhin verschwindet dieser meist nicht völlig im 16xSSAA Bild, sondern wird nur sehr dünn dargestellt. DLSS und TSR ,,rekonstruieren" hier wahrscheinlich Inhalte, die so gar nicht da sein sollten. Auch ist das Bild schärfer. Mir kommt da die Analogie zwischen den überschärften Bildern eines iPhones und den dagegen weichen Bildern einer DSLR in den Kopf. Ersteres wirkt auf viele Unerfahrene erstmal ,,besser" ist es allerdings nicht wirklich, sondern es ist u.a. überschärft, verfälscht und effektgeladen. Trotzdem sind DLSS und auch TSR hier extrem beeindruckend.

Meist gewinnt in meinen Augen allerdings erwartungsgemäß 16xSSAA.

[robbitop]

Naja DLSS akkumuliert ja bis zu 16 Samples. Ich kann mir gut vorstellen, dass die Verteilung auf dem Subpixelgrid besser als reines OG ist.

[Tobalt]

Beide Verfahren zeigen super Ergebnisse in Anbetracht der geringen Renderauflösung. DLSS ist aber insgesamt besser.

Wie ist die Performance von TSR V DLSS?

der Kommentar dass DLSS von 16xSSAA lernt, stammt doch noch aus DLSS1 zeiten ? heute muss es nichts lernen, da es temporale Daten hat

[Geldmann3]

Naja DLSS akkumuliert ja bis zu 16 Samples. Ich kann mir gut vorstellen, dass die Verteilung auf dem Subpixelgrid besser als reines OG ist.

Richtig, daran habe ich gar nicht gedacht. Das 16xSSAA nutzt OGSSAA während TSR und DLSS die in den vergangenen Frames gesammelten Samples intelligenter verteilen können. Dennoch schmälert dies das beeindruckende Achievement der beiden Algorithmen in meinen Augen kaum.

[Geldmann3]

Beide Verfahren zeigen super Ergebnisse in Anbetracht der geringen Renderauflösung. DLSS ist aber insgesamt besser.

Wie ist die Performance von TSR V DLSS?

der Kommentar dass DLSS von 16xSSAA lernt, stammt doch noch aus DLSS1 zeiten ? heute muss es nichts lernen, da es temporale Daten hat

Tatsächlich vergleicht Nvidia auch DLSS 2.0+ in Präsentationen noch immer mit 16xSSAA als Referenz und behauptet noch immer, dass an 16k Bildern gelernt wird. (https://www.nvidia.com/en-us/geforce/news/june-2021-rtx-dlss-game-update/?ncid=afm-chs-44270&ranMID=44270&ranEAID=a1LgFw09t88&ranSiteID=a1LgFw09t88-yqSeCkv0xNd09WnBU3AbyQ) Obwohl sie nun auch gleichzeitig erklären temporal zu arbeiten.

By training against a large dataset of 16K-resolution images, the DLSS algorithm learns to predict high resolution frames with greater accuracy. And through continual training on NVIDIA’s supercomputers, DLSS can learn how to deal with new classes of content -- from fire to smoke to particle effects -- at a rate that engineers hand-coding non-AI algorithms simply could not keep up wird.

Die Performance wäre in meinen Augen ebenfalls nochmal eine nähere Betrachtung wert, bin mir nicht sicher, doch in meiner Erinnerung war die Performance, wenigstens bei hohen Frameraten, sehr ähnlich.

[BlacKi]

du meinst, früher wurden pixel angelernt und heute eben temporale daten.

der performance faktor ist imho der wichtigste part. den zu unterschlagen ist eine sünde!

[WedgeAntilles]

Allerdings kann man sich hier auch die Frage stellen, ob DLSS und TSR das Bild hier nicht verfälschen, denn wahrscheinlich sollte der Zaun eben nicht so dick sein, wie er mit DLSS gezeigt wird.

Da es aber nicht um die Rekonstruktion eines Verbrechens geht, bei dem alles absolut exakt sein muss, stellt sich doch die Frage:
Who cares?
Wenn der Zaun gut aussieht, ist es doch vollkommen schnuppe ob der etwas dicker ist oder nicht.

"Perfekt" kannst du sowieso völlig unmöglich das genaue Bild wiedergeben, dass der Entwickler hatte. Schließlich stellt ein TN Panel das exakt gleiche Bild völlig anders da als ein IPS Panel. Und VA gibt noch mal ein neues Bild.
Und jeder hat seinen Monitor etwas anders eingestellt - was wieder alles stark verändert. Eine absolut identische Szene sieht somit bei 10 Leuten allesamt etwas anders aus - und das sogar ziemlich deutlich, nicht nur winzige Nuancen.

Diese Sucht "NATIV!!!!" ist alleine daher eine lächerliche Diskussion, da es das schlicht und ergreifend gar nicht geben kann.

[Geldmann3]

Da es aber nicht um die Rekonstruktion eines Verbrechens geht, bei dem alles absolut exakt sein muss, stellt sich doch die Frage:
Who cares?
Wenn der Zaun gut aussieht, ist es doch vollkommen schnuppe ob der etwas dicker ist oder nicht.

"Perfekt" kannst du sowieso völlig unmöglich das genaue Bild wiedergeben, dass der Entwickler hatte. Schließlich stellt ein TN Panel das exakt gleiche Bild völlig anders da als ein IPS Panel. Und VA gibt noch mal ein neues Bild.
Und jeder hat seinen Monitor etwas anders eingestellt - was wieder alles stark verändert. Eine absolut identische Szene sieht somit bei 10 Leuten allesamt etwas anders aus - und das sogar ziemlich deutlich, nicht nur winzige Nuancen.

Diese Sucht "NATIV!!!!" ist alleine daher eine lächerliche Diskussion, da es das schlicht und ergreifend gar nicht geben kann.

Klar, stimme zu. Ich sehe es nicht als Verbrechen, wollte es nur mal anmerken.

Beide Verfahren leisten hervorragende Arbeit darin feine Details, wie beispielsweise den Zaun links im Bild zu rekonstruieren, wozu selbst 16xSGSSAA nicht im Stande ist.
Jedoch arbeitet DLSS 2.2 an einigen Stellen sauberer, was zu erkennen ist, wenn man einen Blick ins Geäst wirft.

https://i.ibb.co/J7ynSjM/DLSSMore-Clean.png (https://i.ibb.co/G2t7rQb/DLSSMore-Clean.png)

der performance faktor ist imho der wichtigste part. den zu unterschlagen ist eine sünde!

Haha, habe gestern Abend bestimmt 3 Stunden damit verbracht diesen Vergleich zusammenzustellen und keine 3 Stunden Schlaf mehr bekommen. ;D Am liebsten wäre ich ja noch auf Performancemetriken eingegangen.

[BlacKi]

Diese Sucht "NATIV!!!!" ist alleine daher eine lächerliche Diskussion, da es das schlicht und ergreifend gar nicht geben kann.
+1

true words

[Troyan]

Tatsächlich vergleicht Nvidia auch DLSS 2.0+ in Präsentationen noch immer mit 16xSSAA als Referenz und behauptet noch immer, dass an 16k Bildern gelernt wird. (https://www.nvidia.com/en-us/geforce/news/june-2021-rtx-dlss-game-update/?ncid=afm-chs-44270&ranMID=44270&ranEAID=a1LgFw09t88&ranSiteID=a1LgFw09t88-yqSeCkv0xNd09WnBU3AbyQ) Obwohl sie nun auch gleichzeitig erklären temporal zu arbeiten.


Das Netzwerk wird gegen 16xSSAA angelernt, die Implementierung in Spielen erfolgt zusätzlich mit einer temporalen Komponente.

[Gast]

der Kommentar dass DLSS von 16xSSAA lernt, stammt doch noch aus DLSS1 zeiten ? heute muss es nichts lernen, da es temporale Daten hat
Der Satz macht keinerlei Sinn. Warum sollten mehr Inputdaten und anderer Output dazu führen, dass man keine Trainingsdaten mehr braucht?

[robbitop]

Ein Teil der Qualität des NN für's Clamping ist der Fall, dass es das gesuchte Objekt nicht findet, um die Samples aus den vorherigen Frames zu akkumulieren. Normalerweise hat man bei einer Heuristik 2 Optionen: Die Samples nicht verwenden und damit dann Aliasing zulassen oder die Samples verwenden und mit Artefakten leben.
Je aggressiver eingestellt, desto mehr geht es in Richtung Artefakte.
DLSS hat durch das NN aber noch eine weitere Option: Dinge zu halluzinieren. Also Daten aus dem NN verwenden für die Rekonstruktion statt den nicht validen Samples.
Das ist einer der Gründe, warum man aggressiver sein kann bevor es zu Artefakten kommt.
Und hier ist mit zunehmender Rechenleistung für das Inferencing auch noch weiteres Potenzial in der Zukunft zu erwarten. Wir sind hier gerade erst am Anfang.

Aber wie das Gesetz des sinkenden Grenzertrags nunmal ist: mit einem guten heuristischen Verfahren ist man zwar nicht auf gleicher Stufe - aber man hat das Gro abgeschöpft.
So hätte AMD es machen müssen. Bis zu dem Zeitpunkt, wo sie auch ein NN für das Verfahren haben und HW für das Inferencing.

[Troyan]

Das AI-Modell existiert, weil es kein gutes vergleichbares Verfahren gibt. Je geringer die Input-Auflösung, umso überlegender ist DLSS 2.0. Das Performance-Preset erzeugt 3/4 aller Pixel.

[robbitop]

Naja die Ergebnisse sind auch nicht so berauschend für das Performance Preset bei 1080p oder 1440p.

Daumenregel für das Minimum Profile, damit es gut aussieht:
4K output resolution -> Performance Profile
1440p output resolution -> Balanced Profile
1080p output resolution -> Quality Profile

Auch DLSS braucht eine gewisse Menge an Pixeln, damit es nicht zu stark auffällt. Bei kleinen Outputresolutions wird es irgendwann auch gurkig.
Oder z.b. das Ultra Performance Preset ist noch extremer.

Zaubern kann nunmal keiner. Aber ja, das NN hilft, es ein gutes Stück besser zu machen als eine statische Heuristik. Wenn man das Gesetz des sinkenden Grenzertrag im Hinterkopf hat, ist der BQ Vorsprung schon beachtlich.

[Troyan]

Nun, man benötigt es auch nicht, wenn man einfach 1800p hochskaliert. Aber DLSS 2.0 kann aus 1080p ein Bild erzeugen, was eben genauso oder sogar besser aussieht als 1800p.

Ich finde das TAAU von Metro Exodus ziemlich gut. Leider kann man in dem Spiel nur auf 0.4x runter, was ein Vergleich mit DLSS@Performance (1080p) nicht ermöglicht.

Und schaut man sich UE5 an, dann ist 1080p wohl die Input-Auflösung mit der man am Anfang leben muss...

[robbitop]

1080p@1800p macht IMO wenig Sinn, denn es gibt fast keine Monitore mit dieser Auflösung. Entsprechend müsste man ein geupscaltes Bild dann nochmal auf 2160p upscalen. Also 1080p@1800p->2160p. Zwei mal upscalen...
Das Ergebnis 1080p@2160p mit dem Performance Preset sieht dann sicherlich besser aus. Aber eben noch nicht wirklich gut. Man braucht da schon das Balanced Preset.

[Sweepi]

aha, habe gestern Abend bestimmt 3 Stunden damit verbracht diesen Vergleich zusammenzustellen und keine 3 Stunden Schlaf mehr bekommen.
Dann direkt ein sehr dankbarer Kommentar :P :

Der foliage Vergleich funktioniert für mich nicht. 16XSSAA und 4XSSAA konnte ich anhand der Blättern und der Baumkronen noch identifizieren, dann schalte ich zu nativ bzw DLSS und die Büsche/Farn sind/ist auf einmal doppelt so gross :D, und die unterschiedlichen Lichtverhältnisse machen mich schon vorher fertig. Das müsste ich in Bewegung sehen.

[Troyan]

1080p@1800p macht IMO wenig Sinn, denn es gibt fast keine Monitore mit dieser Auflösung. Entsprechend müsste man ein geupscaltes Bild dann nochmal auf 2160p upscalen. Also 1080p@1800p->2160p. Zwei mal upscalen...
Das Ergebnis 1080p@2160p mit dem Performance Preset sieht dann sicherlich besser aus. Aber eben noch nicht wirklich gut. Man braucht da schon das Balanced Preset.

Ich meinte 1800p@2160p. In so einem Fall benötigt man kein DLSS, da es kaum noch Vorteile gibt. Jedoch erzeugt DLSS@Performance in 4K ein Bild, was locker mit der Qualität von 1800p@2160p in vielen Spielen mithalten kann bei deutlich mehr Frames.

[robbitop]

Achso du vergleichst 1800p@2160p vs 2160p DLSS Performance?

Wäre ich mir nicht so sicher, ob DLSS Performance da wirklich immer gewinnt. Insbesondere wenn CAS mit im Mix ist. Ich würde sagen, das hängt sehr stark vom Content ab. :)

[Geldmann3]

Der foliage Vergleich funktioniert für mich nicht. 16XSSAA und 4XSSAA konnte ich anhand der Blättern und der Baumkronen noch identifizieren, dann schalte ich zu nativ bzw DLSS und die Büsche/Farn sind/ist auf einmal doppelt so gross :D, und die unterschiedlichen Lichtverhältnisse machen mich schon vorher fertig. Das müsste ich in Bewegung sehen.

Das mit den Lichtverhältnissen kam leider daher, dass die Baumkronen im Wind gewippt sind und daher das durch die Blätter auf den Boden scheinende Licht von Frame zu Frame die Position gewechselt hat. Zum Vergleichen natürlich etwas störend, wenn ich jedoch so darüber nachdenke, schon sehr cool, dass wir in einer Zeit angekommen sind, in der die Echtzeitszenen sich so dynamisch verhalten, was das Licht betrifft. :D

[Platos]

@ Geldmann: Danke für den Test, aber warum hast du das nicht in 4K gemacht? Du hast doch einen 4K TV + 3090 oder so?

Oder ist die benötigte Leistung dann so krass?

Ich finde ja im Bild mit den Pflanzen sieht nur nativ + 16xOGSSAA+TAA gut aus. TSA sieht für mich schrecklich aus und 4xOGSSAA+TAA sieht komischerweise an einigen Stellen schlechter wie Nativ+TAA aus.

DLSS ist dann für mich auf dem 3. Platz und TSA auf dem letzten. Unten im Spoiler ein Bild. Sieh dir mal die eingekreisten Bereiche auf deinen versch. Versionen an. Die sehen bis auf 16xOGSSAA+TAA alle richtig schlecht aus. Bei 4xOGSSAA+TAA ist übrigens der Baum links total verschwommen.

https://i.ibb.co/pPzFXxX/16-XSSAA-1440p-2.png

[Geldmann3]

@ Geldmann: Danke für den Test, aber warum hast du das nicht in 4K gemacht? Du hast doch einen 4K TV + 3090 oder so?

Oder ist die benötigte Leistung dann so krass?

Ich finde ja im Bild mit den Pflanzen sieht nur nativ + 16xOGSSAA+TAA gut aus. TSA sieht für mich schrecklich aus und 4xOGSSAA+TAA sieht komischerweise an einigen Stellen schlechter wie Nativ+TAA aus.

DLSS ist dann für mich auf dem 3. Platz und TSA auf dem letzten. Unten im Spoiler ein Bild. Sieh dir mal die eingekreisten Bereiche auf deinen versch. Versionen an. Die sehen bis auf 16xOGSSAA+TAA alle richtig schlecht aus. Bei 4xOGSSAA+TAA ist übrigens der Baum links total verschwommen.

https://i.ibb.co/pPzFXxX/16-XSSAA-1440p-2.png

Konnte mich um ehrlich zu sein zu Beginn nicht ganz für eine Auflösung entscheiden, habe dann mit QHD angefangen und den Rest des Bildschirms dazu genutzt, um nebenher mit den Ergebnissen zu arbeiten, wäre leicht komplizierter gewesen im Fullscreen. Ein Vorteil ist sicher, dass die meisten nicht so weit hineinzoomen müssen, um einen Unterschied zu sehen. Mein knapper Favorit wäre ebenfalls 4k gewesen, QHD war recht spontan.

[Platos]

Ach so, ja gut dann macht das Sinn. Also du meinst, du musstest die Screenshots anschauen, damit du die perfekte Stelle findnest ?

Aber schau dir mal die eingekreisten Bereiche an. Vor allem der mittlere Baum. Der sieht nur bei 16xOGSSAA+TAA wirklich gut aus.

Falls dir wieder mal langweilig ist, wäre 4k sicher auch eine interessante Auflösung :)

Aber interessant ist das schon. Also DLSS finde ich an manchen stellen besser wie 4xOGSSAA+TAA, aber klar schlechter wie 16xOGSSAA+TAA und aber klar besser wie TSA. Und etwa auf Augenhöhe mit Nativ+ TAA.

Aber ich finde TSA ehrlich gesagt jetzt in deinen Beispielen ziemlich schlecht. Aber vlt. wäre es in 4k ja weniger schlimm relativ gesehen zu den anderen.

[-/\-CruNcher-/\-]

@Geldmann3

Strand Hair vergleich bin gespannt und das ganze bitte in Nalu style und nicht so ein komisch herumwackelndes Hair Spray Hair

Am besten komplexe Tanz Szene

[Tobalt]

Auf den Standbildern sieht TSR stellenweise schon sehr grieselig/checkerboardig aus. Aber das sind ja Stellen mit Bewegung. Wie Geldmann schreibt, ist das dann bei ausreichender Framerate wohl nur noch bedingt wahrnehmbar.

DLSS ist wohl insbesonders bei Bewegung damit deutlich schärfer und überlegen. Natürlich braucht es einen Monitor, der diesen Unterschied nicht durch Bewegungsunschärfe zunichte macht.

Wäre TSR das, was AMD heute als "FSR" vortellt, wäre ich sehr zufrieden, denn mit TSR gibt es wenigstens mal ein weiteres Verfahren, was dem konventionellen Fullscale Rendering überlegen ist. Mann, ich hoffe sehnlichst, dass FSR nicht der Megaflopp wird, der sich abzeichnet. Sonst muss ich mich fremdschämen für AMD.

Die größten Einbußen gegenüber nativ, oder gar SSAA, hat für mich die Wüstenszene. Aber dort liegt es mMn. daran, dass die Engine noch nicht die richtige Auflösung für das Dreiecksculling zugrunde legt, deswegen würde ich die Szene nur zum Vergleich von DLSS v TSR nutzen.

[Geldmann3]

Ach so, ja gut dann macht das Sinn. Also du meinst, du musstest die Screenshots anschauen, damit du die perfekte Stelle findnest ?

Aber schau dir mal die eingekreisten Bereiche an. Vor allem der mittlere Baum. Der sieht nur bei 16xOGSSAA+TAA wirklich gut aus.

Falls dir wieder mal langweilig ist, wäre 4k sicher auch eine interessante Auflösung :)

Aber interessant ist das schon. Also DLSS finde ich an manchen stellen besser wie 4xOGSSAA+TAA, aber klar schlechter wie 16xOGSSAA+TAA und aber klar besser wie TSA. Und etwa auf Augenhöhe mit Nativ+ TAA.

Aber ich finde TSA ehrlich gesagt jetzt in deinen Beispielen ziemlich schlecht. Aber vlt. wäre es in 4k ja weniger schlimm relativ gesehen zu den anderen.

Nebenher habe ich auch noch mit der Oberfläche der Unreal Engine 5 herumgespielt, ab einem gewissen Punkt hatten einige Konsolenkommandos plötzlich keinerlei Auswirkungen mehr, daher habe ich die Settings teilweise über andere Wege realisiert. Bin mir nicht sicher, ob das ein Bug war. Auch ein Neustart half nicht.

Gerne würde ich bei Gelegenheit ein 4k Video dazu basteln oder gar eine executable, in der jeder zwischen den unterschiedlichen Modi hin und her schalten kann, dann hätte ich mehrere Fliegen mit einer Klappe geschlagen.

Es scheint mir fast so, als hätten alle Bilder außer 16xOGSSAA in der Waldszene mehr oder weniger temporale Probleme. Es wirkt fast wie Motion-Blur.

In der Wüstenszene könnte ich DLSS von TSR nicht unterscheiden und bei bewegten Objekten könnte Epic Games bis zum Release in einem halben Jahr ja durchaus noch nachbessern.

@Geldmann3

Strand Hair vergleich bin gespannt und das ganze bitte in Nalu style und nicht so ein komisch herumwackelndes Hair Spray Hair

Am besten komplexe Tanz Szene
Da muss ich erstmal eine finden, die einfach so in der UE5 läuft. Zuerst war es mein Plan eine solche Szene als Beispiel aufzuführen, doch in meinen bisherigen UE4 Projekten wurden die Haare in der UE5 einfach nicht gerendert. Muss ich mich bei Gelegenheit nochmal mit beschäftigen, habe während einer Arbeitswoche leider nur recht beschränkt Zeit für sowas.


Einfach mal so aus Spaß, ich weiß ja, dass es hier ein paar 8k Enthusiasten gibt,
ein Szenenvergleich in 8k:

Nativ+TAA:
https://i.ibb.co/KqNgBPF/8k-Native-TAA-Kopie.jpg (https://i.ibb.co/J7xT815/8k-Native-TAA-Kopie.jpg)


DLSS Quality:
https://i.ibb.co/C7GtjBz/8k-DLSS-Quality-Kopie.jpg (https://i.ibb.co/T83TQck/8k-DLSS-Quality-Kopie.jpg)

TSR Quality:
https://i.ibb.co/xGZn8n9/8k-TSR-Qualit-t-Kopie.jpg (https://i.ibb.co/3WKxYx6/8k-TSR-Qualit-t-Kopie.jpg)


DLSS Performance:
https://i.ibb.co/C6yYMjC/8k-DLSS-Performance-Kopie.jpg (https://i.ibb.co/G9D8tZY/8k-DLSS-Performance-Kopie.jpg)

TSR Performance:
https://i.ibb.co/drqS8FK/8k-TSR-Performance-Kopie.jpg (https://i.ibb.co/hyjk3b8/8k-TSR-Performance-Kopie.jpg)


DLSS Ultra Performance:
https://i.ibb.co/DzF2wPj/8k-DLSS-Ultra-Performance-Kopie.jpg (https://i.ibb.co/JmTJrWS/8k-DLSS-Ultra-Performance-Kopie.jpg)

Interessanterweise sehe ich in 8k plötzlich, total Kontraintuitiv, wie DLSS gegen das native Bild verliert, als würde es bei solch einer hohen Auflösung weniger effizient arbeiten. Mit TSR Performance werden einige Elemente plötzlich sehr unscharf dargestellt. DLSS Ultra Performance ist gar so schlecht, dass man gleich nur in 4k mit TAA rendern könnte und ein saubereres Ergebnis erhält. Erwartet hätte ich das Gegenteil, dass DLSS in 8k richtig brilliert. Oder schau ich mir die falschen Stellen an (rechts unten) und ihr seht das ganz anders? Wobei, an einigen Stellen ist DLSS Quality wieder besser als nativ. Doch normalerweise schlägt es die native Auflösung.

[Platos]

8K ist natürlich noch besser wie 4k ;)

Interessant, ich sehe das nämlich genau anders. Schau mal der Strasse entlang bzw. die vielen kleinen "Büsche" an (was sind das, Ananas?). Da sieht für mich DLSS quality sogar besser wie nativ aus (bei den weiter entfernten Büschen am Strassenrand und die Baumkronen sehen irgendwie einfach etwas "stimmiger" aus.

TSR sieht hier in dem Bild sehr, sehr körnig aus. Das ist genau dieser Effekt, der mir bei der Playstation ziemlich auf die nerven geht (Checkerboard ?). Ich finde, TSR Quality sieht sogar schlechter aus wie DLSS Perfomance. DLSS Ultra Perfomance sieht aber so extrem verwaschen aus... das kann man nicht brauchen. Auf 8k könnte man aber DLSS Perfomance in manchen Spielen vermutlich sehr gut brauchen.

Aber auf jeden Fall gefällt mir TSR überhaupt nicht, ganz ehrlich. Ich weiss nicht, ob das jetzt an dieser einen Demo liegt, aber es sieht scheisse aus.

Und bezüglich unten Rechts: Meinst du diese komischen "Artefakte" bei DLSS? Es sieht ein bisschen aus wie ein schwarzes Hintergrundraster aus punkten. Wie bei einem Druck auf Papier. Aber ich glaube, ganz minimal ist das auch in Nativ zu finden, also evtl. interpretiert DLSS da irgendwas, was eig. gar nicht da sein sollte. Ich finde, da gibt es in diesem Bild noch ein paar Stellen, an denen komische Artefakte auftreten, die dann durch DLSS verstärkt werden. Man könnte jetzt sagen, das ist nicht die Schuld von DLSS.

[Gebrechlichkeit]

Ohne FPS Angabe, ohne 300% Zoom bringen solche "Voll Bilder" IQ-Vergleiche nix. Alle liefern ein gutes Bild ab. Flimmert es? (GamerNexus) (https://youtu.be/KCzjQ4qP124?t=907)

[Platos]

Die Bilder sind nicht gezoomt. Und nein, tun sie nicht. Auf 1440p sehen manche richtig schlecht aus. Auf 8k vlt schon, aber alles andere wäre ja irgendwie auch erbärmlich auf 8k.

[Geldmann3]

So, wenn man schon vom Teufel spricht, zoome ich mal ein bisschen. ;D

https://i.ibb.co/ggrjvSG/DLSSCompare3.png (https://i.ibb.co/XJW2y79/DLSSCompare3.png)

Ich finde DLSS Qualität und Nativ+TAA sind in 8k etwa gleich auf, sie liefern sich auf jeden Fall einen Schlagabtausch.

Wusstet ihr, dass AMD der Presse ,,empfohlen" hat bei FSR-Tests nicht zu zoomen?
Das würde schließlich nicht der Praxis entsprechen.

Klar, wie ich euch kenne, habt ihr das bestimmt gelesen. :wink:

Ich halte das für genauso manipulativ von AMD, wie ich es von Intel für manipulativ hielt, Cinebench nicht zu vergleichen, da es keine ,,Real World Performance" sei. Dabei war Cinebench jahrelang deren Vorzeigebenchmark, bis man eben verlor. :rolleyes:

Wobei praktisch selbstverständlich Wahrheit dahinter steckt. :wink:

[Tobalt]

Der Intel Vergleich kam mir auch direkt in den Sinn :biggrin: aber OT hier..

Welche Stufe von DLSS ist der Zoom Shot ? Finde den schon deutlich schlechter als Nativ+TAA, wobei ich gerade bei 1440p und 2160p DLSS öfter auch mal vor Nativ sehe.

[Geldmann3]

Der Intel Vergleich kam mir auch direkt in den Sinn :biggrin: aber OT hier..

Welche Stufe von DLSS ist der Zoom Shot ? Finde den schon deutlich schlechter als Nativ+TAA, wobei ich gerade bei 1440p und 2160p DLSS öfter auch mal vor Nativ sehe.

Das Bild unten ist ein Ausschnitt aus dem 8k Screenshot oben und entspricht DLSS Qualität.

[Gast]

Interessanterweise sehe ich in 8k plötzlich, total Kontraintuitiv, wie DLSS gegen das native Bild verliert, als würde es bei solch einer hohen Auflösung weniger effizient arbeiten.


Du darfst natürlich nicht 8k auf einem Low-Density Screen in 100% vergleichen.

Mit 8k skalierst du nicht mehr den Bildschirm nach oben, sondern erhöhst die Pixeldichte bei gleicher Screen-Größe.

Wenn du 8k auf einem QHD-Screen in 100% anschaust ist es logisch dass es beschissen aussieht, dass entspricht ja effektiv schon einem 300% Zoom.

[Gast]

Bin gerade auf etwas Interessantes gestossen: Man kann neuere DLSS-DLLs mit alten Spielen verwenden, z.B. funktioniert DLSS DLL 2.1.39.0 von Cyberpunk mit Death Stranding was 2.1.19.0 benutzt normalerweise. Und zumindest bilde ich mir ein, dass es die Qualitaet verbessert.

[Lurtz]

Wusstet ihr, dass AMD der Presse ,,empfohlen" hat bei FSR-Tests nicht zu zoomen?
Das würde schließlich nicht der Praxis entsprechen.
Quelle?

[Geldmann3]

Quelle?

Randnotiz: Im Begleitmaterial für Tester rät AMD davon ab, Bildvergleiche mit Vergrößerungen anzustellen. Der Eindruck bei normalen Betrachtungsabständen sei maßgeblich. Das ist zwar richtig, da PCGH jedoch zur Fraktion der Pixelzähler gehört, arbeiten wir selbstverständlich auch mit vergrößerten Ausschnitten, um die Rekonstruktionseigenschaften zu bewerten (ohne Resampling).
Quelle: www.pcgameshardware.de (https://www.pcgameshardware.de/FidelityFX-Super-Resolution-Software-277617/Specials/FSR-vs-DLSS-Test-Vergleich-Benchmark-Review-1374282/)

Außerdem habe ich es bereits von mehreren Youtubern gehört.

[anddill]

Hat nur keine Sau gemacht, in allen Videos die ich gesehen habe wurde gezoomt. Was ja auch sinnvoll ist, wenn man relativ kleine Unterschiede in einem komprimierten Video unbekannter Abspielauflösung präsentieren möchte.

[Geldmann3]

Hat nur keine Sau gemacht, in allen Videos die ich gesehen habe wurde gezoomt. Was ja auch sinnvoll ist, wenn man relativ kleine Unterschiede in einem komprimierten Video unbekannter Abspielauflösung präsentieren möchte.

Ja, ich vermute das ist für die Tester auch wirklich zu viel verlangt, immerhin sind schöne Vergleichbildchen und Videos, in denen man Unterschiede erkennt, das gewesen, worauf alle gewartet haben. Außerdem ist es bei AMD eher unüblich die Reviewer in irgendwelchen Knebelverträgen zu halten, sodass sie Vorteile verlieren, wenn sie sich nicht an die Regeln halten. Doch in diesem Fall hätten die Reviewer sich bestimmt auch bei Nvidia oder Intel ins eigene Fleisch geschnitten, wenn sie sich so einschränken lassen.

Das ist als ob Du RTINGS sagen würdest, dass sie bitte keine Bildvergleiche für den Kontrast, den Schwarzwert und das Local-Dimming von TVs durchführen sollen.
Denn was am Ende zähle, sei schließlich der subjektive Eindruck.

[Platos]

Ist dann ja quasi ein ofizielles Eingeständniss, daas FSR schlecht(er) ist ^^

[Geldmann3]

Hier mal ein interessanter Bildvergleich, welcher zeigt, wie die unterschiedlichen Upscaling-Technologien mit der großen Herausforderung umgehen, ein 540p Bild nach 1080p hochzurechnen.

Zur Auswahl stehen:

16xOGSSAA (Als Referenz)
Nativ + TAA
DLSS-Performance
TSR Performance
State of the Art AI Upscaling
Bilineares Upscaling

https://i.ibb.co/VxbQg93/Compare.png (https://imgsli.com/NTg2ODM/2/3)

TSR liefert ein recht ausgefranstes Ergebnis.

DLSS Performance liefert noch einen recht guten Kampf mit dem nativen Bild ab, verliert an den meisten Stellen jedoch leicht.

Das bilineare Ergebnis ist einfach nur unscharf, der einzige Vorteil dabei ist die Freiheit von jeglichen Artefakten.

Das AI Upscaling liefert recht gute Ergebnisse dafür, dass es nicht mehr Informationen als der bilineare Filter zur Verfügung stehen hat. Wirkt jedoch ein wenig so, als hätte man einen zu starken ,,unscharf maskieren" Filter angewendet und eventuell etwas stilisiert.
Es wurde übrigens mit der aktuellen Version von AI-Gigapixel durchgeführt, sollte also so ziemlich das maximale Potenzial von dem zeigen, zu dem DLSS 1.0 in der Lage gewesen wäre, wenn man die Technologie irgendwann perfektioniert hätte und nie auf ein temporales Verfahren gewechselt hätte.

[Tobalt]

Das bilineare Ergebnis ist einfach nur unscharf, der einzige Vorteil dabei ist die Freiheit von jeglichen Artefakten.

Das AI Upscaling liefert recht gute Ergebnisse dafür, dass es nicht mehr Informationen als der bilineare Filter zur Verfügung stehen hat. Wirkt jedoch ein wenig so, als hätte man einen zu starken ,,unscharf maskieren" Filter angewendet und eventuell etwas stilisiert.
Es wurde übrigens mit der aktuellen Version von AI-Gigapixel durchgeführt, sollte also so ziemlich das maximale Potenzial von dem zeigen, zu dem DLSS 1.0 in der Lage gewesen wäre, wenn man die Technologie irgendwann perfektioniert hätte und nie auf ein temporales Verfahren gewechselt hätte.
ich finde den AI Upscaler maßlos überschärft. das sieht schon im Screenshot doof aus und würde in Bewegung wohl noch mieser sein. da ist bilinear fast noch besser.

FSR wäre deutlich besser als beide

[mboeller]

...aktuellen Version von AI-Gigapixel durchgeführt

Wie lange hat das gedauert (ms oder sec). Viele AI-SR Verfahren brauchen sehr lange nachdem was ich gelesen habe.

[Geldmann3]

ich finde den AI Upscaler maßlos überschärft. das sieht schon im Screenshot doof aus und würde in Bewegung wohl noch mieser sein. da ist bilinear fast noch besser.

FSR wäre deutlich besser als beide

Ich habe festgestellt, dass es auf den Sitzabstand ankommt.
Direkt vor dem TV sieht Bilinear für mich tatsächlich besser aus, doch etwas weiter entfernt, bei ,,Couchabstand" oder auf Mobilgeräten springt einem die Überschärfung des AI-Upscalers nicht mehr so in die Fresse und es sieht besser aus. Natürlich sind beides suboptimale Lösungen. Ob FSR besser wäre weiß ich nicht, das verkackt im Performance-Modus schon ziemlich hart in 1080p.

Wie lange hat das gedauert (ms oder sec). Viele AI-SR Verfahren brauchen sehr lange nachdem was ich gelesen habe.

Eher Sekunden. Daher habe ich dazugeschrieben, dass es so ziemlich das maximale Potenzial darstellt, was mit einem AI-Upscaler jemals in Echtzeit zu erreichen wäre.

[Dampf]

Hier mal ein interessanter Bildvergleich, welcher zeigt, wie die unterschiedlichen Upscaling-Technologien mit der großen Herausforderung umgehen, ein 540p Bild nach 1080p hochzurechnen.

Zur Auswahl stehen:

16xOGSSAA (Als Referenz)
Nativ + TAA
DLSS-Performance
TSR Performance
State of the Art AI Upscaling
Bilineares Upscaling

https://i.ibb.co/VxbQg93/Compare.png (https://imgsli.com/NTg2ODM/2/3)

TSR liefert ein recht ausgefranstes Ergebnis.

DLSS Performance liefert noch einen recht guten Kampf mit dem nativen Bild ab, verliert an den meisten Stellen jedoch leicht.

Das bilineare Ergebnis ist einfach nur unscharf, der einzige Vorteil dabei ist die Freiheit von jeglichen Artefakten.

Das AI Upscaling liefert recht gute Ergebnisse dafür, dass es nicht mehr Informationen als der bilineare Filter zur Verfügung stehen hat. Wirkt jedoch ein wenig so, als hätte man einen zu starken ,,unscharf maskieren" Filter angewendet und eventuell etwas stilisiert.
Es wurde übrigens mit der aktuellen Version von AI-Gigapixel durchgeführt, sollte also so ziemlich das maximale Potenzial von dem zeigen, zu dem DLSS 1.0 in der Lage gewesen wäre, wenn man die Technologie irgendwann perfektioniert hätte und nie auf ein temporales Verfahren gewechselt hätte.

Das ist auch die größte Stärke von DLSS meiner Meinung nach. Dass bei so einer geringen Input-Auflösung noch ein gutes Bild zustande kommt.

Ich persönlich benutze nur die Performance-Presets von DLSS sowohl auf 1440p als auch 1080p und es sieht echt noch sehr gut aus. Damit hole ich die meiste Performance aus meiner Kiste, die sie für Raytracing braucht. Ist IMO der Best Bang for the Buck.

Bei FSR oder auch TSR sind 540p zu 1080p oder auch 720p zu 1440p undenkbar, das sieht scheußlich aus.

[Troyan]

Ist auch logisch. FSR ist dummes Upscaling. 1080p -> 2160p hat nur 1/4 der Informationen. Was soll FSR dann auch machen, wenn 3/4 der Pixelinformationen fehlen?

[Platos]

@ Geldmann: Also DLSS hat da wo das Licht einfällt (hinten) ganz komische Fehler. Schau dir mal die Oberfläche vs. nativ an. In Nativ ist da einfach das Licht, bei DLSS siehts aus, als wäre da ein Gitterartiger Schatten. Bei TSR siehts ja noch schlimmer aus.

Bilinear ist zwar blurry, aber dafür hat es diese üblen Fehler nicht. Und AI Upscaled verändert m.M.n den Stil. Es sieht viel zu überschärft aus.

Sieht das bei DLSS Quality auch so aus mit dem "Schattengitter" ? Ist das eig. grundsätzlich so bei DLSS? Denn das hattest du auch schon bei den letzten Bildern oder liegt das irgendwo anders ? Das sieht für mich total beschissen aus so. Ich habe das gefühl, das Licht scheint durch ein Fliegengitter durch. Es verändert komplett die Szene.

[BlacKi]

Hier mal ein interessanter Bildvergleich, welcher zeigt, wie die unterschiedlichen Upscaling-Technologien mit der großen Herausforderung umgehen, ein 540p Bild nach 1080p hochzurechnen.

Zur Auswahl stehen:

16xOGSSAA (Als Referenz)
Nativ + TAA
DLSS-Performance
TSR Performance
State of the Art AI Upscaling
Bilineares Upscaling

https://i.ibb.co/VxbQg93/Compare.png (https://imgsli.com/NTg2ODM/2/3)

TSR liefert ein recht ausgefranstes Ergebnis.

DLSS Performance liefert noch einen recht guten Kampf mit dem nativen Bild ab, verliert an den meisten Stellen jedoch leicht.

Das bilineare Ergebnis ist einfach nur unscharf, der einzige Vorteil dabei ist die Freiheit von jeglichen Artefakten.

Das AI Upscaling liefert recht gute Ergebnisse dafür, dass es nicht mehr Informationen als der bilineare Filter zur Verfügung stehen hat. Wirkt jedoch ein wenig so, als hätte man einen zu starken ,,unscharf maskieren" Filter angewendet und eventuell etwas stilisiert.
Es wurde übrigens mit der aktuellen Version von AI-Gigapixel durchgeführt, sollte also so ziemlich das maximale Potenzial von dem zeigen, zu dem DLSS 1.0 in der Lage gewesen wäre, wenn man die Technologie irgendwann perfektioniert hätte und nie auf ein temporales Verfahren gewechselt hätte.
warum lässt du keinen fps counter im bild. dann kann man gleich die performance bewerten. es ist nicht eine qualitäts diskussion, sondern eine Q vs P.

[Platos]

Sagt wer? Es geht (hier) eher um die verschiedenen Upscaler und wie diese das Bild upscalen/rekonstruieren.

Abgesehen davon: Wenn solche Fehller entstehen wie bei TSR oder DLSS Perfomance oben im Bild (Gitterschatten anstatt Lichtstelle), dann kann man die Perfomance eig. ignorieren, denn so ein Bild sollte man dann sowieso nicht haben wollen.

[Troyan]

Das AI Upscaling liefert recht gute Ergebnisse dafür, dass es nicht mehr Informationen als der bilineare Filter zur Verfügung stehen hat. Wirkt jedoch ein wenig so, als hätte man einen zu starken ,,unscharf maskieren" Filter angewendet und eventuell etwas stilisiert.
Es wurde übrigens mit der aktuellen Version von AI-Gigapixel durchgeführt, sollte also so ziemlich das maximale Potenzial von dem zeigen, zu dem DLSS 1.0 in der Lage gewesen wäre, wenn man die Technologie irgendwann perfektioniert hätte und nie auf ein temporales Verfahren gewechselt hätte.

DLSS 1.0 war besser, weil es spezifisch für sowas trainiert worden wäre. Du müsstest also erstmal das AI-Upsampling mit Vergleichsbildern füttern.

Ansonsten überzeugt DLSS@Performance einfach. Beeindruckend, was aus 1/4 an Informationen mit einem generalisierten Netzwerk und temporalen Informationen alles rekonstruiert werden kann.

[Geldmann3]

@ Geldmann: Also DLSS hat da wo das Licht einfällt (hinten) ganz komische Fehler. Schau dir mal die Oberfläche vs. nativ an. In Nativ ist da einfach das Licht, bei DLSS siehts aus, als wäre da ein Gitterartiger Schatten. Bei TSR siehts ja noch schlimmer aus.

Bilinear ist zwar blurry, aber dafür hat es diese üblen Fehler nicht. Und AI Upscaled verändert m.M.n den Stil. Es sieht viel zu überschärft aus.

Sieht das bei DLSS Quality auch so aus mit dem "Schattengitter" ? Ist das eig. grundsätzlich so bei DLSS? Denn das hattest du auch schon bei den letzten Bildern oder liegt das irgendwo anders ? Das sieht für mich total beschissen aus so. Ich habe das gefühl, das Licht scheint durch ein Fliegengitter durch. Es verändert komplett die Szene.

Ja, das Schattengitter kommt tatsächlich von DLSS bzw. TSR, fiel mir ebenfalls direkt ins Auge. Komischerweise ist das jedoch die einzige Stelle, an der ich das je beobachten konnte. Mit den Qualitätsmodi tritt dieses Schattengitter ebenfalls auf, nur weniger stark.

Hier ein weiterer Bildvergleich, welcher zeigt, wie die unterschiedlichen Upscaling-Technologien damit umgehen, ein 720p Bild nach 1080p hochzurechnen.

Zur Auswahl stehen:

16xOGSSAA (Als Referenz)
Nativ + TAA
DLSS-Qualität
TSR Qualität
State of the Art AI Upscaling
Bilineares Upscaling
Nearest Neighbor Upscaling

https://i.ibb.co/VxbQg93/Compare.png (https://imgsli.com/NTg3NTQ/5/4)

TSR liefert wieder ein recht ausgefranstes Ergebnis. Es enttäuscht mich in dieser Szene sehr. Wo mit DLSS noch Grashalme zu erkennen sind, zeigt TSR teils nur noch eine wilde Pixeltapete.

DLSS Qualität liefert wieder einen recht guten Kampf mit dem nativen Bild ab, verliert diesen jedoch insgesamt. Der Fliegengittereffekt beim eintretenden Licht ist sowohl mit DLSS als auch mit TSR, auch im Qualitätsmodus, noch leicht vorhanden.

Auch das AI-Upscaling enttäuscht mich hier. Es hat keine Chance gegen die temporalen Verfahren, obwohl es nun mehr Auflösung zu Verfügung hat.

Dementgegen fahre ich gerade übrigens ein paar Tests mit AI-Upscaling vs AMDs FSR Performance in 4k, hier gewinnt das AI-Upscaling in meinen Augen. Dazu aber später mehr.

warum lässt du keinen fps counter im bild. dann kann man gleich die performance bewerten. es ist nicht eine qualitäts diskussion, sondern eine Q vs P.

Das war sogar erst mein Plan, doch Zitat aus meinem Eingangspost:
Auch solltet ihr euch nicht von der angezeigten Framerate verwirren lassen, denn in dem Moment, in welchem ich einen Screenshot nahm, brach diese extrem ein. (Die UE5 geht in eine Art-Sparmodus, wenn sie nicht im Fokus ist.)

Daher bin ich in späteren Bildern dazu übergegangen den Framecounter auszublenden und die ,,High Resolution Screenshot..." Funktion der UE zu verwenden. So sind die Bilder auch immer 100% gleich positioniert. Natürlich sollte es möglich sein auch Screenshots mit akkuraten Messungen anzufertigen. Das passte nur gerade nicht zu meinem Workflow in der UE.

[Platos]

Ja, das Schattengitter kommt tatsächlich von DLSS bzw. TSR, fiel mir ebenfalls direkt ins Auge. Komischerweise ist das jedoch die einzige Stelle, an der ich das je beobachten konnte. Mit den Qualitätsmodi tritt dieses Schattengitter ebenfalls auf, nur weniger stark.

Also komisch ist das hier vor allem, da das native Bild diesen Effekt kein bisschen aufzeigt.

Bei deinem letzten Vergleich in 8k (die Bilder mit der Strasse und dem Känguruschild) gab es unten rechts bei DLSS und TSR auch solche Gitterschatten (z. unter Ästen), allerdings waren das dort auch wirklich Schatten (und das native Bild hatte diese Gitterstruktur auch ganz leicht und DLSS hat das dann irgendwie "verstärkt").

Ich glaube, DLSS neigt manchmal dazu irgendwelche Artefakte zu verstärken (die aber zugegebenermassen auch schon in Nativ da sind). ABer bin jetzt kein DLSS Analyse-Spezialst ^^

Aber wenn ich deine Bilder alle bisher summiere, muss ich sagen, kommt für mich nur DLSS Quality in Frage. Aber das ist wohl Geschmackssache.

[aufkrawall]

Ich glaube, DLSS neigt manchmal dazu irgendwelche Artefakte zu verstärken (die aber zugegebenermassen auch schon in Nativ da sind). ABer bin jetzt kein DLSS Analyse-Spezialst ^^

Das kann leider auch nicht anders sein, wenn die Artefakte auch ganz ohne irgendein Scaling/Sampling schon in niedriger nativer Auflösung auftreten. Da ist eine der Herausforderungen, die Entwickler bestehen müssen, um möglichst hohe Qualität mit DLSS oder TSR abliefern zu können.

[unl34shed]

Das ist ja das tolle mit Machine Learning. Da kommt am Ende ein Stück Code raus und man weiß nicht so Recht was es wirklich macht.

[Geldmann3]

Also komisch ist das hier vor allem, da das native Bild diesen Effekt kein bisschen aufzeigt.

Bei deinem letzten Vergleich in 8k (die Bilder mit der Strasse und dem Känguruschild) gab es unten rechts bei DLSS und TSR auch solche Gitterschatten (z. unter Ästen), allerdings waren das dort auch wirklich Schatten (und das native Bild hatte diese Gitterstruktur auch ganz leicht und DLSS hat das dann irgendwie "verstärkt").

Ich glaube, DLSS neigt manchmal dazu irgendwelche Artefakte zu verstärken (die aber zugegebenermassen auch schon in Nativ da sind). ABer bin jetzt kein DLSS Analyse-Spezialst ^^

Aber wenn ich deine Bilder alle bisher summiere, muss ich sagen, kommt für mich nur DLSS Quality in Frage. Aber das ist wohl Geschmackssache.

Die Szene wurde ursprünglich in der UE4 designed und ich habe sie schnell in die UE5 portiert. Sie war nie dafür optimiert mit Lumen zusammenzuarbeiten. Eventuell spielt das hier einfach nicht gut mit DLSS und TSR zusammen. Auch ist die UE5 ja noch im Early Access und daher sind die Bilder alle mit etwas Vorsicht zu betrachten. Ich kann mir vorstellen, dass Epic Games in den nächsten 1 - 2 Jahren noch massiv optimiert. Andererseits ist solches Upscaling ja schon etwas, was in den unterschiedlichsten Szenen, out-of-the-Box funktionieren soll. So gesehen ist es vielleicht nicht repräsentativ für ein gut optimiertes Spiel, doch heute ist das meiste eben nicht toll optimiert, weshalb die Out-Of-The-Box Performance schon wichtig ist.

[Platos]

Ist natürlich möglich, da kenne ich mich zu wenig aus. Aber DLSS Quality sieht (zumindest auf Standbildern) im Grunde ziemlich gut aus. Quasi etwa gleich wie Nativ und mehr FPS gratis oben drauf.

Bestätigt sich hiermit (neben ein paar Artefakten) nur wieder einmal.

Müsste nur noch GPUs zu kaufen geben (mit genügend Speicher, also abgesehen von der 3090 nur die 3060).

[Gast]

Das kann leider auch nicht anders sein, wenn die Artefakte auch ganz ohne irgendein Scaling/Sampling schon in niedriger nativer Auflösung auftreten. Da ist eine der Herausforderungen, die Entwickler bestehen müssen, um möglichst hohe Qualität mit DLSS oder TSR abliefern zu können.
Ausser dass man die Daten richtig durchgibt (HDR-Color, Bewegungs-Vektoren, Exposure, Z-Buffer) hat man darauf als Entwickler herzlich wenig Einfluss darauf. NVIDIA gibt einem eine DLSS-Black-Box-DLL und das war's.

[Achill]

Ist natürlich möglich, da kenne ich mich zu wenig aus. Aber DLSS Quality sieht (zumindest auf Standbildern) im Grunde ziemlich gut aus. Quasi etwa gleich wie Nativ und mehr FPS gratis oben drauf.

Bestätigt sich hiermit (neben ein paar Artefakten) nur wieder einmal.

Müsste nur noch GPUs zu kaufen geben (mit genügend Speicher, also abgesehen von der 3090 nur die 3060).

Standbilder, am Besten noch ohne Überlagerungen (kein Blending), ist nach meinen Verständnis ein Optimum für temporale Rekonstruktion wie DLSS.

[-/\-CruNcher-/\-]

Achill mal wieder ;)

[TheAntitheist]

Also erst mal herzliches Dankeschön an Geldmann für die ganze Arbeit, das ist wirklich nicht wenig!
Und wie verdammt gut ist bitte DLSS geworden... eine absolute Frechheit. Für mich sieht ja TSR dagegen sogar schlecht aus, obwohl ich das eigentlich ziemlich gut fand, aber keine chance gegen DLSS. Dafür läuft TSR aber auch über die Shader und kostet kaum performance. Dennoch hab ich lieber Tensor kerne die mich 50€ mehr kosten

[Troyan]

DLSS hat den Vorteil, dass man das Netzwerk hat und das hochskalierte Bild als Input zusätzlich verwendet wird. Es werden einfach viel mehr Informationen ausgewertet und verarbeitet, die bei anderen Verfahren nicht vorliegen.

Das hilft vorallem, wenn man wirklich Super Resolution machen will - also auf die 4x Auflösung skalieren möchte.

[Tobalt]

Meine Frau schaut aktuell mal wieder Star Trek Enterprise -> Der "temporale kalte Krieg" ist nichts gegen die letzten 3 Threads im Technologie Forum ;)

[Gast]

DLSS hat den Vorteil, dass man das Netzwerk hat und das hochskalierte Bild als Input zusätzlich verwendet wird. Es werden einfach viel mehr Informationen ausgewertet und verarbeitet, die bei anderen Verfahren nicht vorliegen.

Das hilft vorallem, wenn man wirklich Super Resolution machen will - also auf die 4x Auflösung skalieren möchte.
So funktioniert das nicht. Die zusätzliche Auflösung kommt vom Subpixel-Jitter nicht weil das hochskalierte Bild als Input verwendet wird. Wird es nicht.

[Tobalt]

Diese "zusätzliche" Auflösung gibt es ja gefühlt schon seit der ersten Iterationen von TAA. Nutzten die auch schon veränderliche Subpixel Positionen pro Frame oder wie wurde das vor 10 Jahren gelöst?

(Ich kann mich dunkel an eine Demo erinnern die FXAA, SMAA und TAA verglich.. ich glaube von nV. Besonders eingebrannt hat sich in mein Hirn eine gezoomte Videosequenz mit einem Stück Zaun-Textur. Nur TAA konnte gegen die bösen Alpha-Texturen was ausrichten :D)

Edit: nicht das Video, was ich meinte, aber: TAA v no AA in Fallout 4 von 2015 (https://www.youtube.com/watch?v=D8dkM31Q2mI). Obwohl ich das Video doch für kurz und informativ halte, wird es in den Comments und Likes/Dislikes zerrissen vom informierten Youtube-Mob ;)

[BTB]

DLSS hat auch den Vorteil dass man sich das leicht merken kann :D

Vorher FXAA, SMAA und TAA oder was weiss ich. Hatte mich damit nicht wirklich beschäftigt und da eigentlich nie was benutzt was nicht per Default aktiviert war.

Jetzt ist einfach Dlss rulez all, fertig

[Troyan]

So funktioniert das nicht. Die zusätzliche Auflösung kommt vom Subpixel-Jitter nicht weil das hochskalierte Bild als Input verwendet wird. Wird es nicht.

Doch, siehe hier:

A special type of AI network, called a convolutional autoencoder, takes the low resolution current frame, motion vectors, and the high resolution previous frame, to determine on a pixel-by-pixel basis how to generate a higher resolution current frame.
https://www.nvidia.com/en-us/geforce/news/june-2021-rtx-dlss-game-update/

[Gast]

Diese "zusätzliche" Auflösung gibt es ja gefühlt schon seit der ersten Iterationen von TAA. Nutzten die auch schon veränderliche Subpixel Positionen pro Frame oder wie wurde das vor 10 Jahren gelöst?

Klar das ist das grundsätzliche Prinzip wie TAA funktioniert.

DLSS ist nichts anderes als "TAA on Steroids".
Dank dem NN kann man offenbar wesentlich mehr Informationen aus vorherigen Frames verwenden ohne dass es zu Artefakten kommt, bzw. "Lücken" in denen keine Informationen aus vorherigen Frames zur Verfügung stehen werden davon "aufgefüllt" anstatt das Ergebnis zu blurren um Artefakte zu unterdrücken.

[Gast]

Doch, siehe hier:

https://www.nvidia.com/en-us/geforce/news/june-2021-rtx-dlss-game-update/

Steht ja sogar genau das da. Motion-Vecors + "High Resolution Previous frame" sind genau die Informationen die über die veränderten Subpixel-Abtastpunkte ermittelt werden.

Das "ich weiß wie hohe Auflösung aussieht und kann daher aus einem low res Image erraten wie es aussehen sollte" kommt nur mehr insoweit zum Einsatz, dass damit Abtastlücken, die eben nicht von den Previous Frames und Motion Vectors abgedeckt werden gefüllt werden.

[basix]

Jop, ist ein zusätzlicher Input für das Netzwerk. Macht auch Sinn, da Frame zu Frame in einem Grossteil der Fälle nicht dramatische Szenenwechsel vorkommen.

Was man aber aufpassen muss: Die Nutzung des Previous Frame stellt eine Art eines positiven Feedback Loops dar. Im schlimmsten Fall schaukelt man also Fehldarstellungen immer mehr auf.

[Gast]

Im schlimmsten Fall schaukelt man also Fehldarstellungen immer mehr auf.

Das ist ja genau das was mit den falschen Motion-Vektoren passiert.

[iamthebear]

1.)

Standbilder, am Besten noch ohne Überlagerungen (kein Blending), ist nach meinen Verständnis ein Optimum für temporale Rekonstruktion wie DLSS.

Wenn man nur nach der Upscaling Qualität geht hast du Recht. Während framebasierte Upscalingverfahren wie FSR in der Theorie immer die gleiche Qualität produzieren lässt bei temporalen Verfahren die Qualität in der Bewegung nach bzw. es können diverse Artefakte auftreten.

Was man jedoch bedenken sollte ist: DLSS und TSR sind gleichzeitig auch eine AA Lösung. Wenn ich FSR einsetze, so wird man das vermutlich mit TAA kombinieren müssen, was erst wieder die temporalen Nachteile hat. Das Ganze ist sogar noch schlimmer, da alle Probleme, die TAA verursacht bereits in der Renderauflösung verursacht werden und durch FSR noch weiter verstärkt werden.

2.) Was man bei der ganzen Betrachtung nicht außer Acht lassen darf ist der Performance Overhead für das Upscaling.
Bei sehr komplexen RT Szenen fällt das nicht mehr stark ins Gewicht aber wenn man z.B. versucht mit einer schwächeren Karte wie der 2060 ein eher unanspruchsvolles Spiel wie Death Stranding auf 4K zu skalieren, dann ist das schon ein Thema.

Angenommen der Overhead von DLSS ist größer, dann ist es z.B. möglich, dass man DLSS im Balanced Mode betreiben muss, während TSR oder FSR bei gleicher Framerate im Quality Mode arbeiten können.
Die Frage ist jedoch, ob sich die Performancefrage in einer Demo wirklich sinnvoll klären lässt, da das nur mäßig repräsentativ ist.

[Gast]

Angenommen der Overhead von DLSS ist größer, dann ist es z.B. möglich, dass man DLSS im Balanced Mode betreiben muss, während TSR oder FSR bei gleicher Framerate im Quality Mode arbeiten können.
Angenommen der Overhead von DLSS ist zwar größer, aber kann dank Tensorcores parallel abgearbeitet werden ohne Shaderleistung zu fressen, dann wäre die endgültige Framerate vielleicht sogar höher ;)

[basix]

In der Theorie wird DLSS mit steigender Tensor Core Performance (mehr Cores, Sparsity Feature, stärker optimiertes Netzwerk) fast gratis.

Wieso nur fast: Bandbreite. Die muss mit den Shader Cores geteilt werden. Je nach Grösse des Netzwerks kann man das aber gut mit Caches verstecken (welche auch immer Grösser werden).

[aufkrawall]

Mit Ampere ist in Legion DLSS Q schon schneller als TAAU 65% (71 vs. 68fps)

Edit: Wobei die Prozentanzeige in Legion Müll ist. Laut dem Optionsmenü würde erst 45% 960p (also DLSS Q) entsprechen. :freak:
Damit sind es dann 62,8 vs. 66,2fps (neue Szene). Da ist bei DLSS allerdings auch noch negatives LOD-Bias mit drin, was etwas kostet.

[Gast]

In der Theorie wird DLSS mit steigender Tensor Core Performance (mehr Cores, Sparsity Feature, stärker optimiertes Netzwerk) fast gratis.

Wieso nur fast: Bandbreite. Die muss mit den Shader Cores geteilt werden. Je nach Grösse des Netzwerks kann man das aber gut mit Caches verstecken (welche auch immer Grösser werden).

DLSS wird nie gratis sein, und nicht wegen der Bandbreite, die ist kein Problem, sondern in der Regel sogar überdimensioniert, sondern weil Tensor Cores entgegen der Annahme von vielen eben nicht nur für DLSS verwendet werden, sondern auch für normale Shader.

Alle FP16 Befehle laufen über die Tensor-Cores, nicht nur die speziellen Tensor-Befehle.

[Ravenhearth]

Mit Ampere ist in Legion DLSS Q schon schneller als TAAU 65% (71 vs. 68fps)

Edit: Wobei die Prozentanzeige in Legion Müll ist. Laut dem Optionsmenü würde erst 45% 960p (also DLSS Q) entsprechen. :freak:
Damit sind es dann 62,8 vs. 66,2fps (neue Szene). Da ist bei DLSS allerdings auch noch negatives LOD-Bias mit drin, was etwas kostet.
Ja, die Prozentanzeige in Legion bezieht sich im Gegensatz zu den meisten anderen Spielen nicht auf die Auflösung pro Achse, sondern auf die insgesamte Pixelmenge.

[basix]

DLSS wird nie gratis sein....

Bleibt die benötigte Rechenleistung konstant und wird die HW immer schneller, tendiert es naturgemäss in Richting "gratis".

[The_Invisible]

Angeblich doch nicht jede neue Version automatisch besser: https://twitter.com/Dachsjaeger/status/1410272673746370570

Hab die 2.2.9.0 mal in Metro:EE versucht und keine Auffälligkeiten gesehen, muss bei mir aber nix heißen ; )

[aufkrawall]

2.2.9 wird bislang allerdings mit keinem Spiel geshippt. Hoffen wir mal, dass bald noch bessere Versionen als 2.2.6 erscheinen werden.

[TheAntitheist]

2.2.9 wird bislang allerdings mit keinem Spiel geshippt. Hoffen wir mal, dass bald noch bessere Versionen als 2.2.6 erscheinen werden.
ja werden noch ein paar updates kommen, das hat ja jemand schon gezwitschert der bei Nvidia arbeitet. zB. das DLSS in reflexionen arbeiten wird etc.

[Morgenlicht]

Auf den heutigen 3DCenter-News (https://www.3dcenter.org/news/hardware-und-nachrichten-links-des-5-juli-2021); unter der Link-Rubrik Files, läßt sich von www.techpowerup.com/download/nvidia-dlss-dll/ (https://www.techpowerup.com/download/nvidia-dlss-dll/) herunterladen:nvngx_dlss.dll --- v2.2.10.0 --- 05. Juli 2021

[Der HeinZ]

Extreme viel Arbeit, alter Vatter. Respekt für den Bericht
zu AI upscaling: Das sieht genauso aus wie das Upscaling der NVIDIA Shield. ;)
Funktioniert super bei digitalem Material, aber bei analog gefilmten Serien oder aber bei interlaced Videos :ulol: (Voyager Serie) verkackt das so unglaublich, dass ich das immer ausschalten muss. Vorallem ist die Skalierung von 480i auf 4Kp besser als die Skalierung von 480i auf 1080p, daher ist das so eine Sache auf meinem FullHD Fernseher soetwas einzusetzen.
Das sieht manchmal gruselig aus. ;)
Gruss Matthias

[Iscaran]

Zur Auswahl stehen:

16xOGSSAA (Als Referenz)
Nativ + TAA
DLSS-Qualität
TSR Qualität
State of the Art AI Upscaling
Bilineares Upscaling
Nearest Neighbor Upscaling

https://i.ibb.co/VxbQg93/Compare.png (https://imgsli.com/NTg3NTQ/5/4)


Super Bildervergleich! Danke für die viele Arbeit.


Dementgegen fahre ich gerade übrigens ein paar Tests mit AI-Upscaling vs AMDs FSR Performance in 4k, hier gewinnt das AI-Upscaling in meinen Augen. Dazu aber später mehr.


Das interessiert mich in der Tat sehr - am besten dann noch das gleiche Bild mit DLSS im Slidervergleich! :-).

:up:

[-/\-CruNcher-/\-]

Extreme viel Arbeit, alter Vatter. Respekt für den Bericht
zu AI upscaling: Das sieht genauso aus wie das Upscaling der NVIDIA Shield. ;)
Funktioniert super bei digitalem Material, aber bei analog gefilmten Serien oder aber bei interlaced Videos :ulol: (Voyager Serie) verkackt das so unglaublich, dass ich das immer ausschalten muss. Vorallem ist die Skalierung von 480i auf 4Kp besser als die Skalierung von 480i auf 1080p, daher ist das so eine Sache auf meinem FullHD Fernseher soetwas einzusetzen.
Das sieht manchmal gruselig aus. ;)
Gruss Matthias

Sie verbessern ja auch Real content stetig zudem sich viel Digital Content mit Real content ja immer mehr überschneidet.

CGI sieht schon lange nicht mehr so aus wie früher.

Die Unterscheidung fällt immer schwerer, schon bald wird es keine mehr für das Menschliche Auge und den großteil Gehirnen mehr geben.
Wir sehen schon jetzt teils unglaubliche konsistente Ergebnisse die unser Gehirn (verschiedene trainingslevel) teils nicht mehr in Frage stellt.

Möchte mir nicht ausmalen was uns Jensen und sein ML Team demnächst noch so präsentieren

[Lurtz]

Passt vielleicht so ungefähr hier ein.

Alex arbeitet an einem TAA-Video - das wird interessant ;)

https://pbs.twimg.com/media/GEsbWJ1bIAEg10q?format=jpg&name=4096x4096

https://pbs.twimg.com/media/GFA0MoXW0AAbZkE?format=jpg&name=4096x4096

Die Vegetation bekommt teils eine ganz andere Farbgebung.

[Exxtreme]

Da sieht man bereits die vollkommen überlegene Bildqualität von Supersampling. Echt schade, dass man nicht in diese Richtung geht.

[The_Invisible]

Wo willst die Leistung hernehmen, die 4090 kotzt ja schon in 4k native in UE5 Games...

[Troyan]

Da sieht man bereits die vollkommen überlegene Bildqualität von Supersampling. Echt schade, dass man nicht in diese Richtung geht.


Nö, man sieht einzig nur die, dass 4x mehr Samples besser sind. Gegen DLSS-Downsampling hat auch SSAA keine Chance mehr.

[Gast]

Da sieht man bereits die vollkommen überlegene Bildqualität von Supersampling. Echt schade, dass man nicht in diese Richtung geht.

Ähm ja, wir verbraten einfach mal die 8-fache Leistung nur um minimal besser zu sein als was DLSS eh schon kann.

[woodsdog]

Nö, man sieht einzig nur die, dass 4x mehr Samples besser sind. Gegen DLSS-Downsampling hat auch SSAA keine Chance mehr.

wo kann man denn 4x in Achse sinnvoll DLAA fahren? Ist doch genau so Diashow. SSAA im Beispiel ist als Referenz-Quali im Vergleich anzusehen, musst nicht überall den non-NV-Hateboner hochschnellen lassen. :P

[blaidd]

Die Vegetation bekommt teils eine ganz andere Farbgebung.

Solch Stuff wie die Ambient Occlusion wird dann allerdings auch in einer höheren Auflösung berechnet – respektive feiner.

Genau wie der ganze andere Post-Processing-Stuff, bei Crysis vielleicht auch die GI (das nutzt Light Propagation Volumes, wenn ich mich recht erinnere - feinere Auflösung, feinere Ausleuchtung).

[Exxtreme]

Ähm ja, wir verbraten einfach mal die 8-fache Leistung nur um minimal besser zu sein als was DLSS eh schon kann.

8-fache Leistung zu verbraten um 10x besser auszusehen ist IMHO ein guter Tausch. :) SSAA sieht halt nicht so aus als wenn man die Texturendetails auf "niedrig" gestellt hätte.

[Gast]

8-fache Leistung zu verbraten um 10x besser auszusehen ist IMHO ein guter Tausch. :)

Wäre es, nur ist die Realität weit davon entfernt, und je mehr Samples man nimmt desto größer wird er Gap zwischen Performancekosten und Qualitätssteigerung.

[The_Invisible]

Jetzt kommt Exxtreme sicher bald wieder mit seinem Uralt ESO Screenshot :D

[Exxtreme]

Jetzt kommt Exxtreme sicher bald wieder mit seinem Uralt ESO Screenshot :D
So alt ist der nicht! X-D

Ich kann auch BG3-Screenshots anfertigen. Da ist es exakt genauso.

Wäre es, nur ist die Realität weit davon entfernt, und je mehr Samples man nimmt desto größer wird er Gap zwischen Performancekosten und Qualitätssteigerung.


Selbst 4x SSAA verbessert die Bildqualität immens.

[Troyan]

Selbst 4x SSAA verbessert die Bildqualität immens.

Und verliert trotzdem gegen DLSS-Downsampling, weil DLSS-Performance eine viel bessere Sample-Verteilung sowie temporäre Informationen aufweist.

Brute-Force SSAA ist heutzutage einfach nur sinnlos.

[Relex]

Selbst 4x SSAA verbessert die Bildqualität immens.

Dann nimm 8x SSAA bzw. die dazu äquivalente Auflösung via Downsampling, kombiniere es mit DLSS Performance und du bekommst eine viel bessere Qualität als 4x SSAA zu vergleichbaren Kosten.

Man kann den Effizienzvorteil von TAA, DLSS und co. auch einfach in bessere Bildqualität investieren.

[robbitop]

DLAA soll bessere Ergebnisse erzielen als DLSS Performance und 2x2 Downsampling.

[Relex]

Woher die Annahme?

Man liest eigentlich überall ständig den Tipp dass man mit Downsampling + Upscaling bessere Qualität erzielt, als mit DLAA.

Und ich kann das eindeutig bestätigen.

DLAA erzeugt in Bewegung immernoch eine TAA typische Unschärfe. Mit z.B. DL-DSR + DLSS wird diese Unschärfe deutlich reduziert, selbst bei gleicher interner Renderauflösung.

[Exxtreme]

OK, hier mal ein Vergleich in Baldurs Gate 3:
https://imgsli.com/MjM2ODk2

Wobei das Standbilder sind und eigentlich zu scharf. In Bewegung sieht das nicht so gut aus.

Ich habe das aktualisiert, mehr Optionen eingebaut und bissl Bewegung eingebracht. :)