nVidias Deep Learning Super Sampling - DLSS 2.x und DLSS 3 [Archiv] - Seite 12

aufkrawall

2022-01-21, 18:37:17

Mit dem Schrott Sharpen rausgepatcht, sieht DLSS Performance in God of War immer noch deutlich besser aus als FSR UQ :D :
https://abload.de/thumb/gow_2022_01_21_18_26_dzkgk.png (https://abload.de/image.php?img=gow_2022_01_21_18_26_dzkgk.png) https://abload.de/thumb/gow_2022_01_21_18_26_7ykz0.png (https://abload.de/image.php?img=gow_2022_01_21_18_26_7ykz0.png)

(DLSS 2.2.11, LOD-Bias -1 Offset via Treiber, CAS via ReShade Stärke 0.6 und 2.0)

Sieht auch in Bewegung nicht besser aus mit FSR, im Gegenteil. Das TAA ist schon in nativen 1440p überfordert mit dem Bias von -1. Bei DLSS dürfte es netto noch weiter negativ verschoben sein, und es flimmert trotzdem weniger im Gras. DLSS Performance ist so mit 1440p-Monitor echt brauchbar, wenn es in so einem schlecht optimierten Spiel mal hart auf hart kommt.

Platos

2022-01-21, 18:43:36

aufkrawall

2022-01-21, 19:17:18

Ex3cut3r

2022-01-21, 19:41:50

:freak: ;D

Willst du damit etwa sagen, dass 3DCenter ist zu alt?

An mir liegt es nicht. ^^

basix

2022-01-21, 21:24:17

DLSS P ist schon sehr brauchbar, UP ist das einzig unbrauchbare DLSS.

Mit DLSS + Upsampling bekommt man aktuell die bestmögliche Qualität/Performance.

Jein. In 4K ist DLSS-P typischerweise ganz gut. In HZD muss ich sagen, ist es auch bei 1440p nicht so schlecht, einfach wegen der massiv verbesserten Bildruhe. Bei den meisten anderen Spielen ist DLSS-Q bei 1440p noch OK und darunter nimmt die Qualität deutlich ab (<=1080p, <DLSS-Q bei 1440p).

DLSS-B/P kann oftmals einiges rausholen, verliert aber <4K oftmals recht deutlich gegen nativ.

Perf/Qualität, ja da stimme ich dir zu. Die ist bei DLSS sehr gut. Aber wie oben beschrieben bei geringeren Ausgabeauflösungen qualitativ eben schlechter als nativ ;)

Wenn ich jetzt all meine subjektiven Erfahrungen mit DLSS in ein empirisch ermitteltes Gesetz ummünzen soll:
- DLSS fabriziert mit einer Renderauflösung >=1000p gute Resultate. Darunter scheint der Informationsgehalt nicht mehr optimal zu sein. Ausnahmen je nach Spiel gibt es aber, wo es auch mit geringerer Auflösung gute Ergebnisse gibt.
- DLSS fabriziert mit einer Renderauflösung >=1500p gute bis sehr gute Resultate
- Bei >=2000p ist es vermutlich von nativ kaum mehr zu unterscheiden, je nach dem sogar besser, nur noch geringe Neigung zu Artefakten. Zum Beispiel 4K DLSS-P -> 8K
- Obenstehendes gilt nur für DLSS-P/B/Q. UP ist hier ausgenommen.

Gehört aber zur Implementierung. Und man sieht ja bei id sehr gut, dass man auch die bestehende Renderpipeline gut daran anpassen kann, wenn man die Priorität, Mittel und Zeit hat.
Bei einigen Engines kann das meiste schon vorhanden sein und die Integration fällt aufgrund der Architektur der Engine leicht. Bei anderen kann es einfach deutlich schwieriger und aufwändiger sein. Mit beliebig viel Aufwand würde es sich wohl überall gut integrieren lassen ;) Mir schmerzt eher der Magen, wenn eben so leichte Dinge wie MIP/LOD-Bias und Nachschärfung anscheinend überhaupt nicht angepasst wurden. Da stellt sich mir dann schon die Frage, ob das einfach implementiert wurde damit es drin ist und niemand einen kurzen Qualitätscheck gemacht hat, wie das mit und ohne DLSS aussieht.

aufkrawall

2022-01-21, 21:31:45

Perf/Qualität, ja da stimme ich dir zu. Die ist bei DLSS sehr gut. Aber qualitativ eben schlechter als nativ ;)

In Deathloop und SotTR sieht selbst DLSS Performance in 1440p in vielerlei Hinsicht nativ noch überlegen aus. Balanced ist noch zweifelsfrei massiv besser. Es kommt aufs Spiel (und die DLSS-Version) an. Quality ist recht häufig besser als TAA nativ.

basix

2022-01-21, 21:34:05

Ja es kommt aufs Spiel an. Ist halt schwer auch von Content abhängig und wie filigran Dinge sind und vor allem auch, wie schnell sich Dinge bewegen / herumwedeln. Die zwei Spiele die du erwähnst habe ich (noch) nicht mit DLSS selbst in Aktion gesehen.

Und wie gesagt, DLSS-Q ist meistens ganz gut in 1440p.

-/\-CruNcher-/\-

2022-01-22, 10:48:05

Pantyhoses können auch sehr nervig werden, sollten in keinem Benchmark, Testumgebung fehlen ;)

robbitop

2022-01-22, 11:00:13

Kann es sein, dass FSR das temporale Upsampling des jeweiligen Spieles nutzt (bzw es nutzen kann je nach Implementierung) und gar und in diesem Falle gar nicht für das Upsampling zuständig ist (da temporales upsampling eh viel besser ist) und eher das upgesamplete Bild bearbeitet?

Wie ich darauf komme: das PCGH Video sieht FSR noch vor dem Spieleeigenen TAA Upsampling sowohl temporal als auch von der Bildschärfe. Dass eine rein spatiale Lösung temporal stabiler sein soll als eine temporale erscheint mir unwahrscheinlich.
Und wozu bei FSR 1.0 eine temporale Methode einbauen, wenn die ja schon ganz häufig bei existierenden Spielen existiert? (im ersten Schritt zumindest)

Kann das sein?

Gast

2022-01-22, 12:07:29

Jein. In 4K ist DLSS-P typischerweise ganz gut. In HZD muss ich sagen, ist es auch bei 1440p nicht so schlecht, einfach wegen der massiv verbesserten Bildruhe. Bei den meisten anderen Spielen ist DLSS-Q bei 1440p noch OK und darunter nimmt die Qualität deutlich ab (<=1080p, <DLSS-Q bei 1440p).

Hängt vom Spiel ab, aber in der Regel erzeugt folgendes eine sehr gute Bildqualität:
4k DLSS-P
1440p DLSS-B
1080p DLSS-Q

Q ist so gut wie immer besser als nativ + TAA, B > 1440p meistens auch, und in 4k in der Regel auch P.

DLSS-P erzeugt in fast jedem Fall das beste Verhältnis aus Performance und Qualität. Wenn man dann noch genügend Leistung hat um die BQ weiter zu verbessern hat man ja noch einige Möglichkeiten, entweder man verwendet einen höheren DLSS Modus oder man erhöht einfach die Auflösung.

Platos

2022-01-22, 13:35:17

Naja zu dem Wozu: Damit AMD auch was hat, dass für die Laien eben ein Konkurrent ist und hauptsache die FPS Zahl ist wieder etwa gleich hoch.

Dampf

2022-01-22, 14:11:50

Vergleich GoW 1440p FSRUQ vs DLSS Balanced

https://imgsli.com/OTIzODQ

FSR 68 FPS, DLSS Balanced 80 FPS

Geldmann3

2022-01-22, 15:04:10

DLSS Balanced sieht für mich eine Ecke besser aus, das Bild ist jedoch unangenehm überschärft. Alles ist voller Halo-Artefakten.

Ist da noch ein zusätzlicher Schärfefilter am Werk?

aufkrawall

2022-01-22, 15:06:16

Ja, man muss den Sharpen Pass rauspatchen:
https://www.reddit.com/r/nvidia/comments/s8ay7e/patch_to_properly_disable_dlss_sharpening_in_god/
Jeder Vergleich mit dem Schrott-Sharpen aktiviert, ist eigentlich sinnlos. Das sieht unfassbar viel besser aus mit CAS stattdessen. 2.2.11 smeart auch etwas weniger als 2.3.4, bin deshalb dabei geblieben.

Geldmann3

2022-01-22, 15:12:31

Slipknot79

2022-01-22, 15:23:31

Die Devs lesen hier eben nicht mit und verpassen die wichtigen Infos. :mad:

aufkrawall

2022-01-22, 15:39:08

Noch Bilder von der "Platte" (diesmal ohne zusätzliches Bias-Gehacke):

nativ + CAS 0.4:
https://abload.de/thumb/gow_2022_01_21_19_42_7aj60.png (https://abload.de/image.php?img=gow_2022_01_21_19_42_7aj60.png)

FSR UQ + CAS 0.4:
https://abload.de/thumb/gow_2022_01_21_19_45_93k4c.png (https://abload.de/image.php?img=gow_2022_01_21_19_45_93k4c.png)

DLSS 2.2.11 Performance + CAS 2.0 (rausgepatchtes in-game Sharpen):
https://abload.de/thumb/gow_2022_01_21_19_42_2ejyq.png (https://abload.de/image.php?img=gow_2022_01_21_19_42_2ejyq.png)

720p Rendering mit 1440p Monitor, und es sieht mindestens mal brauchbar aus. ;D

Troyan

2022-01-22, 17:04:44

Vergleich von DLSR 5120x2880p mit DLSS@Performance (1440p) gegen DSR 8K in BF2042 mit 33% Glättung im Treiber: https://imgsli.com/OTI0MDA

Also DLSR mit DLSS@Performance spielt einfach in einer eigenen Liga. Ist schneller als 4K mit TAA und sieht auch deutlich besser aus.

basix

2022-01-22, 17:09:18

Also Output in 4K und DLDSR 1.78x, richtig?

Slipknot79

2022-01-22, 17:29:36

Würde gerne DLSS-P + 1,78x testen, nur ist das 1,78x-Teil verbugt mit 3440x1440. :mad:

Blaire

2022-01-22, 18:25:01

Tech Focus: Nvidia DLDSR - What Does AI Downsampling Actually Do?
c3voyiojWl4
Keine Ahnung, ob das neue Digital Foundry-Video bereits gepostet wurde. Gab ja bisher nichts wirklich brauchbares zu DLDSR auf dieser Ebene. :)

Troyan

2022-01-22, 18:48:43

Also Output in 4K und DLDSR 1.78x, richtig?

Ja, runterskaliert auf 4K.

TheAntitheist

2022-01-22, 22:09:32

Also es ist auf jeden Fall eine Verbesserung und eine weitere Option und das ist doch schon mal gut. Wenn N jetzt noch etwas daran tweaked, dann kann das wirklich richtig gut werden (für ältere Titel natürlich nur).
€dit: in Kombination mit DLSS kommt da sogar ein dicker quali boost raus (zumindest in dem DF Video und 1080p)

robbitop

2022-01-22, 22:19:38

Ist grundsätzlich eine gute Option. Auch in Verbindung mit DLSS. Q-DLSS und 2,25x dldsr gleicht die Einsparung der Inputrsolution durch DLSS mit der höheren internen Auflösung durch Downsampling aus. Es wird also gleiche Auflösung gerechnet aber die BQ gesteigert. Für moderate Kosten.

Deisi

2022-01-23, 10:20:16

Platos

2022-01-23, 11:32:55

Die Mühe lohnt sich bei diesem Forum nicht mehr für vielleicht zehn Leute, die nicht mental hundertjährig sind.

Hab ich etwa schon vor Ewigkeiten gelöscht:
https://www.forum-3dcenter.org/vbulletin/showthread.php?t=571660
Ist immer noch angeheftet, lol. Forum für Enthusiasten mit Sauerstoffflasche...

Um das nochmals aufzugreifen: Also ich meinte nicht, dass "ihr" (die, die sich über sowas so viel Gedanken machen), da irgendwas tun "müsst". Auch meinte ich nicht, dass man dann anfängt zu "streiten", welches denn nun das "beste" Setting eines Spieles ist. Jeder darf/kann sein Setting kurz und prägnant rein posten.

Einfach nur ein Thread, in dem man nur kurz rein schreibt sowas wie: " Mein Setting in God of War: (DLSS 2.2.11, LOD-Bias -1 Offset via Treiber, CAS via ReShade Stärke 0.6 und 2.0"

Ohne Kommentar (wenn man kein Bock drauf hat). Wenn man ein Setting z.B in irgend nem Thread gerade (sowieso) postet, könnte man es kurz copy pasten (wenn man dran denkt).

Aber klar, kann verstehen, dass man in so nem kleine Forum kein Bock hat auf sowas :D Deswegen meinte ich mehr so nebenbei, wenn man's sowieso grad irgendwo gepostet hat. Also man "muss" dann nicht irgendwie ne Liste "pflegen".

Lurtz

2022-01-23, 13:39:19

Verstehe nicht wie den Spieleentwicklern sowas passieren kann, ich meine, das finde doch nicht nur ich hässlich, das gefällt doch niemanden. Man schaut sich doch mal an, was man implementiert hat und probiert es in unterschiedlichen Auflösungen aus.
Glaube der Mehrheit der Kunden fällt sowas nicht auf. Hatte die Diskussion erst in einem anderen Forum, DLSS, HDR (was die Schärfeartefakte aufgrund höherer Kontraste eher noch verstärkt), sah für ihn alles normal aus.

Man braucht ja nur mal in Screenshotthreads nachzuschauen wie viele sich das Bild mit "verbessertem" Kontrast (=Black Crush) und absurder Überschärfung zerstören ;D

DrFreaK666

2022-01-23, 14:46:21

Glaube der Mehrheit der Kunden fällt sowas nicht auf. Hatte die Diskussion erst in einem anderen Forum, DLSS, HDR (was die Schärfeartefakte aufgrund höherer Kontraste eher noch verstärkt), sah für ihn alles normal aus.

Man braucht ja nur mal in Screenshotthreads nachzuschauen wie viele sich das Bild mit "verbessertem" Kontrast (=Black Crush) und absurder Überschärfung zerstören ;D

Nur weil es dir nicht gefällt, darf es anderen trotzdem gefallen.
Sich darüber lustig zu machen ist ziemlich :rolleyes:

aufkrawall

2022-01-23, 14:52:59

Hat die ältere DLSS Version auch Nachteile?
Temproal etwas instabiler und etwas mehr Jittering merkbar im Standbild. Halte ich in vielen Spielen aber für den besseren Deal, bei Diablo 2R oder Doom Eternal nervt das Ghosting/Traling mit 2.3 auch zu sehr.

Gast

2022-01-23, 15:39:07

Nur weil es dir nicht gefällt, darf es anderen trotzdem gefallen.
Sich darüber lustig zu machen ist ziemlich :rolleyes:

Sorry nein, es gibt Bereiche der Bildqualität die nicht subjektiv sind sondern objektiv messbar. Und wenn der Punkt erreicht ist, dass durch Schärfe- und/oder Kontrastanpassungen Details bzw. Dynamik vernichtet werden ist es einfach objektiv schlecht.

Und dabüber kann man nicht nur, darüber soll man sich auch lustig machen. Solch "verirrte Geschmäker" sind es nämlich die dazu führen dass Hersteller dolche Dämlichkeiten schon out of the box und unveränderlich einbauen.

Das selbe ist im Audiobereich, wo es immer einige wenige gibt die felsenfest behaupten, dass Vinyl besser als (hochwertige) digitale Musik ist, sobei es objektiv Messbar ist, dass Vinyl selbst im besten Fall diese Qualität gar nicht erreichen kann und in der Realität nochmal deutlich schlechter ist.

Geldmann3

2022-01-23, 16:08:13

Hier (https://imgsli.com/OTI1NTQ/4/6) ein Vergleich in GTA V zwischen 2,25 x DLDSR und 4 x DSR.

Zur Auswahl stehen:

No AA
FXAA
4xMSAA + 4x Reflection MSAA
4xTXAA + 4x Reflection MSAA
2,25xDLDSR
2,25xDLDSR + FXAA + 4xTXAA + 4x Reflection MSAA
4xDSR
4xDSR + FXAA + 4xTXAA + 4x Reflection MSAA

https://i.ibb.co/KV7Rh01/2-25x-DLDSRvs-DSR.png (https://imgsli.com/OTI1NTQ/4/6)

Da die Bildschärfe der beiden Verfahren bei jeweils 33% Glättung nicht vergleichbar ist, hier ein weiterer Vergleich mit 100% DLDSR Glättung.

Zur Auswahl stehen:

2,25 x DLDSR, 100% smoothing
2,25 x DLDSR + FXAA + 4 x TXAA + 4x Reflection MSAA, 100% smoothing
4 x DSR, 33% smoothing
4 xDSR + FXAA + 4 x TXAA + 4x Reflection MSAA, 33% smoothing

https://i.ibb.co/KV7Rh01/2-25x-DLDSRvs-DSR.png (https://imgsli.com/OTI1Njg/0/2)

Falls ihr euch nach der dazugehörigen Performance fragt, hier die FPS-Werte:

https://i.ibb.co/SKXwTvR/DLDSR-Benchmarks.png (https://i.ibb.co/64R0hsg/DLDSR-Benchmarks.png)

basix

2022-01-23, 18:45:23

Bei DLDSR finde ich gut, dass das Dmoothing die Bildschärfe nicht reduziert. Bei DSR hat mich das immer gestört, war bei allen DSR-Faktoren ausser DSR 4x aber nötig (siehe auch das DF Video).

aufkrawall

2022-01-23, 19:09:29

Ja, ist mit DLDSR quasi ein umgekehrter Sharpen-Slider für Texturen. 100% ist nicht blurry.

Jupiter

2022-01-23, 19:37:49

Tech Focus: Nvidia DLDSR - What Does AI Downsampling Actually Do?
https://youtu.be/c3voyiojWl4
Keine Ahnung, ob das neue Digital Foundry-Video bereits gepostet wurde. Gab ja bisher nichts wirklich brauchbares zu DLDSR auf dieser Ebene. :)

Zuletzt bei God of War extreme Ringing-Artefakte mit DLSS und auch hier mit DLDSR bekommt der Nutzer Augenkrebs. Was dachte sich Nvidia nur dabei.

Geldmann3

2022-01-23, 19:40:51

Ich glaube um ehrlich zu sein nicht, dass dieses Ringing Nvidias Schuld ist. ;D

Lurtz

2022-01-23, 22:59:57

Nur weil es dir nicht gefällt, darf es anderen trotzdem gefallen.
Sich darüber lustig zu machen ist ziemlich :rolleyes:
Wenn ich das Bild so verdrehe, dass ich mir einen Großteil der Informationen zerstöre, hat das nichts mehr mit Gefallen zu tun.

Fragman

2022-01-24, 06:53:01

bei Diablo 2R nervt das Ghosting/Traling mit 2.3 auch zu sehr.

Hast Du einen Gamingmonitor mit 120Hz oder nur einen mit 60?
Bei mir bemerke ich auf dem Gamingmonitor keinerlei Ghosting während es auf dem 60Hz schon leicht störend war.

DrFreaK666

2022-01-24, 12:43:31

Sorry nein, es gibt Bereiche der Bildqualität die nicht subjektiv sind sondern objektiv messbar. Und wenn der Punkt erreicht ist, dass durch Schärfe- und/oder Kontrastanpassungen Details bzw. Dynamik vernichtet werden ist es einfach objektiv schlecht...

Natürlich ist das subjektiv.
Der DxOMark misst die Bildqualität von Kameras.
Bei einem Blindtest hat die laut DxO beste Kamera aber nicht 100% der Stimmen.
Bei einem Blindtest von 2020 kam z.B
Folgendes dabei heraus: "der Sieger des Blindtests liegt bei DXOMark auf Platz 29."

Bildqualität ist subjektiv!

Gast

2022-01-24, 13:06:17

Natürlich ist das subjektiv.

Aber nur teilweise, es gibt Bereiche der Bildqualität die sich objektiv messen lassen.

Bei einem Blindtest hat die laut DxO beste Kamera aber nicht 100% der Stimmen.
Bei einem Blindtest von 2020 kam z.B
Folgendes dabei heraus: "der Sieger des Blindtests liegt bei DXOMark auf Platz 29."

Bei der riesigen Datenbank von DXOMark auch kein Wunder, der objektiv messbare Vorteil zwischen Platz 1 und 30 ist da verschwindend gering.
Zudem kommt es auch stark darauf an welche Bilder ich für den Blindtest verwende und ob in der gegebenen Situation der objektiv messbare Vorteil einer Kamera überhaupt relevant ist. Wenn ich beispielsweise ein Photo mit einer Dynamik mache, die alle verwendeten Kameras einwandfrei abbilden kann, kann sich eine Kamera die ein paar Blendenstufen mehr Dynamikumfang hat natürlich keine Vorteile erarbeiten.
Gleiches wenn ich ein Foto mache, dass beispielsweise nur Wolken und Himmel zeigt. Damit kann eine Kamera die eine höhere Abbildungsleistung hat keine Vorteile zeigen, wenn im Foto gar keine Details vorhanden sind die eine derartige erfordern.

Bildqualität ist subjektiv!

Auch, aber wie gesagt nicht nur.

-/\-CruNcher-/\-

2022-01-24, 15:09:15

Hast Du einen Gamingmonitor mit 120Hz oder nur einen mit 60?
Bei mir bemerke ich auf dem Gamingmonitor keinerlei Ghosting während es auf dem 60Hz schon leicht störend war.

Du verwechselst da wohl eher das Panel response Ghosting das kommt ja oft noch oben drauf ;)
Die richtigen cracks wissen ganz genau wieso sie die alten glotzen wieder auspacken während der Entwicklung ;)
Als guter Entwickler ist Pro Monitor von Sony pflicht mittlerweile.

Geldmann3

2022-01-24, 16:04:12

Hmm, DLDSR wirft mir bei meinen Tests zunehmend Fragen auf, vielleicht habt ihr eine Idee, ob ich einen Denkfehler habe.

Denn DLDSR 2,25x komplettiert Linien reproduzierbar etwas besser als 4xMSAA oder 4xTXAA, dabei haben letztere an solchen Stellen 4 Samples pro Pixel und ersteres nur 2,25 Samples pro Pixel. MSAA müsste hier also überlegen sein, oder? Vergleicht in meinem oben geposteten Beispiel beispielsweise mal die genannten Modi, es sieht besser aus, als es sollte.

Erkennt das neuronale Netzwerk etwa magisch Ansätze von Linien und komplettiert diese? Hat es etwa doch Zugriff auf vergangene Frames nur eben keinen Sample-Jitter? Natürlich bräuchte man noch mehr Vergleiche, eventuell poste ich auch noch ein paar, doch was ich bisher gesehen habe, ist ein wenig verwunderlich. Es wirkt an einigen Stellen nämlich wirklich knapp wie 4xSSAA, das sollte aber nicht...

An einigen Stellen ist für mich die einzige Erklärung, dass es eben doch temporal arbeitet, mit den Daten die es zur Verfügung hat.
Nehmen wir z.b. das Amulett im Video von Digital Foundry, welches bei Bewegung so sehr schimmert, mit DLDSR allerdings nicht.
Das ist ohne mehr Samples kaum lösbar, sonst geht alles im Bild verloren, was irgendwie glitzert.

Eventuell braucht es gar keine Motion Vektoren, sondern schaut nur grob auf die benachbarten Pixel, ob diese etwas gewandert sind.
Wenn das stimmt, hat Nvidia damit ziemlich ,,gelowballed".
Vielleicht haben sie sich ,,geschämt" so viel mehr Samples für diese Qualität zu brauchen als DLSS.
Was logisch ist. Das hat ja Motion Vektoren + Sample Jitter usw.
Jedoch wollte man die Arbeit daran eventuell auch nicht wegwerfen und hat es dann in DSR gepackt.

Ein Trick um das herauszufinden wäre theoretisch, wieder den ersten Frame nach einem Kamerawechsel zu betrachten. Da hat es definitiv noch keine weiteren Samples.

Edit: Erste Tests weisen darauf hin, dass es keine temporale Komponente gibt.
In Bewegung kann es an Polygonkanten auch nicht mit der temporalen Stabilität von 4xMSAA mithalten, sondern liegt eher bei 2xMSAA, dort, wo es mit seinem Ordered Grid hingehört.
Zwar komplettiert es manchmal scheinbar auf unglaubliche Weise Linien, aber es macht nichts temporal stabiler.

Gast

2022-01-24, 16:06:06

Erkennt das neuronale Netzwerk etwa magisch Ansätze von Linien und komplettiert diese?

Ja, die Erkennung von Linien ist jetzt gar nicht mal so magisch.

Gast

2022-01-24, 16:14:02

Es wirkt an einigen Stellen nämlich wirklich knapp wie 4xSSAA, das sollte aber nicht...

Naja schon, zumindest nach NV-Versprechung, und anscheinend kann diese zumindest manchmal auch eingehalten werden.

An einigen Stellen ist für mich die einzige Erklärung, dass es eben doch temporal arbeitet, mit den Daten die es zur Verfügung hat.

Es wäre durchaus denkbar, dass das Netzwerk, über mehrere Bilder die aktuell angezeigte Szene "lernt". Ich vermute mal, dass irgendwas im Algorithmus das flimmern, was ja nichts anderes ist als eine extreme Kontraständerung über sehr kurze Zeit, zu erkennen und zu unterdrücken.

Das ist ohne mehr Samples kaum lösbar, sonst geht alles im Bild verloren, was irgendwie glitzert.

Mehr Samples dürften es nicht sein, was man bisher gesehen hat, kann es im Gegensatz zu DLSS keine Subpixeldetails wiederherstellen.

basix

2022-01-24, 16:40:07

Laut dem DF-Video scheint DLDSR eine Art Edge Detection Komponente integriert zu haben. Evtl. erklärt das deine Beobachtungen? ML/DL wäre ja geradezu prädestiniert für Edge/Object Detection.

Im Endeffekt kann man festhalten, dass DLDSR ein deutlicher Fortschritt ist. Aber wie Alex im DF-Video antönt, wären mehr DLDSR Faktoren wünschenswert: Nämlich die selbe Auswahl wie bei DSR. Dann können Nutzer von RTX GPUs ganz auf DSR und dessen grössliches Smoothing verzichten.

-/\-CruNcher-/\-

2022-01-24, 16:52:23

@Geldmann3

Vergleich mal das Ergebnis hier

https://www.humus.name/index.php?page=3D&ID=89

basix

2022-01-24, 18:16:10

Wieso macht man dieses "Phone-wire AA" nicht überall bei feinen Strukturen? Scheint nicht gerade aufwändig und komplex zu sein und die Resultate sehen gut aus.

Geldmann3

2022-01-24, 18:56:42

Hier DLDSR vs Phonelines ohne ,,Phone-wire AA"

Zur Auswahl stehen:

No AA
2xMSAA
4xMSAA
8xMSAA
2,25xDLDSR
2,25xDLDSR + 2xMSAA
2,25xDLDSR + 4xMSAA
2,25xDLDSR + 8xMSAA

https://i.ibb.co/JBK8pZt/2-25x-DLDSRvs-DSR.png (https://imgsli.com/OTI3MDU/2/4)

Unglaublich, wie trotz den internen 12k mit 2,25xDLDSR + 8xMSAA noch immer massive Lücken in den Kabeln verbleiben.

(imgsli ist gerade irgendwie sehr langsam.)

basix

2022-01-24, 19:27:56

Danke für den Test. DLDSR schneidet noch besser als 8x MSAA ab, vor allem bei sehr dünnen Strukturen. Bei dickeren Strukturen entspricht es ~4x MSAA. DLDSR + MSAA kann man sich sparen, keine Verbesserung ersichtlich.
meiner Meinung nach erkennt DLDSR entpsrechende Strukturen und Kanten im Bild und interpoliert dazwischen.

Könntest du bitte dem Vergleich auch inkl. "Phone-Wire-AA" hinzufügen? Einfach aus Interesse, wie das im Vergleich abschneidet ;) Meiner Meinung nach sieht es deutlich besser aus, mit minimalen Mitteln. Dieses "Phone-Wire-AA" würde sich perfekt für Gräser, Baumnadeln und Haarsträhnen eignen. Wieso macht das niemand in Spielen? :confused:

Geldmann3

2022-01-24, 19:28:45

Mehr als 2xMSAA scheinen mit DLDSR keine Verbesserung mehr zu bringen? Werden da etwa zufällig dieselben Samplepositionen erneut abgetastet?

aufkrawall

2022-01-24, 19:31:17

DLDSR + MSAA kann man sich sparen, keine Verbesserung ersichtlich.

*seufz*, natürlich kann DLDSR MSAA nicht überflüssig machen. Wenn das MSAA korrekt greift, hat man für Geometrie mit der Kombi aus beidem eine viel höhere Abtastung und entsprechend bei passender Szene eine viel höhere Bildruhe...

basix

2022-01-24, 19:36:03

Meine Aussage war jetzt nur auf diese kleine Demo bezogen ;)

robbitop

2022-01-24, 20:16:11

Mehr als 2xMSAA scheinen mit DLDSR keine Verbesserung mehr zu bringen? Werden da etwa zufällig dieselben Samplepositionen erneut abgetastet?

Du kannst dir leicht das Subpixelgrid aufmalen. Da DSR nur Downsampling ist, ist es einfach nur ein OG bei dem pro Achse das zweite Subpixel auf der Grenze zum Pixelnachbarn liegt. MSAA bei NV hingegen liegen beide subpixel im Pixel selbst und sollten geob 22,5 Grad versetzt sein.
Daran kann auch dldsr nichts ändern da es ja agnostisch funktioniert- muss es also in den gleichen Randbedingungen laufen.

Ich bin dennoch überrascht, dass dünne Linien temporal stabil sind. Das spricht dafür, dass das was auf den aktuellen Frame angewendet wird Einflüsse vom letzten Frame haben und das NN temporale Instabilität erkennen kann (noise) und entsprechend Frame für Frame eingreifen kann. Dagegen spricht eigentlich nichts.

Geldmann3

2022-01-24, 21:00:32

Da ich festgestellt habe, dass der kantenglättende Effekt mit noch dünneren Kabeln ersichtlicher ist und in dieser Situation dann auch bis 2,25xDLDSR + 8xMSAA Verbesserungen zu sehen sind, habe ich den Test noch einmal wiederholt.
Daher hier nochmal Vergleichsbilder mit jedoch noch dünneren Kabeln:

Zur Auswahl stehen wieder:

No AA
2xMSAA
4xMSAA
8xMSAA
2,25xDLDSR
2,25xDLDSR + 2xMSAA
2,25xDLDSR + 4xMSAA
2,25xDLDSR + 8xMSAA

https://i.ibb.co/JBK8pZt/2-25x-DLDSRvs-DSR.png (https://imgsli.com/OTI3Mjg/2/4)

Da weiterhin der Wunsch im Raume stand das Ganze nochmal mit dem Phone Wire AA zu wiederholen, hier das Ganze noch einmal mit diesem smarten Feature aktiviert:

https://i.ibb.co/ftkMgvy/2-25x-DLDSRvs-DSR-2.png (https://imgsli.com/OTI3MzQ/3/7)

Interessanter Weise sieht das Bild mit DLDSR und Phone Wire AA schlechter aus als ohne das Downsampling? So sieht Phone Wire AA + 4xMSAA beispielsweise gar glatter aus als Phone Wire AA + 2,25xDLDSR + 4xMSAA.

Im ersten Beispiel ohne das Phone Wire AA fällt mir auf dem zweiten Blick zudem auf, dass es immer wieder Stellen gibt, an denen DLDSR das Kabel besser glättet als 4xMSAA, dann allerdings auch viele Stellen an denen es umgekehrt ist.
Es scheint eine kritische, minimale Anzahl von Sample-Hits zu geben, an der DLDSR dann gegen 4xMSAA kapitulieren muss.

Hier ein Beispiel, wo ich meine, eine temporale Komponente zu erkennen:
(Im gezeigten Benchmark wiegt die Kamera die ganze Zeit leicht im Wind, was für temporale Samples sorgen könnte.)
Wx2aB8T3Cyo

Im Video auf die rot umrandete Linie achten:

https://i.ibb.co/8dQcZ27/Line.png (https://i.ibb.co/LJs576Z/Line.png)

basix

2022-01-24, 21:22:52

Top! Danke @Geldmann

Wie gesagt, das Phone-Line AA auf Gräser, feine Vegetation und Haare/Fell angewandt könnte vielversprechend sein.

Edit zum temporalen Anteil:
Könnte grundsätzlich sein. Man hat mehrere Frames gebuffert, erkennt Objekte im Bild sowie deren Bewegung und verknüpft sie über mehrere Frames. Sobald Bewegung/viel Bewegung da ist, reduziert man den temporalen Anteil um Ghosting zu vermeiden. Oder hast du noch Ghosting irgendwelcher Art beobachtet?
Meine Beschreibung des "temporalen Algorithmus" ist natürlich stark vereinfacht gedacht. Denn gerade das Verknüpfen über mehrere Frames ist ja das Kunststück.

Geldmann3

2022-01-24, 21:28:57

Nun ja, ich vermute allerdings, dass Du das nicht einfach mit Vegetation machen kannst, wie mit dem Kabel. So wie ich das verstehe, wird das Kabel, anstatt dass es im Screenspace kleiner und somit schwerer abzutasten wird, einfach dicker, dafür allerdings semitransparent gemacht. Was wirkt wie AA, allerdings etwas völlig anderes ist. Vielleicht eines Tages, wenn alles wie mit Nanite auf Geometrie basiert. Dann könnte man das eventuell auch auf andere geometrische Formen anwenden. Ist allerdings viel komplexer, als mit einem Kabel.

basix

2022-01-24, 21:30:29

Klar, das ist sicher viel aufwändiger bei komplexeren Sachen. Die Idee an sich ist aber recht simpel.

-/\-CruNcher-/\-

2022-01-24, 23:12:25

Mich würde auch brennend interesieren wie DLDSR sich auf anderen Content auswirkt (Video) und auch Text Lesbarkeit :)
Vor allem Video Content mit Aliasing Problemen oder wie es auf telecine/interlace oder verschiedene Kompressionsartefakte reagiert oder auch Chroma Sampling :)

Geldmann3

2022-01-24, 23:19:51

Welcher Content genau würde Dich denn interessieren?:)

-/\-CruNcher-/\-

2022-01-24, 23:29:26

Naja Real Content hauptsächlich in verschiedenen qualitätsstuffen mit verschiedenen problemen auch gemixed :)

Hauptsächlich wie es auf MPEG-2/MPEG-4 Probleme reagiert

Platos

2022-01-25, 01:51:28

@Geldmann: Warum nutzt du eig. so oft ein 9 Jahre altes Spiel (GTA V) ?

Sollte man nicht etwas Zeitgemässere Spiele nutzen? Ja ok, es gibt noch viele Spieler, aber dennoch.

Geldmann3

2022-01-25, 12:41:08

Gute Frage, vielleicht werde ich alt.

Ist einfach sehr verfügbar, da ich es auf der Platte herumliegen habe, auch zocke ich es immer mal wieder gerne ne Runde und vielleicht repräsentiert es einen unerfüllten Traum für mich. Konnte es selbst mit der RTX 3090 noch nicht so spielen, wie ich es gerne haben möchte. Es skaliert auch noch immer schön mit CPU und GPU-Leistung.

Weiß auch gar nicht, wie unzeitgemäß es ist.
Mir ist noch immer nichts Vergleichbares untergekommen, mit solch einer Atmosphäre.

Wenn ich mir so die Fahrphysik und das Pop-In in Cyberpunk oder Watchdogs Legion anschaue, gefällt mir GTA V selbst grafisch oft nicht schlechter. Es ist einfach so konsistent und versatil, als Spiel.

ChaosTM

2022-01-25, 12:47:47

Dem stimme ich zu. Das Spiel hat sich nicht umsonst bald 160 Millionen mal verkauft.
Starte es auch immer noch sehr gerne.

Deisi

2022-01-25, 12:50:48

Temproal etwas instabiler und etwas mehr Jittering merkbar im Standbild. Halte ich in vielen Spielen aber für den besseren Deal, bei Diablo 2R oder Doom Eternal nervt das Ghosting/Traling mit 2.3 auch zu sehr.

Danke :up:

Für RDR2 gibt es jetzt analog zu GoW einen Patcher der das Sharpening entfernt. Ist das DLSS in RDR2 jetzt eine Option?

https://www.reddit.com/r/nvidia/comments/s94c0n/tool_to_properly_disable_dlss_sharpening_and/

Lurtz

2022-01-25, 13:46:17

Für RDR2 gibt es jetzt analog zu GoW einen Patcher der das Sharpening entfernt. Ist das DLSS in RDR2 jetzt eine Option?

https://www.reddit.com/r/nvidia/comments/s94c0n/tool_to_properly_disable_dlss_sharpening_and/
I've created a patched 2.3.5 DLL that always ignores the sharpening in all games and optionally allows you to enable auto exposure. Unfortunately, the Nvidia driver specifically tests if the loaded DLSS DLL is signed by an official Nvidia certificate and there's no way around it :(
Automatic runtime hooking/patching would be possible but it's very inconvenient and will probably get you banned when the anti-cheat sees some unknown application trying to attach itself to the pipeline. Sorry guys!

:frown:

Platos

2022-01-25, 13:58:00

robbitop

2022-01-25, 14:23:21

Wenn ich mir anschaue, was man mittlerweile mit AI aus dem Bild herausholen kann, wundert es mich, dass man nicht mit AMD's heuristischem kontentadaptiven Schärfefilter mithalten kann. Ich kann mir aber gut vorstellen, dass das bestimmt noch kommt.

basix

2022-01-25, 14:44:16

Intelligente Ansätze sind halt auch in Zeiten von ML/DL noch stark gefragt ;) Egal um was es geht.

Ex3cut3r

2022-01-25, 15:21:17

Wenn ich mir so die Fahrphysik und das Pop-In in Cyberpunk oder Watchdogs Legion anschaue, gefällt mir GTA V selbst grafisch oft nicht schlechter. Es ist einfach so konsistent und versatil, als Spiel.

Ich stimme dir da sogar zu!
GTA5 ist zwar mittlerweile angestaubt, was die Texturen, assets, Vegetation angeht. Aber das Gesamtbild stimmt dennoch. CP77 hat wirklich eine grauenhafte Fahrphysik, da sollte man eher Zu Fuß durch die Stadt gehen, mit Max Settings. Ich z.B. wandere gerne durch Downtown in der Nacht mit Regen @ 5K DSR (0% Glättung) + DLSS P + CAS pert Reshade, Max Settings, sowie RT @ Ultra und RT Reflections ON. (RTX 3080 Ti) Dann ist es wirklich sehr geil, auch die Atmo. Trotzdem ist GTA5 spaßiger mit "Euphoria Ragdoll Mod" https://de.gta5-mods.com/misc/euphoria-ragdoll-overhaul-ero und im Auto. :smile:

Sry 4 OT.

Ich hatte mal zwei Videos gemacht mit CP77 im Regen @ Bike (Autos wie gesagt furchtbar)

Allerdings noch @ RTX 2080.

6k5ZVsICGT8

aZ8T_qJwJMY

Gast

2022-01-25, 15:49:38

Interessanter Weise sieht das Bild mit DLDSR und Phone Wire AA schlechter aus als ohne das Downsampling? So sieht Phone Wire AA + 4xMSAA beispielsweise gar glatter aus als Phone Wire AA + 2,25xDLDSR + 4xMSAA.

Vielleicht interessant, aber vollkommen logisch, wenn man liest wie das Ganze funktioniert.

y33H@

2022-01-25, 17:53:34

Jemand DLDSR in Hunt Showdown versucht? flackert munter vor sich hin, übernimmt aber die Auflösung nicht :(

Deisi

2022-01-25, 18:56:46

Ja funktioniert bei mir. Musste aber die Skalierung bei der exe auf "Anwendung" stellen.

y33H@

2022-01-25, 22:53:22

Danke, teste ich morgen.

EDIT

Klappt, aber der Mauszeiger ist dann nicht mehr an der korrekten Stelle.

Lurtz

2022-01-26, 11:32:29

Für Horizon Zero Dawn gibt es einen Patch, der die LoD-Probleme diverser Objekte mit DLSS fixen soll.

Deisi

2022-01-26, 12:10:51

Danke, teste ich morgen.

EDIT

Klappt, aber der Mauszeiger ist dann nicht mehr an der korrekten Stelle.

Bei mir liefs eigentlich mit 3440x1440 -> 5160x2160. Probiers vielleicht mal wenn du vorher den Desktop auf die DSR Auflösung setzt.

Für Horizon Zero Dawn gibt es einen Patch, der die LoD-Probleme diverser Objekte mit DLSS fixen soll.

Offiziell? Bei Steam find ich nix.

Lurtz

2022-01-26, 12:59:47

Offiziell? Bei Steam find ich nix.
https://store.steampowered.com/news/app/1151640/view/3127188796154914025

-/\-CruNcher-/\-

2022-01-26, 15:02:06

Rockstar war so ziemlich allen beim Streaming weit voraus.
Man kann sehr gespannt sein was sie diesbezüglich noch aus RAGE und für GTA VI herausoptimieren nach RDR2.
Es hält auch unter extremester Mod last noch ordentlich durch.
Von der NPC komplexität wird es wohl alles jetzige genauso in den Schatten stellen.
Wer dachte die Matrix Demo sei Komplex der sollte abwarten was Rockstar präsentieren wird in ihrem Simulationsfortschritt.

aufkrawall

2022-01-26, 15:31:03

Für Horizon Zero Dawn gibt es einen Patch, der die LoD-Probleme diverser Objekte mit DLSS fixen soll.
Na bitte, mit DLSS nun detaillierter als ohne anstatt anders herum. So muss das sein :cool: :
https://abload.de/thumb/horizonzerodawn_2022_obkog.png (https://abload.de/image.php?img=horizonzerodawn_2022_obkog.png) https://abload.de/thumb/horizonzerodawn_2022_e1kld.png (https://abload.de/image.php?img=horizonzerodawn_2022_e1kld.png)

Edit: Sie habens aber trotzdem verkackt, die Specular Neigung (Gesicht glänzt) nimmt genau so zu mit mit über Treiber forciertem neg. LOD-Bias:
https://abload.de/thumb/horizonzerodawn_2022_f6ky8.png (https://abload.de/image.php?img=horizonzerodawn_2022_f6ky8.png) https://abload.de/thumb/horizonzerodawn_2022_68jra.png (https://abload.de/image.php?img=horizonzerodawn_2022_68jra.png)
;D

aufkrawall

2022-01-26, 18:37:04

Edit: Sie habens aber trotzdem verkackt, die Specular Neigung (Gesicht glänzt) nimmt genau so zu mit mit über Treiber forciertem neg. LOD-Bias:

Tritt offenbar nur mit HQ-Texturfilterung auf, mit Q ist das weg. Bei anderen Spielen, die selber das Bias korrekt setzen, ist das aber nicht so.
Na ja, so kann man es aushalten und DLSS ist eindeutig ein (gigantischer) Mehrwert. Selbst mit Performance sieht die Vegetation so teilweise detaillierter aus als nativ, obwohl das TAA zum Flimmern anstatt zum Matschen neigt.

Dampf

2022-01-26, 18:45:38

Respekt an Devs, die nach einiger Zeit ihre DLSS Implementation verbessern!

basix

2022-01-26, 20:54:20

Na bitte, mit DLSS nun detaillierter als ohne anstatt anders herum. So muss das sein :cool: :
https://abload.de/thumb/horizonzerodawn_2022_obkog.png (https://abload.de/image.php?img=horizonzerodawn_2022_obkog.png) https://abload.de/thumb/horizonzerodawn_2022_e1kld.png (https://abload.de/image.php?img=horizonzerodawn_2022_e1kld.png)

Edit: Sie habens aber trotzdem verkackt, die Specular Neigung (Gesicht glänzt) nimmt genau so zu mit mit über Treiber forciertem neg. LOD-Bias:
https://abload.de/thumb/horizonzerodawn_2022_f6ky8.png (https://abload.de/image.php?img=horizonzerodawn_2022_f6ky8.png) https://abload.de/thumb/horizonzerodawn_2022_68jra.png (https://abload.de/image.php?img=horizonzerodawn_2022_68jra.png)
;D

Was mich bei deinen Screenshots wundert, ist die grosse Diskrepanz und die Qualitätsunterschiede. Bäume sehen zum Teil deutlich detaillierter aus, Zeugs am Boden deutlich schlechter. Und die Reflexionen im Wasser sind eindeutig kaputt.

Das konnte ich so bei mir nicht beobachten.

aufkrawall

2022-01-26, 20:59:51

Die Reflexionen sind nicht kaputt, sondern stehen auf medium, was mit Upscaling/-sampling stärker auffällt. Ich glaube nicht, dass du ansonsten Unterschiede feststellen wirst, wenn du an der gleichen Stelle testest (ansonsten Game Bug).

basix

2022-01-26, 21:23:53

Habe mal zwei Screenshots gemacht: Links 1440p nativ, rechts 2880p DLSS Performance mit DSR 4x runter auf 1440p (Renderauflösung als identische 1440p wie bei nativ). Beides mit CAS mit Schärfung (Kontrast = 0.2, Schärfen = 1.0)

https://abload.de/thumb/horizonzerodawn_wed_j1oj6y.png (https://abload.de/image.php?img=horizonzerodawn_wed_j1oj6y.png) https://abload.de/thumb/horizonzerodawn_wed_j3akfd.png (https://abload.de/image.php?img=horizonzerodawn_wed_j3akfd.png)

Hier noch der Direktvergleich:
https://imgsli.com/OTI5Mzc

Besonders der Bildbrereich oben rechts (überhalb des Screenshot Menüs) zeigt den Unterschied von DLSS massiv auf. Deutlich detaillierteres Bild. Dort müsst ihr mal ein wenig reinzoomen, der Unterschied ist krass ;)
Und in Bewegung ist der Unterschied aufgrund des deutlich reduzierten Flimmerns der Vegetation noch deutlich sichtbarer, als die Screenshots es auf den ersten Blick vermuten lassen. Klar, die Framerate sinkt von 70fps auf 50fps. Doch das ist es mehr als Wert.

aufkrawall

2022-01-26, 21:32:03

Andere Szene und du verwendest DLDSR. Wie soll da Vergleichbarkeit gegeben sein? :confused:

basix

2022-01-26, 21:38:04

Wer sagt, dass ich das mit deinem vergleichen wollte ;) Ich hatte nur mal bei einem Gewässer schauen wollen, ob man das mit den Reflexionen generell auftritt. Hier ist das nicht der Fall. Und dann habe ich gleich die Gelegenheit für diese Screenshots genutzt.

Und nein, ist nicht DLDSR, sondern DSR 4x. Und auch ohne DSR/DLSR gab es keine irgendwelche komischen Effekte an Gewässern, wenn DLSS zum Einsatz kommt.

aufkrawall

2022-01-26, 22:07:44

Natürlich gibt es auch bei dir diesen Effekt, wenn du die Reflexions-Details auf medium stellst.
Sollte man mit DLSS, wie sich nun herausgestellt hat, nicht machen:
https://abload.de/thumb/horizonzerodawn_2022_o2knr.png (https://abload.de/image.php?img=horizonzerodawn_2022_o2knr.png) https://abload.de/thumb/horizonzerodawn_2022_10jpr.png (https://abload.de/image.php?img=horizonzerodawn_2022_10jpr.png)
Evtl. haben sie auch die Performance der höchsten Stufe noch optimiert, kostet ja kaum (noch) was.

y33H@

2022-01-28, 11:12:04

Probier's vielleicht mal wenn du vorher den Desktop auf die DSR Auflösung setzt.Danke - tut, aber dummerweise war Server Maintenance :freak:

Ich habe übrigens allerhand Fragen zu DLDSR an Nvidia geschickt, mal gucken ob und wann das was zurück kommt.

Dampf

2022-01-29, 17:52:57

Die DLSS Implementation in Horizon ist echt sehr gut. Die Bildschärfe ist perfekt und Vegetation die im Hintergrund auf nativ auffällig flackert ist mit DLSS sehr ruhig.

aufkrawall

2022-01-29, 19:17:48

Die Bildschärfe ist perfekt
Nein. Es gibt mit DLSS geringfügigen TAA-Blur und das LOD-Bias wird immer noch nicht für alle Texturen angepasst, weshalb Texturen von Objekten wie Felsen oder Baumstämmen weiterhin deutlich Details verlieren. Insbesondere mit Balanced und Performance wird das deutlich. Das normale TAA ist halt ein schlechter Witz, was es DLSS Q trotz der Mankos leicht macht, das deutlich zu überbieten...

Lurtz

2022-01-30, 12:39:32

Eigentlich müssen die Sony-Studios gerade doch an anderen, intelligten Upsampling-Verfahren sitzen. Native 4k sind viel zu teuer für die Konsolengeneration, jetzt wo sich viele Kunden an 60 fps gewöhnen, und Checkerboarding sieht kein Land gegenüber DLSS, wie man spätestens an God of War sehr gut im Direktvergleich nachvollziehen kann.

robbitop

2022-01-30, 12:58:21

Naja temporales Upsampling wird bspw von Insomniac verwendet und ich vermute die anderen nutzen das auch. Checkerboarding ist eigentlich out was native PS5 Titel angeht afaik.
Aber ohne NN basierte Lösung kommt man nicht ansatzweise an DLSS ran. Da fehlt es Gamestudios einfach an knowhow vermute ich.
Das ist Graphics research. Da kann nur Sony selbst und AMD helfen. Ich tippe darauf, dass AMD an was ähnlichen arbeitet. Nicht vorhandene HW um Inferencing zu beschleunigen kann es der PS5 aber schwer machen. Iirc hat sie nicht mal 4x INT Beschleunigung für die FPUs.

basix

2022-01-30, 13:58:06

Neben Temporal Upsampling gibt es noch FRAT - Framerate Amplification Technologies. Siehe z.B. Oculus mit Asynchronous Space Warp. Ob sich das sogar mit Temporal Upsampling verknüpfen liesse? 1080p/30 --> 4K/120 anyone? :D

Platos

2022-01-31, 03:18:44

Wie sehr Checkerboard gegen DLSS abstinkt hat man schon bei Death Stranding gesehen bei Digital Foundry. Auch wenns da noch übles smearing gab. Checkerboard ist einfach nichts als Bröselig. Das hat man bei der PS4 pro auch ordentlich gemerkt. Vor allem, wenn man FPS der Auflösung vorgezogen hat. Das war z.B bei Horizon ein graus, das weiss ich noch.

Naja temporales Upsampling wird bspw von Insomniac verwendet und ich vermute die anderen nutzen das auch. Checkerboarding ist eigentlich out was native PS5 Titel angeht afaik.
Aber ohne NN basierte Lösung kommt man nicht ansatzweise an DLSS ran. Da fehlt es Gamestudios einfach an knowhow vermute ich.
Das ist Graphics research. Da kann nur Sony selbst und AMD helfen. Ich tippe darauf, dass AMD an was ähnlichen arbeitet. Nicht vorhandene HW um Inferencing zu beschleunigen kann es der PS5 aber schwer machen. Iirc hat sie nicht mal 4x INT Beschleunigung für die FPUs.

Nutzen denn native PS5 Games kein Checkerboard oder was meinst du? Die laufen doch nicht in nativem 4k?

Und an was arbeitet denn da AMD deiner Meinung nach? Sie haben FSR und auch wenn es keine Konkurrenz ist, lassen sie es so aussehen. Mir sieht das eher so danach aus, als haben sie nichts vergleichbares in absehbarer Zeit (2-4 Jahre). Und das wäre dann langsam etwas spät für die Konsolen.

Was ist btw. mit Microsoft? Wenns Sony "alleine" bringt (und nicht AMD), muss es auch Microsoft, sonst sind sie tot.

robbitop

2022-01-31, 07:06:25

Je nach Spiel unterschiedlich. Würde nich nicht wundern wenn die Mehrzahl temporal umscalt.
AMD arbeitet an fsr 2.0. Würde mich nicht wundern wenn es ein dlss/xess Kontrahent wird.

Tobalt

2022-01-31, 07:28:07

Geldmann3

2022-01-31, 08:47:12

Sehr viele Konsolenspiele betreiben heute temporales Upsampling.
Die Qualität von diesem liegt dabei häufig allerdings eher maximal bei der UE4 (TAAU) Lösung. Etwas besser als FSR, jedoch keine Chance gegen TSR oder DLSS.

robbitop

2022-01-31, 09:00:27

Vom Rendern her ist checker Boarding und DLSS (speziell Balanced) doch sehr ähnlich. Wenn es qualitative Unterschiede gibt, dann wegen schlechter/guter Rekonstruktion.

zumindest in Bewegung. Beim Standbild gewinnt DLSS weil die Sampleposition stärker verteilt wird.

Hm naja checkerboard arbeitet mit dem gleichen Grundprinzip. Allerdings deutlich starrer. Man alterniert alle 2 Frames die Pixelpositionen in einem Schachbrettmuster. Man halbiert also effektiv starr eine Achse der Inputresolution. Der Z Buffer wird in voller Auflösung geschrieben (was Bandbreite kostet aber mehr Informationen pro Pixel liefert).
Es wird aber keine Subpixelposition gejittert und es werden auch nicht so viele samples akkumuliert. Soweit ich das verstanden habe sind es nur 2. Frame n und n+1.

Modernes temporales Upsampling (wie Unreals TSR oder TAAU) hingegen arbeiten deutlich näher an dem was DLSS tut. Man kann flexibel zur Outputresolution eine Inputresolution festlegen. Dann wird die Inputresolution gerendert aber mit jedem Frame wird die Subpixelposition geändert. Moderne Verfahren haben zwischen 8-32 Samples, die akkumuliert werden können. (also die Anzahl an Frames)
Es hängt stark vom Content und seiner Bewegung ab wie viele Frames artefaktnormiert akkumuliert werden können. Denn dort hängt das eigentliche know how: wo sind die Informationen hin, die ich aufakkumulieren muss, wenn sich das Bild bewegt hat und was mache ich, wenn ich keine konkludenten Informationen finde und überhaupt was gilt als konkludent.
Hier ist ein neuronales Netzwerk deutlich treffsicherer als die Heuristiken die bis dato zum Einsatz kamen. Entsprechend kann DLSS mehr Frames akkumulieren und damit mehr Samples sammeln.

Im Standbild bringt das keine Vorteile sondern in Bewegung (bzw Objekte die dynamisch sind). Epics TSR und ids TSSAA sind schon nicht schlecht darin - aber gegen DLSS sehen sie einfach kein Land.

Da steckt eine Menge research drin und damit es viel Frametime bringt, muss entsprechend Inferencingleistung da sein. Dedizierte Hardware ist natürlich ideal - aber wenn es schon die FPUs machen müssen, wäre ein INT8 4x speedup schon hilfreich.

basix

2022-01-31, 09:45:26

AMD arbeitet an fsr 2.0. Würde mich nicht wundern wenn es ein dlss/xess Kontrahent wird.

Was hier für AMD eine Hürde sein könnte: Konsolen vs. Desktop. Letztere könnten in Form von RDNA3 schon bald deutlich mehr ML-Performance erhalten. Jetzt ist AMD im Zwiespalt: Maximale Qualität und Wow-Effekt für dGPUs? Oder soll die selbe Technik auf den Konsolen GPUs laufen? Falls letzteres, was sind die Konsequenzen bezüglich Performance und vor allem Qualität?
Bereits bei FSR wollte man, dass es überall und mit wenig Aufwand läuft (siehe dieses gute Interview (https://www.eurogamer.net/articles/digitalfoundry-2021-amd-fsr-interview)). Bei FSR 2.0 könnte es gut sein, dass man irgendwo schneiden muss (z.B. kein Support für alles <RDNA und <Turing). Wenn es aber eine allgemeine Shader basierte Lösung ist, sollte es auf DX12 fähigen GPUs aber vermutlich laufen. Je nach dem auf Vega, Pascal und Co. dann halt langsamer. Das wäre mMn aber kein Beinbruch, Hauptsache es läuft.

Ich hätte ja gerne eine Lösung, welche ähnlich gut wie DLSS 2.0 funktioniert und auf den Konsolen dennoch 4K/60 fähig ist (Rendering in 1080...1440p). Bei 60fps hat man 16.6ms Frame-Budget. Viel mehr als 1-2ms dürfte FSR 2.0 dann nicht kosten, um wirklich optimal zu sein. Klar, auch mit 3-4ms hätte man netto noch einen Qualitätsgewinn, wäre für einige Engines aber wohl zu viel.

UE5 TSR kostet im Bereich 0.3...1.0ms, das ist perfekt für Konsolen geeignet. Die Qualität ist verglichen mit DLSS sicher nicht ganz gleichwertig, aber es läuft performant auf den Konsolen.
- 720p -> 1440p = 0.31ms
- 1080p -> 1440p = 0.85ms
https://www.reddit.com/r/hardware/comments/nozuvo/testing_unreal_engine_5_temporal_super_resolution/

Interessanterweise scheint TSR anspruchsvoller mit steigender Render-Auflösung zu werden. Bei DLSS steigen die Kosten eher mit steigender Output-Auflösung und dann noch mit steigendem Upsampling Faktor.

Edit:
Die obigen TSR Runtime Costs sind mit einer RX 6800. Die bietet 16 TFlops. Bei einer PS5 kann man wohl 0.5...1.5ms für TSR annehmen (exkl. irgendwelche Konsolen-Optimierungen).

robbitop

2022-01-31, 10:44:26

Aus meiner Sicht ist es fraglich, ob man sowas wirklich noch braucht? So ziemlich jedes Studio hat bereits sein eigenes temporales Upscaling Verfahren. Warum jetzt AMD's Lösung implementieren, wenn sie nicht deutlich besser ist (was ohne NN schon fraglich ist).
IMO muss es NN basierend sein, damit es sich lohnt.

Wie teuer es ist, muss man mal schauen. Am Ende würde es ja trotzdem helfen, wenn es die Framezeit unter dessen hält was das target ist. Ggf. ist es auch ein wenig so, dass es dann erst ab der PS5Pro zum Einsatz kommt wie damals Checkerboarding nur bei der PS4pro. Die PS5Pro HW hat dann ggf. INT Beschleunigung oder sogar schon Matrix FPUs.
Ggf. ist es für Series X nutzbar, da INT8 Beschleunigung vorhanden.

Am Ende ist mein Eindruck, dass man nicht beides haben kann: den großen BQ Vorteil, es aber auf jeder Hardware vorteilhaft läuft. Ab und an muss man halt mal ein paar alte Zöpfe abschneiden. HW die beim NN zu langsam ist wird es halt nicht sinnvoll nutzen können.

Entsprechend kann es bei RDNA2 PC GPUs und XSX mit 4x INT8 in reduzierter Geschwindigkeit laufen und auf RDNA3 PC GPUs und den Refreshkonsolen (sofern welche kommen) mit dedizierter HW in voller Geschwindigkeit.

basix

2022-01-31, 10:49:58

Am Ende ist mein Eindruck, dass man nicht beides haben kann: den großen BQ Vorteil, es aber auf jeder Hardware vorteilhaft läuft. Ab und an muss man halt mal ein paar alte Zöpfe abschneiden. HW die beim NN zu langsam ist wird es halt nicht sinnvoll nutzen können.

Da bin ich voll bei dir. Sich etwas wünschen oder auf etwas hoffen kann man ja immer noch ;)

Interessant wird hier XeSS auf RDNA2. Dann hätten wir eine erste Referenz, wie sowas auf Compute-Units und nicht Matrix/Tensor-Units läuft.

In AMDs Interesse wäre eine Konsolen-Verträgliche Variante von FSR ja sehr stark. Denn dadurch erhält man Marktanteile und einen deutlich stärkeren Hebel gegenüber DLSS. Ich meine, die Konsolen bieten 10 TFlops. Dass muss dann nicht mehr gut auf einer Vega-iGPU mit 1-2 TFlops laufen. Hier hätten wir ja schon einige der Zöpfe abgschnitten. Nämlich alle AMD APUs bis Rembrandt. Kann sein, das FSR2 auch auf RDNA2+ limitiert sein wird, wer weiss.

Edit:
Hab noch etwas zu den Kosten von FSR nachgeschaut:
- 6800XT @ 4K FSR Quality/Performance --> ~0.7ms
- 5700XT @ 4K FSR Quality/Performance --> ~1.5ms
- Vega 64 @ 4K FSR Quality/Performance --> ~2.0ms

Auf TSR der UE5 bezogen, inkl. der Rendering-Auflösung, ist das ähnlich viel. TSR bietet aber die bessere Qualität.

robbitop

2022-01-31, 11:29:29

Ja mit Heuristik ist temporales Upsamling sehr sehr günstig in Bezug auf Rechenleistung. Aber man kommt damit über ein bestimmtes Level dann nicht mehr heraus. Ich sehe das mit TSR wie gesagt so, dass die meisten Studios ja sowas bereits haben. Klar gibt es da qualitative Unterschiede. Aber ich halte den Schritt nicht für groß genug und es eher als eine Ablenkung von etwas was jetzt laser fokus sein sollte: ein wettbewerbsfähiges Verfahren zu DLSS. :)

DrFreaK666

2022-01-31, 12:08:41

Würde NV DLSS für alle verfügbar machen, dann gäbe es das Problem nicht

basix

2022-01-31, 12:27:51

Würde NV DLSS für alle verfügbar machen, dann gäbe es das Problem nicht

Deswegen warten wir auf XeSS :D

Und wer weiss, evtl. kommt das dann ja noch, z.B. DLSS 2.0 wird frei verfügbar wenn DLSS 3.0 auf den Markt kommt. Letzteres wäre dann immer noch Nvidia exklusiv.
Mit G-Sync Compatible haben wir ja schon einen ähnlichen Move gesehen. Die GPU oder das Game werden dann als "DLSS compatible" auf der Box angepreist und FSR/XeSS wird von Nvidias Markennamen maskiert. Und DLSS 3.0 wäre dann "DLSS Ultimate" :D
Wie es auch schon ein wenig bezüglich Raytracing gehandhabt wird. Viele nennen das dann RTX, obwohl von AMD gesprochen wird.

robbitop

2022-01-31, 12:41:26

Würde NV DLSS für alle verfügbar machen, dann gäbe es das Problem nicht
Wird NV nicht machen. Da steckt zu viel research drin und außerdem entspricht das leider nicht deren Firmenphilosophie. Sie sehen mMn DLSS als eines der exklusiven Features, die sie von anderen differenzieren können und damit Kunden zu binden.

Intel teilt allerdings XeSS. Das ist immerhin ein Anfang.

Dennoch denke ich, wird AMD ein FSR Pendant machen müssen - aus folgenden Gründen:

1.) Abhängigkeit von Intel
2.) Grad der Optimierung auf ihrer Hardware
3.) Upgradepfad - XeSS wird sich weiterentwickeln - neue Iterationen könnten erst deutlich später auf eigener Hardware verfügbar sein - man hängt also hinterher
4.) Know how Hintertreffen: sie haben keinen Einfluss auf das Neuronale Netz und kein Einblick. Allein um nicht in's Hintertreffen zu geraten und volle Kontrolle zu behalten müssen sie es machen.

Es ist diesmal aufgrund des spezifischen neuronalen Netzwerkes, was forschungsintensiv ist und des Know Hows welches spezifisch und rar ist ein Muss für jeden IHV das selbst zu machen. Es birgt einfach zu viel Gefahr, sich auf die Wettbewerber zu verlassen.

DrFreaK666

2022-01-31, 13:05:28

Kann man nicht alles in DX einfügen? Drei eigene Ansätze + die von den Entwicklern. Was soll das?

basix

2022-01-31, 13:27:36

Kann man nicht alles in DX einfügen? Drei eigene Ansätze + die von den Entwicklern. Was soll das?

Dafür warten wir auf DirectML.
https://docs.microsoft.com/en-us/windows/ai/directml/dml-intro

robbitop

2022-01-31, 13:39:23

DirectML ist nur eine Schnittstelle für das Ansprechen der jeweilig vorhandenen Hardware. Die Krux ist das trainierte Neuronale Netz. Da muss man sich ein Modell überlegen und das entsprechend trainieren. Da das sehr aufwändig ist und das nicht jeder kann, gibt man anderen keinen Zugriff darauf. Auch Intel tut das nicht (zumindest kein Zugriff, der es erlaubt es einzusehen und weiterzuentwickeln).

Jedenfalls: Das hinterlegt man nicht in einer API. Das kann man pro Spiel als dll verteilen - aber es wäre nicht quelloffen und nicht optimiert auf alle HW Kombinationen. das würde nur passieren, wenn eine dritte neutrale Partei das übernehmen würde.

basix

2022-01-31, 13:49:16

Dass DirectML nur eine Schnittstelle ist, ist klar. Aber es erleichtert die Implementation einer allgemeinen Lösung enorm. Ist nicht ganz perfekt, da die Playstation damit wohl ausgeklammert wird.

Ich kann mir gut vorstellen, dass FSR 2.0 beim PC auf DirectML aufsetzen wird. Das wäre auch im Interesse von Microsoft (Push für DX12 und XBox). Je nachdem bringt Microsoft auch eine eigene Temporal Upsampling Technologie auf Basis von mithilfe von DirectML. Sozusagen als Referenzimplementation. Das Know How dazu hätten sie und in diesem Falle könnte es Microsoft auch proprietär halten. Läuft dann auf der PS5 nicht.

robbitop

2022-01-31, 14:16:52

Auf Basis ließt sich irgendwie irreführend. Ja das Verfahren nutzt die Schnittstelle um die HW anzusprechen. Aber das Verfahren selbst basiert nicht darauf. Ich bin mir im Klaren, dass du das verstehst, aber das gilt nicht notwendigerweise für jeden Mitleser. :)

Und ja ich denke DirectML wird früher oder später genutzt werden. Intel macht es laut Interview auch zunächst mit proprietärer API gedenkt aber später zu wechseln - wobei ihnen da soweit ich mich erinnere ein paar Sachen nicht ganz gefallen (die es langsamer oder komplizierter machen).

MS muss man mal sehen. Von denen hat man ja seit bald 3 Jahren nichts mehr von dem eigenen Verfahren gehört. Aber es las sich auch so als wenn sie ein NN nutzen. Im Moment sind sie jedenfalls MiA. Ggf. sind sie an eine feasibility border getroffen. Hardware nicht sinnvoll oder Ansatz nicht sinnvoll. Oder es dauert einfach nur...

basix

2022-01-31, 15:21:33

Auf Basis ließt sich irgendwie irreführend. Ja das Verfahren nutzt die Schnittstelle um die HW anzusprechen. Aber das Verfahren selbst basiert nicht darauf. Ich bin mir im Klaren, dass du das verstehst, aber das gilt nicht notwendigerweise für jeden Mitleser. :)

Gefixt ;)

Andererseits zum "auf Basis":
Was, wenn Microsoft via DirectML oder besser noch DirectX entsprechende Interfaces anbieten würde? Motion Vectors etc. mit einer vereinfachten Schnittstelle verfügbar machen. Evtl. zukünftig sogar mit HW-Acceleration der entsprechenden Tasks (falls sinnvoll)? Das sind dann Werkzeuge, welche ein entsprechende Implementation vereinfachen würden. Klar, es würde auch einschränken, wenn man dann nur diese Interfaces dafür verwendet. Aber es würde die Einstiegshürde für Entwickler evtl. verringern.

Gast

2022-01-31, 16:47:33

Dafür warten wir auf DirectML.
https://docs.microsoft.com/en-us/windows/ai/directml/dml-intro

DirectML ist eine API, DLSS ein Algorithmus, das eine hat nicht viel mit dem anderen zu tun.

iamthebear

2022-01-31, 21:21:27

DirectML ist eine allgemeine Machine Learning Schnittstelle. Mit der kann man ziemlich viel machen und muss daher sehr allgemein gehalten sein und je nachdem was man damit macht werden ganz andere Daten benötigt.

DLSS ist hingegen eine Upscaling/AA Lösung. Hier werden als Eingangsdaten z.B. das jeweils aktuelle Frame geliefert plus Motion Vektoren und zusätzlich muss man selbst vorher gewisse Vorkehrungen treffen, dass es vernünftig funktioniert z.B. für detailliertere Texturen sorgen (z.B. LOD Bias ändern).
Ob die DLSS nun intern ML nutzt oder nicht ist für das Spiel selbst transparent. Natürlich könnte DLSS intern nun DirectML benutzen aber ich sehe das nicht unbedingt als notwendig an solange von der DLSS dll sowieso nur Nvidia GPUs unterstützt werden.
Viel wichtiger wäre es die Schnittstelle zwischen Spiel und der dll zu standardisieren. Wenn diese einigermaßen gleich ist, dann kann ein Spielehersteller der bereits ein Spiel für DLSS optimiert hat bei Intel GPUs stattdessen die Intel dll drauf stöpseln, das deren Hardware am Besten ausnützt und AMD kann dann später mit ihrer eigenen dll kommen, die auf ihre GPUs optimiert ist.

basix

2022-01-31, 22:17:45

Viel wichtiger wäre es die Schnittstelle zwischen Spiel und der dll zu standardisieren. Wenn diese einigermaßen gleich ist, dann kann ein Spielehersteller der bereits ein Spiel für DLSS optimiert hat bei Intel GPUs stattdessen die Intel dll drauf stöpseln, das deren Hardware am Besten ausnützt und AMD kann dann später mit ihrer eigenen dll kommen, die auf ihre GPUs optimiert ist.

Genau bei Vereinheitlichung von Schnittstellen kommen wir ziemlich nahe an standardisierte APIs rund um DirectX oder Vulkan. Ob das dann DirectML miteeinschliesst spielt ja nicht so eine Rolle, wäre aber denkbar, da damit die Tensor Cores transparent für die Anwendung werden sollten (was sie mit DirectX nicht sind). Und diese GPU Optimierung heisst dann folgend: Treiber.

DirectML ist eine API, DLSS ein Algorithmus, das eine hat nicht viel mit dem anderen zu tun.

Mir ist klar das DirectML "nur" eine API ist. Aber wenn wir eine "allgemeine" oder mehr oder minder vereinheitlichte Lösung für das temporal upsampling Thema wollen, geht das nur über solche APIs. Egal ob das Ding dann DLSS, XeSS oder sonstwie heisst. Das wäre ein wenig wie bei RTX: Nvidia liefert NVextensions, um die RT-Cores anzusprechen. Später wird das in ähnlicher Form in DirectX gegossen. Für die Tensor Cores heisst das ganze dann DirectML. Und der Nutzen der Tensor Cores in Spielen sind momentan genau zwei Dinge: DLSS und DLDSR. Ersteres via NVextensions, letzteres Treiber intern. XeSS bekommt eigene Extensions für Intel GPUs und deren Matrix Cores und bei den anderen Vendors läuft es dann in eine DOT4 Fallback via Compute. Deswegen: Wir warten auf DirectML. Das wird bereits eine gewisse Vereinheitlichung der Interfaces herbeiführen. Das ist nicht gleichbedeutend mit der Vereinheitlichung des Algorithmus ;)

Ob dann noch was spezielles für temporal upsampling explizit in die API wandert? Sinnvoll wäre es, aber eher als Teil von DirectX und vermutlich nur einzelne Bausteine davon. Motion Vectors, deren Datenformat usw.

Gast

2022-02-01, 12:40:30

Mir ist klar das DirectML "nur" eine API ist. Aber wenn wir eine "allgemeine" oder mehr oder minder vereinheitlichte Lösung für das temporal upsampling Thema wollen, geht das nur über solche APIs.

Wie gesagt, dafür ist eine API nicht da.

Eine vereinfachte Analogie: Eine API stellt die "Grundrechnungsarten" zur Verfügung und nicht wie man diese mehr oder weniger sinnvoll verknüpfen kann um dann auch ein sinnvolles Ergebnis zu bekommen.

Eine fertige Implementierung sollte nicht Teil einer generischen API sein.

Egal ob das Ding dann DLSS, XeSS oder sonstwie heisst. Das wäre ein wenig wie bei RTX: Nvidia liefert NVextensions, um die RT-Cores anzusprechen. Später wird das in ähnlicher Form in DirectX gegossen.

Der Vergleich ist ziemlich unpassend. Die RT-Extentions stellen nur Möglichkeiten zur Verfügung strahlen abzuschießen, und liefert Ergebnisse (hit, miss etc.) zurück. Was damit gemacht wird obliegt alleine der Implementierung.

Wenn man DLSS oder vergleichbares Teil von DirectX machen würde wäre es das selben als wenn DirectX schon fertige Algorithmen um Spiegelungen, Schatten etc mit RT zu berechnen integriert hätte, was aber nicht der Fall ist. DirectX stellt nur die Werkzeuge zur Verfügung, es "baut" keine fertigen "Maschinen". DLSS ist nicht einfach nur ein Werkzeug sondern eine fertige Maschine.

Für die Tensor Cores heisst das ganze dann DirectML. Und der Nutzen der Tensor Cores in Spielen sind momentan genau zwei Dinge: DLSS und DLDSR. Ersteres via NVextensions, letzteres Treiber intern. XeSS bekommt eigene Extensions für Intel GPUs und deren Matrix Cores und bei den anderen Vendors läuft es dann in eine DOT4 Fallback via Compute.

Das "Problem" sind weniger die APIs, da ist es ziemlich egal mit welcher API DLSS implementiert wird bzw. wurde. Wäre DLSS frei verfügbar würde sich schon jemand finden der es in einer aktuellen API implementieren würde.
Das "Problem" ist vielmehr, dass der Algorithmus von DLSS eben nicht frei verfügbar ist.

Deswegen: Wir warten auf DirectML. Das wird bereits eine gewisse Vereinheitlichung der Interfaces herbeiführen. Das ist nicht gleichbedeutend mit der Vereinheitlichung des Algorithmus ;)

Wie gesagt DirectML hilft überhaupt nichts, wenn DLSS selbst nicht frei verfügbar ist.

Ob dann noch was spezielles für temporal upsampling explizit in die API wandert? Sinnvoll wäre es, aber eher als Teil von DirectX und vermutlich nur einzelne Bausteine davon. Motion Vectors, deren Datenformat usw.

Da bin ich eher skeptisch, alleine an DLSS hat sich in den letzten Jahren jede Menge getan. Wenn man da mit einer API zu starke Voraussetzungen schafft könnte das die Weiterentwicklung sehr stark behindern, da Änderungen an einer API immer ein sehr langwieriger Prozess ist und alle beteiligten mit an Bord müssen.

Motionvectoren sind btw quasi standardisiert, DLSS ist ja nicht der erste Algorithmus der Motionvectoren benötigt. Das ist nichts anderes als eine Textur, in der jeder Kanal eben nicht für eine Farbe sondern für eine Bewegung in einer Achse steht.

aufkrawall

2022-02-02, 00:51:01

Die Performance von 1,78x DLDSR + DLSS Balanced kommt in SotTR ziemlich genau bei nativer Auflösung + SMAA T2x raus. Sieht schon detaillierter aus, keine Frage.
Interessant ist aber auch, was ein Schrott DLSS Ultra Performance ist. Mit 1,78x DLDSR ist das von 1440p ausgehend 854p. Es sieht aber komplett bescheiden aus gegen DLSS Balanced in 1440p (830p). Liegt also nicht nur an der Render-Auflösung, Ultra Performance interpoliert auch darüber hinaus schlicht nur noch Müll.
Hypothesen: Entweder, die Qualität der interpolierten Pixel nimmt mit extrem erhöhter Zielauflösung stark ab, oder der Algorithmus war ursprünglich gar nicht auf 1/3 Achsenauflösung optimiert.
Edit: Oder die Last auf den TCs wär bei besserer Qualität zu hoch für den hohen Upsampling-Faktor.

Slipknot79

2022-02-02, 01:00:47

Habe mir die Shice nun auch in SotTR angeschaut.
1,78x DLDSR + DLSS P

Erketnisse:
- 1,78x vs 2,25x Unterschied kaum wahrnehmbar.
- DLSS P schwächelt etwas bei der Schattendarstellung im Vgl zu Q.
- Nie wieder CAS@reshade :redface: CAS schaffte es nicht die Lederstruktur von Laras Fetzen zu rekonstruieren. Kein Problem hingegen mit 1,78x, deutlich mehr Details erkennbar.
- Leistungen im GPU limit: 3440x1440 + DLSS-Q + CAS@reshade ca 105fps. 1,78x + DLSS-P ca 96fps. Akzetabler Leistungsverlust.

TheAntitheist

2022-02-02, 05:53:41

CAS soll auch gar nix rekonstruieren, es soll "vom Inhalt abhängig schärfen"

basix

2022-02-02, 09:34:31

Jepp. Mit 1.78x hat bekommt man eine höhere interne Output-Auflösung, klar sieht das besser aus (obwohl gleich viel Pixel gerendert werden). Das ist eine Eigenheit von DLSS (Ausnahme: UP). Unter Umständen werden sogar MIP/LOD Bias auf die höhere Output-Auflösung angepasst, was z.B. bei HZD auch passiert, wodurch automatisch deutlich mehr solcher Details sichtbar werden. Da hat CAS gar nicht die Möglichkeit, diese Strukturen rauszuschälen, da gar nicht im Ursprungsbild enthalten.

Dein Szenario mit 1.78x + DLSS-P mit CAS zu ergänzen würde immer noch Sinn machen. Ist zumindest meine Erfahrung bei allen Spielen die ich angetestet habe. Bildschärfe und auch Texturdetails werden noch ein wenig gepimpt. Performance-Kosten sind ja eh praktisch null.

Ex3cut3r

2022-02-02, 11:06:17

Was für einen Smoothing Wert benutzt ihr mit DLDSR? Fürs normale fand ich die Standard 33% eigentlich ganz ok. Bei den DLDSR finde ich es aber teilweise zu scharf damit. 50% scheint IMO der bessere Wert?

Slipknot79

2022-02-02, 11:47:53

>Dein Szenario mit 1.78x + DLSS-P mit CAS

Yea weiß schon dass CAS aus nichts nichts rekonstruieren can.
Aber ja, könnte eine gute Idee sein. Wenn CAS, dann nur noch sehr dezent. Oder gleich weglassen. SotTR hat schon nativ eine gewisse (gewohlte?) Unschärfe, es wirkt zumindest so.

Das gute an 1,78x für 1440p User (UWQD oder QHD) ist, dass man in etwa die Quali von DLSS bei 4k nativ erhält.

Bisher immer bei 33% belassen.

y33H@

2022-02-02, 17:04:36

Nvidia sagt, keine temporale Komponente und der Algorithmus heißt DeepResolve ... ich muss an ein paar Punkten nachhaken ^^

EDIT

Auch wenn es offensichtlich erscheint: DLDSR ist bei gleicher Auflösung etwas langsamer als Legacy DSR - bei besserer Bildqualität ...

robbitop

2022-02-02, 18:11:32

Kannst du fragen, ob der Algorythmus auf Bildinformationen vorheriger Frames zugreift? Die Entfernung von Noise (siehe das Flimmern von Geralts Amulett) sprechen dafür. Dazu gibt es zwar keine Motion vectors und kein jittering der Sampleposition. Aber wenn man sich vergangene Frames anschaut, ist sowas möglich und ich vermute, dass das nicht ohne geht.
Technisch gesehen ist das temporal - aber je nach Definition sieht das ggf. nicht jeder so.
Ähnlich machen das ja aktuelle AI Upscale SoCs in modernen TVs. Die schauen sich vergangene Frames an und versuchen, durch den Verschiedenheitsgrad gleicher Objekte zusätzliche Informationen zu generieren und auch Artefakte zu entfernen. Das war ohne NN vor ein paar Jahren noch ziemlich bescheiden vom Ergebnis ist aber mittlerweile deutlich besser geworden durch NN statt Heuristik. Ich würde mich wundern, wenn DLDSR nicht auch wenigstens auf vergangene Frames schaut, wenn man sich anschaut, wie gut es temporal stabilisiert - sogar ohne TAA.

teezaken

2022-02-02, 18:35:23

Denkt ihr es ist möglich die Kantenerkennung von DLDSR auch auf Nativ nutzbar zu machen?
So als zusätzliches AA bestimmt praktisch.

basix

2022-02-02, 20:40:26

DeepResolve? Das funktioniert doch umgekehrt? LowRes -> HighRes :confused:
https://www.siemens-healthineers.com/en-us/magnetic-resonance-imaging/technologies-and-innovations/deep-resolve
https://cdn0.scrvt.com/39b415fb07de4d9656c7b516d8e2d907/80138e4140e2a6c7/42473a0fa698/MR_Dr.Behl-Whitepaper_USA-5-27-.pdf
https://pubmed.ncbi.nlm.nih.gov/29582464/

Gast

2022-02-02, 21:08:04

DeepResolve? Das funktioniert doch umgekehrt? LowRes -> HighRes :confused:

Ist es ja vermutlich auch, die "AI-Magic" macht ein Upscaling, welches danach herkömmlich wieder auf die Monitorauflösung gerechnet wird.

y33H@

2022-02-03, 08:20:04

Wenn das tatsächlich das selbe ist, ja - Nvidia hat diverse inhouse Entwicklungen, vll auch eine namens DeepResolve.

robbitop

2022-02-03, 08:31:21

This iterative process, together with the noise maps as prior knowledge reflecting
where more noise is to be expected in the image, enables
an effective denoising in the reconstruction process. Liest sich für mich so als wenn das Siemens Verfahren auf vorhergehende Frames schaut (in dem Falle Noisemaps aus der Vergangenheit = Frame n-x?)

Unabhängig von dem Siemenspatent liegt intuitiv die Vermutung nahe, dass das DLDSR Verfahren von NVidia vergangene Frames berücksichtigt. Es sind Daten die da sind und Daten, die für das NN potenziell wertvoll sind, um temporal zu stabilisieren und auch Dinge, die nicht im Bild in Frame n sind (weil nicht abgetastet) aber in Frame n-1 zu rekonstruieren (dünne Objekte wie Leitungen oder dünne Äste). Ohne vorherige Bilder einzubeziehen erscheint mir das (insbesondere wenn kein TAA genutzt wird) kaum möglich - vor allem mit so einer hohen Trefferrate / Konsistenz.

Ich hoffe ernsthaft für den Grafikkartenmarkt, dass AMD sich aktuell auch so intensiv mit NNs beschäftigt. Bei NV wird es sicherlich einiges an Research gegeben haben bisher. Und man forscht sicherlich an vielen Projekten und ein paar werden was wie DLSS und DSR (oder deren Bildupscaler in der 2019er Shield).
Die Vorteile werden weiter wachsen - man verpasst hoffentlich nicht den Anschluss.

basix

2022-02-03, 09:11:51

Bezüglich AMD: Laut dem Interview mit dem Technikchef bei Radeon-Software, sind sie sehr stark mit DNN am arbeiten. Damals bei der Wegfindung zu FSR 1.0 hatte der Spatial Filter allerdings den besten Mix aus ihrem Anforderungskatalog (performant, einfach zu implementieren, Dynamic Resolution fähig, grosse HW-Basis, einigermassen gute Qualität). DNN waren da im Vergleich auch dabei. Und es kann gut sein, dass ohne Matrix-Acceleration einfach die Performance fehlt. Auch wenn das bezüglich Konsolen etwas schade wäre. TSR machts ja vor ohne Matrix-Acceleration.

Wenn das tatsächlich das selbe ist, ja - Nvidia hat diverse inhouse Entwicklungen, vll auch eine namens DeepResolve.
Ja, wissen wir nicht, ob das gleiche. Das Paper ist aber von 2018 und es heisst dort sogar explizit "DeepResolve". Hier den selben Namen zu verwenden für ein eigenes Netzwerk? Wäre schon etwas unachtsam von Nvidia.
We implemented a 3D convolutional neural network entitled DeepResolve...
Die Frage für mich ist eher, wie sie DeepResolve für DLDSR einsetzen. Aus dem überfliegen des Papers wurde ich auch nicht viel schlauer. Man könnte sicher auf 4x hochsamplen und dann Downsampling betreiben. Oder das Netzwerk kann aus den 1.78/2.25x nochmals mehr Details heraussschälen ohne Upsampling. Oder man kann den Prozess von DeepResolve "umkehren" und fürs Downsampling benutzen.

y33H@

2022-02-03, 10:01:29

Ich hab paar Nachfragen hinterher geschoben, werde bisher nicht so richtig schlau daraus.

-/\-CruNcher-/\-

2022-02-03, 12:29:56

Wenn das tatsächlich das selbe ist, ja - Nvidia hat diverse inhouse Entwicklungen, vll auch eine namens DeepResolve.

Nvidia und Siemens haben auch Technische Kooperationen vor allem Siemens NX und Medical

y33H@

2022-02-03, 14:12:24

Das alleine heißt nüscht ... Nvidia sagt, DeepResolve sei Teil von NGX.

basix

2022-02-03, 16:41:23

Wir haben zwei Möglichkeiten:
- DeepResolve in NGX ist was neues
- DeepResolve in NGX basiert auf DeepResolve von Siemens. Ob nun in Kooperation oder nicht ist mal nicht von Belang.

Evtl. gibt es auf der GTC oder halt erst der Siggraph was näheres dazu.

DrFreaK666

2022-02-04, 22:44:57

Gab es nicht mal ein XeSS-Thread oder habe ich das nur geträumt?

aufkrawall

2022-02-04, 23:17:56

Woanders gesehen:
I'm turning off DLSS in favor of AMD's FSR in Dying Light 2 (https://www.pcgamer.com/dying-light-2-upscaling-prefer-fsr-over-dlss/)

Gegentest:
native:
https://abload.de/thumb/dyinglightgame_x64_rwilkrq.png (https://abload.de/image.php?img=dyinglightgame_x64_rwilkrq.png)

DLSS (2.2.11) Balanced + ReShade CAS 1.4:
https://abload.de/thumb/dyinglightgame_x64_rwuwjof.png (https://abload.de/image.php?img=dyinglightgame_x64_rwuwjof.png)

FSR Q + ReShade CAS 1.4:
https://abload.de/thumb/dyinglightgame_x64_rwb2jko.png (https://abload.de/image.php?img=dyinglightgame_x64_rwb2jko.png)

Was für Schlümpfe irgendwo ihre Meinung kundtun dürfen. ;D

Raff

2022-02-04, 23:41:41

DrFreaK666

2022-02-05, 00:04:59

Man muss tatsächlich faustgroße Tomaten auf den Augen haben, um FSR hier vorne zu sehen. Es beschleunigt ganz formidabel, ja, aber DLSS erzielt das wesentlich detailliertere Bild (Q vs. Q).

MfG
Raff

Er sagt dass das Bild mit FSR weniger matschig ist. Das ist mit auch beim Video von DF aufgefallen.
Bei PC Gamer hat er sicherlich kein CAS verwendet, oder gibt es das als Option im Spiel?

Edit: du schreibst Reshade CAS. Also hat er die Optionen im Spiel genutzt und da sieht FSR schärfer aus

Raff

2022-02-05, 00:13:01

Es gibt einen Schärfe-Slider, man kann die Ekligkeit des Ringings also nach Gusto einstellen. ;) Die Detailrekonstruktion hängt hingegen an der tatsächlich berechneten oder hergeleiteten Auflösung.

MfG
Raff

Dampf

2022-02-05, 00:47:16

Haltet euch fest!

Ich hab ein bisschen mit dem Raytracing PC Port von Mario 64 rumgespielt und eine ziemlich interessante Entdeckung gemacht.

In dem Port kann man ja DLSS und das spielinterne Denoising an und ausschalten.

Schaltet man das Denoising und DLSS aus, dann erwartet einen natürlich ein Bild voller Rauschen.

https://i.imgur.com/OUF4Rwp.jpg

Jetzt kommts. Schaltet man DLSS an, so wird das Rauschen massiv reduziert. DLSS übernimmt sozusagen das Denoising.

https://i.imgur.com/J1LCkIH.jpg

Wie man sieht ist der Großteil des Rauschens weg.

Schaltet man nun den spielinternen Denoiser dazu, ist das Bild perfekt und vom Rauschen ist fast nichts mehr übrig.

https://i.imgur.com/yNejd89.png

Es ist anscheinend so, dass DLSS einen automatischen Denoiser integriert hat oder das Neuronale Netzwerk wurde darauf trainiert, Noise zu entfernen.

Wir haben mit DLSS also quasi automatisch KI-gestütztes Denoising. Das ist echt krass.

Raff

2022-02-05, 00:56:28

Andron

2022-02-05, 02:17:00

Es ist anscheinend so, dass DLSS einen automatischen Denoiser integriert hat oder das Neuronale Netzwerk wurde darauf trainiert, Noise zu entfernen.

Wir haben mit DLSS also quasi automatisch KI-gestütztes Denoising. Das ist echt krass.

DLSS ab Version 2.0 hat keinen Denoiser integriert, es funktioniert exakt wie ein temporaler Denoiser (+einiger zusätzlicher Schritte, die für das Upscaling und die Rekonstruktion feiner Details notwendig sind). Wenn ich mehrere Frames miteinander verrechne, und die Mittelwerte der einzelnen Pixel als Endresultat nehme, wird temporales Bildrauschen reduziert/eliminiert, ganz ohne KI. Video-Denoiser wie Neat Video arbeiten nach exakt dem gleichen Prinzip.

Geldmann3

2022-02-05, 04:31:29

Mich würde sehr interessieren, was passiert, wenn ich eine Textur habe, die verrauscht ist und auch so aussehen SOLL. Macht DLSS diese dann kaputt?
Würde es ja mal in der UE testen, doch mir fehlt es gerade leider massiv an Zeit.^^

Meine Vermutung dazu ist NEIN.
Denn man hat nur mehr Samples pro Pixel, das Bild geht also lediglich etwas in Richtung Supersampling.
Doch unter schlechten Umständen könnte es passieren, wenn das NN meint ungewünschte Pattern zu erkennen.

Andron

2022-02-05, 09:59:04

Mich würde sehr interessieren, was passiert, wenn ich eine Textur habe, die verrauscht ist und auch so aussehen SOLL. Macht DLSS diese dann kaputt?
Würde es ja mal in der UE testen, doch mir fehlt es gerade leider massiv an Zeit.^^

Statisches Rauschen auf einer Textur würde von der temporalen Verrechnung der Pixel nicht entfernt werden, da es sich hierbei im Prinzip um sehr feine Details handelt, die sich nicht Bild für Bild verändern. Sie würden bei zu niedriger Ausgangsauflösung sogar feiner herausgearbeitet werden.

Die von mir oben angesprochenen temporalen Video-Denoiser haben deswegen auch fast alle noch eine rein räumlich arbeitende Komponente, um statische Rauschmuster in Videomaterial (oft durch die Kompression verursacht) entfernen zu können. Dazu wird bei Neat Video z.B. ein Rauschmuster in einem möglichst einfarbigen, homogen Bereich erfasst, um Rauschen von echten Details unterschieden zu können.

Dampf

2022-02-05, 12:49:43

Kriegst "Deep Learning Denoising" du z. B. auch in Battlefield 2042: https://www.pcgameshardware.de/commoncfm/comparison/clickSwitchNew.cfm?article=1383714&page=3&draft=-1&rank=3

Wie kriegt man den guten Mario denn zum Laufen, hast du einen Link? Ich habe das Original, reicht das? :D

MfG
Raff

https://www.youtube.com/watch?v=fgIJBuVELsQ

Hier wird alles einfach erklärt! Wenn du nach deinem Dying Light 2 Review mal ne Verschnaufpause bekommen solltest, ist das definitiv ein guter Zeitvertreib! :biggrin:

Wenn du alles gestartet hast, drücke F1 um die ganzen Parameter nach deinem Belieben einzustellen. Die GI und RT Schatten sind zum Beispiel nicht standardmäßig aktiviert. Je mehr samples pro pixel, desto höher die Qualität aber desto leistungsintensiver, kennste ja ;)

@Andron danke für die Info, sehr interessant!

Gast

2022-02-05, 13:21:52

Es ist anscheinend so, dass DLSS einen automatischen Denoiser integriert hat oder das Neuronale Netzwerk wurde darauf trainiert, Noise zu entfernen.

Das passiert vollautomatisch durch das verrechnen mehrerer Bilder, ganz ohne "DL-Magic".

Die selbe Technik verwendet man in der Fotografie schon seit Ewigkeiten, wenn du eine statische Szene hast machst du einfach mehrere Bilder vom Stativ und mittelst diese dann. Die echten Details sind in jedem Foto gleich, verändern sich dadurch also nicht, das Rauschen ist in jedem Bild zufällig und wird damit rausgemittelt.

Und die ganzen modernen Dinge der "computational photography" machen auch nichts anders, night mode und dergleichen schießen auch jede Menge Fotos in kurzer Zeit und kombinieren diese, allerdings etwas intelligenter, es wird nicht mehr stur der Durchschnitt gebildet, sondern sowohl die Kamerabewegung als auch Objektbewegungen werden erkannt und weitgehend ohne Ghosting miteinander verrechnet. Den Entrauschungseffekt bekommt man damit natürlich nur dort wo es keine Bewegung gibt.

robbitop

2022-02-05, 13:53:32

Deep Learning Super Sampling eben. Natürlich entfernt das auch Rauschen. Mehr Samples.

Raff

2022-02-07, 00:50:37

https://www.youtube.com/watch?v=fgIJBuVELsQ

Hier wird alles einfach erklärt! Wenn du nach deinem Dying Light 2 Review mal ne Verschnaufpause bekommen solltest, ist das definitiv ein guter Zeitvertreib! :biggrin:

Uff. Danke für den Link, sehr spannend! Ich wollte das eigentlich gerade "mal eben" machen, aber das ist ja schon ein mittlerer Aufriss mit einigen Downloads, Installationen und Kommandos.

MfG
Raff

DrFreaK666

2022-02-16, 13:42:12

Hat schon jemand NIS + DLSS getestet?
Würde mich spaßeshalber interessieren was da passiert und wie es aussieht.
Könnte jemand verschiedene Settings ausprobieren, mit und ohne NIS und mit FPS-Angabe?

Troyan

2022-02-16, 14:37:38

Funktioniert mit Experience. Bis 20% ist es gut nutzbar, über 20% verändert sich einfach zu stark das Bild, da Experience ein komplett fertig gerendertes Bild nachschärft.
Hier mal aus Cyberpunk DLSS Performance mit 15% gegen FSR Performance: https://imgsli.com/OTYwMTU

Geldmann3

2022-02-16, 15:00:03

DLSS Performance mit 15% von was?
NIS? Bei nativer Auflösung?

Troyan

2022-02-16, 15:10:48

15% in Experience eingestellt bei DLSS Performance.

DrFreaK666

2022-02-16, 16:16:02

Sitze gerade nicht am PC und am Smartphone machen die Bilder wenig Sinn...
Wird das Bild deutlich schlechter? Wie sieht es mit den FPS aus?

Mich interessiert der Vergleich DLSS vs DLSS + NIS.
Dass FSR schlechter ist, ist kein Geheimnis

aufkrawall

2022-02-17, 00:24:34

Offenbar wird in CyberPunk mit Patch 1.5 nun das LOD Bias korrekt für DLSS gesetzt (y) (Poster, Teppiche...):
https://abload.de/thumb/cyberpunk2077_2022_021kjn4.png (https://abload.de/image.php?img=cyberpunk2077_2022_021kjn4.png) https://abload.de/thumb/cyberpunk2077_2022_026njga.png (https://abload.de/image.php?img=cyberpunk2077_2022_026njga.png)

Ca. verdoppelte fps mit DLSS Balanced & RT-Reflexionen. :freak:

basix

2022-02-17, 07:38:35

Ca. verdoppelte fps mit DLSS Balanced & RT-Reflexionen. :freak:

Meine ich das nur, oder ist mit DLSS die Qualität von Schatten und Reflexionen deutlich reduziert?

Fragman

2022-02-17, 09:38:23

Zumindest die Reflexionen wirken blurrier.
Wie sieht denn DLSS Quality aus?

Gast

2022-02-17, 11:43:29

Zumindest die Reflexionen wirken blurrier.

Reflexionen werden offenbar mit DLSS in niedrigerer Auflösung gerechnet, war bisher relativ egal, da es in Cyberpunk praktisch nur diffuse Relfexionen.

Das einzige Spiel das mir bekannt ist, in dem auch Reflexionen durch DLSS an Details gewinnen ist Guardians of the Galaxy.

aufkrawall

2022-02-17, 15:24:31

Troyan

2022-02-18, 12:02:45

Das UE4 Plugin unterstützt nun DLAA und nVidia hat auch NIS eingebaut: https://www.unrealengine.com/marketplace/en-US/product/nvidia-dlss

GerryB

2022-02-18, 13:09:59

https://www.unrealengine.com/marketplace/en-US/product/fidelityfx-super-resolution

FSR macht für ne GTX vllt. mehr Sinn.

DrFreaK666

2022-02-18, 14:06:33

Hat jemand mal FSR mit NIS verglichen?
Wo ist da der große Unterschied?

Troyan

2022-02-18, 14:08:25

Gibt keinen relevanten Unterschied. Beides sind spartiale Upscaler mit einem Schärfefilter. Ist gehopps wie gesprungen, was man verwendet.

ChaosTM

2022-02-18, 14:13:12

Offenbar wird in CyberPunk mit Patch 1.5 nun das LOD Bias korrekt für DLSS gesetzt (y) (Poster, Teppiche...):
[/URL]https://abload.de/thumb/cyberpunk2077_2022_021kjn4.png (https://abload.de/image.php?img=cyberpunk2077_2022_021kjn4.png) [URL]https://abload.de/thumb/cyberpunk2077_2022_026njga.png (https://abload.de/image.php?img=cyberpunk2077_2022_026njga.png)

Ca. verdoppelte fps mit DLSS Balanced & RT-Reflexionen. :freak:

Die braucht meine mobile 3080er auch dringend. :)
Seh kaum eine Unterschied zwischen Quality und Balanced tbh.
Muss wieder mal zum Augenarzt.

DrFreaK666

2022-02-18, 14:22:10

Also alles unter Quality ist bei nem Freund nicht Crisp genug

GerryB

2022-02-18, 14:30:13

Gibt keinen relevanten Unterschied. Beides sind spartiale Upscaler mit einem Schärfefilter. Ist gehopps wie gesprungen, was man verwendet.

Soll net das CAS vom FSR besser sein?
und
Mit FSR hat man alle Grakas+APU´s aller Colours bedient.

... wenn man sich als Dev schon die Mühe macht

aufkrawall

2022-02-18, 18:29:13

Seh kaum eine Unterschied zwischen Quality und Balanced tbh.

Ist Balanced vs. nativ. ;)

Andere Szene, wieder Balanced (CAS 1.4) vs. nativ TAA (CAS 0.8), aber Psycho-SSR anstatt RT:
https://abload.de/thumb/cyberpunk2077_2022_024pjt7.png (https://abload.de/image.php?img=cyberpunk2077_2022_024pjt7.png) https://abload.de/thumb/cyberpunk2077_2022_02d0kqc.png (https://abload.de/image.php?img=cyberpunk2077_2022_02d0kqc.png)

Einfach nur gaga, was eine massive Leistungsverschwendung native Renderauflösung ist. XeSS soll mal in die Puschen kommen, damit man endlich die Render-Steinzeit hinter sich lassen kann...

Ex3cut3r

2022-02-18, 20:02:29

Guter Vergleich. Allerdings weiß ich gar nicht, warum du dir die Mühe machst. Die DLSS Hater werden immer gegen DLSS sein, und es als schlechte Bildqualität abstempeln. Deine Bilder klicken die nicht mal an, und ich weiß das alles schon langer selber. Schließlich war ich ein Turing rls Käufer, und DLSS 2.0 habe ich geich ausprobiert und war begeistert. Im Gegensatz zur 1.0 Version.

ChaosTM

2022-02-18, 20:59:13

Ist Balanced vs. nativ. ;)

Andere Szene, wieder Balanced (CAS 1.4) vs. nativ TAA (CAS 0.8), aber Psycho-SSR anstatt RT:
https://abload.de/thumb/cyberpunk2077_2022_024pjt7.png https://abload.de/thumb/cyberpunk2077_2022_02d0kqc.png

Einfach nur gaga, was eine massive Leistungsverschwendung native Renderauflösung ist. XeSS soll mal in die Puschen kommen, damit man endlich die Render-Steinzeit hinter sich lassen kann...

Ich hatte das auch nicht auf diese Bilder bezogen. Was ich damit sagen wollte ist, dass für mich DLSS Performance ausreicht. Meist genügt sogar FSR falls sonst nichts anderes verfügbar ist.
Ich muss wirklich präziser werden. :)

basix

2022-02-18, 21:02:17

Das ist hinlänglich bekannt (war hier im Thread garantiert auch schon Thema), Shadow Maps leiden häufig mit sinkender Auflösung stärker an Qualität als viele andere Elemente der Grafik. Gleiches gilt für RT-Reflexionen. Ihr erwartet schon wieder Lunch for free, als ob 0,58x Auflösung pro Achse komplett folgenlos bleiben könnten. *seufz*...

Mit temporalem Supersampling könnte man ja daraufhin arbeiten, dass die sinkende Qualität eben nicht stattfindet ;)

Genug Samples abgetastet hätte man nämlich mit der Zeit, ist mMn nur eine Frage der Implementation. Für mich sieht diese Reduktion so aus, als wäre ein falsches LoD oder MIP Bias gewählt worden. Einfach auf Reflexionen und Shadow Maps übertragen. Output-Auflösung ist ja nicht reduziert.

aufkrawall

2022-02-18, 21:06:39

Das hat aber nichts direkt mit TAA(U) zu tun, sondern mit der Kopplung bestimmter LOD-Werte für Shadow Maps etc. an die Renderauflösung. Das ist nicht in DLSS zu beheben, sondern im Renderer des Spiels selbst.

basix

2022-02-19, 08:20:48

Genau das meine ich ;)

BlacKi

2022-02-19, 12:33:34

Deisi

2022-02-19, 12:45:31

No Mans Sky hat mit dem letzten Update zusätzlich DLAA bekommen.

Geldmann3

2022-02-21, 11:18:01

ich check das nicht, warum dldsr bei mir nicht läuft. ich hab vollbildschirm, alle auflösungen über uhd gelöscht und kein normales dsr aktiv. trotzdem rauschen die fps heftig in den keller, sogar heftiger als es dsr tun würde.

liegt das echt am oled tv?

Also ich verwende ja auch LG OLEDs, sogar 2 und DLDSR funktioniert bei mir.
Musste mit CRU nur die Auflösungen über 4k löschen, da ansonsten in die falsche Auflösung heruntergerechnet wird.

Es läuft ja sogar auf dem Desktop...

Welches Spiel verwendest Du denn? Eventuell ist es ja anwendungsspezifisch, mit Deinen Problemen? Mal auf den VRam-Verbrauch geschaut? Mit Downsampling komme ich mit der RTX 3090 schnell mal über die 10GB.
Die 16GB sprenge ich hingegen fast nie.

basix

2022-03-01, 14:16:53

Autsch: DLSS Source Code anscheinend durch Hack erbeutet (kann auch Fake sein).
https://videocardz.com/newz/nvidia-dlss-source-code-leaks-as-a-result-of-cyberattack-on-companys-servers

ChaosTM

2022-03-01, 14:30:19

Bei der Entwicklungsgeschwindigkeit ist das in kürzester Zeit wieder obsolet.

Warens die Russen, die Chinesen oder gar AMD ? ;)

robbitop

2022-03-01, 15:07:26

Die Frage ist, ob sie auch daa trainierte Neuronale Netzwerk bekommen haben. Und selbst wenn kann man es nicht weiter entwickeln oder nachvollziehen.

Gast

2022-03-01, 17:54:24

Autsch: DLSS Source Code anscheinend durch Hack erbeutet (kann auch Fake sein).
https://videocardz.com/newz/nvidia-dlss-source-code-leaks-as-a-result-of-cyberattack-on-companys-servers

Sieht mir auf den ersten Blick eher nach einer Testlibrary aus.

Was natürlich nicht heißt, das nicht irgendwo der DLSS-Algorithmus selbst dabei ist, aber grundsätzlich ist das erstmal auch egal.
Zur Funktionsweise von DLSS ist genügend öffentlich bekannt, dass das jemand nachbauen könnte, die Frage ist ob das NN auch geleakt wurde/wird, weil damit steht und fällt das Ganze. Ohne NN kann man damit erstmal nicht viel anfangen.

TheAntitheist

2022-03-02, 03:47:23

was meinste was los wäre wenn AMD oder Intel auf einmal einen sehr ähnlichen Code hätten :D ich glaub so blöd sind die auch nicht. Und wie du bereits sagtest, die funktionsweise ist allen schon bekannt, Nvidia hat nur den großen Zeitlichen Vorteil.

Geldmann3

2022-03-02, 08:13:04

Mit dem Release von RDNA 3 könnte AMD FSR 2.0 vorstellen, welches dann im Prinzip wie DLSS funktioniert und auf allen RDNA GPUs sowie eventuell auch den GPUs der Konkurrenz lauffähig sein wird.

Nvidia könnte dann jedoch schon wieder den Vorteil von DLSS 3.0 in der Hand haben, welches dann nicht nur die Auflösung, sondern auch die Framerate selbst upsampled. Ähnliches wird man sicher auch bald mit Texturen machen. Sodass diese niemals unscharf werden, egal wie nah man heranzoomt. Gibt es schon Papers zu. ;) Nvidia könnte auch hier wieder sowohl mit enormer Performance/Speicherersparnis, als auch einer massiven Steigerung der Qualität werben.

Dann ist man allen anderen erstmal wieder ein Level voraus.

Intel ist Nvidia in meinen Augen sogar näher auf den Fersen, was solche Dinge angeht.
Immerhin hat man die Arbeit an all dem sogar bereits mal beiläufig erwähnt.

Gast

2022-03-02, 10:04:58

was meinste was los wäre wenn AMD oder Intel auf einmal einen sehr ähnlichen Code hätten :D

Nix, Funktionalität nachzubauen ist ja erstmal nicht verboten, und das endet zwangsweise in einem sehr ähnlichem Code.

CD-LABS

2022-03-02, 10:20:00

(...)
Nvidia könnte dann jedoch schon wieder den Vorteil von DLSS 3.0 in der Hand haben, welches dann nicht nur die Auflösung, sondern auch die Framerate selbst upsampled. Ähnliches wird man sicher auch bald mit Texturen machen. Sodass diese niemals unscharf werden, egal wie nah man heranzoomt. Gibt es schon Papers zu. ;) Nvidia könnte auch hier wieder sowohl mit enormer Performance/Speicherersparnis, als auch einer massiven Steigerung der Qualität werben.

(...)
Meine Prognose geht in genau die gegengesetzte Richtung: Nicht weitere Frames werden interpoliert, sondern dem Algorithmus wird mehr Kontrolle darüber gegeben, wie viele Frames er überhaupt braucht, um seine Qualität zu steigern. Dadurch erhält er insgesamt viel mehr Möglichkeiten für die temporale Verrechnung:
Ein alter Beitrag dazu:
Meine Prognose für DLSS 3 ist ja, dass dann FrameRateTarget und QualityTarget miteinander verknüpft werden, weil der Einfluss der temporalen Komponente so weit gewachsen sein wird, dass alles andere keinen Sinn mehr hätte.
Also dann würde der DLSS-Algorithmus sehr davon abhängig sein, sowohl von vielen Elementen Informationen zu der Bewegung zu erhalten, (hohe Renderres) als auch viele Aktualisierungen der Bewegung (hohe Framerate) zur Verfügung zu haben. Dazwischen ein Optimum zu finden wäre dann die ständige Herausforderung für die dynamische Anpassung der Renderres.

Von hier: https://extreme.pcgameshardware.de/threads/unity-engine-unterstuetzt-bald-auch-nvidia-dlss.603131/#post-10726154

Gast

2022-03-02, 13:37:26

Nvidia könnte dann jedoch schon wieder den Vorteil von DLSS 3.0 in der Hand haben, welches dann nicht nur die Auflösung, sondern auch die Framerate selbst upsampled.

Das erhöht die Latenz und ist damit für Echtzeitanwendungen nicht zielführend.

TheAntitheist

2022-03-02, 15:02:05

Geldmann3

2022-03-02, 16:35:26

Glaube ich nicht.

DLSS 1.8 hat die Tensor Cores auch noch nicht verwendet und kaum Leistung verbraten. Das TSR der UE5 funktioniert genauso auf allen Grafikkarten und ohne neuronales Netzwerk. Wenn auch minimal schlechter als DLSS (https://www.forum-3dcenter.org/vbulletin/showthread.php?t=606808).

Meine Prognose geht in genau die gegengesetzte Richtung: Nicht weitere Frames werden interpoliert, sondern dem Algorithmus wird mehr Kontrolle darüber gegeben, wie viele Frames er überhaupt braucht, um seine Qualität zu steigern. Dadurch erhält er insgesamt viel mehr Möglichkeiten für die temporale Verrechnung:
Ein alter Beitrag dazu:

Ich erinnere mich.
Halte ich nach wie vor für eine sehr gute Idee.

aufkrawall

2022-03-02, 16:39:11

Hatte denn jemand in Control das Software-DLSS ohne RT getestet? Niedrigere Auflösung mit RT setzt so viel Leistung frei, da geht so ein Overhead schnell mal unter. Und es sah ja auch schlechter aus als DLSS 2.1, und 2.2/2.3 sehen nochmal besser aus.

aufkrawall

2022-03-02, 21:38:29

Das kommende Update 2.4 für Diablo 2R hat DLSS-Verbesserungen dabei: Es gibt viel weniger Ghosting, wenn man etwa einen Speer wirft, und bestimmte Objekte (etwa Tyrael im Chaos Sanctuary) flackern nicht mehr seltsam. DLSS-Version ist immer noch 2.3.5, die Verbesserungen kommen also rein durch eine bessere Integration. Das LOD-Bias muss man leider immer noch selbst via Treiber verschieben, will man keine Verschlechterung der Texturqualität.

basix

2022-03-07, 12:07:57

Ich habe eine Frage zu DLDSR:
In etwa 50% der Spiele passiert etwas komisches. Ich kann eine DLDSR Auflösung anwählen. Sobald ich das aber mache, springt man auf den Desktop zurück. Das Spiel läuft aber noch immer. Ich kann das Spiel dann in der Taskbar wieder anklicken und öffnen, das Spiel öffnet sich ganz kurz und man springt wieder auf den Desktop zurück. DLDSR funktioniert so also nicht, man kann es nicht brauchen.

Hat jemand die gleiche Erfahrung gemacht? Gibt es eine Lösung für das Problem? Liegt das an Full Screen, Windowed, Borderless Windowed Mode? Oder an G-Sync?

BlacKi

2022-03-07, 15:41:24

funktioniert nur im fullscreen.

aber bei mir nichtmal im fullscreen unter uhd, nur in fhd wenn ich alle anderen auflösungen die größer sind lösche.

Geldmann3

2022-03-08, 08:25:40

Hmm, wenn ich mich richtig entsinne hat es bei mir, mit der RTX 3090, ganz normal, in allen Situationen funktioniert. Jedoch hatte ich auch die ,,falschen Auflösungen" über 4K mit CRU entfernt, da sonst eh in die falsche Auflösung downgesampled wird, bei meinem LG TV.

Das war unter Windows 11

Werde es bei Gelegenheit auch mal hier unter Windows 10 mit der 3080 Ti ausprobieren.

Wenn ich mich von damals richtig erinnere konnte man einige Probleme umgehen, wenn man die DSR-Auflösung zuerst auch auf dem Desktop einstellt.
Hilft das vielleicht?

Mit der 2080 Ti hatte ich damals ebenfalls keine großen Probleme außer, dass ich mit CRU alle Auflösungen > 4K entfernen musste.
Frechheit von Nvidia eigentlich, dass man da selbst herumfummeln muss.

Tobalt

2022-03-08, 11:42:35

CD-LABS ich denke nicht dass es sinn macht die anzahl an temporalen Frames zu beschränken un ein bestimmtes frame Target zu halten. A) ist die Ersparnis kaum relevant B) ist es viel effizienter gerenderte Pixel zu sparen.

Deshalb wünsche ich mir nach wie vor von einer neuen DLSS Version eine Abschaffung der fixen Renderresolution und ein Ersatz dieser durch quality/fps Targets.

Zu alte Frames werden eh nach und nach verworfen wenn sie nichts relevantes mehr beitragen können, aber die Anzahl künstlich zu begrenzen ist doch ganz und gar nicht im Sinne von "AI" (also dem Ausnutzen von langfristiger "Erfahrung")

Wenn die Frames zu langsam kommen, muss einfach die Pixel-Render-Anzahl verringert werden, am besten dynamisch wie du schon sagst. Alles andere macht eher wenig Sinn IMHO

basix

2022-03-08, 12:18:27

Deshalb wünsche ich mir nach wie vor von einer neuen DLSS Version eine Abschaffung der fixen Renderresolution und ein Ersatz dieser durch quality/fps Targets.

Verstehe auch nicht, wieso es das bei DLSS nicht überall gibt. Einzig mir bekannte Ausnahmen sind Doom Eternal und Marvel's Avengers. Die bieten dynamisch skaliertes DLSS. Standard ist dort DLSS Quality. Und bei Bedarf geht es runter bis auf DLSS Performance. mMn die ideale Lösung für 4K+

Tobalt

2022-03-08, 12:48:45

Ah wusste noch gar nicht, dass es das schon in DLSS 2 gibt. Ja je nach Quality oder FPS target sollte dann eben das eine gehalten werden und das jeweils andere angepasst werden.

Eine Qualitätsobergrenze - wie du beschreibst - finde ich aber auch sinnlos.. Wenn das FPS Target gehalten wird, können doch ruhig endlos viele Pixel gerendert werden. Dann geht die Qualität eben weit ins Supersampling hinein.

blaidd

2022-03-08, 13:40:56

funktioniert nur im fullscreen.

aber bei mir nichtmal im fullscreen unter uhd, nur in fhd wenn ich alle anderen auflösungen die größer sind lösche.

Desktop auf die gewünschte DLDSR-Auflösung stellen. Dann geht's in den allermeisten Spielen und auch im Borderless.

Ansonsten geht's bei vielen (halbwegs) aktuellen Spielen nicht richtig.

Gast

2022-03-08, 14:18:32

Ich habe eine Frage zu DLDSR:
In etwa 50% der Spiele passiert etwas komisches. Ich kann eine DLDSR Auflösung anwählen. Sobald ich das aber mache, springt man auf den Desktop zurück.

Funktioniert nur im exklusiven Fullscreen, oder du musst den Desktop auf die gewünschte Auflösung stellen.

Das Spiel läuft aber noch immer. Ich kann das Spiel dann in der Taskbar wieder anklicken und öffnen, das Spiel öffnet sich ganz kurz und man springt wieder auf den Desktop zurück. DLDSR funktioniert so also nicht, man kann es nicht brauchen.

Die meisten Spiele erfordern eine Bestätigung zur Übernahme der Auflösung, vermutlich ist die schon weg bevor du wieder im Spiel bist.

basix

2022-03-08, 16:22:55

Eine Qualitätsobergrenze - wie du beschreibst - finde ich aber auch sinnlos.. Wenn das FPS Target gehalten wird, können doch ruhig endlos viele Pixel gerendert werden. Dann geht die Qualität eben weit ins Supersampling hinein.

Qualitätsobergrenze wäre Rendering @ Nativ. Das kann DLSS auch (heisst DLAA oder so und gibt es momentan nur in wenigen Spielen).

Tobalt

2022-03-08, 18:50:21

y33H@

2022-03-08, 22:37:20

Jurassic World Evolution 2 hat heute DLAA bekommen.

robbitop

2022-03-09, 08:33:50

Wieso sollte rendering @ nativ eine Obergrenze sein? Es gibt eh keine feste Relation zwischen Renderpixel und Displaypixel. Also dienen Renderpixel einzig und allein dazu das DLSS mit Daten zu füttern..Mehr Renderpixel, mehr Daten -> "bessere" Displaypixel
Das Problem bei einer zu großen Range ist das dann immer größer werdende Spektrum an Bildqualität. Je größer das ist, desto inkonsistenter wird es. Unsere Augen sind hervorragend darin, Veränderungen und dynamische Muster zu erkennen. Wenn es inkonsistent wird und das auch noch dynamisch ist das etwas, was man als immersions brechend und störend empfinden kann.
Entsprechend machen hier feste Ober und Untergrenzen Sinn.

Tobalt

2022-03-09, 13:00:44

basix

2022-03-09, 13:39:42

Prinzipell kann Temporal Upsampling "Infinite Supersampling" bieten, wenn die Szene nicht bewegt wird. Das ist bei Spielen aber nicht zielführend.

Und ich verstehe robbitops Punkt ganz gut, da man bei TSR wie auch DLSS folgendes beobachten kann: Sobald man die Kamera schwenkt wird das ganze Bild unschärfer. Wenn man innehält wird es schärfer (durch das temporal supersampling). Das fällt auf. Ebenso fällt es auf, wenn einige Bildteile statisch sind und andere nicht (Gräser und Äste im Wind, Planen und Flaggen die im Wind wedeln). Die statischen Inhalte sind dann scharf und die sich bewegenden Teile verschmiert. Das fällt auch auf.

Ich denke, dass ein langer History Buffer schon Sinn macht, bei DLSS sind es glaube ich 16 Frames. Aber es ist auch wahr, dass wenn umso mehr Bewegung im Spiel ist, die "alten" Frames kaum mehr was zum Bild beitragen können. Deswegen entsteht diese Inkonsistenz zwischen statischen und dynamischen Objekten.

Bezüglich diesem History Buffer würde es mMn zudem Sinn machen, das auch an eine zeitliche Komponente zu koppeln (wenn das noch nicht der Fall sein sollte). Wenn man doppelt so viele FPS rendern kann, sind potentiell auch doppelt so viele Frames im History Buffer von Nutzen.
Um dieses Inkonsistenz Problem zu lösen, könnte man Temporal Upsampling mit VRS oder "Importance Sampling" verknüpfen. Dynamische Objekte werden dann mit einer höheren Auflösung gerendert als der Rest des Bildes.

BlacKi

2022-03-09, 13:44:10

Ansonsten geht's bei vielen (halbwegs) aktuellen Spielen nicht richtig.
wenigstens bin ich es nicht alleine, der damit probleme hat.

Troyan

2022-03-09, 13:45:14

Das gilt für jedes temporale AA. DLSS ist jedoch so stabil, dass es nicht wirklich auffällt.

basix

2022-03-09, 13:49:29

Mir fällt es auf ;) Und je nach Spiel oder Content sogar so sehr, dass es störend ist (z.B. Crysis 3 Remastered, Planen im Wind auf dem Hafendeck; oder allgemein vermatschte Vegetation).

Platos

2022-03-09, 13:54:02

Also sich bewegende Büsche sind doch eher weniger am flimmern, wie nativ? Das hat doch erst vor ein paar Tagen jemand gepostet. Oder vlt. warens auch Wochen :D

basix

2022-03-09, 13:55:25

Weniger Flimmern ja, das stimmt. Als grüne Matsche ohne Definition und Details sehe ich hier aber keinen Qualitätsgewinn.

Tobalt

2022-03-09, 14:00:12

Der Punkt, stark dynamische Objekte dichter zu samplen in jedem Frame ist interessant. Allerdings bin ich eher der Meinung, dass die Wahrnehmung bei Bewegung in etwa genauso stark runtergeht, wie die Details der Szene. Einfach weil es in der Natur genau so ist. Bewegte Objekte sind ja nicht plötzlich heller und fluten unser Auge mit mehr Photonen, nur weil sie sich bewegen.

Von daher finde ich das "Problem", dass bewegte Objekte erstmal unschärfer sind prinzipiell nicht ein Problem von TAA, sondern der Natur. Zu einem realen Problem wird es wenn man mit den Augen das bewegte Objekt verfolgt. In der Natur wird es dann wieder scharf, weil das menschliche TAA dann wieder funktioniert. Das Render-TAA weiß aber nicht, wohin wir schauen, weshalb nur das scharf wird, was relativ zur Engine-Cam statisch ist. Deswegen ist dein Ansatz, die dynamischen Objekte stärker abzutasten gut, solange man kein besseres Mittel hat, den Blickfokus des Users miteinzubeziehen.

Troyan

2022-03-09, 14:22:08

Also sich bewegende Büsche sind doch eher weniger dlimmern, wie nativ? Das hat doch erst vor ein paar Tagen jemand gepostet. Oder vlt. warens auch Wochen :D

Das DLSS-Schärfen ist buggy. Normales DLSS hat nur irgendwelche Probleme bei bestimmten Assets (Kontrastkanten).

basix

2022-03-09, 14:27:30

Rumbah

2022-03-09, 15:00:59

Also ich habe DLSS bisher nur in 2 Spielen erlebt, in Back 4 Blood fand ich es gut.

Aber in God of War habe ich das spieleigene TAA DLSS deutlich vorgezogen. Es ist zwar insgesamt etwas unschärfer, aber bleibt dafür sehr stabil.

Leider ist der Anfang des Spiels auch ein wenig worst case für DLSS mit vielen hohen Kontrasten (Schneelandschaft mit dünnen, dunklen Ästen). Zu Beginn (Patch 1.0) war das DLSS (2.3) Nachschärfen in Bewegung aktiv. Da hat es bei Kamerabewegungen zu extremen Kontraständerungen geführt, das Weiß des Schnees wurde weißer, und die Äste dunkler, so dass man ein pulsendes Bild hatte, das sehr unangenehm war. Außerdem verschmierten auch im Standbild die hochkontrastige, feine bewegte Vegetation.
Dann wurde mit einem Patch ein Schärferegler eingeführt, um das zu mindern oder abzuschalten. Das war schon deutlich besser, zwar weniger scharf in Bewegung, aber weniger schwankende Qualität.
Aber selbst dann habe ich das TAA dem DLSS vorgezogen, denn erstens hat es die Vegetation nicht so verschmiert. Und zweitens hat DLSS das spieleigene Motion Blur so merkwürdig weiterverblurt, dass ich bei schnellen und 180° Kamerabewegungen die Orientierung und Ziele aus den Augen verloren habe.

Daher kann ich in diesem Fall auch von mir behaupten, dass ich das dauerhaft etwas unschärfere Bild dem zeitlich instabilen, aber schärferen Bild vorziehe.

Platos

2022-03-09, 16:11:48

Was soll spieleigenes DLSS sein?

-/\-CruNcher-/\-

2022-03-09, 16:14:58

Das optimale Asset weighting bei Unreal spielt eine unglaublich wichtige rolle im bezug auf nanite/lumen und das upscaling

https://www.forum-3dcenter.org/vbulletin/showthread.php?p=12945429#post12945429

robbitop

2022-03-09, 16:54:00

Diesen Einwand kann ich nicht gelten lassen im Bezug auf TAA. Auch bei einer festen Obergrenze der Renderpixel steigt bei TAA die Bildqualität bei statischer Kamera ja kontinuierlich an durch die zeitliche Akkumulation an Superresolution. Kommt dann ein neues Objekt in die Szene, kommt es zu Artefakten.

Du schlägst sinngemäß vor (überspitzt ausgedrückt), permanent die niedrige Bildqualität vorzuhalten, damit Artefakte nicht mehr negativ herausstechen. Dann müsste man jegliche TAA Verfahren direkt abschaffen.
Auch TAA und DLSS akkumulieren nicht ohne Limit. DLSS akkumuliert maximal IIRC 16 Samples. TAA je nach Implementation 8-16 Samples. Abhängig vom Ergebnis beim Clamping sind es dann weniger. Aber nie mehr auch nicht bei statischem Bild.

Aber in God of War habe ich das spieleigene TAA DLSS deutlich vorgezogen. Es ist zwar insgesamt etwas unschärfer, aber bleibt dafür sehr stabil.

DLSS ist extrem abhängig von der Implementierung. Wenn es gut implementiert ist (siehe Doom Eternal, Wolfenstein Youngblood) ist es beeindruckend wie gute Ergebnisse mit viel weniger Inputresolution erzeugbar sind. Man muss immer bedenken, dass selbst im Quality Preset Pixel gespart werden und fps gesteigert werden.

Es wird allerdings Zeit, dass Intel endlich XeSS released und AMD ihr FSR 2.0 (welches angeblich ähnlich arbeiten soll) damit man nicht nur proprietäre Systeme zur Verfügung hat.

Tobalt

2022-03-09, 17:02:14

Ok, aber ich glaube eine Obergrenze bei 16x sparse grid Supersampling ist schon weit im Bereich wo man eh kaum noch zusätzliche Schärfeverbesserungen sehen dürfte.

Ich glaube also nicht, dass diese Obergrenze gezogen wird, um die statische Qualität zu begrenzen. Viel eher ist diese Obergrenze (so oft wie ich das sage fühle ich mich langsam wie Seehofer) wohl entweder mit dem RAM Bedarf oder dem Arithmetik-Bedarf begründet.

CD-LABS

2022-03-10, 10:25:03

CD-LABS ich denke nicht dass es sinn macht die anzahl an temporalen Frames zu beschränken un ein bestimmtes frame Target zu halten. A) ist die Ersparnis kaum relevant B) ist es viel effizienter gerenderte Pixel zu sparen.
(...)
Ich glaube nicht, dass rübergekommen ist, um was es mir genau geht. Es sind zwei Gedanken nacheinander:

Es gibt ein Optimum an Bildqualität, das mit grundsätzlich mit (einer bestimmten Form) temporaler Verrechnung erreichbar ist.
Und es gibt ein Optimum der Bedienbarkeit durch Menschen.

Erstmal Gedanke #1: Zum Herantasten an das Optimum der Bildqualität muss der Algorithmus zwei Aspekte gegeneinander abwägen:

Wie viel Zugewinn an Bildqualität gibt es durch mehr Bilder, durch eine Erhöhung der Framerate bzw. einer Verringerung der Frametimes. Letzterer Blickwinkel ist entscheidend. Die zeitlichen Lücken werden verringert, das Verschieben der virtuellen Kamera bringt mehr vorher fehlende Informationen.
Und wie viel Zugewinn gibt es durch mehr Infos pro Bild? Also welche Auflösung wird gewählt, vielleicht sogar für einzelne Teilbereiche des Bildes? Das wäre die umgekehrte Variante von der heutigen Verwendung von VRS: Teile des Bildes werden in höherer Qualität berechnet.

Da lässt sich ein Optimum finden. Aktuell wird die Auflösung normalerweise bei DLSS statisch gewählt, bis auf ganz wenige Ausnahmeimplementierungen. In den Ausnahmeimplementierungen wird die Framerate statisch gewählt und die Auflösung dynamisch. Nur beides dynamisch findet das Optimum an Bildqualität.

Doch jetzt Gedanke #2: Das hilft alles nichts, wenn sich das Spiel dann nicht mehr anständig steuern lässt. Dafür braucht es Mindest-FPS, ganz klar. Gleichzeitig kommen Monitore auch nicht mit unfassbar vielen FPS klar, dafür braucht es also auch Max-FPS. Und der Mensch reagiert selbst mit VRR noch recht allergisch auf Schwankungen. Dafür bräuchte es am besten auch einen Wert, einen Varianzwert.

Mit allem in Kombination kann ein Algorithmus gebaut werden, der ein sich stets flüssig anfühlendes Ergebnis erzeugt, das gleichzeitig schlicht und ergreifend „so gut wie möglich“ anfühlt.

Tobalt

2022-03-10, 11:08:23

Ja dem stimme ich zu. Weniger Brechstange, mehr sinnvoll dynamisch verteilte Rechenleistung mit stärkerer Orientierung an der menschlichen Wahrnehmung als bisher.

basix

2022-03-10, 11:41:24

VRS, VRR, Temporal Upsampling, Target FPS & Resolution, Radeon Boost, Nvidia Reflex, .... Es geht schon länger in diese Richtung ;) Aber es wird noch eine Weile dauern, bis das sich das alles breit durchgesetzt hat. Das sind recht komplexe Themen und greifen oftmals tief in die Architektur einer Engine ein.

Tobalt

2022-03-10, 12:15:30

blaidd

2022-03-10, 13:15:31

Der einzig gangbare Weg künftig Intel v AMD v nVidia zu vergleichen, heißt bei gleicher Qualität oder bei gleicher Frametime zu vergleichen. Ersteres dürfte schwierig werden, aber bei zweiterem habe ich Hoffnung. Man erlaubt den Karten alles mögliche an 'magic' zu machen, inkl. proprietärem Gemurkse, aber pinnt die Frametimes fest und vergleicht die Qualität nach künftig noch zu definierenden Maßstäben.

Das ist aber auch problematisch. Wie soll man das vernünftig dokumentieren/messen? Mit den eigenen Augen bzw. die des Testers? Mit krümeligen YT-Videos, die mehr Qualität schlucken als das Upsampling?

Da mach ich mir schon lange Gedanken drüber - aber wirklich einfach wird das nicht werden. Selbst Pixelzählen ist dann ja nicht mehr wirklich akkurat, weil Pixel generiert werden können und die obendrein nicht zwangsweise die selbe Qualität haben müssten...

basix

2022-03-10, 13:15:53

Bei gleicher Qualität kann man schon vergleichen: Wenn das Spiel keine Vendor-Locked Funktionen unterstützt, sondern auf Nvidia, AMD und Intel gleich laufen. Das ist viel einfacher zu vergleichen.

Ein Vergleich auf Basis der Qualität ist relativ schwierig, da subjektiv. Und je nach Vendor Lösung bei einem Teil besser (z.B. Bildstabilität) und beim anderen schlechter (z.B. Bildschärfe). Dazu noch all die temporalen Aspekte von Qualität.

Edit:
Siehe auch blaidds Antwort. Den Vergleich sinnvoll anzustellen gestaltet sich sehr schwierig. Und dessen Dokumentation ebenfalls.

Troyan

2022-03-10, 13:17:58

Man kann per Capture-Karte das Ergebnis aufnehmen. Bildvergleiche sollten sowieso nicht durch VRAM-Auszüge erfolgen, sondern an der Ausgabequelle.

Tobalt

2022-03-10, 13:30:42

Na die Qualität muss natürlich objektiv bewertet werden wie ich oben schrub:

und vergleicht die Qualität nach künftig noch zu definierenden Maßstäben.

Die Auswertung nach diesen Maßstäben sollte natürlich open-source algorithmen obliegen.

Das Vertrauen in diese Auswertungsform herzustellen, sehe ich als Aufgabe der Fachpresse, wenn sie sich ernst nimmt. Dazu gehören wohl eine ganze reihe Artikel, die genau dokumentieren, wie die Auswertung vorgenommen wird, mit greifbarem Bildmaterial unterfüttert.

basix

2022-03-10, 13:42:30

Tobalt

2022-03-10, 14:19:36

FFT(Grund Truth - Display Ergebnis) ist schonmal ein solider Angriffspunkt für objektive Verfahren.

-/\-CruNcher-/\-

2022-03-10, 17:46:51

Das einzig sinnvolle Verfahren ist der Vergleich mit einer Ground Truth. Zum Beispiel 16K mit 240fps. Dann kann man das SNR usw. bestimmen. Das Problem an der Sache: Diese Werte können Laien nur schwer interpretieren. Wir Menschen haben einfach ein schlechtes Bauchgefühl in solchen Dingen. Das ist extrem komplex und wie gesagt, gibt es hier mehrere Subkomponenten wie Noise, Flicker, Schärfe, temporale Stabilität, Kontrastschärfe usw. Das alles in eine objektive Bewertung zu pressen, welche auch noch allgemein verständlich ist, halte ich für fast unmöglich.

Edit:
Alleine für das Umsetzen Auswerte-Verfahrens müsstest du ein absoluter Bild-Analyse Crack sein und viel Know-How bezüglich Spielen und dessen Qualitätsaspekten mitbringen. Finde mal so eine Person oder Gruppe, welche willig ist sowas anzugehen. Und wie gesagt, Qualitätsaspekte sind subjektiv. Dem einen gefällt temporale Stabilität besser, dafür ist es unschärfer. Dem anderen gefällt eine höhere Bildschärfe, etwas Flickering ist aber egal. Hier eine passende Qualitäts-Zielfunktion zu definieren, grenzt an Unmöglichkeit.

Artefakte lassen sich automatisch indizieren, mit ML trainierten Metriken sollte das dann ziemlich effizient automatisiert gehen. So wie heute schon bei Video Qualitäts und Visuelle Übertragungs-Fehlererkennung (Satteliten/Internet Broadcast Controlling).

Es gibt halt Artefakte, die muss man spezieller für Realtime Rendering Cases trainieren, auch im Hinblick auf DLSS und Co, die es so bei Video eher selten gibt, aber viele Artefakte sind ziemlich identisch.

So kann man schonmal anhand eines Psycho visuellen Models einen Qualitätsindex zumindest für das Auftreten von Artefakten definieren

Auch vor allem schärfe abweichungen lassen sich in einer gut trainierten Metrik erkennen allerdings ist das bei Realtime Rendering doch schon etwas komplexer nicht alles ist scharf auch immer besser vor allem wenn man den Physical Render und Post Process Kern der Engine einbezieht.

Schärfe Unterschiede können auch stark subjektiv empfunden werden, die einen mögen es scharf, die anderen eher weniger, diese Diskussion ist bei Video Kompression Evaluation allgegenwärtig.
Vor allem in Abwägung der temporalen Stabilität in Kombination mit dem Schärfe empfinden.
Und nicht zu vergessen Schärfeunterschiede als Stilmittel im Post Process auch sehr subjektiv , die einen können Motion Blur und DOF nicht ab die anderen brauchen es unbedingt (abgehesen von Post Process als Perceptable Performance tricks).

Man sollte sich wirklich momentan erstmal ausschlieslich in der Evaluation auf Artefakte konzentrieren je weniger innerhalb eines gesetzten Performance Goals um so höher der Qualitätsindex.
Allerdings bringt es auch nichts wenn da nur Blur ist keine Artefakte und die Metrik zeigt ein super Ergebnis ;)

z.b hier

Gutes oder schlechtes Ergebnis in Relation zur Performance ?

https://abload.de/img/petrademo1095j0b.jpg

Rumbah

2022-03-10, 22:16:27

Naja, ganz so einfach ist es mit den Metriken dann nicht, viele einfachere mathematische Modelle wie PSNR oder SSIM sind zwar schnell, korrelieren aber nur mäßig mit der menschlichen Bewertung.

Selbst VMAF, das genau auf diese Korrelation, also Bewertung der Menschen und verschiedenen Metriken zusammengenommen trainiert wurde, kann das auch nur begrenzt in einem festem Rahmen. VMAF ist nur für Bewegtbilder verifiziert, und nur für feste Auflösungen und nur für das Netflixmaterial.

Andere akademische Metriken brauchen dann eher mehrere Sekunden, wenn nicht sogar Minuten pro Frame in 4K.

Und zumindest bei der Videokodierung schleppt man sich mit einer Optimierung auf eine bestimmte Metrik dann auch ganz bestimmte Artefakte ein, die halt die Metrik super findet, Menschen aber vielleicht störend. PSNR mags z.B. unscharf, und VMAF mag eine gewisse Nachschärfung (inzwischen glaube ich nicht mehr so stark).

Und bei Spielen mit sowas wie unterschiedlicher Auflösung pro Tile stellt sich dann ja auch die Frage, wenn halt wenig Daten da sind, z.B. durch Bewegung, wie dann hochinterpoliert wird. Auf eine bestimmte Metrik optimiert? Eher was klassisch Neutrales oder was mit ML? Hat ja beides Vor- und Nachteile.

Und selbst wenn eine Metrik jetzt gut unseren Sehvorgang abbildet, dann wird es immer noch nicht so einfach, weil Geschmäcker halt verschieden sind. Manche mögens lieber z.B. etwas schärfer, aber vielleicht mit etwas Flimmern oder Überschwingern, andere etwas unschärfer und stabiler, andere sehen keinen Unterschied zwischen bilinearer und FSR Interpolation. Das alles mit einer Metrik unter einen Hut zu bekommen wird nicht leicht :)

Tobalt

2022-03-11, 05:31:46

Es wird nicht vom morgen gehen, dass sich die Bencher da umstellen eben wegen der ganzen hier genannten Probleme.

Aber jeder seriöse Schritt in diese Richtung hätte sinnvollere Benches zur Folge als die schwachsinnigen Nativ-Rendering Balkenlängenvergleiche, die wir heute serviert bekommen.

N0Thing

2022-03-11, 17:55:31

Dazu gehört aber auch ein neues Benchmarking-Paradigma. Balkenlängenvergleiche bei nativen Rendering sind halt so langsam ziemlich '2010' ;)

Früher als das AF/AA zwischen den Herstellern so stark unterschiedlich war, wurde in den Benchmarks zwar versucht, das zu berücksichtigen aber so ein richtiges Mittel hat man IMO nicht gefunden. Das Problem war, dass man weder bei gleicher Qualität noch bei gleicher Frametime vernünftig vergleichen konnte.

Der einzig gangbare Weg künftig Intel v AMD v nVidia zu vergleichen, heißt bei gleicher Qualität oder bei gleicher Frametime zu vergleichen. Ersteres dürfte schwierig werden, aber bei zweiterem habe ich Hoffnung. Man erlaubt den Karten alles mögliche an 'magic' zu machen, inkl. proprietärem Gemurkse, aber pinnt die Frametimes fest und vergleicht die Qualität nach künftig noch zu definierenden Maßstäben.

Das kann man vielleicht bei einem einzelnen Spiele-Test so machen, aber da DLSS/FSR & Co in jedem Titel unterschiedliche Ergebnisse bei der (Bild-)Qualität erreichen, ist das für einen Hardware-Test meiner Meinung nach auf absehbare Zeit weder sinnvoll noch machbar.

Computerbase und afaik PCGH machen in einzelnen Spieletests auch einen Vergleich der Bildqualität von nativ vs. Upsampling. Ist natürlich die subjektive Sicht des Autors, wie schwer individuelle Bildfehler wirken und gewichtet werden. Aber das bei einem Hardware Launch für jeden einzelnen Titel auszuarbeiten? Ich glaube da ist das in den individuellen Spieletests besser aufgehoben und man kann bei Hardware Reviews die Vor- und Nachteile der jeweiligen Herstellerlösungen exemplarisch erwähnen.

ChaosTM

2022-03-11, 17:57:05

Sobald DLSS bei jeden Spiel automatisch funktioniert, wovon ich ausgehe, kann/muss man das auch machen. Vorher macht es nur eingeschränkt Sinn.

N0Thing

2022-03-11, 18:03:06

Klar, wenn wir so weit gekommen sind, kommt man nicht drum herum.

aufkrawall

2022-03-11, 18:08:55

Temporales Supersampling/Upsampling wird nie ohne Integrationsbemühung durch den Entwickler funktionieren. Es muss immer mit den richtigen Daten gefüttert werden und das funktioniert nur mit dafür vorgesehenem Code in der Anwendung selbst. Das ist aber offenbar vergleichsweise einfach zu bewerkstelligen. Im Gegensatz zur Entwicklung eines eigenen kompletten TAA-Algorithmus, der gute Resultate liefert, was nur eine Minderheit an Studios hinbekommt.

Platos

2022-03-11, 18:10:36

Welches moderne AAA Spiel hat DLSS denn nicht?

robbitop

2022-03-11, 18:12:29

Ok, aber ich glaube eine Obergrenze bei 16x sparse grid Supersampling ist schon weit im Bereich wo man eh kaum noch zusätzliche Schärfeverbesserungen sehen dürfte.

Du darfst nicht vergessen, dass die intern geringere Inputresolution auch erstmal wieder gut gemacht werden muss.

DrFreaK666

2022-03-13, 12:35:31

Ich wundere mich dass Switch Sports FSR nutzt. NIS sollte auf der Hardware doch auch funktionieren, oder nicht?

Troyan

2022-03-13, 12:37:11

Ist doch egal. NIS, FSR ist alles das gleiche mit sehr ähnlichen Ergebnissen.

DrFreaK666

2022-03-13, 12:38:43

Ist doch egal. NIS, FSR ist alles das gleiche mit sehr ähnlichen Ergebnissen.

Mich wundert es halt weil die Switch Nvidia-Hardware nutzt

Troyan

2022-03-13, 12:39:41

NIS gibt es erst seit ein paar Monaten quelloffnen. Ob das jemals auch irgendwo eingebaut wird, ist eher fraglich. Da bleiben die meisten einfach bei FSR.

robbitop

2022-03-13, 12:39:59

Die Verfahren sind eh nicht speziell für die jeweilige HW entwickelt.

Troyan

2022-03-13, 12:48:01

FSR soll FP16 benutzen. Das ist schon "HW"-spezifisch.

crux2005

2022-03-22, 19:10:02

The Cycle: Frontier hat eine neue DLSS Version mit Ultra Quality - 77% res. Soll aktuell nicht funktionieren.
https://www.reddit.com/r/nvidia/comments/tk3egb/the_cycle_frontier_in_the_current_beta_has_dlss/

Platos

2022-03-22, 19:31:27

Cool, dann kommt das wohl generell nun ?

basix

2022-03-22, 20:06:28

FSR soll FP16 benutzen. Das ist schon "HW"-spezifisch.

Naja, eigentlich jede HW, welche FP32 rechnen kann, kann FSR ausführen (Ok, DX11+ Kompatibilität der GPU vorausgesetzt). FP16 dient einfach als Performance-Boost. Wieso den nicht nutzen, wenn es die HW kann und FP16 als Auflösung für den Algorithmus reicht? Das jetzt als HW-Spezifisch zu bezeichnen passt da nicht wirklich. Immerhin läuft FSR auf so allen GPUs seit Ur-GCN (2011).

Anderes Thema (Gedankenfutter):
Spatio-Temporales Upsampling. Was ist damit gemeint? DLSS wird ja als temporales Upsampling bezeichnet. Das ist aber eigentlich nur die Bezeichnung des Wie. Das Was ist etwas anders: Der Raum (Spatio) wird detaillierter dargestellt, was sich in der höheren Ausgabeauflösung wiederspiegelt. Was ist nun Spatio-Temporal Upsampling? Nicht nur die räumliche Auflösung wird upsampled, sondern auch die zeitliche Auflösung. Aus 60fps werden z.B. 120fps. Hier gibt es ein sehr interessantes Video, wo dies mit Turbulent Flow gemacht wird und die Ergebnisse sind sehr eindrücklich: https://www.youtube.com/watch?v=dQMvii1KGOY

Im Video wird auf eine Technik von 2008 referenziert, welche bei Filmen zum Einsatz kommt und für Menschen echt genug aussieht. Unterhaltungsmedien müssen nicht die Physik nachbilden, sie müssen einfach nah genug dran sein um uns Menschen täuschen zu können. Genau das gleiche kann auf Spiele angewendet werden. Insbesondere bei sehr rechenintensiven Dingen wie Rauch, Nebel, Dampf ist eine Approximierung aus Performancesicht sehr vorteilhaft und wohl gut genug für Spiele.

Einziger Nachteil: Das Upsampling in zeitlicher Hinsicht benötigt vermutlich eine zeitliche Verzögerung:
- Frame[z-1] -> Frame[z] = Frame[z-1] -> Frame[z-0.5] -> Frame[z]
Ausserdem kann ich mir nur schwer nicht ganzzahlige Multiplikatoren vorstellen. Ungerade Faktoren braucht es mMn aber gar nicht, da mittels adaptiver Auflösung bereits ein System vorhanden ist, um dynamisch skalieren zu können (um z.B. die Ziel-FPS halten zu können).

Trotz des Delays könnte es aber dennoch ein Fortschritt sein, wenn dadurch die "wahrgenommene Flüssigkeit" des Spiels erhöht würde. Die dargestellte "Flüssigkeit" entspricht ja den Output-FPS, nur die Eingaben von Nutzerseite wären wohl auf die Render-FPS limitiert.

Anwendungsneispiele eine solchen spatio-temporal Upsamplings:
- Rendering @ 4K40Hz, Output @ 8K60Hz oder 8K120Hz
- Rendering @ 4K60Hz, Output @ 8K120Hz

Durch die Zwischenbildberechnung sollte das wahrgenommene Bild flüssiger wirken ("Bewegtschärfe"). Entsprechende Engines müssten aber sicherstellen, dass die Inputlatenz von Seiten Engine möglichst gering ist. Wenn ich sehe, dass viele Games auf der Konsole Input-Lags von um die 60-100ms haben und selbst in 120fps Modes noch meistens ~40ms Lag besteht (https://www.neogaf.com/threads/detailed-input-latency-testing-in-2021-next-gen-consoles-tested-series-x-ps5-ps4-x1s.1586058/), sehe ich eigentlich gute Chancen, dass eine Zwischenbildberechnung mit entsprechend ausgelegter Engine nicht zwingend zu einem höheren Input-Lag führen muss. Im besten Fall merkt man es also nicht, im schlechteren aber immer noch guten Fall sieht es wie 120fps Spiel aus und fühlt sich von der Steuerung her halt nur wie ~90fps an. Ein Gewinn für den Spieler wäre es trotzdem.

Bei 60fps -> 120Fps und +1 Frame Delay liegen max. +0.5 Frames zwischen Input und Output. Das wären in diesem konkreten Fall +8.33ms. Verglichen mit den schon bestehenden 40ms sollte das entweder nur geringfügig auffallen oder man kann diese Differenz an der Engine wegoptimieren.

Auch bei 40fps -> 120fps ist es noch kein Beinbruch mit +12.5ms (ausgehend von ~70-80ms input Lag). Die Flüssigkeit der Bildwiedergabe ist hier aber mit 120fps drastisch erhöht. Das könnte den deutlich höheren Effekt auf die Wahrnehmung haben als der allenfalls leicht gesteigerte Input Lag.

Tobalt

2022-03-23, 07:28:56

Geldmann3

2022-03-23, 09:23:00

Hmm, stimmt eigentlich. Je höher die Framerate, desto weniger Samples werden pro Frame zur Rekonstruktion benötigt. Allerdings muss dann auch die gesamte Physik mit dieser hohen Framerate laufen und diese lässt in aktuellen Games noch viel zu wünschen übrig. Das wird (hoffentlich) noch wesentlich anspruchsvoller. Da wäre es doch sehr nützlich einen Teil der Frames interpolieren zu können. Außerdem würde man ansonsten die gesamte Technologie nicht nutzen, die zum Framerate-Upsampling zur Verfügung stehen würde.

basix

2022-03-23, 09:56:43

Halte nichts von spatiotemporalem Upsampling für Computergrafik. Anstatt nur samples in jedem zweiten Displayframe zu haben, ist es immer effizienter einfach halb so viele Samples in jedem Frame zu haben.

Ja es wird sogar noch besser, wenn man *mehr* Renderframes als Displayframes hat, in deinem Beispiel also besser 240 Renderframes mit je einem Viertel der sample.. für 120 Displayframes.

Bei spatiotemporaler Rekonstruktion geht es ja für ein gutes Ergebnis um Interpolation, also braucht man in spatialet und temporaler Basis ein engmaschiges Gerüst.

Vom Prinzip her hast du absolut recht und daran habe ich auch schon gedacht. Gerenderte Pixel * Framerate = Informationsmenge.

Ich sehe aber ein paar Nachteile an dem:

Moderne Engines skalieren oftmals bedeutend sublinear mit der reduzierten Pixelmenge. Halbierte Pixel bedeuten bei weitem nicht doppelte Framerates. Ein Beispiel: RDR2.
Neue Informationen in einem Bild werden bei sehr weit reduzierter Auflösung irgendwann einfach nur sehr ungenau gesampled. Der Effekt ist dann, dass es in Bewegung unscharf aussieht oder in gewissen Bildteilen Informationen fehlen und es bröselig wirkt. Beliebig weit runter kann man hier deswegen nicht gehen
Irgendwann ist ein Limit einer Technik erreicht. Mit dem zeitlichen Interpolieren wird einen weitere Ebene eingefügt, welche nicht an den Limits der ersten Technik hängt. Die Multiplikation der beiden Techniken kann mehr Wert sein als das Maxed Out Produkt von nur einer der zwei Techniken. Oftmals spricht man von orthogonal bei diesen Themen, wo etwas "unabhängiges" mehr Mehrwert liefern kann, als das Pimpen der anderen Technik.

Klar, das Interpolieren der zeitliche Auflösung kommt auch mit ein paar Nachteilen mit sich (z.B. Delay). Vollends ausschliessen würde ich es aber nicht.

Evtl. ist 60 -> 120fps auch nicht der optimale Ansatzpunkt sondern es sind z.B. 120 -> 240fps. Das Grundproblem ist das selbe, wie Upsampling von 720p -> 1440p vs. 1080p --> 4K. Mehr Information gewinnt immer. Ob zeitlich oder räumlich ist eigentlich egal.

Allerdings muss dann auch die gesamte Physik mit dieser hohen Framerate laufen und diese lässt in aktuellen Games noch viel zu wünschen übrig.
Muss sie das? Es gibt doch schon heute viele Systeme, die mit 1/2 oder 1/3 der Ausgabe-FPS laufen (Animationen von Büschen, Gräsern etc., oftmals auch Physiksysteme). Vielleicht kann man mit dem zeitlichen Rekonstruktionsansatz auch selektiv arbeiten: Die Systeme, welche sich gut dafür eignen. Wie z.B. Physiksimulationen.

Tobalt

2022-03-23, 11:59:23

gerade durch mehr zeitliche Samples wird aber die temporale Stabilität erhöht und Artefakt Neigung reduziert! dadurch kann man also letztendlich *feinere* Details rekonstruieren obwohl es kaum gleichzeitige samples gibt! man braucht auch gar keine gleichzeitigen Samples um den xyzt Raum gut zu interpolieren.

Du hast aber Recht dass heutige Engines sehr auf frame rendering ausgelegt sind. a) für hohe framerates steigt die CPU last enorm stark und b) niedrige pixelzahl pro Frame skaliert nicht gut. Dies ist also eine Aufgabe für künftige Engines, weshalb ich oben "langfristig" schrub.

Die Engines sollten auf mind. 1000 Szenen pro Sekunde ausgelegt werden. Der Output kann dann sehr gut auf zB 4k @120 Hz resampled werden quasi Artefaktfrei. Richtig Sinn macht das ganze aber eh erst wenn es auch Displays gibt die einfach bestimmte Pixel aufleuchten lassen die Gerade gerendert wurden und die selbst keine kompletten xy frames mehr nutzen, weil dann kann man sich die ganzen Rekonstruktionsmechanismen wieder sparen..Wird dann gratis vom Gehirn gemacht.