nVidias RTX Video Super Resolution

[SentinelBorg]

Da es noch keinen Thread dazu gibt, mache ich einfach mal einen auf.

Seit dem letzten Treiber gibt es nun die RTX Video Super Resolution Option für 30er und 40er Chips von Nvidia. Damit soll ein deutlich besseres Upscaling bei Video dank trainierter AI möglich sein. Funktionieren tut das bisher bei so ziemlich allen Web Videos in Chrome und Edge.

https://blogs.nvidia.com/blog/2023/02/28/rtx-video-super-resolution/

Mit dem MPC Video Renderer kann man das ganze aber auch bereits fein im MPC-HC/BE nutzen. Funktioniert bei mir super und ich hab gerade mal wieder einen Rerun von Deep Space Nine auf dem Zweitmonitor gestartet :biggrin:

https://github.com/emoose/VideoRenderer/releases

https://i.ibb.co/P4kMBHg/DS9-VSR.webp (https://ibb.co/WFC0SJf)

Dass VSR an sich angefordert wird sieht man am "Nvidia-VSR-requested". Ob es dann wirklich funktioniert wenn es im Treiber aktiv ist sieht man am besten am GPU Stromverbrauch. Der geht dann bei mir direkt von ca. 30W (Originalvideogröße) auf 50W hoch (Upscaled). Bei höheraufgelösten Material dann natürlich mehr (so von 40W auf um die 100W bei 1080p). Das ganze alles auf der höchsten VSR Qualitätsstufe 4. Niedrigere Stufen sind dann sparsamer. Zudem - was ich so lese - haut es bei Ampere Chips wohl deutlich mehr rein als bei Ada Lovelace.

[DrFreaK666]

MS arbeitet an etwas ähnlichem
https://videocardz.com/newz/microsoft-introduces-edge-video-super-resolution-for-nvidia-and-amd-gpus

[Radeonfreak]

So lange es nicht im Firefox geht ist mir das alles wumpe.

[Lowkey]

+1

Wobei im Firefox auch kein HDR kann.

[Sardaukar.nsn]

Firefox Marktanteil ist irgendwo bei 3% und fallend. Klar das da nicht mehr mit hoher Priorität dran gearbeitet wird.

[Lowkey]

Dieselbe Priorität haben die Häcker beim FF Support :D

[00-Schneider]

Maximal relevant für Pornografie.

[Troyan]

MS arbeitet an etwas ähnlichem
https://videocardz.com/newz/microsoft-introduces-edge-video-super-resolution-for-nvidia-and-amd-gpus

Jedoch nur für Videos unter 720p. :rolleyes:

[DrFreaK666]

Jedoch nur für Videos unter 720p. :rolleyes:

Ja, aber besser als keine Alternative.
Erinnert mich an das FSR-Mimimi...
Dafür auch mit Radeon nutzbar

[aufkrawall]

Maximal relevant für Pornografie.
Filtert Pickel wirklich sehr aggressiv weg, ja. Leider auch gewollte Details.

[Ex3cut3r]

Dieses Nvidia Gedöns, kommt niemals an MadVR mit Bandig Filter und NGU Anti Aliasing/Sharp ran. Das klaut viele Details, und 360p Material sieht IMHO noch schlimmer aus, als ohne. Aber Geschmäcker sind verschieden. Ich brauchs nicht, bzw. bleibe bei den Lav Filters + MadVR + YouTube Plugin für den MP-HC.

[Gott1337]

Dieses Nvidia Gedöns, kommt niemals an MadVR mit Bandig Filter und NGU Anti Aliasing/Sharp ran. Das klaut viele Details, und 360p Material sieht IMHO noch schlimmer aus, als ohne. Aber Geschmäcker sind verschieden. Ich brauchs nicht, bzw. bleibe bei den Lav Filters + MadVR + YouTube Plugin für den MP-HC.
paar Vergleichsbilder wären nett. Ich nutze auhc MadVR und naja ich würde das Gegenteil behaupten. Es kommt immer auf die Quelle an

[Ex3cut3r]

https://abload.de/thumb/imagewqfhp.png (https://abload.de/image.php?img=imagewqfhp.png) https://abload.de/thumb/2pdi6j.png (https://abload.de/image.php?img=2pdi6j.png)

EDIT: Bessere Bilder.

Die Details im Gesicht gehen mit dem Nvidia Gedöns wie gesagt kompeltt flöten. Ist wie eine Art Social Media Influcener Filter. :freak:

Aber auch am "T-Shirt" gehen Details verloren, wird alles mit einer Art "Öl Lack" gefiltert. -> Wer sich das freiweilig antut, weil Nvidia draufsteht -> Bitte, für mich ist das nichts. ^^

[Atma]

Dieses Nvidia Gedöns, kommt niemals an MadVR mit Bandig Filter und NGU Anti Aliasing/Sharp ran.
This. MPC-HC + madVR mit NGU bleibt mit weitem Abstand die Referenz. RTX VSR ist die sinnloseste Stromverschwendung, die ich seit langem gesehen habe.

[aufkrawall]

NGU
Dieses Shader Model 3.0 war schon ein mächtiger Sprung. :freak: Vor bald 20 Jahren. :eek:

[Gott1337]

https://abload.de/thumb/imagewqfhp.png (https://abload.de/image.php?img=imagewqfhp.png) https://abload.de/thumb/2pdi6j.png (https://abload.de/image.php?img=2pdi6j.png)

EDIT: Bessere Bilder.

Die Details im Gesicht gehen mit dem Nvidia Gedöns wie gesagt kompeltt flöten. Ist wie eine Art Social Media Influcener Filter. :freak:

Aber auch am "T-Shirt" gehen Details verloren, wird alles mit einer Art "Öl Lack" gefiltert. -> Wer sich das freiweilig antut, weil Nvidia draufsteht -> Bitte, für mich ist das nichts. ^^
in diesem Beispiel hast du vollkommen Recht, nimm mal eins mit niedriger bitrate, so 1000kb/s und 720p. Das ist ja eher der Anwendungsfall.

[Ex3cut3r]

Umso niedriger die Auflösung/Bitrate ist, umso mehr gibt der Nvidia Filter "Gas" ergo noch mehr dazugewonner "Matsch"

Ich bin momentan aber nicht am Heim PC (Arbeit) Vlt. kann ja noch jemandes Low Resoutlion Video Bilder posten.

Ansonsten mache ich das später noch.

[SentinelBorg]

Wenn es der MPC Mensch innerhalb weniger Tage verbauen kann, dann sollte das auch Mozilla schaffen.

Zum Vergleichsthema, sehe das auf Basis von Standbildern halt immer als nur eingeschränkt nützlich an. Wir wissen ja bereits von DLSS dass die Stärke von NVidias Upscalern vor allem im Bewegtbild liegt. Letztlich ist es gut beide Optionen parat zu haben in einem Player.

[aufkrawall]

Wenn es der MPC Mensch innerhalb weniger Tage verbauen kann, dann sollte das auch Mozilla schaffen.

Mozilla und Video sind zwei inkompatible Daseinszustände.

[Ex3cut3r]

Wenn es der MPC Mensch innerhalb weniger Tage verbauen kann, dann sollte das auch Mozilla schaffen.

Zum Vergleichsthema, sehe das auf Basis von Standbildern halt immer als nur eingeschränkt nützlich an. Wir wissen ja bereits von DLSS dass die Stärke von NVidias Upscalern vor allem im Bewegtbild liegt. Letztlich ist es gut beide Optionen parat zu haben in einem Player.
Wenn es im Standbild schon massiv an Details verliert, was soll dann plötzlich in Bewegung so sagenhaft besser sein?

Nvidia Video Super Resoutlion bleibt für mich jedenfalls keine Option, wenn man MadVR + Lav Filters und Co. bereits seit Jahren nutzen kann, dürfte eher was für die VLC Fraktion sein (nichts für ungut)

[Radeonfreak]

Ich habe keine Probleme mit Videos :confused:

[Ex3cut3r]

Ich habe keine Probleme mit Videos :confused:

Was für Probleme denn? :confused:

Es ging darum, warum RTX Video Resoultion im Vergleich zum steinalten MadVR + Lav Filters, einfach nur ein Instagram Filter ist. Hier zwei Screenshots, selbe Szene, im Direktvergleich.

https://abload.de/img/imagewqfhp.png

https://abload.de/img/2pdi6j.png

Am Haar sieht man auch, wie die Details verschwinden. Ist einfach ein Öl Filter, wers mag, bitte, freie Welt.

[Ex3cut3r]

So nun Vergleichsbilder mit Low Bitrate 480p Material.

Allerdings sieht natürlich beides nicht toll aus.

https://abload.de/thumb/neuesp2rojekt37ekj.png (https://abload.de/image.php?img=neuesp2rojekt37ekj.png) https://abload.de/thumb/neuesprojektjwepi.png (https://abload.de/image.php?img=neuesprojektjwepi.png)

[aufkrawall]

Hat nervige "Hauttonkorrektur", die madVR vermeidet.
Ansonsten bleibt es unansehnlicher Matsch. Korrekter Fix via Life Hack: Kleines Display oder größere Betrachtungsdistanz.

[Savay]

..oder nen "richtiger" Upscaler mit großem DNN wie Topaz Video Enhance AI...das läuft aber auch auf ner Ada niemals in Realtime.
Wobei auch das nach unten seine Grenzen hat.

Ich frage mich ja eh welcher sub 720p Content so vielfältig vorliegt und wichtig wäre, dass man sowas unbedingt als Echtzeit Upscaler braucht.

[Platos]

Ja oder Open Source anstatt das teure Zeug, was Topaz da anbietet.

[Gast]

Allerdings sieht natürlich beides nicht toll aus.

https://abload.de/thumb/neuesp2rojekt37ekj.png (https://abload.de/image.php?img=neuesp2rojekt37ekj.png) https://abload.de/thumb/neuesprojektjwepi.png (https://abload.de/image.php?img=neuesprojektjwepi.png)

Eher überraschend, dass das "Standard"-Bild viel stärkere Schärfeartefakte hat.
Normalerweise ist das ja eine Domäne der AI-Upscaler.

[Ex3cut3r]

Ja, aber diese RTX Gedöns für Videos, ist IMHO nicht vergleichbar zu DLSS. Ist IMHO einfach nur ein Filter, mit KI hat das nicht wirklich was zu tun im Moment. Vielleicht wird es ähnlich wie DLSS noch weiterentwickelt. DLSS 1 war ja so ähnlich wie das.

Ich weiß auch gar nicht, ob Nvidia jeglichen Film in ihrer KI Datenbank fürs neuronale Netzwerk einspeisen dürfte. Glaube die Lizenzkosten wären selbst für Nvidia zu hoch.

Das gesamte YouTube Archiv (ausgenommen 4K Videos) wäre wohl machbar, wenn man sich da mit Google einigen könnte, allerdings sind das wohl Yottabytes an Daten. ^^

[Gast]

Ja, aber diese RTX Gedöns für Videos, ist IMHO nicht vergleichbar zu DLSS.


Klar ist es nicht vergleichbar mit DLSS, kann es auch nicht, DLSS hat ganz andere Daten zur Verfügung die man in einem einfachen 2D-Bild nicht hat.



Ist IMHO einfach nur ein Filter, mit KI hat das nicht wirklich was zu tun im Moment. Vielleicht wird es ähnlich wie DLSS noch weiterentwickelt. DLSS 1 war ja so ähnlich wie das.


Auch DLSS1 war ganz was anderes.


Ich weiß auch gar nicht, ob Nvidia jeglichen Film in ihrer KI Datenbank fürs neuronale Netzwerk einspeisen dürfte. Glaube die Lizenzkosten wären selbst für Nvidia zu hoch.

Das gesamte YouTube Archiv (ausgenommen 4K Videos) wäre wohl machbar, wenn man sich da mit Google einigen könnte, allerdings sind das wohl Yottabytes an Daten. ^^

Das ist nicht notwendig, Menschen sehen grundsätzlich immer relativ gleich aus, Autos genauso. Wenn man nicht irgendein super ausgefallenes SciFy Szenario hat wo nichts so aussieht wie es die KI schon mal gesehen hat funktioniert das.
Und selbst da bestehen die Objekte in der Regel aus geometrischen Formen, welche die KI höchstwahrscheinlich schon kennt.

[Ex3cut3r]

Ok, klingt logisch. Stand jetzt, taugt es einfach nicht. Naja. vielleicht wirds noch was. DLSS 1 haben damals auch viele abgeschrieben.

[DrFreaK666]

yVzTi6fzG90

Gemischtes Fazit

[ChaosTM]

Entweder man schaut gleich hoch(bit)wertiges Zeugs, oder verwendet Krawalls Lifehack..

[Platos]

This. MPC-HC + madVR mit NGU bleibt mit weitem Abstand die Referenz. RTX VSR ist die sinnloseste Stromverschwendung, die ich seit langem gesehen habe.

Gibts dazu ein Turtorial?

Also ich meinte mit NGU usw. Habe eig. keine Ahnung was das ist, aber würde ich gerne mal probieren.

Weil irgendwie konnte ich mit madVR bisher nie wirklich was reissen.

[Ex3cut3r]

Was für ein Tutorial?

Du installierst dir erstmal MPC-HC von hier: https://github.com/clsid2/mpc-hc/releases/
Dann installiert du dir die LAV Filters. Dann MadVR.

In den MPC-HC Einstellungen unter Output
MadVR auswählen.

https://abload.de/img/screenshot2023-03-161aif17.png

Dann in MPC die External Filtes anmachen und auf Prefer stellen.

https://abload.de/img/screenshot2023-03-1616fcip.png

Lav Filter Konfiguration:

https://abload.de/img/screenshot2023-03-161b3cdp.png

MadVR.

https://abload.de/img/screenshot2023-03-1617ze6e.png

https://abload.de/img/screenshot2023-03-161f6e19.png

https://abload.de/img/screenshot2023-03-161xsi2f.png

https://abload.de/img/screenshot2023-03-161llecy.png

Und bei "trade quality for Performance" alles abhaken.

STRG+J bei abgespielten Video um sich System/MPC Settings anzuzeigen zu lassen.

Eine Wissenschaft ist das nicht. Nutze ich in der Kombi mittlerweile über 10 Jahre so. Früher VLC, aber der stinkt dagegen von der Qualität total ab.

P.S. Wenn NGU übrigens je nach GPU und Stromverbrauch zu viel Leistung/Strom schluckt, kann auch BICUBIC 75 bis 125 oder Lanczos 3 Taps nutzen. Ist ein kleiner Qualitätsunterschied, dürfte gar nicht auffallen, verbraucht aber erheblicher weniger GPU Leistung.

[aufkrawall]

1080p 30fps hochskaliert auf 1440p maximiertes Fenster in mpv mit Jinc-Scaling + Deband + Smooth Motion:
https://abload.de/thumb/mpvplayback6ccco.png (https://abload.de/image.php?img=mpvplayback6ccco.png)
6700 XT taktet kaum höher als Idle, bei ruckelfreier Wiedergabe. :freak:

[Ex3cut3r]

:up:

Übrigens der Guy hier erklärt einige interessante Upscaling verfahren sehr einfach. Vlt. interessant für den ein oder anderen. :freak:

poY_nGzEEWM

AqscP7rc8_M

_DPRt3AcUEY

[Platos]

Danke Executer. Ich werde mir das mit MadVr dann am Wochenende mal ansehen.

Ist madVR nicht eig. auch dafür da, um Geruckel wegen 24 FPS zu verdecken? Also es interpoliert ja nicht, aber ich meinte, dass MadVr irgendwas in der Richtung kann.

Ich nutze momentan SVP (die letzte gratis Version 3. irgendwas).

[Ex3cut3r]

Gerne.

Ja, Smooth Motion. Es beseitigt lediglich das 24Hz Ruckeln. Wenn ein Film z.B. mit 24HZ läuft, aber deine Desktop Refresh Rate auf 60HZ etc läuft. Aka Judder. Mit Smooth Motion hast du kein Judder. Und muss nicht extra 24HZ als Refresh Rate für den Desktop einstellen, viele Monitore bieten überhaupt keine 24HZ an.

SVP ist halt komplett was anderes (ich glaube das weißt du aber auch) Ist Frame Interpolation, bringt aber auch genug Artefakte mit. Und ist auch nicht jedermanns Sache (Soap Opera Effekt)

[aufkrawall]

Gibts auch in mpv, wo man die Parameter dafür tweaken kann. Das Smooth Motion von madVR sieht mir auf schnellen Displays zu juddery aus, in mpv
video-sync=display-resample
interpolation
tscale=sphinx
tscale-blur=0.65
gefällt mir besser.

[robbitop]

kann man das auch für browservideos (youtube, plex etc) nutzen oder geht das nur um Videodateien abzuspielen?

[Lurtz]

kann man das auch für browservideos (youtube, plex etc) nutzen oder geht das nur um Videodateien abzuspielen?
https://github.com/belaviyo/send-to-vlc

[Ex3cut3r]

kann man das auch für browservideos (youtube, plex etc) nutzen oder geht das nur um Videodateien abzuspielen?

Ja, natürlich.

yt-dlp plugin ins MPC Hauptverzeichniss packen, da wo die MPC-HC.exe ist.

https://github.com/yt-dlp/yt-dlp

Und im MPC noch das einstellen unter "UseYLD" True und YDLMaxheigt, 2160 (4K) oder 4320 (8K) eintragen.

https://abload.de/img/screenshot2023-03-171o1er8.png

https://abload.de/img/screenshot2023-03-1710gfdm.png

Youtube Video URL aus dem Browser kopieren und in MPC abspielen. Läuft dann, mit Lav Filters + MadVR. :)

[Gast]

Mein Ersteindruck:
RTX VSR macht einen sehr guten Job wofür es beworben wird, nämlich niedrige HD Auflösung insbesondere wenn diese an Bitrate mangelt Upzuscalen.

Besonders Twitch Streams und dergleichen sehen deutlich besser aus. Kompressionsartefakte werden weitestgehend ohne Artefakte entfernt, und beispielsweise Buchstaben werden sehr gut vervollständigt, auch nicht unwichtig für Gamestreams.

Relativ wenig bringt es bei Streams die eh schon in guter Qualität vorliegen, was auch nicht anders zu erwarten ist, und auch nicht besonders viel bei Streams deren Qualität schon sehr schlecht ist.

[robbitop]

Ja, natürlich.

yt-dlp plugin ins MPC Hauptverzeichniss packen, da wo die MPC-HC.exe ist.

https://github.com/yt-dlp/yt-dlp

Und im MPC noch das einstellen unter "UseYLD" True und YDLMaxheigt, 2160 (4K) oder 4320 (8K) eintragen.

https://abload.de/img/screenshot2023-03-171o1er8.png

https://abload.de/img/screenshot2023-03-1710gfdm.png

Youtube Video URL aus dem Browser kopieren und in MPC abspielen. Läuft dann, mit Lav Filters + MadVR. :)

Meh - also gehts nicht im browser sondern umständlich per CnP in men externen Player. :-/

[Ex3cut3r]

Mir ist jedenfalls keine andere "einfachere" Methode bekannt.

Ich habe mir jetzt mal den MVP angesehen. Ist um einiges "komplizierter" anständig ans laufen zu bekommen, als MPC-HC mit den Lav Filters und MadVR. Ist aber ein mächtiges Ding, wenn man sich mit der Config auseinandergesetzt und "fummeln" einen Spaß bereitet.

Oversample-Interpolation kann man sich, wie Krawall auf den vorherigen Seiten schon gesagt hat, tatsächlich smoother einstellen als mit die Smooth Motion Option von MadVR.

Außerdem erweiterbar durch Scripts und Shaders, ich habe mir z.B. einen Debanding Filter, CAS (Amd Fidelity Contrast Adaptive Sharpening ) und eine Thumbnail Preview installiert. Bin begeistert. :biggrin:

Da kann man stunden mit verbringen. Geiler Scheiß, danke Krawall!!!

https://abload.de/thumb/neuesprojekt3xf5x.jpg (https://abload.de/image.php?img=neuesprojekt3xf5x.jpg)

https://abload.de/img/neuesprojekttdc3c.png

[Lurtz]

531.41 soll die Qualität angeblich steigern, Vergleiche habe ich aber keine dazu gefunden.

[Rolsch]

Im Microsoft Edge Browser gibts jetzt bei Youtube Videos einen HD-button der das einfach aktiviert. Ergebnis ist einfach: WOW.

[1ch0]

Qualität is wirklich sehr gut!

[Lurtz]

Im Microsoft Edge Browser gibts jetzt bei Youtube Videos einen HD-button der das einfach aktiviert. Ergebnis ist einfach: WOW.
Was aktiviert der Button? RTX Video Super Resolution auf Knopfdruck nur für das Video? :uponder:

[Rolsch]

Kann man einstellen was man will. Defaultmäßig wohl das Microsoft VSR.

[robbitop]

Was ist denn besser VSR oder RTX Super Resolution Video? So richtig beeindruckend ist RTX SRV IMO nicht, weil alles nach Ölgemälde aussieht.

[00-Schneider]

Was ist denn besser VSR oder RTX Super Resolution Video? So richtig beeindruckend ist RTX SRV IMO nicht, weil alles nach Ölgemälde aussieht.

Erinnert vom Look her stark an DLSS1.

[Rolsch]

Die Nvidia Variante via Treiberverbesserung zeichnet weniger krass scharf, ist also unauffälliger. Auf jeden Fall prima das man es jetzt einfach ein und ausschalten kann.

[x-force]

Was für ein Tutorial?


reduce compression artifacts kostet schärfe, insbesondere auf 5!