Die Sinnlosigkeit von Benchmarks Teil XX [Archiv]

Demirug

2003-06-19, 09:13:05

Ich glaube wenn man in ein paar Jahren einen Rückblick auf die Geschichte der Grafikkarten schreibt wird man dem Jahr 2003 einen eigenen Absatz über das Thema "Applikations spezifische Optimierungen" oder wie manche es nennen Cheating schreiben müssen. 2003 das Jahr als die Brache entgültig ihere Unschuld verloren hat.

In der Zeit vor 2003 tauchten zwar auch immer wieder unregelmäsigkeiten auf die aber von den IHVs immer abgewickelt wurden in dem man von einem Bug sprach und ein neuer Treiber das Problem nicht mehr zeigte und teilweise sogar noch bessere Performance zeigte.

Waren es wirklich nur Bugs? Aus der Sicht der Treiberentwickler sicherlich den ihrer schöne Optimierung ist aufgeflogen was ja nicht hätte passieren sollen. Und jedes nicht gewüschte Verhalten ist nun mal ein Bug. Aber warum wurde nach der Beseitigung des Problems die performance nicht schlechter? Man muss ja nicht nur das Problem beseitigen sondern kann gleich noch ein bischen weiter optimieren, oder?

Wir haben nun inzwischen wohl alle eingesehen das Benchmarks manipulierbar sind. Bei vielen hat diese Erkenntniss den Glauben daran schwer erschüttert. Aber dann kam 3dmark 330 mit dem ultimativen "Cheatblocker". Sowohl nv und ATI mussten Federn lassen aber danach war die Welt wieder in Ordnung und die Fanatiker fühlten sich als die moralischen Sieger. ATI hatte ja schliesslich gleich zugegeben was sie gemacht haben und versprochen die getauschten Shader zu entfernen. nv sagte dagegen einfach nichts.

Für alle die sich jetzt fragen was schreibt der da zusammen das ist doch alles bekannt. Ich komme gleich zum Punkt.

Die Sicherheit des 330 Patch war trügerisch. Unwinder konnte ja vor kurzem schon nachweisen das der Detonator den 3dmark immer noch erkennt und masnahmen einleitet. Nun wurde auch dem Catalyst die Unschuld genommen.

I really RE'd both Detonator and Catalyst and found application detections mechanisms in each of the drivers. I really created the scripts to prevent the drivers from detecting D3D applications (the scripts block pixel/vertex shader and command line/window text checksum calculation in the Detonator and texture pattern/pixel shader code detections in the Catalyst).
Blocking application detection code caused dramatic performance drop in 3DMark2001/Nature on both NV (74->42 FPS) and ATI (66->42 FPS) boards. IQ in this test changed on both of the systems. Do I have to continue?
NVAntiDetector also caused significant performance drop in other D3D benchmarks (i.e. UT2003), 3DMark2003 score on NV35 dropped even more then with 330 patch (it's info from my tester and I cannot confirm it because I don't have NV35 sample).
Review containing details and benchmarks is preparing for publishing on Digit-Life now.

Ein weitere Stein in der Wand die für Futuremark zum echten Problem werden könnte.

EDIT: Links zu den entsprechenden Threads:

http://discuss.futuremark.com/forum/showflat.pl?Cat=&Board=techdisplayadapters&Number=2396896&page=0&view=collapsed&sb=5&o=0&fpart=1

http://www.beyond3d.com/forum/viewtopic.php?t=6480&postdays=0&postorder=asc&start=0

nggalai

2003-06-19, 09:48:00

Hi Demiurg,

full ack. Ein kleiner Teil von mir hofft, dass damit endlich die leidigen Grafikkarten-Vergleichs-Benchmarks zwischen verschiedenen Architekturen von der Bildfläche verschwinden werden. Wird aber wohl nicht so sein, sondern die Leute werden weiterhin darauf pochen, dass sie mit der oder der Methode solche "objektiven" Vergleiche fahren können, nur um dann ein Treiberupdate später wieder über "Optimierungen" zu stolpern.

Schade.

93,
-Sascha.rb

Gast

2003-06-19, 09:54:55

Jupp, das mit dem 3dMark01 war doch klar. Wer kann sich nicht mehr an die Titlescreen-Geschichte mit den Detonatoren oder die plötzliche Leistungsexplosion im Nature-Bench mit den Chips beider Hersteller erinnern? Und was wird eigentlich beim Advanced PS-Test gebencht? Bestimmt nicht auf beiden Chips der selbe Shader. Schluß, aus, verschissen. Mit verbreiteten synthetischen Benches oder Standard-Timedemos braucht keiner mehr zu kommen.

Der Einbruch von der Geforce FX 5900 in Spielen wie UT2003 oder SS find ich aber besonders erschütternd. Dort werden eigentlich keine Shader gebraucht und theoretisch sollte sie dank Taktratenvorteil und deutlich höherer Speicherbandbreite die Konkurrenz schlagen. Jetzt ist sie kaum so schnell wie eine R9700Pro. Nvidia hat damit einen großen Vorteil verloren, mit ihren geschickten Manipulationen sind sie bisher bei Benchmarkvergleichen oft als Sieger hervorgegangen, wie man jetzt sieht nicht immer zu Recht.

Quasar

2003-06-19, 10:16:07

Original geschrieben von Gast
Der Einbruch von der Geforce FX 5900 in Spielen wie UT2003 oder SS find ich aber besonders erschütternd. Dort werden eigentlich keine Shader gebraucht und theoretisch sollte sie dank Taktratenvorteil und deutlich höherer Speicherbandbreite die Konkurrenz schlagen. Jetzt ist sie kaum so schnell wie eine R9700Pro. Nvidia hat damit einen großen Vorteil verloren, mit ihren geschickten Manipulationen sind sie bisher bei Benchmarkvergleichen oft als Sieger hervorgegangen, wie man jetzt sieht nicht immer zu Recht.

by Unwinder
I really RE'd both Detonator and Catalyst and found application detections mechanisms in each of the drivers.

Bei ATi könnte es uns noch genauso bevorstehen, auch in Applikationen.

auki

2003-06-19, 10:19:57

Nunja, ich finde "optimieren", solange die Bildqualität nicht schlechter wird, nicht verwerflich.
Aber dass im 3DMark2001/Nature geschummelt wird (da die IQ ja schlechter wird) finde ich sehr überraschend und bedenklich (snd die High-End Karten in einem so alten Bench, wirklich so langsam - ohne Optimiemrung).
Leider ist in dem Auszug nichts über die IQ in UT2003 gesagt - wenn die IQ gleich ist, kann man doch nichts dagegen einwänden - das kommt doch denn auch jedem Spieler zugute.

Gast

2003-06-19, 10:21:16

Original geschrieben von Quasar
Bei ATi könnte es uns noch genauso bevorstehen, auch in Applikationen.

Stimmt, aber die Custom-Demos sind doch ein schöner Anhaltspunkt.

Da braucht man kein könnte, hätte, täte, würde:embara:

Gast

2003-06-19, 10:23:24

Original geschrieben von auki
Nunja, ich finde "optimieren", solange die Bildqualität nicht schlechter wird, nicht verwerflich.
Aber dass im 3DMark2001/Nature geschummelt wird (da die IQ ja schlechter wird) finde ich sehr überraschend und bedenklich (snd die High-End Karten in einem so alten Bench, wirklich so langsam - ohne Optimiemrung).
Leider ist in dem Auszug nichts über die IQ in UT2003 gesagt - wenn die IQ gleich ist, kann man doch nichts dagegen einwänden - das kommt doch denn auch jedem Spieler zugute.

Huhu. Es geht gerade um die Erkennung von Timedemos und Benchmarks. Wenn das die Relationen zur Leistung im richtigen Spiel verschiebt, find ich das schon bedenklich.

Demirug

2003-06-19, 10:32:17

Original geschrieben von Gast
Stimmt, aber die Custom-Demos sind doch ein schöner Anhaltspunkt.

Da braucht man kein könnte, hätte, täte, würde:embara:

Nicht unbedingt. Wenn die Optimierungen Spiel spezifisch sind kann man so viele Custom-Demos laufen lassen wie man will die optimierungen wirken trotzdem. Wenn in diesem Fall aber nicht die IQ gesenkt wird hat ja zumindestens jeder der das Spiel auch so spielt etwas davon.

Demirug

2003-06-19, 10:33:10

Original geschrieben von Gast
Huhu. Es geht gerade um die Erkennung von Timedemos und Benchmarks. Wenn das die Relationen zur Leistung im richtigen Spiel verschiebt, find ich das schon bedenklich.

Es geht auch um das Erkennen von Applikationen im allgemeinen.

nggalai

2003-06-19, 10:34:56

Original geschrieben von Gast
Stimmt, aber die Custom-Demos sind doch ein schöner Anhaltspunkt.

Da braucht man kein könnte, hätte, täte, würde:embara: Doch, braucht man. Wie Alex selbst sagt, verwendet ATI ein deutlich komplizierteres System zur Applikationserkennung als NV (welche nur auf Quersummen setzen), und er ist selbst der Meinung, dass er in den Catalysts noch lange nicht alles gefunden hat.

Also: Abwarten, und eben--Benchmarks vergessen.

93,
-Sascha.rb

x-dragon

2003-06-19, 10:45:24

Also mir stellen sich da ein paar Fragen, die glaube ich teilweise nicht so einfach zu beantworten sein dürften: Kann man überhaupt einen "sicheren" Benchmark programmieren?
Wie sieht ein "sicherer" Benchmark aus? Vollständig ohne Optimierungen?
Wo bleibt die Vergleichbarkeit mit aktuellen Spielen, wenn gar keine Optimierungen mehr möglich wären? (wäre zum testen zukünftiger Grafikkarten glaube ich nicht besonders sinnvoll)
Wie weit dürfen "Optimierungen" gehen? (Ok, natürlich ohne sichtbare Verluste bei der BQ)

Demirug

2003-06-19, 11:01:07

Kann man überhaupt einen "sicheren" Benchmark programmieren?

Nein weil jede Applikation etwas besitzt was sie verrät und es immer noch etwas gibt wo man sich irgendwie arbeit auf dem Chip sparen kann.

Wie sieht ein "sicherer" Benchmark aus? Vollständig ohne Optimierungen?

Das es keinen gibt kann man diese Farge eigentlich nicht beantworten.

Wo bleibt die Vergleichbarkeit mit aktuellen Spielen, wenn gar keine Optimierungen mehr möglich wären? (wäre zum testen zukünftiger Grafikkarten glaube ich nicht besonders sinnvoll)

Aber gerade syntetische Benchmarks laden eben viel mehr dazu ein sich dabei richtig einen zu geben. Man muss ja keine Rücksicht nehmen auf jemanden der den Benchmark auch wirklich spielen will.

Wie weit dürfen "Optimierungen" gehen? (Ok, natürlich ohne sichtbare Verluste bei der BQ)

Bei Benchmarks ist es mir ehrlich gesagt egal.

Bei Spielen/Engines würde ich folgende Regeln aufstellen.

- Kein Verlust bei der BQ
- nicht abhängig von bestimmten Kamerafahrten (Timedemos)
- Keine negativen auswirkungen auf die Leistung von anderen Spielen/Engine.

resonatorman

2003-06-19, 11:09:46

Das, was einem "sicheren" Benchmark IMO am nächsten käme, wäre ein unbekannter Benchmark...

x-dragon

2003-06-19, 11:15:40

Also im Endeffekt machen Benchmarks inzwischen nur noch Sinn wenn man Grafikkarten vom selben Typ und den gleichen Treibern vergleicht, oder um sich an den tollen "neuen" grafischen Effekten zu erfreuen ...

Eine Möglichkeit wäre da noch vielleicht noch einen "sicheren" Benchmark zu entwickeln, aber dafür müsste dieser Firma der Treiber-Quellcode offengelegt werden, damit diese dann jeweils die Treiber unter die Lupe nimmt und sie dann erst für den Benchmark als zulässig zertifiziert. Aber das wird glaube ich wohl nichts werden ... und vor allem nur einer Firma was bringen.

[edit]
na das ist doch mal guter Ansatz, hoffentlich werden mehr Tester dazu übergehen:
http://www.forum-3dcenter.org/vbulletin/showthread.php?s=&threadid=77198

Jaja und ich kann jetzt erstmal 13 Seiten aufarbeiten, die ich verpaßt habe, wobei es bestimmt noch mehr werden bis ich da angekekommen bin ...

nggalai

2003-06-19, 11:28:22

Original geschrieben von X-Dragon
Also im Endeffekt machen Benchmarks inzwischen nur noch Sinn wenn man Grafikkarten vom selben Typ und den gleichen Treibern vergleicht, oder um sich an den tollen "neuen" grafischen Effekten zu erfreuen ...War das seit etwa der Vorstellung der Kyro anders? Die Architekturen der verschiedenen Hersteller unterscheiden sich zusehr, als dass ein Apfel-Apfel-Vergleich möglich wäre.

93,
-Sascha.rb

AlfredENeumann

2003-06-19, 11:31:40

Original geschrieben von X-Dragon
Also im Endeffekt machen Benchmarks inzwischen nur noch Sinn wenn man Grafikkarten vom selben Typ und den gleichen Treibern vergleicht, oder um sich an den tollen "neuen" grafischen Effekten zu erfreuen ...

Du meinst sowas "Jetzt bei Computerblöd. 25 GeForce4 Karten im Test !!! "

Nein Danke.

x-dragon

2003-06-19, 11:31:44

Original geschrieben von nggalai
War das nach etwa der Vorstellung der Kyro anders? Die Architekturen der verschiedenen Hersteller unterscheiden sich zusehr, als dass ein Apfel-Apfel-Vergleich möglich wäre.

93,
-Sascha.rb Aber die Vergleich werden trotzdem immer wieder gemacht, um die "beste" bzw. "schnellste" Grafikkarte zu finden ... Naja wenn sich das mit dem Timedemos mehr durchsetzen würde, hätte man ja schon mal vergleichbarere Ergebnisse.

PCGH_Thilo

2003-06-19, 11:49:12

Original geschrieben von resonatorman
Das, was einem "sicheren" Benchmark IMO am nächsten käme, wäre ein unbekannter Benchmark...

interessanter ansatz, aber trotzdem nicht hilfreich. man möchte mit benchmarks ja eine möglichst breite aussage treffen. ein einzelnes unbekanntes spiel garantiert vielleicht die "nicht-optimierung", aber eben keine verallgemeinerung der allgemeinen spieleleistung.

es hilft nur eines: Soviele spiele benchen, wie möglich.

Exxtreme

2003-06-19, 11:50:09

Eine Frage bleibt aber offen: was ist, wenn Unwinder ausser der Applikationserkennung aus Versehen noch mehr deaktiviert hat?

PCGH_Thilo

2003-06-19, 11:51:56

Original geschrieben von nggalai
Doch, braucht man. Wie Alex selbst sagt, verwendet ATI ein deutlich komplizierteres System zur Applikationserkennung als NV (welche nur auf Quersummen setzen), und er ist selbst der Meinung, dass er in den Catalysts noch lange nicht alles gefunden hat.

Also: Abwarten, und eben--Benchmarks vergessen.

93,
-Sascha.rb

sorry, aber ich kann benchmarks nicht einfach "vergessen", nur weil wir (mal wieder) probleme mit benchmarks haben.

das problem ist so alt wie die branche. gabs alles schon zu zeiten von rendition & co. damals cachten manche karten einfach den letzten durchgang, so dass ein zweiter kontrolldurchgang immer schneller wurde.

man muss einfach mehr benchmarks machen und nicht nur die 1-2 bekannten. es ist ja bekannt, dass nach jedem detonator oder catalyst UT2003 schneller läuft - ein schelm, der böses dabei denkt.

PCGH_Thilo

2003-06-19, 11:53:36

Original geschrieben von Exxtreme
Eine Frage bleibt aber offen: was ist, wenn Unwinder ausser der Applikationserkennung aus Versehen noch mehr deaktiviert hat?

gute frage. ich krieg bauchweh bei solchen meldungen.

Demirug

2003-06-19, 11:56:45

Original geschrieben von Exxtreme
Eine Frage bleibt aber offen: was ist, wenn Unwinder ausser der Applikationserkennung aus Versehen noch mehr deaktiviert hat?

Patchen auf Assemblerebene ist immer gefährlich.

Exxtreme

2003-06-19, 11:56:48

Original geschrieben von PCGH_Thilo
es ist ja bekannt, dass nach jedem detonator oder catalyst UT2003 schneller läuft - ein schelm, der böses dabei denkt.
Also als UT2003-Spieler kann ich mich mit dieser Tatsache gut anfreunden. :D

Also einen ziemlich negativen Effekt haben aber diese Optimierungen per Treiber. Wenn die Treiberprogrammierer Optimierungen vornehmen, dann werden es Spieleprogrammierer wohl immer weniger tun.

Gast

2003-06-19, 11:57:28

Original geschrieben von Demirug
Bei Spielen/Engines würde ich folgende Regeln aufstellen.

- Kein Verlust bei der BQ
- nicht abhängig von bestimmten Kamerafahrten (Timedemos)
- Keine negativen auswirkungen auf die Leistung von anderen Spielen/Engine.

ack!

aber imho müsste "Kein Verlust bei der BQ" etwas gelockert werden
ich verzichte zB gern auf ein bischen IQ (wenn man es kaum bzw. nicht merkt) wenn es einiges an speed bringt (soviel speed das es wirklich relevant ist - also nix mit 0,x% oder gar 0,0x% sondern zB 10% oder mehr)
ein beispiel is multisampling - is von der quallität der dem supersampling zwar unterlegen, aber so extrem viel schneller das es eindeutig die bessere alternative is
selbes gilt für winkelabhängiges, adaptives AF

Richthofen

2003-06-19, 11:58:50

jo super
Ich hab grad noch die ATI Leute im Ohr, als man die Engel gespielt hat in der 3DMurks03 Story.
Ja wir haben Shit gebaut und das removed und jetzt sind wir artig.

Was für ein jämmerlicher Witz.
Wers glaubt wir selig. Ich glaube nicht dass die beiden IHVs das so schnell unterlassen werden.
Wo isn nagus?
:=)

Exxtreme

2003-06-19, 12:00:35

Original geschrieben von Gast
ack!

aber imho müsste "Kein Verlust bei der BQ" etwas gelockert werden
ich verzichte zB gern auf ein bischen IQ (wenn man es kaum bzw. nicht merkt) wenn es einiges an speed bringt (soviel speed das es wirklich relevant ist - also nix mit 0,x% oder gar 0,0x% sondern zB 10% oder mehr)

Da bin ich anderer Meinung. :)

Wenn ich schon BQ gegen Leistung tausche, dann will ich es aber entscheiden. Die Treiber/Spiele bieten ja genug Einstellmöglichkeiten dazu.
Original geschrieben von Gast
ein beispiel is multisampling - is von der quallität der dem supersampling zwar unterlegen, aber so extrem viel schneller das es eindeutig die bessere alternative is
selbes gilt für winkelabhängiges, adaptives AF
Siehe oben. Mir wäre SSAA UND MSAA lieber wenn ich es bei Bedarf wählen könnte.

2003-06-19, 12:01:25

zur Info:

Kurztest auf GF4ti4200, Win98. Det. 44.03, 3DM2001SE (original & umbenannte .exe)

3DMark2001SE als '3DMark2001SE.exe'

Nature: 60,5 fps

3DMark2001SE als '3DQuark.exe'

Nature: 45,1 fps

Macht gute 33% mehr Leistung durch Optimierungen/Cheats/Bugs oder was auch immer...

Ein optischer Unterschied in den gerenderten Frames fällt mir auf den ersten Blick nicht auf.

Leider weiss ich nicht, ob und wie es möglich ist, screenies zweier identischer Frames aus Benchläufen des 3DM2001SE zu erhalten.

Demirug

2003-06-19, 12:02:14

Original geschrieben von Gast
ack!

aber imho müsste "Kein Verlust bei der BQ" etwas gelockert werden
ich verzichte zB gern auf ein bischen IQ (wenn man es kaum bzw. nicht merkt) wenn es einiges an speed bringt (soviel speed das es wirklich relevant ist - also nix mit 0,x% oder gar 0,0x% sondern zB 10% oder mehr)
ein beispiel is multisampling - is von der quallität der dem supersampling zwar unterlegen, aber so extrem viel schneller das es eindeutig die bessere alternative is
selbes gilt für winkelabhängiges, adaptives AF

BQ Verlust halte ich dann für OK wenn es dafür im Treiber eine Möglichkeit zur Einstellung gibt ob ich nun Speed oder Qualität haben möchte. Und wenn der Regeler auf max Qualität steht dann sollen die optimierungen die BQ auch nicht absenken.

Gast

2003-06-19, 12:06:38

Original geschrieben von Demirug
BQ Verlust halte ich dann für OK wenn es dafür im Treiber eine Möglichkeit zur Einstellung gibt ob ich nun Speed oder Qualität haben möchte. Und wenn der Regeler auf max Qualität steht dann sollen die optimierungen die BQ auch nicht absenken.

das sowieso!

Exxtreme

2003-06-19, 12:07:44

Unwinder wird wohl bald einige RT-Patch-Scrips veröffentlichen.

Da wird man dann selbst benchen können.

x-dragon

2003-06-19, 12:25:32

Original geschrieben von AlfredENeumann
Du meinst sowas "Jeztzt bei Computerblöd. 25 GeForce4 Karten im Test !!! "

Nein Danke. Naja im Prinzip reicht es ja schon einfach nach Hersteller getrennt zu benchen, da ja dort immer die gleichen Treiber zum Einsatz kommen können. Aber die Vergleichbarkeit der Hersteller untereinader würde dabei auf der Strecke bleiben, was natürlich keiner will :).

Gast

2003-06-19, 13:11:27

Es gibt aber einen Unterschied zwischen "applikationsspezifischen Optimierungen" und analysierten und frissierten Timedemos. Zweiteres fliegt nämlich bei Custom-Timedemos auf. Und sowas find ich verwerflich, weil das eigentliche Game davon nicht profitiert.

Gast

2003-06-19, 13:14:38

Was soll man auch gegen getunte Spiele haben?! Ist doch super. Aber bei den mitgelieferten Timedemos zu bescheissen (Stichwort ANTALUS) und so Leistung vorzutäuschen, die im Game einfach nicht vorhanden ist, find ich daneben.

Gast

2003-06-19, 13:17:30

Original geschrieben von Gast
Was soll man auch gegen getunte Spiele haben?! Ist doch super. Aber bei den mitgelieferten Timedemos zu bescheissen (Stichwort ANTALUS) und so Leistung vorzutäuschen, die im Game einfach nicht vorhanden ist, find ich daneben.

Und mit selbstgemachten Timerdemos genau das zu umgehen sollte doch keine Hürde sein. Also wo liegt das Problem?

nggalai

2003-06-19, 13:31:13

Hi Thilo,
Original geschrieben von PCGH_Thilo
sorry, aber ich kann benchmarks nicht einfach "vergessen", nur weil wir (mal wieder) probleme mit benchmarks haben.

das problem ist so alt wie die branche. gabs alles schon zu zeiten von rendition & co. damals cachten manche karten einfach den letzten durchgang, so dass ein zweiter kontrolldurchgang immer schneller wurde.Ja, das ist mir bewusst. Ich wettere nur schon seit 3 Jahren gegen Vergleichsbenchmarks verschiedener Hersteller, auf einer "grundsätzlichen" Ebene, daher werd' ich gerne mal etwas . . . ausfällig. Ist nicht böse gemeint, und soll auch nicht heissen, dass Reviewer, welche Grafikkarten verschiedener Hersteller mit Benchmarks vergleichen, einen schlechten Job machen. Nur, dass ich solche Benchmarks eh ignoriere und nicht glaube, dass solche Vergleiche in den meisten Fällen die geringste Aussagekraft haben.

Mit möglichst vielen Spielebenchmarks zu arbeiten ist zwar sehr aufwendig, aber eine gute Lösung, IMO.

93,
-Sascha.rb

AlfredENeumann

2003-06-19, 14:06:34

Original geschrieben von Exxtreme
Eine Frage bleibt aber offen: was ist, wenn Unwinder ausser der Applikationserkennung aus Versehen noch mehr deaktiviert hat?

Das isses ja. Was ist mit den ganzen Bugfixes die die IHVs in die Treiber packen, weil die Spielehersteller zu Blöd sind um ein Bugfreies Spiel zu releasen

AlfredENeumann

2003-06-19, 14:10:35

Original geschrieben von Gast
aber imho müsste "Kein Verlust bei der BQ" etwas gelockert werden
ich verzichte zB gern auf ein bischen IQ (wenn man es kaum bzw. nicht merkt) wenn es einiges an speed bringt (soviel speed das es wirklich relevant ist - also nix mit 0,x% oder gar 0,0x% sondern zB 10% oder mehr)
ein beispiel is multisampling - is von der quallität der dem supersampling zwar unterlegen, aber so extrem viel schneller das es eindeutig die bessere alternative is
selbes gilt für winkelabhängiges, adaptives AF

Das ist genau das was nicht sein soll. Nicht mal ein bischen verlußt der BQ. Alles andere ist wurscht, aber die Quali darf durch eine optimierung nicht leiden.

Demirug

2003-06-19, 14:14:32

Original geschrieben von AlfredENeumann
Das isses ja. Was ist mit den ganzen Bugfixes die die IHVs in die Treiber packen, weil die Spielehersteller zu Blöd sind um ein Bugfreies Spiel zu releasen

Die dürften damit auch deaktiviert sein. Da aber geziehlt herauszuschneiden grenzt schon fast ans unmögliche. Der Treiber hat einen umfang bei den vollständiges Analysieren zur Qual wird. Ich musste gezwungernermassen selbst mal einen "Treiber" auseinader nehmen. Das Teil war aber bei weitem nicht so komplex wie ein Grafiktreiber und wurde mit einem lausigen Compiler erstellt der nicht optimiert hat. Aber trotz dieser Erleichterungen war es ein Job den ich nie wieder machen möchte.

aths

2003-06-19, 15:01:46

Original geschrieben von Demirug
Patchen auf Assemblerebene ist immer gefährlich. Unwinder ist kein Anfänger :) und weiß in der Regel, was er tut.

Demirug

2003-06-19, 15:09:23

Original geschrieben von aths
Unwinder ist kein Anfänger :) und weiß in der Regel, was er tut.

Darum geht es doch gar nicht. Selbst wenn man den C/C++ Quellcode einer Freamdanwednung hat kann man die folgen von Änderungen nicht immer abschätzen. Auf Assemblerebene bekommt das ganze dann eine ganz andere Dimension. Das Unwinder den primären Zweg erreicht bezweifle ich ja gar nicht.

Crazy_Bon

2003-06-19, 15:17:53

Axel

2003-06-19, 15:24:50

Original geschrieben von ow
zur Info:

Kurztest auf GF4ti4200, Win98. Det. 44.03, 3DM2001SE (original & umbenannte .exe)

3DMark2001SE als '3DMark2001SE.exe'

Nature: 60,5 fps

3DMark2001SE als '3DQuark.exe'

Nature: 45,1 fps

Macht gute 33% mehr Leistung durch Optimierungen/Cheats/Bugs oder was auch immer...

Ein optischer Unterschied in den gerenderten Frames fällt mir auf den ersten Blick nicht auf.

Leider weiss ich nicht, ob und wie es möglich ist, screenies zweier identischer Frames aus Benchläufen des 3DM2001SE zu erhalten.

Ich habe das Ganze spaßeshalber mit meiner 8500LE gemacht.
Es gab dabei keine nennenswerten Veränderungen, außer bei game1. Da sind etwa 7 FPS (120 vs. 127) weniger gemessen worden. Der nature-Test blieb unverändert.
Das bedeutet natürlich nicht, das Ati nicht auch optimiert hat. Zumindest lässt es sich so nicht nachweisen.

Demirug

2003-06-19, 15:31:32

Original geschrieben von Axel
Ich habe das Ganze spaßeshalber mit meiner 8500LE gemacht.
Es gab dabei keine nennenswerten Veränderungen, außer bei game1. Da sind etwa 7 FPS (120 vs. 127) weniger gemessen worden. Der nature-Test blieb unverändert.
Das bedeutet natürlich nicht, das Ati nicht auch optimiert hat. Zumindest lässt es sich so nicht nachweisen.

Also wenn ich das richtig verstanden habe dann erkennt der Catalyst die Anwendungen an den Texturen/Shadern. Umbennen bringt da nicht viel.

mapel110

2003-06-19, 15:36:19

mich interessiert das ganze irgendwie erst, wenn viele applikationen damit getestet wurden und ein ordentlicher artikel dazu existiert.

ausserdem, was ist eigentlich mit der notwendigen erkennung von spielen ? ich mein, ein spiel hat einen bug. der bug muss gefixt werden und das geht doch nur, wenn der treiber die applikation erkennt. :|

btw hier sieht man schonmal, was wohl unoptimierte spielebenchmarks zeigen werden. die 5900er ultra hat schwer zu kämpfen in nicht so oft gebenchten anwendungen.
http://www.gamepc.com/labs/view_content.asp?id=fx5900u&page=1

Axel

2003-06-19, 15:37:19

Original geschrieben von Demirug
Also wenn ich das richtig verstanden habe dann erkennt der Catalyst die Anwendungen an den Texturen/Shadern. Umbennen bringt da nicht viel.

Das habe ich fast gedacht.
Vielleicht hat ATi durch Quack gelernt. ;)

seahawk

2003-06-19, 15:37:29

Original geschrieben von AlfredENeumann
Das isses ja. Was ist mit den ganzen Bugfixes die die IHVs in die Treiber packen, weil die Spielehersteller zu Blöd sind um ein Bugfreies Spiel zu releasen

Stimmt bei den Spiele Benchmarks wäre ich vorsichtig. Das die FX5900 in UT2003 einbricht bedeutet ja nicht, dass NV cheated, es kann auch nur bedeuten, dass die KArte mit dem Spiel besser zusammenarbeitet. Sollte sich diese Verbesserung allerdings nur auf einige bekannte Timedemos beziehen, dann müßte so etwas bei Vergleichstest zu einer erheblich Abwertung führen, bzw. sollten diese Karten gar nicht bewertet werden. Eigene Demos müßten dies allerdings gut aufdecken.

Beim 3DMark ist es ja anders. Hier sieht FM ja jede Änderung als Cheat.

PS. Jede Änderung die ungefragt die BQ reduziert ist imo ein Cheat.

Quasar

2003-06-19, 15:55:35

Original geschrieben von Axel
Ich habe das Ganze spaßeshalber mit meiner 8500LE gemacht.
Es gab dabei keine nennenswerten Veränderungen, außer bei game1. Da sind etwa 7 FPS (120 vs. 127) weniger gemessen worden. Der nature-Test blieb unverändert.
Das bedeutet natürlich nicht, das Ati nicht auch optimiert hat. Zumindest lässt es sich so nicht nachweisen.

Ich habe das gerade auch mal ausprobiert: Keinerlei Unterschied. (naja, mit "Quark" hatte ich 39 Quark-Punkte mehr..)

Eventuell optimiert der Deto hier selektiv für GF4?

Mr. Lolman

2003-06-19, 16:06:26

Man sollte mal den 3dmark in Quake3.exe unbenennen, und schaun was dann passiert (BQ-/Speedmässig)

Exxtreme

2003-06-19, 16:09:04

Original geschrieben von Mr. Lolman
Man sollte mal den 3dmark in Quake3.exe unbenennen, und schaun was dann passiert (BQ-/Speedmässig)
Es wird wohl nichts passieren, da laut Unwinder, die Erkennung in den NV-Treibern aus 2 Teilen besteht: den Exe-Namen und einer speziellen Prüfsumme.

Und den zweiten Teil wird eine, zu Quake3.exe umbenannte 3DMark.exe wohl nicht bestehen.

Demirug

2003-06-19, 16:09:04

Original geschrieben von Mr. Lolman
Man sollte mal den 3dmark in Quake3.exe unbenennen, und schaun was dann passiert (BQ-/Speedmässig)

Warum sollte der D3D Treiber auf eine OpenGL Anwendung anspringen?

Pathfinder

2003-06-19, 16:35:49

Es sieht doch danach aus, als ob der Benchmark-Aufruhr der letzten Wochen die festgefahrene Benchmark-Philosophie der letzten Jahre in ihren Grundfesten erschüttern wird. :)

Da aktuelle Grafikkarten in Bezug auf ihre nicht-3D-Fähigkeiten einander sehr ähnlich sind, sollte in den meisten Fällen das vorherschende Kaufkriterium die "Spieletauglichkeit" sein. Wenn jetzt noch Benchmarks entwickelt werden könnten, die darüber verläßlich Auskunft geben, dann wären wir am Ziel.

Noch ein paar Anmerkungen:
- Unter "Spieletauglichkeit" verstehe ich FPS bei vergleichbarer Bildqualität.
- Die "Spieletauglichkeit" ist auf das vermessene Spiel beschränkt, d.h. muß pro Spiel ermittelt werden.
- Das Benchmarkverfahren sollte nicht insofern vorhersehbar sein, als daß Optimierungen nur auf das Verfahren hin möglich wären. Optimierungen, die im geamten Spiel greifen, sind selbstverständlich erwünscht.
- Es sollte alle grafischen Aspekte des Spiels beim Benchmarking berücksichtigt werden. Zu kurze Timedemos wären in diesem Sinne nur ein Stichprobe und damit nicht repräsentativ genug.
- Bildqualität ist zwar eine Sache der persönlichen Einschätzung, aber es sollte möglich sein, eine Treibereinstellung zu finden, die zu vergleichbarer Bildqualität führt. Falls nicht, wäre ein Vergleich nicht durchführbar.

Generische/theoretische Benchmarks sind weiterhin sinnvoll, sollen jedoch nicht benutzt werden, um Aussagen über die "Spieletauglichkeit" zu treffen, denn einen theoretischen Benchmark kann man eben nicht spielen. ;) Theoretische Benchmarks helfen vielmehr bei der Analyse der Architektur einer GPU und sind ausschließlich für Low-Level Überlegungen geeignet.

Guter Thread, weiter so!
Pathfinder

Quasar

2003-06-19, 16:37:04

Original geschrieben von Exxtreme
Es wird wohl nichts passieren, da laut Unwinder, die Erkennung in den NV-Treibern aus 2 Teilen besteht: den Exe-Namen und einer speziellen Prüfsumme.

Und den zweiten Teil wird eine, zu Quake3.exe umbenannte 3DMark.exe wohl nicht bestehen.

Warum sollte dann das umbenennen in 3DMurks2001SE.exe die AF-Optimierung ausschalten, wie neulich nahegelegt wurde?

Nur eine "oder"-Abfrage?

Exxtreme

2003-06-19, 16:40:04

Original geschrieben von Quasar
Warum sollte dann das umbenennen in 3DMurks2001SE.exe die AF-Optimierung ausschalten, wie neulich nahegelegt wurde?

Nur eine "oder"-Abfrage?
ICh denke, es ist eine "AND"-Abfrage.

Dateiname UND die Prüfsumme müssen stimmen damit die "Optimierungen" aktiviert werden.

Quasar

2003-06-19, 16:48:52

Warum hilft es bei mir dann nicht, die Datei "3DMark2001SE.exe" umzubenennen?

Nein, ich glaube, so einfach ist es nicht immer.

Demirug

2003-06-19, 17:04:06

Es ist wohl ein ganzen Packet von unterschiedlichen optimierungen die auch durch unterschiedliche indikatoren aktiviert werden.

Quasar

2003-06-19, 17:05:23

Warum aber genügt es bei ow offensichtlich, die .exe umzubenennen?

Sollten die Detos das je nach OS unterschiedlich handhaben?

LovesuckZ

2003-06-19, 17:41:47

Mit dem Beta Treiber 44.65 bringt eine Umbenennung der 3dMark2001 Exe überhaupt nix. Dafuer verliere ich beim Aquamark nach der umbenennung in "Aquamurk" 11fps (90 ->79).
Getestet mitner 5800 "Ultra"

Leonidas

2003-06-19, 18:00:56

I really RE'd both Detonator and Catalyst and found application detections mechanisms in each of the drivers. I really created the scripts to prevent the drivers from detecting D3D applications (the scripts block pixel/vertex shader and command line/window text checksum calculation in the Detonator and texture pattern/pixel shader code detections in the Catalyst).
Blocking application detection code caused dramatic performance drop in 3DMark2001/Nature on both NV (74->42 FPS) and ATI (66->42 FPS) boards. IQ in this test changed on both of the systems. Do I have to continue?
NVAntiDetector also caused significant performance drop in other D3D benchmarks (i.e. UT2003), 3DMark2003 score on NV35 dropped even more then with 330 patch (it's info from my tester and I cannot confirm it because I don't have NV35 sample).
Review containing details and benchmarks is preparing for publishing on Digit-Life now.

Es gilt hier das gleiche wie beim Vergleich des ShaderMark alt/neu (nVidia bricht um 70% ein):
http://www.3dvelocity.com/reviews/5900u/5900u_4.htm
http://www.3dvelocity.com/reviews/5900u/5900u_16.htm

Bevor einer nicht die Absenkung von BQ hieb- und stichfest nachweist, ist das alles eine legale Optimierung (wobei man bei Theorie-Benchmarks über die Legalität streiten kann, bei Spielen nicht) - und keine Cheats.