Ausrichtung auf die Unterschiede - oder immer Real-Life ?

[Leonidas]

Bezüglich der RTCW Benchmarks von Digit-Life´s 3Digest 12/2001:
http://www.digit-life.com/articles/digest3d/index.html



Es ist durchaus sehr positiv, wenn neue Benchmarks verwendet werden und die Grafikkarten-Herstellern damit bei der Treiberentwicklung zu etwas mehr als nur den bisher üblichen "Q3A+3DMark-only" Optimierungen angeregt werden. Leider zeigt das von den x-bit Labs verwendete RtCW-Timedemo keine eigentliche Spielszene, sondern einen wild herumhüpfenden Player, welche mit den verschiedenen RtCW-Waffen recht sinn- und verstandslos in die von Gegnern sowieso leere Spielwelt hineinballert.

Sicher ist uns an dieser Stelle klar, daß dieses Timedemo speziell so aufgenommen wurde, um für Grafikkarten-Tests ein möglichst Grafikarten-limitiertes Szenario zu erzeugen, um so letztlich Unterschiede zwischen den einzelnen Grafikkarten aufzeigen zu können (Gag am Rande: dafür hätte man besser auf alle Explosionswaffen und den Flamenwerfer verzichten sollen - diese Effekte sind in RtCW schlicht CPU-limitiert). Nur stellt sich hier eben die Frage, ob es Sinn macht, dort Unterschiede zu erzwingen, wo im realen Spiel keine sind. RtCW ist weitestgehend CPU-limitiert - irgendwelchen Grafikkarten bezüglich deren Leistungen in RtCW erste Plätze zu verleihen, geht an der Realität vorbei.

Wenn man die theoretische Leistungsfähigkeit einer Grafikkarte ermitteln will, so gibt es ausreichend theoretischen Tester (3DMark, GLMark, GL Excess). Es ergibt sich somit keine Notwendigkeit, aus einem real gespielten Spiel auf Krampf eine Leistungsschau für Grafikkarten zu machen. Die Leistung in einem Spiel sollte immer so gezeigt werden, wie es auch der Spieler wahrnimmt: Und dieser ist weniger an diesen fps-Werten interessiert, welche sich ergeben, wenn er allein durch die Gänge rennt - als vielmehr jenen fps-Werten, wenn man "unter Feuer" steht, Entscheidungen in Sekundenbruchteilen treffen muß und jegliche Verzögerung seitens des Rechners durch zu niedrige fps-Werte "tödlich" wäre. Benchmarks in Spielen sollten das reale Bild des Spiels wiedergeben und nicht aus dem Spiel ein TechDemo machen. Musste mal wieder gesagt werden :-).


Kommentare, Kritik, Gegenmeinungen?

[the_ENIAC]

Seh ich auch so...
Nur: Vielleicht haben die bei x-bit Labs keinen gefunden, der mit ihnen RtCW zocken wollte (oder konnte??? ;) )

Aber im Ernst: Es ist garnicht so easy, wenn man "nur" auf Bots oder auf's Internet angewiesen ist, 'ne vernünftige MP-Demo aufzunehmen.
Wie oft hab ich es erlebt, dass man als "Kameramann" nach ein paar Schritten schon abgeknallt wurde, obwohl man den Mitspielern vorher 42mal erklärt hat, sie sollen DEN EINZIGEN, der im Tarnanzug "Arctic Avanger" ;) durch die Gegend läuft, doch BITTE nicht übern Haufen schiessen... "sonst kommt ihr halt nicht ins Fernsehen" sag ich dan immer ;)

[Leonidas]

Was denkst Du, wie es mir dann geht, da ich meine Demos ohne diese "Tricks" echt Real-Life aufnehmen, ohne mich abzusprechen :-). Ich nehm dann ca. 200 Stück auf, um ein vernünftiges zu bekommen ...

[the_ENIAC]

...am besten sich vorher jmd suchen, der einem "Geleitschutz" gibt... Oder sich ne skin basteln, wo man statt der Wumme ne Kamera in der Hand hält, und als Klamotten ne blaue ARD-Regenjacke anhat... :D

[Quasar]

Wenn man schon ein CPU-Limitiertes Szenario als Grafikbench verwenden muss (nicht sehr sinnig, aber egal...), dann ist so eine Eigeninitiative der einzig richtige Weg. Wenn man aber zeigen will, das Spiel Y nun mal nicht viel mit der Graka am Hut hat, und genau das gehört in einen vernünftigen Graka-Test rein, sollte man lieber auch den einen oder anderen Test mit reinnehmen, wo man so gut wie keine Unterschiede wahrnehmen kann. Wenn es nun mal so ist, dann sollte das auch den Leuten klargemacht werden.

Bei uns in unserer gemütlichen LAN-Runde hab ich auch immer meine liebe Müh' und Not den Leuten die nur daddeln, aber sich nicht so sehr mit den Hintergründen auseinandersetzen, den Unterschied zwischen CPU-Limitierung und Graka-Limitierung klarzumachen.


Also:
In einen Graka-Test gehören aktuelle Games (!) und zwar in einer reichhaltigen Auswahl, die nicht nur reine Graka-Szenarien beinhalten, sondern eben auch mal das eine oder andere Szenario, wo man sieht, daß eine teure Grafikkarte zu einem Celeron300A kein Allheilmittel ist.
Es sollte eben klar werden, welche Graka in welchem Spiel Vorteile bringt und bei welchen Spielen das vollständig egal ist. Ein Graka-Test ist ja eigentlich auch immer eine Kaufberatung und als solche muss man eben als unabhängige Instanz auch darauf hinweisen, in welchen Fällen man sich einen Kauf komplett sparen kann.

[Sebuste]

find ich ok aber man muß das spiel haben um zu sehen wie es bei einem laufen tut was ich nicht ok finde da die angaben vom hersteller meist unsinn sind. Da ist es besser einen benchmark zu machen der unabhänig vom spiel ist aber, aber der spieleengine entwickelt ist.

so find ich eigentlich besser

rückantwort erwünscht

[Leonidas]

Originally posted by Sebuste
Da ist es besser einen benchmark zu machen der unabhänig vom spiel ist aber, aber der spieleengine entwickelt ist.




Ich kapier nicht, was mir dieser Text sagen will.

[ow]

Originally posted by Leonidas




Ich kapier nicht, was mir dieser Text sagen will.


Ich auch nicht, also raten wir mal;)


Einen Bench, der die Game-Engine nutzt (bzw. auf ihr basiert), aber selbst nicht zum Spiel gehoert, also auch keine Map daraus nutzt?

[Sebuste]

na ok langsam !

wenn du ein spiel dir kaufen willst, dann weißt du nicht wie es mit einen alten Sytem läuft. Die Timedemos funktionieren nur mit dem Spiel.
Hätte er sich das Spiel gekauft kana man es nicht Umtausen zwecks raubkopien.
Dies koennte man vermeiden,
mit einen Benchmark ala 3Dmark nur auf der Spiele engine, das man testen kann ob das spiel auch ordentlich läuft. Da keine Vollversion des Spiels benoetigt wird ist dies ein vorteil da die benchmarks für 56K user imm er auf irgendwelchen HeftCDs drauf ist.

so alles klar ?

[ow]

Alles klar, so dachte ich das mir (in etwa) ;)

[Sebuste]

nun ich frage mal so : kannst du mir Folgen ?
verstehst du wie ich das sehe ?

[Leonidas]

In der Theorie mag das richtig sein. In der Praxis ergeben sich folgende Probleme:


1. Die theoretischen Tester müssen die Wertigkeit von Zukunfts-Features bewerten und in die eigene Ebd-Wertung einbeziehen, was auf keinen Fall einfach ist. Zudem zeigt gerade 3DMark, daß man prinzipiell viel zu positiv an die neuen 3D-Featues herangeht. Die Wertungen von 3DMark2001 sind also weniger für die Spiele des Jahres 2001 zutreffend, sondern vielmehr für die Spiele des Jahres 2002.


2. Die Auslegung von Grafikkarten-Tests rein auf theoretische Testprogramme annimiert die Grafikkarten-Hersteller, ihre Treiber nur noch rein auf die theoretischen Tester zu optimieren. Damit entfernt sich die Aussage, die ein theoretischer Tester bietet, immer weiter von der Realität, welche dieser theoretische Tester eigentlich darstellen wollte.

[Sebuste]

zu 1) wobei ich mehr denke das 3dmark2001 ein Benchmark ist für
a) neuere Spiele (AquaNox oder ander)
b) DirectX 8 Spiele

das der Benchmark 3Dmark2001 für dieses Jahr steht sehe ich auch anders da dieser auf Dx8 zum teil optimiert ist,und zudem kommt DirectX9 und dies findet man bestimmt auf 3Dmark2002, wobei sich der Benchmark nich auf das Jahr bezieht da die neues Feature wie Dx8 noch wenig unterstürtzen, die ersten Spiele für Dx9 werden November oder Dezember in die lädenkommen.
also kurtz die jahresangabe steht nicht für das spielejahr sondern für das Featurejahr (alle feature die in diesem jahr herausgekommen sind

zu 2)
hier sorgt die vielfalt am markt befindlichen Bench + Spiele für eine gute einschätzung der Treiber und Hardware durch testen .
Die optimierung ist aber zum teil auf Spiele ausgelegt die auch fast jedermal spielt und so hat jeder spieler der dieses Spiel zocken tut einen vorteil zu anderen karten ( wenn die anderen nicht optimiert sind). Aber nur solange bis die treiber die Qualität des Spieles Hewrunterziehen wie der erste R8500 treiber. Ansonsten kann die optimierung für spiele eingentlich nicht schade.

So sehe ich das, wie siehst du es ?

[Quasar]

Schönes Wort, Sebuste: Featurejahr.....gefällt mir :)

[Sebuste]

Quasar sag mal deine meinung, würde mich interessieren



das Jahr 2001 ist für mich Featurejahr weil mit Dx´8 mal ein schritt qualität in Spielen erreicht wurde (zB Vortex Shader, Trueform ua.)

Ich finde die Grafikkarten sind schnell, wobei es auch wieder extreme unterschiede zwichen Radeon und Geforce serie gibt(in sachen qualität)

(siehe link)http://www.tech-report.com/reviews/2001q4/r200/index.x?pg=5


die geschwindigkeit ist für mich nicht entscheident wen spiele flüssiglaufen ( Radeon8500 & Geforce Ti500). Die Hardware seiten stellen den sieger ala Geforce 3 darwobei fast minimale unterschiede sind. aber ich denke in qualität und Geschwindigkeit ist die R200 deutlich vorn.

[Quasar]

Wozu willste meine Meinung hören?

Zum Thema des Threads oder zu deinem Post mit Radeon8500 und GF3?s

[Sebuste]

schreib doch einfach :)

[ow]

@ Leo

Wenn RTCW in praktischen Situationen CPU limitiert ist, macht es dann Sinn, Grakas damit zu benchen?

Eine solche CPU Limitierung ist ja von Unreal/UT engines bekannt, die ja auf fast allen Karten identische Werte beim Benchen liefern.

[Quasar]

Zum Thema des Thread hab ich schon was geschrieben....

Und den Flamewar zwischen R8500 und GF3ti500 hatten wir schon zur genüge, da hab ich auch mehr als einmal meinen Senf zu abgegeben, hier noch mal die Quintessenz:

Was nützt das beste Silizium mit mageren Treibern?

[Ae]

Originally posted by Leonidas
Sicher ist uns an dieser Stelle klar, daß dieses Timedemo speziell so aufgenommen wurde, um für Grafikkarten-Tests ein möglichst Grafikarten-limitiertes Szenario zu erzeugen, um so letztlich Unterschiede zwischen den einzelnen Grafikkarten aufzeigen zu können [/B]

Genau das ist aber die richtige Art, Timedemos zu erstellen.
Für Grafikkartentests sollte ein Szenario aufgenommen werden, das von der Grafikkarte abhängt. Es geht nicht darum, möglichst "realistische" Frameraten zu erzielen, das heisst im Fall von RTCW, für Grafikkartentests CPU limitierte Szenen aufzunehmen. Denn es gibt schlicht keine "realistische" Framerate in einem Spiel (schau mal die Detailauswertungen von Serious Sam an!). Wer einen Grafikkartentest liest, will wissen, was ihm das Teil in von der Grafikkarte limitierten Situationen (und die gibt es auch in RTCW!) bringt.

[Leonidas]

Originally posted by ow
@ Leo

Wenn RTCW in praktischen Situationen CPU limitiert ist, macht es dann Sinn, Grakas damit zu benchen?

Eine solche CPU Limitierung ist ja von Unreal/UT engines bekannt, die ja auf fast allen Karten identische Werte beim Benchen liefern.



Es macht durchaus Sinn, RTCW zu benchen:


1. Damit der Käufer/Leser mitbekommt, daß 50% aller Spiele weitgehend CPU-limitiert sind. Ich meine ich würde bei CPU-Reviews auch gfx-limitierte Benches mit aufnehmen, damit der Käufer/Leser sieht, daß auch die superduper 3 GHz CPU nicht alles lösen kann.

2. RTCW ist niucht so extrem CPU-limitiert wie UT.

3. FSAA und anisotrop sind ja im kommen. Setzt man das ein, ist RTCW ganz fix gfx-limitiert.

[Leonidas]

Originally posted by Ae
Wer einen Grafikkartentest liest, will wissen, was ihm das Teil in von der Grafikkarte limitierten Situationen (und die gibt es auch in RTCW!) bringt.



Nein. Ich will nicht wissen, ob die GF3 180 fps schafft, wo die Radeon 8500 "nur" 170 fps in RTCW schafft, wenn das Spiel im Normalfall mit um die 30-60 fps läuft.

RTCW ist ein perfektes Anti-Beispiel für Deine Meinung: Es ist nur in den 150+ fps Szenen gfx-limitiert. Du misst also den Unterschied von gfx-Karten nur an Stellen im Spiel, wo es wirklich keine Sau mehr interessiert, weil alles sowieso nur noch superschnell ist.

[Leonidas]

Originally posted by Ae
Denn es gibt schlicht keine "realistische" Framerate in einem Spiel (schau mal die Detailauswertungen von Serious Sam an!).




Das sagen nur Hardware-Tester, die die Spiele selber nie spielen. Ich kann problemlos sagen, wieviel fps RTCW oder auch andere von mir angespielte Spiele so auswerfen. Es gibt eine realisitische Framerate, zweifelsohne. Und ich glaube nicht, daß wir in Benchmarks etwas anderes zeigen sollten als eine realisitische Framerate, besondere Ausnahmen ausgeschlossen.

[Sebuste]

du verstehst mich nicht was ich meine nimm einen spieler mit ner tnt2 und 400-500 mhz. mit diesem sytem gibt es einige spiele dir fast nur rucketl. um dies herauszufinden ob die rucken (wenn ich mir ein neues spiel kaufen will) benutzt ich einen benchmark der wie eine timedemo ist ABER da ich für einen timedemo die vollversion des spiels brauche ist sie so uninteressant. Also muß ein benchmark her der die engine oder auch spielsequenzen vom spiel selber testen wober der user nicht das spiel vorher kaufen muß --->> das ist das was ich versuche euch zusagen <<--- ob das spiel dabei cpu limitiert ist ist dem user eh egal wenn es flüssig läuft.

[Quasar]

Du meinst, wie es bei den beiden Demos von Serious Sam ist. Erst kommt die Demo raus, inkl. Benchmarkfunktion. Die probiert man aus, und sieht, ob sein System schnell genug ist, so daß es sich lohnt die Vollversion zu kaufen.

Richtig?

[Unregistered]

Originally posted by Leonidas
Was denkst Du, wie es mir dann geht, da ich meine Demos ohne diese "Tricks" echt Real-Life aufnehmen, ohne mich abzusprechen :-). Ich nehm dann ca. 200 Stück auf, um ein vernünftiges zu bekommen ...

Wieso machst du das/die Demo(s) auch auf publics? Wende dich doch einfach an einem Clan, die werden die bestimmt dafür gerne in nen train oder scrimm mitspielen lassen.

[Sebuste]

genau

[Ae]

Originally posted by Leonidas
Nein. Ich will nicht wissen, ob die GF3 180 fps schafft, wo die Radeon 8500 "nur" 170 fps in RTCW schafft, wenn das Spiel im Normalfall mit um die 30-60 fps läuft.RTCW ist ein perfektes Anti-Beispiel für Deine Meinung: Es ist nur in den 150+ fps Szenen gfx-limitiert. Du misst also den Unterschied von gfx-Karten nur an Stellen im Spiel, wo es wirklich keine Sau mehr interessiert, weil alles sowieso nur noch superschnell ist. [/B]

dich persönlich interessiert das vielleicht nicht, mich aber schon. Ausserdem ist RTCW nicht erst ab 150+ fps grafikkartenlimitiert, sondern bereits ab ca. 50 fps.

[Ae]

Originally posted by Leonidas
Das sagen nur Hardware-Tester, die die Spiele selber nie spielen. Ich kann problemlos sagen, wieviel fps RTCW oder auch andere von mir angespielte Spiele so auswerfen. Es gibt eine realisitische Framerate, zweifelsohne. Und ich glaube nicht, daß wir in Benchmarks etwas anderes zeigen sollten als eine realisitische Framerate, besondere Ausnahmen ausgeschlossen.

Mein Beispiel (Serious Sam) widerlegt deine Ansicht.

[Sebuste]

du verstehst das nicht. es geht nicht um ein bestimmtes spiel sondern um die breite masse. lese dir das topic nochmal in ruhe durch und überlege mal richtig.