Benchthreads und quality settings auf lowest?

[BlackBirdSR]

Hi.
Ich habe mich da etwas gefragt. Das betrifft vor Allem, die Leute die in Benchmark-Threads posten.

Gibt es eigentlich ein stilles Abkommen zwischen allen Teilnehmern, oder ist es völlig willkürlich, wie die Treiber eingestellt werden.
Mir wurde das klar, als ich den Comanche4 Thread verfolgt habe.

Wer sagt eigentlich, dass niemand auf die Idee kommt, im Treiber auf lowest quality zu stellen. Überprüfen kann das ja niemand.
So erreicht man ja immerhin höhere Werte, und steht besser da.
Welchen Sinn haben die Threads dann eigentlich noch von einem objektiven Standpunkt.
Dass es vielen leuten Spass macht, bestreite ich ja nicht.

Meinungen?

[Raff]

Meine persönliche Einschätzung ist ja, dass die meisten "Proll-Bencher" alles bis zum Anschlag auf Fps trimmen, Treiber auf N64-Niveau heruntergedreht inklusive. Natürlich habe ich keine Beweise ... außer eben den Verdacht, weil eben nichts dabei steht.

Nun widerspricht das meiner persönlichen Auffassung, wie man zu benchen hat -- nämlich mit maximal möglicher Qualität. Das ist bei Nvidia nun mal High-Quality mit deaktivierten Optimierungen.

Letzteres betrieb ich auch sehr lange -- bis zu den aktuellen Spielen. Wenn einem die Optimierungen nicht ins Auge springen - mir fallen jetzt F.E.A.R. und CoD 2 ein - und nebenbei viel Power bringen, dann macht es Sinn, sie anzumachen (wenn es sonst ruckelt). Aber dann sollte man das auch hinschreiben!

MfG,
Raff

[Black-Scorpion]

Bei 3DMurks dreh ich auch die Quali so weit runter wie es geht.
Wobei ich bei den ATI Treibern festgestellt habe das diese auf High Performance langsamer wie auf Ausgewogen sind.
Keine Ahnung warum. :confused:

Bei Spiele benches teste ich so wie ich Spiele.
Da macht was anderes auch keinen Sinn für mich.
Was bringt es da die FPS zu haben und nicht vergleichen zu können.

Synthetische Benchmarks = Qualität spielt keine Rolle (nur die Punkte zählen)
Spiele = Einstellung mit denen auch gespielt wird

[BlackBirdSR]

BSynthetische Benchmarks = Qualität spielt keine Rolle (nur die Punkte zählen)


Warum zählen da nur die Punkte?
gewinnt man dafür was?

[Blaze]

Ich benche grundsätzlich nur so, wie ich auch spiele, ergo HQ.
Ich bescheiss mich doch nicht selbst mit dem ganzen geflimmer etc. ;)

Außerdem bin ich viel zu faul das alles ewig umzustellen :tongue:

[Black-Scorpion]

Warum zählen da nur die Punkte?
gewinnt man dafür was?
Eben nicht, deswegen ist mir dort auch die Qualität egal.
Spielen kann man die auch nicht.
Die benche ich auch nur aus Spaß um zu shen was in der Kiste noch drinn steckt.
Wer den 3DMurks zu ernst nimmt ist selber Schuld.

Spiele sind wie schon gesagt ein anderes Thema.

[Raff]

Eigentlich kann man dieser Einstellung nichts Negatives zuweisen. Der 3DMark ist nun mal keine sinnvolle Applikation zum Vergleichen von Grafikkarten verschiedener Hersteller. Nett anzusehen und gut für mancher Ego.

Spiele sind hingegen sinnvoll, da Praxis.

MfG,
Raff

[BlackBirdSR]

ja eben:

Wer sehen will was in der Kiste noch steckt, der bekommt durch low quality keinerlei Aussage.
Und genau weil diese Benchmarks oft nur Show sind, sollte man sie doch mix bester Qualität laufen lassen. (soweit möglich)

[VoodooJack]

Find ich prima, dass dieses Thema mal angesprochen wird. Ich verfolge die Benchmarking-Szene seit Jahren. Eigentlich könnte man den Benchmarking-Laden gleich ganz zumachen. Zu wenige Leute geben die tatsächlichen Einstellungen an. Eine rühmliche Ausnahme fällt mir da ein, nämlich MechWOLLier. Bei seinen Ergebnissen konnte ich mir immer sicher sein, dass sie auch der Wahrheit entsprachen. Bezeichnenderweise waren seine Ergebnisse auch nie unglaubwürdig hoch.

Viele Leute nützen einfach die Gegebenheiten aus, unter denen Benchmark-Ergebnisse veröffentlicht werden können. Vor allem mit der Verifizierbarkeit von Benchmarks aus dem Spiele-Sektor schaut es da immer noch sehr lausig aus.

1. Bei vielen Spielen kann man nur das Ergebnis in der Konsole ablesen oder wenn es hoch kommt einen Ergebnis-Screenshot posten. So ein Ergebnis hat eigentlich Null Aussagewert, da weder Ingame-Einstellungen noch treiberseitige Einstellungen verifizierbar sind. Da ist natürlich Proll-Ergebnissen Tür und Tor geöffnet. Da kann auch der Poster Angaben machen, was er will, wer sagt mir denn, dass er die Wahrheit schreibt?

2. Einige Benchmarks wie der 3DMark bieten zwar über ORB/FutureMark die Verifizierbarkeit der Benchmark-Einstellungen an, aber treiberseitig kann herumgedoktort werden auf Teufel komm raus. 3DMark und Co sind zwar schon viel besser verifizierbar als die Spiele unter Nummer 1, aber noch ein großes Stück vom idealen Benchmarking entfernt.

3. Einige Spiele wie HL2 oder CSS bieten wenigstens die Möglichkeit, einen Ergebnis-Screenshot zu machen, der Auflösung, Ingame-Einstellungen, CPU-Clock und Timedemo-Namen beinhaltet. Deshalb poste ich persönlich bei solchen Spielen grundsätzlich einen derartigen Screenshot, obwohl ich natürlich weiß, dass auch hier Null Aussage zu den treiberseitigen Einstellungen und zum GPU-Clock enthalten ist. Bei den treiberseitigen Einstellungen und beim GPU-Clock muss man sich wieder voll auf die Wahrheitsliebe des Posters verlassen. HL2 und Co sind zwar noch ein Stück vom idealen Benchmark-Posting entfernt, aber so ein Screenshot spiegelt vielleicht schon 80% der Wahrheit wieder. Bezeichnenderweise machen die Proller um HL2 und Co einen weiten Bogen.

Mein eingangs erwähnter Gedanke, den Benchmark-Laden gleich ganz dicht zu machen, war natürlich nicht ernst gemeint. Benchmarking macht mir immer noch Spaß. Ich gebe auch nicht die Hoffnung auf, dass wir eines Tages den idealen Zustand erreichen werden, wo in einem Ergebnis-Screenshot alle relevanten Zahlen einschließlich treiberseitiger Einstellungen enthalten sind.

[Raff]

Viel schlimmer als mangelnde Treibereinstellungen ist IMHO, wenn man nicht mal das System dazu schreibt. "Siehe Sig" treibt mich fast immer zu Brechreiz und einem Hinweisposting ... kommt aber nicht. Aber das ist ein anderes Thema.

MfG,
Raff

[zeckensack]

Eben nicht, deswegen ist mir dort auch die Qualität egal.
Spielen kann man die auch nicht.
Die benche ich auch nur aus Spaß um zu shen was in der Kiste noch drinn steckt.Sehe das wie BlackBirdSR. Du siehst nicht was in der Kiste noch drin steckt, wenn du eben die Texturen praktisch auf 1x1 runterzwingst. Du eliminierst eine wichtige Komponente, und reduzierst die Aussagekraft (selbst wenn sie schon niedrig sein sollte, dadurch wird sie noch geringer).

[(del)]

Das ist in der Tat ein sehr interessantes Thema, weil man es so gut wie überhaupt nicht durchleuchten kann. Es steht dann halt ein ellenlanger Balken mit der spartanischen Angabe (1024x768, 32bit) im Raum. So und nu?
Das ist ein wesentlicher Grund, weshalb ich die Benchmarkwerte nicht für voll nehme. Jeder macht sich per Treiber den Balken so lang wie's ihm/ihr grad gut passt. Vergleichsmöglichkeiten oder Rückschlüsse ziehen? Fehlanzeige.

Ich benche (wenns hochkommt) 2 bis 3 mal im Jahr mit Spielen aus meiner Sammlung (Doom³ Timedemo z.B.) und mit 3D Mark 2001 SE oder 2003. Grundsätzlich lasse ich alle Treibereinstellungen unberührt um damit Rückschlüsse auf die Geschwindigkeit beim Spielen schliessen zu können (was wegen fehlender KI-Berechnung eh schwierig ist). Ist zwar mit meinem System eher deprimierend als erheiternd aber ich machs trotzdem aus unerfindlichen Gründen. ;)

Ich denke auf diesen kleinsten gemeinsamen Nenner beim Benchen sollte man sich einigen können oder?
Einziges Problem: Den kleinsten gem. Nenner zu definieren. Dazu würde sich eine Diskussion lohnen, wie der auszusehen hat.

[ShadowXX]

Ich benche grundsätzlich nur so, wie ich auch spiele, ergo HQ.
Ich bescheiss mich doch nicht selbst mit dem ganzen geflimmer etc. ;)

Außerdem bin ich viel zu faul das alles ewig umzustellen :tongue:

Dem kann ich mich nur anschliessen.

Wenn ich den mal Benche (und Poste) dann immer alles im Treiber auf Full Quality (bei mir also momentan mit HQ+alle optimierungen aus).

Beim r520 ist das aber wohl etwas komplizierter...soll da mir AreaAF oder ohne AreaAF gebencht werden? Was meint Ihr?

P.S.
cooles Logo .bLaZe. (komm auch aus HH)

[funkflix]

Ich gebe auch nicht die Hoffnung auf, dass wir eines Tages den idealen Zustand erreichen werden, wo in einem Ergebnis-Screenshot alle relevanten Zahlen einschließlich treiberseitiger Einstellungen enthalten sind.

Du postetst doch meist immer nur einen mini Crop, nur mit den FPS, das restliche System schreibst du dann aber einfach so hin. Worüber beklagst du dich da gerade? :|

Soweit die Möglichkeit besteht, gibt es von mir immer einen CPU-Z Screenshot mit anbei, und natürlich auch ATI Tool! Und da ich ja zu dieser "Proll-Bencher" Sorte gehöre(?), benche ich natürlich so gut wei immer in Low Details, ausser in dem Thread in den ich komme, herrschen schon überwiegend Ergebnisse mit High Quality, dann benche ich auch so.

[LeChuck]

Bei einem Benchthread sollte natürlich z.B. bei Games die
Qualitätseinstellungen im Game von vornherein festgelegt werden. Nur so macht es Sinn.

Allerdings kann ich eure Meinung bzgl. der Treibereinstellung nicht ganz teilen. Wie soll man dort auf einen Nenner kommen? Wenn jeder Maximum reinhaut kann man nie wirklich vergleichen. Der eine kann maximal 4xAA, der andere 6xAAA und ein anderer wiederum 16xA, und was es da noch für Modi gibt, bzw. dann noch die Tatsache das es ATI, nVidia, und was ich für Karten gibt.

Also imho lieber in der Treibern alles auf Minimum, dann hat keiner AA und AF und es wird Treiberseitig auf gleichem Level gecheatet, dann dürfte in der Theorie zumindest Treiberseitig alles auf gleichem Level sein.

Man müsste für einen sinnvollen Benchvergleich auf jeden Fall ingame und Treiberseitig einen Standard festlegen, bei dem man auch in der Lage ist, verschiedene Systeme (sei es ATI oder nVidia) sinnvoll vergleichen zu können.

[The_Invisible]

hab bis jetzt immer mit HQ und den geforderten settings gebencht, manchmal sogar mit Q + HQ zum vergleich.

wüsste nicht was ich davon hätte wenn ich betrügen würde, so bin ich in die virtuelle "internet"-welt nun auch nicht verliebt

mfg

[Ronny G.]

Was auch immer ein schlimmes Übel ist, das jeder Auflösungen verwendet wie ihm gerade Lustig ist.
Die meisten Threadsteller schreiben meist auch hin das ihm die Auflösungen egal sind und hauptsache alles auf Max. ist, dann folgen die tollsten auflösungen.
Wo bleibt da die vergleichbarkeit.
Manche die Megamonitore haben und gleich mal 1900xXXX benchen, vergessen doch gleich mal die standartauflösung 1280x1024, sie ignorieren den vergleich mit uns Normalos weil ja sonst die achso Grafiklimitierenden Titel nicht mehr genug abstand zum "Mittelstand" haben.

Ich finde immer nur 1280x1024, 1024x768 und CPU-Techn.640x480 interresant, aber doch keine Mischauflösungen oder Megagroße Auflösungen.

[Banshee18]

Was auch immer ein schlimmes Übel ist, das jeder Auflösungen verwendet wie ihm gerade Lustig ist.
Die meisten Threadsteller schreiben meist auch hin das ihm die Auflösungen egal sind und hauptsache alles auf Max. ist, dann folgen die tollsten auflösungen.
Wo bleibt da die vergleichbarkeit.
Manche die Megamonitore haben und gleich mal 1900xXXX benchen, vergessen doch gleich mal die standartauflösung 1280x1024, sie ignorieren den vergleich mit uns Normalos weil ja sonst die achso Grafiklimitierenden Titel nicht mehr genug abstand zum "Mittelstand" haben.

Ich finde immer nur 1280x1024, 1024x768 und CPU-Techn.640x480 interresant, aber doch keine Mischauflösungen oder Megagroße Auflösungen.
Standard
1280x960 und 1600x1200 sind auch interessant für CRT-User. Eventuell sogar 1152x864. Die Auflösung habe ich immer gerne benutzt, wenn es bei 1280x960 nicht mehr richtig flüssig war.

[Matrix316]

Gerade bei standard Benchmarks denke ich, sollte man nix verändern. Im Benchmark alles auf default und auch die Treiber auf Default. Nix HighQuality oder AI Off, just out of the box. Da kann man am ehesten die Werte vergleichen und ob was vielleicht mit der Hardware nicht stimmt, wenn die Werte zu niedrig sind.

[Sonyfreak]

Ich benche immer genau so, wie ich auch spielen würde. Das heißt alle Optimierungen aus und anschließend auf HQ schalten. Was habe ich von einem Benchergebnis, dass eh komplett falsch ist, weil ich auf den Einstellungen niemals spielen würde.

mfg.

Sonyfreak

[Blaire]

Ich benche immer genau so, wie ich auch spielen würde. Das heißt alle Optimierungen aus und anschließend auf HQ schalten. Was habe ich von einem Benchergebnis, dass eh komplett falsch ist, weil ich auf den Einstellungen niemals spielen würde.


Genau so seh ich das auch. Viel schlimmer find ich wenn die Leute nichtmal dazuschreiben mit welchen Treibereinstellungen sie gebencht haben.

[Matrix316]

Ich benche immer genau so, wie ich auch spielen würde. Das heißt alle Optimierungen aus und anschließend auf HQ schalten. Was habe ich von einem Benchergebnis, dass eh komplett falsch ist, weil ich auf den Einstellungen niemals spielen würde.

mfg.

Sonyfreak

Weil jeder für Games andere Einstellungen hat und jedes Game anders auf andere Einstellungen reagiert? Wie willst du den Rechner mit anderen Rechnern vergleichen, wenn jeder andere Einstellungen fährt? Beim Höchstgeschwindigkeitsvergleich Ferrari vs Porsche hängt man dem Porsche doch auch keinen 2 Tonnen Anhänger dran, nur weil man oft mit dem Campingwagen unterwegs ist. ;)

[Sonyfreak]

Weil jeder für Games andere Einstellungen hat und jedes Game anders auf andere Einstellungen reagiert? Wie willst du den Rechner mit anderen Rechnern vergleichen, wenn jeder andere Einstellungen fährt? Beim Höchstgeschwindigkeitsvergleich Ferrari vs Porsche hängt man dem Porsche doch auch keinen 2 Tonnen Anhänger dran, nur weil man oft mit dem Campingwagen unterwegs ist. ;)Ich benche ja nicht, um mit Muss die meisten Punkte in einem Benchmark zu haben. Das mache ich, weil ich selber wissen will wie schnell mein System im Vergleich zu anderen Systemen ist. Und auf die paar Prozentpunkte die die 8800er Serie auf HQ langsamer als auf HP ist, kann ich gerne verzichten. Ich hab ja meinen PC primär zum zocken, und nicht um andere PCs leistungsmäßig auszustechen. Und was habe ich von einem Benchmark, wenn ich nachher wieder nicht weiß, ob mein PC schnell genug für die ausgewählten Einstellungen wäre?

mfg.

Sonyfreak

[Matrix316]

Ich benche ja nicht, um mit Muss die meisten Punkte in einem Benchmark zu haben. Das mache ich, weil ich selber wissen will wie schnell mein System im Vergleich zu anderen Systemen ist. Und auf die paar Prozentpunkte die die 8800er Serie auf HQ langsamer als auf HP ist, kann ich gerne verzichten. Ich hab ja meinen PC primär zum zocken, und nicht um andere PCs leistungsmäßig auszustechen. Und was habe ich von einem Benchmark, wenn ich nachher wieder nicht weiß, ob mein PC schnell genug für die ausgewählten Einstellungen wäre?

mfg.

Sonyfreak
Ja aber du sagst doch selbst, du willst wissen wie schnell dein PC im Vergleich zu anderen Systemen ist. Was heißt, dass die anderen Systeme eben auch deine Einstellungen beim Benchen verwenden müssen.

Ob dein System bei deinen gewünschten Einstellungen noch genug Leistung bringt, ist ja wieder was anderes. Da gehts ja nicht drum wie schnell andere Rechner im Vergleich sind, zumal sich die Spielsituationen immer ändern, so dass ein Benchmark nicht viel sagt, sondern nur das Spielen selbst Erfahrung bringen kann.

[Sonyfreak]

Ja aber du sagst doch selbst, du willst wissen wie schnell dein PC im Vergleich zu anderen Systemen ist. Was heißt, dass die anderen Systeme eben auch deine Einstellungen beim Benchen verwenden müssen.Da ich aber nicht das Verhalten der anderen User beim Benchen beeinflussen kann, benche ich ganz einfach so, wie ich es für richtig halte. Und ich halte es für sinnvoll so zu Benchen, wie man die Szene auch gerne sehen würde. Daher bei mir immer High Quality, außer es ist etwas anders angegeben.

Ob dein System bei deinen gewünschten Einstellungen noch genug Leistung bringt, ist ja wieder was anderes. Da gehts ja nicht drum wie schnell andere Rechner im Vergleich sind, zumal sich die Spielsituationen immer ändern, so dass ein Benchmark nicht viel sagt, sondern nur das Spielen selbst Erfahrung bringen kann.Wenn ich aber eine extrem leistungsfressende Szene aus einem Spiel austeste, sehe ich da sehr wohl, ob mein Rechner schnell genug ist oder nicht. Zusätzlich dazu kann ich mir ansehen, was andere Systeme an der selben Stelle für Ergebnisse liefern und welche Einstellungen wie laufen.

mfg.

Sonyfreak

[GeneralHanno]

Ich bin der Meinung, wenn jemand es nötig hat beim Benchen zu schummeln, weil er das fürs Ego braucht, dann zerbrecht euch um solche misratene Persönlichkeiten doch nicht den Kopf. Solche Leute haben meist eh keine Freunde und wenns ihnen nen Adrinalin Kick gibt, sich mehr FPS zu "erschummeln" dann gönnt es diesen armen Seelen.