Performanceratings

[Spasstiger]

Es ist ja ein übliches Vorgehen in Reviews, Benchmarkreihen in einem Performcerating zusammenzufassen. Bevor ich weiter aushole, gebe ich euch mal die Aufgabe, ein Performancerating für die folgenden drei Grafikkarten aufzustellen:

http://img6.abload.de/img/grakabenchq6fd.png

Zur Orientierung, Karte C soll im Rating den Wert 100 erhalten.

[sei laut]

Da du vermutlich schon genau weißt, wie du es rechnen würdest, willst du vermutlich unsere Ansicht dazu haben. Sehe ich das richtig?

A) 200
B) 150
C) 100

Wär eine spontane Idee, aber irgendwie zu Nahe liegend, sodass ich irgendwas bestimmt nicht bedacht habe. X-D

[Spasstiger]

Das ist das Ergebniss, mit dem ich als Antwort gerechnet habe. ;)
Vielleicht noch ein Denkanstoß:
Karte A ist einmal doppelt so schnell wie Karte B und einmal gleich schnell.
Karte B ist einmal doppelt so schnell wie Karte C und einmal gleich schnell.
Also müsste Karte A im Rating gegenüber Karte B um den gleichen Anteil schneller sein wie Karte B gegenüber Karte C. Oder seht ihr das anders?

Bei dem Rating
Karte A: 200
Karte B: 150
Karte C: 100
ist das ja nicht der Fall, denn 200/150=1,33, aber 150/100=1,5.
Oder denkt ihr, dass dieses Rating schon seine Richtigkeit hat bzw. für euch logisch erscheint?

[sei laut]

Das ist das Ergebniss, mit dem ich als Antwort gerechnet habe. ;)

Gern geschehen. =)

Ich sehe deinen Einwand, doch wie willst du es denn rechnen, dass diese 2 Extreme berücksichtigt werden? 1 Wert kann nur immer ein Durchschnitt sein.

[Spasstiger]

Mathematisch lässt sich dieses Problem ganz einfach lösen: Geometrisches Mittel. Statt (a+b)/2 rechnet man Wurzel(a*b). Das Rating sieht dann folgendermaßen aus:

Karte A: 200
Karte B: 141,4
Karte C: 100

Und schon passen die Verhältnisse:
200/141,4 = 1,414
141,4/100 = 1,414

Oder findet ihr dieses Rating irgendwie unhübsch/unpassend? Ich finde es durchaus passend. Ich versuche gerade, die Jungs von Computerbase zur Verwendung des geometrischen Mittels zu bekehren und wollte halt mal schauen, ob das nur eine mathematische Spinnerei von mir ist, die in der Praxis niemanden interessiert.

[Crop Circle]

Das ist das Ergebniss, mit dem ich als Antwort gerechnet habe. ;)
Vielleicht noch ein Denkanstoß:
Karte A ist einmal doppelt so schnell wie Karte B und einmal gleich schnell.
Karte B ist einmal doppelt so schnell wie Karte C und einmal gleich schnell.
Also müsste Karte A im Rating gegenüber Karte B um den gleichen Anteil schneller sein wie Karte B gegenüber Karte C. Oder seht ihr das anders?

Bei dem Rating
Karte A: 200
Karte B: 150
Karte C: 100
ist das ja nicht der Fall, denn 200/150=1,33, aber 150/100=1,5.
Oder denkt ihr, dass dieses Rating schon seine Richtigkeit hat bzw. für euch logisch erscheint?
Ja, ich sehe das anders. Denn du setzt ja Karte C auf 100%. Also du erstellst dein Rating ja relativ zu Karte C.

[Spasstiger]

Ja, ich sehe das anders. Denn du setzt ja Karte C auf 100%. Also du erstellst dein Rating ja relativ zu Karte C.
Also sieht du Karte B näher an Karte A als an Karte C?

[Crop Circle]

Naja, der Schritt von 40 zu 60 Frames ist ja größer als der Schritt von 60 zu 80 Frames. Relativ, nicht absolut.

[PulsarS]

Das ist das Ergebniss, mit dem ich als Antwort gerechnet habe. ;)
Vielleicht noch ein Denkanstoß:
Karte A ist einmal doppelt so schnell wie Karte B und einmal gleich schnell.
Karte B ist einmal doppelt so schnell wie Karte C und einmal gleich schnell.
Also müsste Karte A im Rating gegenüber Karte B um den gleichen Anteil schneller sein wie Karte B gegenüber Karte C. Oder seht ihr das anders?
Das kommt halt drauf an.
Wenn man in fps rechnet und einfach nur die fps-Werte bestimmter Benchmarks addiert und dann durch die Anzahl der Benchmarks dividiert bekommt man ja auch ein anderes Ergebnis, als wenn man jeden Benchmark erstmal auf 100% normalisiert und erst dann die Ergebnisse addiert.

Ich würde sagen, dass generell bei Werten wie fps man in Prozenten als Grundlage rechnen muss.
Und dann würde das mit der Wurzel nicht mehr funktionieren.

[Spasstiger]

Also ihr seht es alle so, dass Karte A um 33% schneller ist als Karte B und Karte B um 50% schneller als Karte C?

Ich würde sagen, dass generell bei Werten wie fps man in Prozenten als Grundlage rechnen muss.
Und dann würde das mit der Wurzel nicht mehr funktionieren.
Dass man nicht mit den fps direkt rechnet, sollte wohl jedem klar sein. Und das geometrische Mittel funktioniert sehr gut, siehe mein Rating.

Naja, der Schritt von 40 zu 60 Frames ist ja größer als der Schritt von 60 zu 80 Frames. Relativ, nicht absolut.
Wir haben hier aber nicht 60 fps und 80 fps. Karte A ist einmal doppelt so schnell wie Karte B und einmal gleichschnell wie Karte B. Gleiches gilt für Karte B in Bezug auf Karte C.

Ja, ich sehe das anders. Denn du setzt ja Karte C auf 100%. Also du erstellst dein Rating ja relativ zu Karte C.
Das ist doch völlig egal. Setz meinetwegen Karte C auf 385 und stell dazu das Rating auf. Oder Karte A auf 45. Ist doch Wurst. Bei Computerbase kann man über eine Karte mit der Maus drüberfahren und sieht dann alle Ergebnisse in Bezug auf diese Karte. Das Rating soll relativ gesehen immer gleich aussehen, egal auf welche Karte man sich bezieht. Sonst wäre so ein Rating ja nutzlos.

[Crop Circle]

Also bei dir ist Karte B 41% schneller als Karte C, ja?

Edit: Nochmal zu computerbase. Das würde dann eben so aussehen:

A 200% A 150% A 100%
B 150% B 100% B 67%
C 100% C 67% C 50%

Ja nachdem auf welche Karte man zeigt, werden die Ratings relativ zu der Karte angezeigt.

[Klingone mit Klampfe]

Wieso macht man es nicht einfach so, wie es früher die PC Games gemacht hat? Die schnellste erhältliche Karte entspricht 100%, der Rest wird an ihr gemessen (damals war das die Voodoo 2). Können meinetwegen ja auch mehrere sein, damit die "Fanboys" ruhig schlafen können.

Für das Beispiel oben:

A: 100%
B: 75% (oder 66,6…%, wenn man es mathematisch halbwegs korrekt machen will)
C: 50%

Natürlich unter der Voraussetzung, dass es keine schnellere Karte als A gibt.

[Spasstiger]

Also bei dir ist Karte B 41% schneller als Karte C, ja?
Ja, und Karte A 41% schneller als Karte B. Schön symmetrisch.

Edit: Nochmal zu computerbase. Das würde dann eben so aussehen:

A 200% A 150% A 100%
B 150% B 100% B 67%
C 100% C 67% C 50%

Ja nachdem auf welche Karte man zeigt, werden die Ratings relativ zu der Karte angezeigt.
Da sind zwei Fehler drin, wenn die erste Spalte stimmen soll. A in der mittleren Spalte muss 133% betragen, B in der dritten Spalte 75%.
Alle Fälle haben gemeinsam, dass A nur um 33% schneller ist als B (siehe Spalte 2 nach Korrektur), aber B um 50% schneller als C (siehe Spalte 1).
Würde man Karte C weglassen, wärst du dann immer noch der Meinung, dass Karte A um 33% schneller ist als Karte B?

Wieso macht man es nicht einfach so, wie es früher die PC Games gemacht hat? Die schnellste erhältliche Karte entspricht 100%, der Rest wird an ihr gemessen (damals war das die Voodoo 2). Können meinetwegen ja auch mehrere sein, damit die "Fanboys" ruhig schlafen können.
Aber was ist, wenn man alte Benchmarkresultate im Review einer neueren Karte recyclen möchte. Sollen die Unterschiede zwischen zwei alten Karten sich dann auf einmal ändern, nur weil man eine neue Karte mit ins Rating aufnimmt?

[Undertaker]

Ja, und Karte A 41% schneller als Karte B. Schön symmetrisch.

Das schon, aber doch letztlich sehr verwirrend. Die Abweichung ist gering, aber mit Karte B habe ich real mit durchschnittlich 30fps glatt 50% mehr Leistung, als mit Karte C und 20fps. Hier 41% anzugeben, halte ich für sehr verwirrend...

[x] Alles wie gehabt lassen.

[Spasstiger]

[x] Alles wie gehabt lassen.
Mir lässt es keine Ruhe, wenn ich weiß, dass da ein Missstand ist, der mit einer Zeile Code im Rating-Skript aus der Welt geräumt werden kann. Und was die psychologische Wirkung angeht: Sollen die Leute sich halt mal mit der Mathematik dahinter beschäftigen. Wenn sie das alte Schema gefressen haben, ohne es zu hinterfragen, sollte auch das neue Schema Akkzeptanz finden.

Hier hab ich das Problem mal konkret dargelegt, dasselbe habe ich bereits im Computerbase-Forum gepostet:

Ein Beispiel aus der Praxis:

Um meine Theorie zu untermauern, führe ich jetzt mal ganz Frech ein Beispiel aus der Computerbase-Praxis vor. Vielleicht macht das dann den einen oder anderen nachdenklich.
Erstmal unser "Arbeitsmaterial":
- Test: Radeon HD 5870 (http://www.computerbase.de/artikel/hardware/grafikkarten/2009/test_ati_radeon_hd_5870/#abschnitt_einleitung)
- Test: Radeon HD 5850 (http://www.computerbase.de/artikel/hardware/grafikkarten/2009/test_ati_radeon_hd_5850_crossfire/)

In beiden Tests wurden dieselben Testsysteme mit genau denselben Treibern verwendet. Die Benchmarkauswahl ist identisch und auch die Frameraten aller in beiden Tests überprüften Karten sind in allen Benchmarks identisch. Das verwundert auch nicht, denn Computerbase verwendet alte Ergebnisse wieder, um Zeit zu sparen und uns überhaupt diese Artikel-Vielfalt anbieten zu können. Hier mal am Beispiel von Call of Duty 5, in beiden Reviews identische Frameraten:

http://www.abload.de/img/cb1_cod5bmzi.png

Kein Unterschied bis auf die HD 5850, die halt dazukommt. Dies zieht sich auch durch alle anderen Benchmarks, kann ja jeder selber nachprüfen.
Was erwarten wir nun im Rating? Na sonnenklar, die sollten auch identisch ausfallen bis auf das Vorhandensein der HD 5850. Tun sie das? Wer den Thread mitverfolgt hat, ahnt schon, dass die Ratings eben nicht identisch ausfallen, weil der mathematische Ansatz nicht sauber ist. Und hier jetzt auch Schwarz auf Weiß:

http://www.abload.de/img/cb2_perfrat77d0.png

Im HD-5850-Test rücken alle Karten ein wenig näher zusammen als im HD-5870-Test, obwohl die Einzelbenchmarks genau identisch ausfallen.

Das Problem lässt sich ganz einfach aus der Welt schaffen, indem man nicht das vertraute arithmetische Mittel verwendet, sondern das geometrische Mittel. Hier noch etwas Lesestoff von Wikipedia:
- Arithmetisches Mittel (http://de.wikipedia.org/wiki/Arithmetisches_Mittel)
- Geometrisches Mittel (http://de.wikipedia.org/wiki/Geometrisches_Mittel)

[pest]

du mittelst die relativen Zuwächse der Bildrate anstatt den Absolutwert, ist halt einfach was Anderes :freak:

[Spasstiger]

du mittelst die relativen Zuwächse der Bildrate anstatt den Absolutwert, ist halt einfach was Anderes :freak:
Wie würdest du denn so ein Rating anpacken? :)

Btw. mittle ich durchaus Absolutwerte und keinesfalls Zuwächse. Ich mittle nur nicht die Framerate selbst, denn das macht keinen Sinn.

[Klingone mit Klampfe]

Aber was ist, wenn man alte Benchmarkresultate im Review einer neueren Karte recyclen möchte. Sollen die Unterschiede zwischen zwei alten Karten sich dann auf einmal ändern, nur weil man eine neue Karte mit ins Rating aufnimmt?

Wenn die neue Karte schneller ist als die bisherige Referenz, wird sie die neue 100-Punkte-Karte und die anderen entsprechend abgewertet. Die bisherige Referenz ist dann eben nur noch 80, wenn sie ein Fünftel langsamer ist. Das sind ja nur ein abstrakte Werte, nicht konkretes wie z. B. eine FPS-Angaben.

EDIT: Im Prinzip genau wie auf der zweiten Grafik in Beitrag #15, nur wäre die 295GTX die 100%-Referenz.

[pest]

Btw. mittle ich durchaus Absolutwerte und keinesfalls Zuwächse.

wenn Karte A einmal doppelt so schnell ist wie B, und einmal gleichschnell, dann stellst du mit dieser Formulierung ein Verhältnis auf! Ein Verhältnis stellt aber den relativen Anteil von etwas gegenüber etwas anderem dar.

Sqrt[2*1] ist die mittlere Zuwachsrate

[Spasstiger]

@pest: Das verstehe ich jetzt nicht wirklich. Kannst du mir etwas Literatur dazugeben?
Und wie würde dein Rating ausgehend von den im Startposting genannten Beispiel aussehen?

@Klingone mit Klampfe: Ich glaube, wir reden ein wenig aneinander vorbei.

[pest]

@pest: Das verstehe ich jetzt nicht wirklich.


das entnehme ich deinem link von wikipedia


Kannst du mir etwas Literatur dazugeben?
Und wie würde dein Rating ausgehend von den im Startposting genannten Beispiel aussehen?


k.a. ist eben eine geschmacksfrage imo, rechnen kann mal viel, aber die mittleren (im Sprachgebrauch immer arithmetisches Mittel) Fps erhält man durch die ursprüngliche Formulierung

[Spasstiger]

Also nur um mal das Problemfeld etwas abzustecken:

1. Man könnte einfach die Frameraten aller Benchmarks arithmetisch mitteln. Bei diesem Vorgehen fließen aber nur die Benchmarks mit den höchsten fps-Werten maßgeblich ins Rating ein. Außerdem kann man so keine Benchmarks berücksichtigen, die keine fps-Zahlen, sondern Punktzahlen oder Renderzeiten als Ergebnisse liefern.

2. Man kann die Frameraten ins Verhältnis setzen und diese Verhältnisse arithmetisch mitteln. Das ist der Status Quo bei Computerbase. Und wie auf der letzten Seite illustriert, führt das zu komischen Resultaten. Siehe hierzu auch meine Beispiele aus dem CB-Forum:
-http://www.computerbase.de/forum/showpost.php?p=6671723&postcount=1
- http://www.computerbase.de/forum/showpost.php?p=6698844&postcount=7

3. Man kann die Frameraten ins Verhältnis setzen und diese Verhältnisse geometrisch mitteln. Das liefert konsistente Ergebnisse und ist imo das korrekte Vorgehen.

@pest: Mach mal einen Vorschlag, wie man so ein Rating sinnvoll aufstellen kann, so dass alle Einzelbenchmarks denselben Einfluss auf das Gesamtrating haben und das Rating nicht davon abhängt, ob man weitere Grafikkarten hinzufügt oder welche wegnimmt.

[Klingone mit Klampfe]

@Klingone mit Klampfe: Ich glaube, wir reden ein wenig aneinander vorbei.

CB hat einfach nur den "Fehler" gemacht, den anderen Karten Prozente abzuziehen, anstatt die HD5850 einfach mit ihren rund 60% mehr an die Spitze zu setzen. Wenn die 100%-Karte (in diesem Fall die langsamste) konstant bleibt, ist es völlig unnötig, die Werte nach unten zu korrigieren. Das hat ja nur zur Folge, dass die 4670 relativ gesehen immer schneller wird - oder die anderen langsamer, je nach Sichtweise. Die Abstände schrumpfen jedenfalls zusammen.

[pest]

@pest: Mach mal einen Vorschlag, wie man so ein Rating sinnvoll aufstellen kann, so dass alle Einzelbenchmarks denselben Einfluss auf das Gesamtrating haben und das Rating nicht davon abhängt, ob man weitere Grafikkarten hinzufügt oder welche wegnimmt.

also um mal bei fps zu bleiben, wenn man alle fps für jede karte summiert, dann ist karte y p=fps_y / fps_x mal schneller als die referenzkarte. keine ahnung was cb da rechnet, aber eine 9800gt ist nicht 23% schneller als eine hd4670, nur ~8%

[Spasstiger]

@Klingone mit Klampfe: Da ich deine Ausführungen für ziemlich konfus halte, erkläre ich dir mal, wie Computerbase die Ratings erstellt:
Schritt 1: In jedem Einzelbenchmark wird die schnellste Karte ermittelt.
Schritt 2: In jedem Einzelbenchmark werden alle Karten in Relation zur jeweils schnellsten Karte gesetzt.
Schritt 3: Diese Relationen werden für jede Karte über alle Benchmarks hinweg arithmetisch gemittelt.
Schritt 4: Bei der Darstellung des Ratings bleibt es dem Leser per Mouseover selbst überlassen, bei welcher Karte er die 100% sehen möchte (gelöst per Mouseover)

Schritt 4 ist für mein Anliegen irrelevant. Darüber brauchen wir nicht weiter diskutieren.

Meine These: Würde Computerbase in Schritt 3 geometrisch statt arithmetisch mitteln, gabe es das Problem aus #15 (http://www.forum-3dcenter.org/vbulletin/showpost.php?p=7583089&postcount=15) nicht, die Ratings wären in beiden Tests identisch, sofern mal dieselbe Referenzkarte für die Darstellung wählt.

[tombman]

del

Könnten das nicht einfach Rechen- Rundungsfehler sein? Die 4850 hat zb die selben %....

[pest]

Schritt 1: In jedem Einzelbenchmark wird die schnellste Karte ermittelt.
Schritt 2: In jedem Einzelbenchmark werden alle Karten in Relation zur jeweils schnellsten Karte gesetzt.


das ist doch quatsch :freak:

[Spasstiger]

Ich gebe mir jetzt schon soviel Mühe und werde trotzdem nicht verstanden. Oder bin ich es, der auf dem Schlauch steht?

das ist doch quatsch :freak:
Beim geometrischen Mittel haut das hin soweit ich es untersucht habe. Ich persönlich würde aber trotzdem immer in Relation zu einer festgelegten Referenzkarte setzen.

[pest]

ich verstehe dich schon, aber was soll die ganze rumrechnerei, wenn cb auf die schnellste karte pro test skaliert...das wusste ich garnicht...rofl

[Spasstiger]

@pest: Vergiss mal das Computerbase-Rating und schau dir das an:
-http://www.computerbase.de/forum/showpost.php?p=6671723&postcount=1
- http://www.computerbase.de/forum/showpost.php?p=6698844&postcount=7

http://www.abload.de/img/computerbase_ratingx7jx.png

http://www.abload.de/img/computerbase_rating2h8y5.png

http://www.abload.de/img/computerbase_rating3bm68.png

http://www.abload.de/img/computerbase_rating4d63r.png

[pest]

Verfahren 1) .. ohne Mittelung...weil n*(1/n) ist?

[Spasstiger]

Verfahren 1) .. ohne Mittelung...weil n*(1/n) ist?
:confused:

[pest]

du musst die fps nicht mitteln und dann ins verhältnis setzen
es reicht die summe der fps die du ins verhältnis setzt, aber verfahren 1) ist doch das um was es geht dachte ich...das macht doch auch das was es soll...naja muss ins bett

[Spasstiger]

Um Verfahren 1 geht es mir nicht. Das ist auch totaler Käse, weil dort nur die Benchmarks mit den höchsten fps maßgeblich in das Rating einfließen. Ich will aber, dass alle Benchmarks gleich gewichtet werden. Schlaf gut. ;)

[tombman]

Der TE hat Recht, das Verfahren ist unsauber. Sobald eine Karte in einem Einzelbenchmark im Vergleich zu den anderen Karten überproportional gut dasteht, reißt sie ihre % in der Endabwertung in die Höhe.
Die Referenzkarte in jedem Einzelbenchmark muß die selbe sein...

[pest]

ach so :freak:
...dann ist die einfachste möglichkeit bei jeder änderung des "mauszeigers" die verhältnisse bezogen auf diese karte pro benchmark (neu) zu berechnen...und das dann über alle benchmarks mitteln

[tombman]

Oder man rechnet einfach alle fps absolut zusammen und berechnet daraus dann die %.
Sobald eine Karte in einem Einzelbenchmark abstürzt, ist eh jeder Durchschnitt im Eimer.
Und es geht doch eh nur um fps, auch bei den synthetischen benchmarks, denn mit fraps bekomme ich immer fps heraus- fps kann sozusagen immer die Basis sein :)

[Spasstiger]

ach so :freak:
...dann ist die einfachste möglichkeit bei jeder änderung des "mauszeigers" die verhältnisse bezogen auf diese karte pro benchmark (neu) zu berechnen...und das dann über alle benchmarks mitteln
Warum Neuberechnen? Die Verhältnisse der Karten zueinander sollten im Rating immer gleich bleiben, egal welche Karte man auf 100% setzt.

Oder man rechnet einfach alle fps absolut zusammen und berechnet daraus dann die %.
Das ist (quasi) mein Verfahren 1 (siehe Grafiken oben). Berechne mal das Rating nach dieser Methode für den folgenden Fall:
Karte 1: Crysis = 20 fps, Quake 3 = 500 fps
Karte 2: Crysis = 40 fps, Quake 3 = 510 fps
Entspricht das deiner Erwartung von diesem Rating?

Und es geht doch eh nur um fps, auch bei den synthetischen benchmarks, denn mit fraps bekomme ich immer fps heraus- fps kann sozusagen immer die Basis sein :)
Das Problem mit den Performanceratings besteht auch bei CPU-Tests (z.B. mit SuperPI, Cinebench, etc) oder sonstigen Tests.

[tombman]

Das ist (quasi) mein Verfahren 1 (siehe Grafiken oben). Berechne mal das Rating nach dieser Methode für den folgenden Fall:
Karte 1: Crysis = 20 fps, Quake 3 = 500 fps
Karte 2: Crysis = 40 fps, Quake 3 = 510 fps
Entspricht das deiner Erwartung von diesem Rating?

Ich weiß worauf du hinaus willst, aber da ist ein Fehler drin. Karte 2 würde einfach nicht nur 510fps erzeugen, wenn sie in Crysis 40fps schafft, sondern 1000fps- außer es bestand ein Cpu-Limit! Und wer Grafikkarten in Cpu-Limits bencht und vergleicht sollte besser gar keine Reviews schreiben ;)

[Klingone mit Klampfe]

Das ist (quasi) mein Verfahren 1 (siehe Grafiken oben). Berechne mal das Rating nach dieser Methode für den folgenden Fall:
Karte 1: Crysis = 20 fps, Quake 3 = 500 fps
Karte 2: Crysis = 40 fps, Quake 3 = 510 fps
Entspricht das deiner Erwartung von diesem Rating?

Das ein ziemlich konstruiertes Beispiel - das kann in der Praxis so gar nicht vorkommen, ohne dass grobe Fehler vorliegen (z. B. ein kaputter OpenGL-Teil des Treibers). Aber selbst wenn man so etwas annimmt, müsste meiner Meinung nach in jedem Fall das technisch anspruchsvollere Spiel stärker gewichtet werden, wobei man hierfür natürlich auch wieder eigene Kriterien braucht. In diesem Fall (Crysis vs. Quake 3) fällt diese Gewichtung schon allein aufgrund des Altersunterschieds recht stark aus.

Ich würde folglich pauschal sagen:

Karte 1: 55
Karte 2: 100

[Spasstiger]

Ich weiß worauf du hinaus willst, aber da ist ein Fehler drin. Karte 2 würde einfach nicht nur 510fps erzeugen, wenn sie in Crysis 40fps schafft, sondern 1000fps- außer es bestand ein Cpu-Limit! Und wer Grafikkarten in Cpu-Limits bencht und vergleicht sollte besser gar keine Reviews schreiben ;)
Eine CPU-Limitierung kann durchaus auch ein erwünschtes Ergebniss sein, man weiß ja nie, worauf der Fokus eines Tests liegt. Mir geht es einfach darum, aus gegebenen Zahlen ein Rating aufzustellen. Das Hinterfragen der Ergebnisse bleibt dem Tester überlassen.

[tombman]

Ok, du hast Recht. Es werden Verhältnisse gemittelt, und da nimmt man das geom. Mittel :)

Ein Mittel ist ja immer ein Versuch Handlungen so auszugleichen, daß am Ende das Gleiche herauskommt, als hätte man die "gemittelte Handlung" genauso oft ausgeführt wie die ganzen "ungemittelten Handlungen" zuvor.
Wenn ich eine Zahl verdoppele und danach verachtfache, also *2 und dann *8, dann habe ich 2 Handlungen ausgeführt, wo am Ende *16 herauskommt. Das gemittelte * ist also 4, denn die Wurzel aus 16 ist 4. Warum die Wurzel? Weil die Wurzel der "Gleichmacher" von * ist ;)
Arithmetisch würde man fälschlicherweise (2+8)/2=5 herausbekommen. also als hätte man * zweimal mit 5 ausgeführt. 5 * 5 ist aber nicht 16 sondern 25, es sollte aber 16 herauskommen.
Das arithmetische Mittel war also falsch.
Und deswegen nimmt man bei VERHÄLTNISSEN, die ja auch ein * in sich tragen das geom. Mittel.
Grafikkarte A ist irgendwas * besser oder schlechter als Grafikkartekarte B. -> geom. Mittel ;)
(Prozente sind auch nix anderes als *, denn ob ich 70% oder "* 0.7" schreibe ist das gleiche -> geom. Mittel)

[pest]

Warum Neuberechnen? Die Verhältnisse der Karten zueinander sollten im Rating immer gleich bleiben, egal welche Karte man auf 100% setzt.


na klar bleiben die verhältnisse gleich, aber du hast doch eine neue referenzkarte bzgl derer du die verhältnisse ausdrückst, machs nicht so kompliziert


Das ist (quasi) mein Verfahren 1 (siehe Grafiken oben). Berechne mal das Rating nach dieser Methode für den folgenden Fall:
Karte 1: Crysis = 20 fps, Quake 3 = 500 fps
Karte 2: Crysis = 40 fps, Quake 3 = 510 fps
Entspricht das deiner Erwartung von diesem Rating?

nein ist es nicht

wenn alle Tests gleich gewichtet werden ist Karte B im Mittel (arithmetisch) 51% schneller

[Spasstiger]

na klar bleiben die verhältnisse gleich, aber du hast doch eine neue referenzkarte bzgl derer du die verhältnisse ausdrückst, machs nicht so kompliziert
Ehrlichgesagt finde ich deinen Ansatz kompliziert. Wenn du einmal das Rating berechnet hast, hast du doch schon alle Verhältnisse. Was du nun als 100% anzeigen lässt, ist doch nur ein Detail für die Darstellung, einfachster Dreisatz. Du willst aber das komplette Rating ausgehend von den Benchmarks neu berechnen, wenn ich dich richtig verstanden habe.

wenn alle Tests gleich gewichtet werden ist Karte B im Mittel (arithmetisch) 51% schneller
Ja, aber die 51% sind nicht sinnvoll. Nochmal ein Beispiel:

Karte 1: Spiel 1 = 10 fps, Spiel 2 = 50 fps
Karte 2: Spiel 1 = 20 fps, Spiel 2 = 50 fps
Karte 3: Spiel 1 = 40 fps, Spiel 2 = 50 fps

Karte 2 ist nach deiner Ansicht im arithmetischen Mittel um 50% schneller als Karte 1. Karte 2 entsprechend im arithmetischen Mittel um 50% schneller als Karte 3. 1,5*1,5=2,25, also müsste Karte 3 um 125% schneller sein als Karte 1. Tatsächlich ergibt das arithmetische Mittel aber, dass Karte um 150% schneller ist als Karte 1. Das arithmetische Mittel ist also kein konsistentes Verfahren. Und wenn man die ganze Zeit mit absoluten fps statt relativen fps rechnet, dann hat man wie gesagt das Problem mit der unterschiedlichen Gewichtung der einzelnen Benchmarks.

[tombman]

Man könnte alternativ fps-Zonen einrichten und dann Punkte vergeben. Alles unter 25fps bekommt zb ne 0, da nicht spielbar.

25 abw.: 0
26 bis 30: 1
31 bis 39: 2
40 bis 49: 3
50 bis 59: 4
60 bis 69: 5
70 bis 79: 6
80 bis 89: 7
90 bis 99: 8
100 auf.: 9

Dann alles zusammenzählen und ranking machen :D

So wird alles unter 25fps abgestraft und alles über 100fps irrelevant- so wie es der Realität entspricht :)
Ist dann vielleicht kein exaktes Ranking mehr, aber ne realistische Einschätzung ;D

[pest]

Ehrlichgesagt finde ich deinen Ansatz kompliziert. Wenn du einmal das Rating berechnet hast, hast du doch schon alle Verhältnisse. Was du nun als 100% anzeigen lässt, ist doch nur ein Detail für die Darstellung, einfachster Dreisatz.


es gibt immer einen referenzpunkt, und der ändert sich ja, also musst du neu berechnen. weil cb sich immer auf die schnellste bezieht, kommt auch uninterpretierbarer unfug raus.



Ja, aber die 51% sind nicht sinnvoll. Nochmal ein Beispiel:


du musst mir das nicht erklären, deswegen habe ich das verwendete mittel in klammern dahinter geschrieben. es ist aber das im allgemeinen verwendete und auch von vielen verstandene. das für den betrachteten gegenstand das geometrische besser ist, und was es bedeutet habe ich dir versucht zu erklären.

[Spasstiger]

es gibt immer einen referenzpunkt, und der ändert sich ja, also musst du neu berechnen.
Ich steh auf dem Schlauch. Wäre nett, wenn du mir mal deine Vorgehensweise vorführst an einem konkreten Beispiel.

das für den betrachteten gegenstand das geometrische besser ist, und was es bedeutet habe ich dir versucht zu erklären.
Hab ich was verpasst?

@tombman: Sowas suche ich nicht und das Vorgehen ist noch viel inkonsistenter als das, was ich hier ankreide.

[Klingone mit Klampfe]

weil cb sich immer auf die schnellste bezieht, kommt auch uninterpretierbarer unfug raus.

Worauf denn sonst? :confused: Die schnellste Karte ist nun einmal die schnellste zum Zeitpunkt der Zusammenstellung. Und so oft ändert sich die Referenzkarte nicht - siehe Voodoo2, GeForce 3, Radeon 9800 Pro, GeForce 8800 Ultra, GTX295. Es ist ja nicht so, dass alle zwei Wochen eine neue Referenzkarte auftaucht.

Ich finde das sehr gut interpretierbar. Meine GTS250 bringt laut CB-Grafik weniger als die halbe Leistung einer GTX295, d. h. wenn ich mir letztere anschaffen würde, hätte ich einen Performanzgewinn von über 100%. Was genau ist daran uninterpretierbar?

[Spasstiger]

Worauf denn sonst? :confused: Die schnellste Karte ist nun einmal die schnellste zum Zeitpunkt der Zusammenstellung. Und so oft ändert sich die Referenzkarte nicht - siehe Voodoo2, GeForce 3, Radeon 9800 Pro, GeForce 8800 Ultra, GTX295. Es ist ja nicht so, dass alle zwei Wochen eine neue Referenzkarte auftaucht.
Zwischen den beiden Tests bei CB, die ich weiter oben erwähnt habe, liegen gerade einmal ein paar Tage.
Findest du es sinnvoll, dass eine HD 5870 im alten Test 3,90-mal so schnell ist wie die HD 4670 und im neuen Test nur noch 3,84-mal so schnell, obwohl beide Grafikkarten im neuen Test genau dieselben Framerate abliefern wie im alten Test? Irgendwann ist die HD 5870 vielleicht nur noch 3,5-mal so schnell wie die HD 4670, obwohl immer noch beide Karten genau dieselben Frameraten abliefern.
Wenn Computerbase geometrisch mitteln würde, wäre das nicht mehr der Fall.

[Klingone mit Klampfe]

Nein, das ist natürlich nicht sinnvoll, siehe Beitrag #23.

[Spasstiger]

Nein, das ist natürlich nicht sinnvoll, siehe Beitrag #23.
Mit #23 kann ich wie schon in #25 gesagt nichts anfangen.

[Klingone mit Klampfe]

Tja, deutlicher wird's meinerseits nicht. Du siehst ein mathematisches Problem wo eigentlich gar keines wäre, wenn CB die älteren Messwerte einfach übernehmen und in Ruhe lassen würde.

[Spasstiger]

Tja, deutlicher wird's meinerseits nicht. Du siehst ein mathematisches Problem wo eigentlich gar keines wäre, wenn CB die älteren Messwerte einfach übernehmen und in Ruhe lassen würde.
CB lässt die alten Messwerte doch in Ruhe. Ich verstehe einfach nicht, was du meinst.

Übrigens, hier mal der Beweis, dass es beim geometrischen Mittel egal ist, ob man die Einzelergebnisse in allen Einzelbenchmarks auf Karte A, Karte B oder die jeweils schnellste Karte bezieht. Beim arithmetischen Mittel dagegen unterscheidet sich das Rating in allen drei Fällen:

http://img5.abload.de/img/perf_rating_formelntk3d.png

Übrigens sehe ich das Problem nicht nur bei CB, sondern ganz allgemein bei der Verwendung des arithmetischen Mittels. Ich dachte, das hätten meine vielen Beispiele bereits gezeigt. Also hängt euch bitte nicht an meinem Computerbase-Beispiel auf.

[pest]

Wenn Computerbase geometrisch mitteln würde, wäre das nicht mehr der Fall.

wenn mans so macht wie ich erklärt habe, kann man alle mittel nehmen :tongue:

[tombman]

@Spasstiger: ich glaube, du bemühst dich umsonst- wir 2 kapierens, die anderen anscheinend nicht :sneak:

;)

[Spasstiger]

wenn mans so macht wie ich erklärt habe, kann man alle mittel nehmen :tongue:
Ich kann mir nicht vorstellen, dass man mit jedem Mittelungsverfahren auf konsistente Ergebnisse kommt. Also so, dass Karte A im Direktvergleich 125% schneller ist als Karte C, wenn Karte A im Direktvergleich 50% schneller ist als Karte B und Karte B im Direktvergleich 50% schneller als Karte C. Das erreicht man nur mit dem geometrischen Mittel.

[pest]

wir 2 kapierens, die anderen anscheinend nicht


klar tombman, mit deinen dreisatzspielchen, beweisst du uns wiedereinmal deine überlegene intelligenz :eek:


Ich kann mir nicht vorstellen, dass man mit jedem Mittelungsverfahren auf konsistente Ergebnisse kommt. Also so, dass Karte A im Direktvergleich 125% schneller ist als Karte C, wenn Karte A im Direktvergleich 50% schneller ist als Karte B und Karte B im Direktvergleich 50% schneller als Karte C. Das erreicht man nur mit dem geometrischen Mittel.

ich drücke mich scheinbar undeutlich aus, dass habe ich nicht gemeint. ich habe gemeint, das die relation der karten bezogen auf eine referenzkarte gleich bleibt

ka was an dem was ich geschrieben habe so schwer zu verstehen ist, du drückst jede karte in jedem bench als verhältniss zur referenz-karte aus
mittelst dann über diese verhältnisse. und unabhängig ob irgendwann karten hinzukommen, bleibt das verhältniss von karte a zu karte b immer gleich.
unabhängig vom verwendeten mittel

[Spasstiger]

ka was an dem was ich geschrieben habe so schwer zu verstehen ist, du drückst jede karte in jedem bench als verhältniss zur referenz-karte aus
mittelst dann über diese verhältnisse. und unabhängig ob irgendwann karten hinzukommen, bleibt das verhältniss von karte a zu karte b immer gleich.
unabhängig vom verwendeten mittel
Und welche Karte wählt man als Referenzkarte? Beim arithmetischen Mittel ändert sich das Rating je nachdem, welche Karte man als Referenzkarte wählt, siehe meine Formeln oben und die Schaubilder auf der letzten Seite.

http://img5.abload.de/img/computerbase_rating2h8y5.png

[tombman]

klar tombman, mit deinen dreisatzspielchen, beweisst du uns wiedereinmal deine überlegene intelligenz :eek:

Du beweist uns jedenfalls nur deine Lernresistenz- und das seitenlang...

[pest]

hör' mal auf die Grafiken zu posten, ich kuck mir die nicht an.

Und welche Karte wählt man als Referenzkarte?


die auf die der mauszeiger steht


Du beweist uns jedenfalls nur deine Lernresistenz- und das seitenlang...

;D - zuviel Funktionalanalysis macht weltfremd

allerdings habe ich anscheinend mehr verstanden als du
es geht hier nicht um richtig oder falsch

[tombman]

allerdings habe ich anscheinend mehr verstanden als du

hör' mal auf die Grafiken zu posten, ich kuck mir die nicht an.
Soviel dazu....

@spasstiger, du vergeudest deine Zeit...

[HarryHirsch]

Soviel dazu....

der 2. bahnhof für mich heut...
was hat das eine mit dem anderen zu tun

[Spasstiger]

hör' mal auf die Grafiken zu posten, ich kuck mir die nicht an.
Ich mach das nicht speziell für dich, sonst hätte ich dir das per PN geschickt. Das Forum hat noch mehr mathematisch bewanderte Mitglieder.

die auf die der mauszeiger steht
Gut, aber das führt - wie schon mehrfach aufgeführt - zu Problemen, solange man arithmetisch mittelt. Das Rating sieht dann beispielsweise so aus:
Mauszeiger auf Karte C:
Karte A: 200%
Karte B: 150%
Karte C: 100%

Mauszeiger auf Karte B:
Karte A: 150%
Karte B: 100%
Karte C: 75%

Mauszeiger auf Karte A:
Karte A: 100%
Karte B: 75%
Karte C: 50%

Du solltest doch selber merken, dass das nichts mehr mit Mathematik zu tun hat.

[Spasstiger]

ich weiß auch nicht was du willst
Wenn du meine Grafiken anschauen würdest, wüsstest du es. Wenn du nicht bereit bist, dich auf einen Meinungsaustausch einzulassen, dann bleib doch einfach diesem Thread fern. Du legst teilweise echt trollartige Verhaltensweisen an den Tag.

begründe mir doch mal was an meinem "verfahren" falsch sein soll, unter der vorraussetzung das die karte, referenzkarte ist, auf die der mauszeiger zeigt.
Schon geschehen.

[tombman]

begründe mir doch mal was an meinem "verfahren" falsch sein soll, unter der vorraussetzung das die karte, referenzkarte ist, auf die der mauszeiger zeigt.
Weil wir die Änderung der Verhältnisse bei Änderung der Karte, auf die der Mauszeiger ruht als falsch definiert haben ;)
Und wir haben das als falsch definiert, weil wir fixe Verhältnisse wollen, egal wo der Mauszeiger ruht.
Und wir wollen das, weil wir uns so Verhältnisse merken können.
Und wir wollen uns das merken, weil wir so ideal Kaufentscheidungen treffen können.

Genug Erklärung für dich? :cool:

@spasstiger: klar, worauf er trollig hinaus wollte? ;)

[pest]

mir ist das mit dem arithmetischen mittel schon klar ;) - ich nehm es nur weil es praktischer zum (kopf-)rechnen ist. mir gehts um die referenzkarte :freak:

ich mach es jetzt mal praktisch, dein Beispiel

Karte 1: Spiel 1 = 10 fps, Spiel 2 = 50 fps
Karte 2: Spiel 1 = 20 fps, Spiel 2 = 50 fps
Karte 3: Spiel 1 = 40 fps, Spiel 2 = 50 fps

Karte 1 = 100%
Spiel 1 [Karte 2 = 2, Karte 3=4]
Spiel 2 [Karte 2 = 1, Karte 3=1]
Arithmetisch: Karte 2=150%, Karte 3=250%
Geometrisch: Karte 2=144%, Karte 3=200%

Karte 2 = 100%
Spiel 1 [Karte 1 = 0.5, Karte 3=2]
Spiel 2 [Karte 1 = 1, Karte 3=1]
Arithmetisch: Karte 1=75%, Karte 3=150%
Geometrisch: Karte 1=71%, Karte 3=144%

Karte 3 = 100%
Spiel 1 [Karte 1 = 0.25, Karte 2=0.5]
Spiel 2 [Karte 1 = 1, Karte 2=1]
Arithmetisch: Karte 1=63%, Karte 3=75%
Geometrisch: Karte 1=50%, Karte 3=70%

ich seh da jetzt nicht das Problem mit dem arithmetischen Mittel (außer die Empfindlichkeit auf Ausreißer)

Beleidigung entfernt

[Wolfram]

Bitte sachlich bleiben. Das gilt für alle. Danke.

[Klingone mit Klampfe]

CB lässt die alten Messwerte doch in Ruhe. Ich verstehe einfach nicht, was du meinst.

http://img5.abload.de/img/cb2_perfrat77d0.png

Wozu werden hier die anderen Karten abgewertet? Ich sehe dafür keinen Grund. Eine GTX 285 wird ja nicht langsamer im Vergleich zu der HD4670, nur weil es jetzt mit HD5850 (CF) eine neue Referenz gibt. Ist eine HD5870 in denselben Benchmarks plötzlich langsamer geworden, während die 9600 GT genauso schnell lief? Außerdem: Je langsamer die Karte, desto geringer die Abwertung? :uponder: Die Kellerkinder rücken so immer näher zusammen, obwohl sich an den Abständen eigentlich gar nichts ändern dürfte.

Besser erklären kann ich meine Interpretation leider nicht ;(

[tombman]

Da wurde nicht absichtlich abgewertet, da es ein rein mathematischer und automatischer Fehler ist. Es wurde und wird einfach die falsche Berechnungsmethode verwendet- Spasstiger hat es aufgezeigt, und dafür gebührt ihm Dank :)

[Mr. Lolman]

Was ich aber trotzdem nicht ganz verstehe, ist warum die GTX 295 nur 2% verliert, während die 5870 bereits schon bei 6% ist.

EDIT: Dass die 9800GT sogar ein Prozent dazugewinnt, erscheint zwar auch seltsam, wär aber imo sogar durch Rundungsfehler zu erklären...

[Klingone mit Klampfe]

Da wurde nicht absichtlich abgewertet, da es ein rein mathematischer und automatischer Fehler ist. Es wurde und wird einfach die falsche Berechnungsmethode verwendet- Spasstiger hat es aufgezeigt, und dafür gebührt ihm Dank :)

Ich würde das alles ja ganz einfach handhaben - man bestimmt eine Referenzkarte und ordnet ihr den Wert 100 zu, misst jede Karte einmal aus und fertig ist das Ranking. Solange die anderen Faktoren (z. B. Messmethode) unverändert bleiben, werden neue Karten zunächst nur mit der Referenz verglichen und entsprechend einsortiert.

[tombman]

Irgendwo ist da der Hund drin, beim geom. Mittel stimmt auch was nicht. Es bleibt zwar das Verhältnis gleich, aber es erscheint nicht logisch, zb in diesem Fall:

Karte A: 4 fps, 2 fps -> gesamt: 6 fps
Karte B: 1 fps, 1 fps -> gesamt: 2 fps

Der gesunde Hausverstand würde doch jetzt arithmetisch denken, und behaupten Karte A ist im Schnitt 3x so schnell, weil sie insgesamt 3x soviel fps hat.
Wenn man die Basis ändert, sprich Karte A zu 1 macht, dann wäre Karte B bei 1/4 und 1/2.
Arithmetisch wäre das dann (1/4+ 2/4)/2= 3/8, sprich Karte B wäre 3/8 von Karte A, oder anders ausgedrückt: Karte A wäre 8/3 von Karte B.
8/3 ist aber nicht 3, sonder 2.6666666...
Wenn man also die Basis ändert, so hat Spaastiger argumentiert, ändert sich das rating: zuerst 3x so schnell, dann nur mehr 2.66666 mal so schnell.

Als Lösung nannte er dann das geom. Mittel, dort ändern sich die ratings nicht, sie bleiben, wenn man es ausrechnet, bei Wurzel 8, also bei ~2.828..., was nicht zufällig zwischen 3 und 2.66666... liegt ;)

Ok, es ändert sich also beim geom. Mittel nicht das rating,aber ist es deshalb richtig?.

Warum soll Karte A im ersten Fall nicht 3x besser sein, sondern nur 2.828... mal besser, wie das geom. Mittel zeigt?

p.s.; bin übernächtigt :biggrin:

[Spasstiger]

Irgendwo ist da der Hund drin, beim geom. Mittel stimmt auch was nicht. Es bleibt zwar das Verhältnis gleich, aber es erscheint nicht logisch, zb in diesem Fall:

Karte A: 4 fps, 2 fps -> gesamt: 6 fps
Karte B: 1 fps, 1 fps -> gesamt: 2 fps

[...]

Warum soll Karte A im ersten Fall nicht 3x besser sein, sondern nur 2.828... mal besser, wie das geom. Mittel zeigt?

p.s.; bin übernächtigt :biggrin:

Nimm mal noch eine dritte Karte hinzu:
Karte C: 3 fps, 3 fps
Karte C ist definitiv dreimal so schnell wie Karte B, ohne wenn und aber. Ist Karte A auch dreimal so schnell wie Karte B und somit im Mittel gleich schnell wie Karte C? Schauen wir uns das mal an:
Im ersten Benchmark ist Karte A schneller als Karte C, und zwar um 33%.
Im zweiten Benchmark ist Karte C schneller als Karte A, und zwar um 50%.
Gleichen sich diese beiden Unterschiede aus, so dass man von einer gleichen Performance sprechen kann?

[Crop Circle]

Ich mach das nicht speziell für dich, sonst hätte ich dir das per PN geschickt. Das Forum hat noch mehr mathematisch bewanderte Mitglieder.


Gut, aber das führt - wie schon mehrfach aufgeführt - zu Problemen, solange man arithmetisch mittelt. Das Rating sieht dann beispielsweise so aus:
Mauszeiger auf Karte C:
Karte A: 200%
Karte B: 150%
Karte C: 100%

Mauszeiger auf Karte B:
Karte A: 150%
Karte B: 100%
Karte C: 75%

Mauszeiger auf Karte A:
Karte A: 100%
Karte B: 75%
Karte C: 50%

Du solltest doch selber merken, dass das nichts mehr mit Mathematik zu tun hat.
Soll das immernoch dein Beispiel aus Post #1 sein. Als du mich berichtigt hast, meintest du dass, hier: "Mauszeiger auf Karte B:
Karte A: 150%" 133% stehen muss.

[pest]

Ich würde das alles ja ganz einfach handhaben - man bestimmt eine Referenzkarte und ordnet ihr den Wert 100 zu, misst jede Karte einmal aus und fertig ist das Ranking. Solange die anderen Faktoren (z. B. Messmethode) unverändert bleiben, werden neue Karten zunächst nur mit der Referenz verglichen und entsprechend einsortiert.

Genau das beschreibt mein Vorgehen von oben, nur das die Referenzkarte die ist, auf die der Mauszeiger zeigt. Wenn man es so macht, wie du beschrieben hast, sind die Abstände, unabhängig ob neue Karten hinzukommen, oder nicht, zwischen bestimmten Modellen immer gleich, wenn sich die Benchmarkwerte nicht ändern. Natürlich kann man auch eine fixe Referenzkarte nehmen, aber m.M. nach will man ja beim "Draufzeigen" im Allgemeinen wissen, wie viel schneller prozentual andere Karten sind.

Da der Mittelwert ein statistisches Maß darstellt, kann man da alles Mögliche verwenden, und muß es halt dementsprechend interpretieren. Ich tendiere da persönlich zum Median (0.5-Quantil).

[tombman]

Nimm mal noch eine dritte Karte hinzu:
Karte C: 3 fps, 3 fps
Karte C ist definitiv dreimal so schnell wie Karte B, ohne wenn und aber. Ist Karte A auch dreimal so schnell wie Karte B und somit im Mittel gleich schnell wie Karte C? Schauen wir uns das mal an:
Im ersten Benchmark ist Karte A schneller als Karte C, und zwar um 33%.
Im zweiten Benchmark ist Karte C schneller als Karte A, und zwar um 50%.
Gleichen sich diese beiden Unterschiede aus, so dass man von einer gleichen Performance sprechen kann?
Dh, je gleichmäßiger oder konstanter eine Karte ist, desto besser? WEnn die Abstände gleich sind, ist arithmetisch und geometrisch ja gleich.
3,3,3,3,3,3 = 3 (arith. und geom.)

Und was wäre damit:

A: 5,5,5,5,5,5 = 30fps
B: 9,1,9,1,9,1 = 30fps

Arith.: 5 bei beiden
Geom.: 5 bei A und 3 bei B :ugly:

Ranking 3 bei B wird dir doch keiner abkaufen, wenn A 5 hat und beide insg. 30fps :ugly:

Wenn die 9 bei Karte B genau in den Spielen erzielt wurden, die einem wichtig sind, würde man ein 3-er rating doch niemals akzeptieren.
Klar kannst du argumentieren, daß 5 zu 1 deutlich besser als 9 zu 5 ist, und deswegen die Ausrutscher härter bestrafen, aber es wird nix daran ändern, daß es psychologisch fast nicht zun handeln ist.
Was ist wenn die 9er 30fps entsprechen, und genau in den Spielen, die "wichtig" sind. Dann würde man mit den ganzen tollen "5ern" nix anfangen, weil sie alle nicht spielbare Werte repräsentieren.
Was bringt einem eine gleichmäßig SCHLECHTE Karte? Da habe ich doch lieber eine Karte, die ich in der Hälfte der games nutzen kann ("9" = 30fps), als eine "gleichmäßig unnutzbare" ;D

Das geom. Mittel ist also auch nicht der heilige Gral :)

Klar kann man die Werte auch wieder so setzen, daß das geom. Mittel sinnvoll ist. (30,30,30,30 vs 40,20,40,20), aber es geht eben auch andersrum- und das ist das Heimtückische.

Vielleicht war mein Vorschlag mit den fps-Zonen doch nicht so blöd- so als absoluter Maßstab.

[Spasstiger]

Was ist wenn die 9er 30fps entsprechen, und genau in den Spielen, die "wichtig" sind. Dann würde man mit den ganzen tollen "5ern" nix anfangen, weil sie alle nicht spielbare Werte repräsentieren.
Was bringt einem eine gleichmäßig SCHLECHTE Karte? Da habe ich doch lieber eine Karte, die ich in der Hälfte der games nutzen kann ("9" = 30fps), als eine "gleichmäßig unnutzbare" ;D
Also zum Einen ist deine "gleichmäßig schlechte" Karte selbst im arithmetischen Mittel der Verhältnisse bis zu 2,78-mal so schnell wie die andere Karte. Und zum Anderen: Was ist, wenn einem die Spiele mit den fünfmal so hohen fps wichtiger sind als die Spiele, wo die andere Karte 80% schneller ist? Vielleicht leidet die Karte mit den starken Schwankungen ja an VRAM-Mangel und bringt in den entscheidenden Spielen eben nichtmal ansatzweise die gewünschten fps. Da denkt man sich doch auch, was bringen mir die höheren fps in den anspruchslosen Spielen, wenn die anspruchsvollen Spielen richtig scheisse laufen? Ich finde, dass das geometrische Mittel die Situation realistisch bewertet.

Soll das immernoch dein Beispiel aus Post #1 sein. Als du mich berichtigt hast, meintest du dass, hier: "Mauszeiger auf Karte B:
Karte A: 150%" 133% stehen muss.
Nein, das ist was Anderes. Bei deinem Posting am Anfang des Threads ging es nur um einfache Dreisatzrechnung ausgehend von einem fertigen Rating. Bei dem Posting an pest geht es um die grundsätzliche Berechnung des Ratings. Das Problem ist dabei, dass sich mit dem arithmetischen Mittel die Verhältnisse der Karten zueinander jedesmal ändern, wenn man eine andere Karte als 100%-Referenz für die Darstellung auswählt. Diese Methode bleibt nur dann nachvollziehbar, wenn man geometrisch mittelt. Und wenn man geometrisch mittelt, spart man sich das Neuberechnen ohnehin und muss nur noch das fertige Rating per Dreisatzrechnung in die gewünschte Form bringen.

Da der Mittelwert ein statistisches Maß darstellt, kann man da alles Mögliche verwenden, und muß es halt dementsprechend interpretieren. Ich tendiere da persönlich zum Median (0.5-Quantil).
Ich glaube, das sorgt für echte Verwirrungen. Mal ein Beispiel:
Karte A: 10 fps, 28 fps, 30 fps
Karte B: 29 fps, 30 fps, 31 fps
Median Karte A: 28 fps
Median Karte B: 30 fps
Dabei sieht man doch, dass Karte A B in dem einen Fall deutlich mehr Potential hat (z.B. wegen mehr VRAM).

Wenn ich nach meiner Vorlesung zur statistischen Signalverarbeitung gehe, dann gibts eigentlich nur ein Maß, das die Situation wirklich in Gänze abbildet und das ist die Wahrscheinlichkeitsdichtefunktion. Leider ist die aber für den Laien sehr unhandlich und lässt sich bei sehr vielen Testobjekten auch nicht mehr übersichtlich als Grafik darstellen. Zudem kann man die Wahrscheinlichkeitsdichtefunktionen nur aus den Messwerten schätzen, da man sie nicht kennt.

Ich finde das geometrische Mittel deshalb sinnvoll, weil es im klassischen Dreisatzdenken konsistent ist. Karte A ist im Mittel doppelt so schnell wie Karte B und Karte B ist im Mittel doppelt so schnell wie Karte C, also ist Karte A im Mittel viermal so schnell wie Karte C. Solche logischen Schlüsse lassen sich bei der Erstellung der Ratings nur ziehen, wenn man die Verhältnisse in den einzelnen Benchmarks geometrisch mittelt.

[pest]

Ich glaube, das sorgt für echte Verwirrungen. Mal ein Beispiel:
Karte A: 10 fps, 28 fps, 30 fps
Karte B: 29 fps, 30 fps, 31 fps
Median Karte A: 28 fps
Median Karte B: 30 fps
Dabei sieht man doch, dass Karte A in dem einen Fall deutlich mehr Potential hat (z.B. wegen mehr VRAM).


Karte A? jedenfalls hast du mit dem Beispiel gezeigt, dass man eine genügend große Stichprobe benötigt ;)


Wenn ich nach meiner Vorlesung zur statistischen Signalverarbeitung gehe, dann gibts eigentlich nur ein Maß, das die Situation wirklich in Gänze abbildet und das ist die Wahrscheinlichkeitsdichtefunktion.


und über was möchtest du die Dichtefunktion angeben?
allerdings ist das genau genommen keine W.dichtefunktion, sondern nur eine (relative) Häufigkeitsverteilung, aber ich verwechsel das auch gern
Wenn du angibst welche Häufigkeiten du messen willst, kannst du auch so Sachen basteln wie,
wenn Karte X zur Referenzkarte min. 30% schneller ist vergebe einen Punkt...und dann normieren - und interpretieren :freak:


Zudem kann man die Wahrscheinlichkeitsdichtefunktionen nur aus den Messwerten schätzen, da man sie nicht kennt.


der mittelwert schätzt auch nur den erwartungswert einer verteilung, also so weit weg sind wir da nicht

edit: und wenn ich mich auf das von mir beschriebene Vorgehen beziehe, so wird am Ende bei Verwendung des arithmetischen Mittels
nur der Erwartungswert der Verteilung "Wieviel % ist Karte X schneller als die Referenzkarte" geschätzt.
;)

[AnarchX]

Ein praxisnäheres Rating wäre vielleicht auch ein solches, welches den Faktor Spielbarkeit berücksichtigt und somit sich mehr am User orientiert. Wie sich nun GPUs im einstelligen FPS-Bereich schlagen mag zwar theoretisch interessant sein, aber die Praxisrelevanz fehlt dann doch. Ebenso wenig relevant ist imo eine Schlagabtausch im dreistelligen FPS-Bereich

Dementsprechend sollte man eine Richtframerate für den Gesamtparkour an Spielen und Settings oder auf Erfahrungswerten je Spiel einzeln festlegen.
Frameraten die entsprechend weit darunter liegen oder weit darüber sollten geringeren Einfluss auf das Rating haben.

Schließlich könnte man eine solche Kalkulation auch noch mit individuellen Nutzerwerten konfigurieren.

[Spasstiger]

Ich habs bei CB aufgegeben, dort hat man meinen Thread inzwischen auch geschlossen.
Dennoch finde ich das Thema "Performanceratings" im Allgemeinen spannend und hoffe, dass der Thread hier noch einige Leser findet, die ihre Meinungen mit einbringen. :)

[Pakko]

*Thread rauskram*

HT4U jetzt auch mit Performance-Rating:
http://ht4u.net/reviews/2010/amd_ati_radeon_hd_5830/index46.php


Für diejenigen, die sich für die mathematischen Zusammenhang interessieren, folgt an dieser Stelle noch eine kurze Erläuterung, wie die Werte berechnet werden. Hierfür wird zuerst jeder einzelne Benchmark auf ein Referenz-Produkt normiert. Dies ist nötig, damit im Gesamt-Index am Ende auch jeder Benchmark gleichermaßen einfließt und Benchmarks mit höheren Werten nicht stärker gewichtet werden, als solche mit Niedrigen. Abschließend erfolgt die Mittelwertbildung über das geometrische Mittel, bei welchem die normierten Einzelwerte multipliziert und anschließend aus dem ermittelten Produkt die n-te Wurzel gezogen wird.

[Pakko]

Schon interessant, 5 Seiten Diskussion wie doof doch das Rating der CB ist, aber wenn´s jmd. richtig macht interessiert es kaum jemanden? Typisch deutsch ;D

Oder habe ich was übersehen? Das Rating von HT4U müsste doch jetzt eigentlich "korrekt" (falls man das so nennen kann) sein, oder?

[Pinoccio]

Schon interessant, 5 Seiten Diskussion wie doof doch das Rating der CB ist, aber wenn´s jmd. richtig macht interessiert es kaum jemanden? Typisch deutsch ;D

Oder habe ich was übersehen? Das Rating von HT4U müsste doch jetzt eigentlich "korrekt" (falls man das so nennen kann) sein, oder?Es gibt kein richtig - auch wenn Spasstiger das anders sieht.


mfg

[Spasstiger]

Ich habe gute Gründe angeführt, warum das geometrische Mittel dem arithmetischen Mittel bei der Mittelung von Verhältnissen vorzuziehen ist. Aus dem arithmetischen Mittel lassen sich widersprüchliche Schlüsse ziehen, aus dem geometrischen Mittel nicht. In der Mathematik ist eine Gleichung immer dann nicht erfüllt, wenn sie zu einem Widerspruch führt.

Danke an Pakko, hab den Thread nicht mehr beachtet, deshalb kam dein Link bei mir bisher nicht an. Schön, dass ht4u den sinnvolleren Weg beschreitet.

[Pinoccio]

Ich habe gute Gründe angeführt, warum das geometrische Mittel dem arithmetischen Mittel bei der Mittelung von Verhältnissen vorzuziehen ist.Das bestreite ich ja nicht, aber es sind ebend nur Argumente es vorzuziehen. ;-)Aus dem arithmetischen Mittel lassen sich widersprüchliche Schlüsse ziehen, aus dem geometrischen Mittel nicht. In der Mathematik ist eine Gleichung immer dann nicht erfüllt, wenn sie zu einem Widerspruch führt.Das eine hat mit dem anderen nichts zu tun.
und auch aus dem geometrischen Mittel lassen sich falsche Schlüsse ziehen - das dann ebenso konstruiert wie dein falschen Schlüsse aus dem geometrischen.

Schlußendlich - um mich sofort aus der Diskussion wieder zurückzuziehen - ist es immer ein Informationsverlust, zwei (oder mehr) Zahlen zu einer Kennzahl (=Performancerating) zusammenzuziehen.

/edit: ein kurzer Nachtrag: Vielelicht eine Sprachliche Feinheit, aber richtig hat mehrere Bedeutungen (http://www.dwds.de/?kompakt=1&sh=1&qu=richtig)
1.) dem Falschen, Verkehrten entgegengesetzt
2.) der gegebenen Situation entsprechend, angemessen, passend
Nach 1:) ist das geometrische Mittel nicht richtig, nach Variante 2 schon.
EOD - ich diskutier doch mit einem Techniker nicht über Sprache .. ;-)

mfg

[Spasstiger]

und auch aus dem geometrischen Mittel lassen sich falsche Schlüsse ziehen - das dann ebenso konstruiert wie dein falschen Schlüsse aus dem geometrischen [Anm.: Du meinst arithmetisch].
Ich saug mir ja nichts aus den Fingern, sondern setze im Prinzip in die Formel fürs arithmetische Mittel ein. Das führt dann auf einen Widerspruch, so dass die eine Seite der Gleichung ungleich der anderen ist. Schau dir einfach das an: http://www.forum-3dcenter.org/vbulletin/showthread.php?p=7583089#post7583089.
Da steht quasi x/y = a*x/y für alle a.