Unregistered
2001-06-24, 22:29:58
Hi Benchmarker,
hatte schon länger mal im Sinn folgendes zu schreiben...
Und da hab ich dann diesen thread über min und max fps gelesen...
Nun ich arbeite derzeit in einem Labor das sich mit chemischer Analytik befaßt (wenns genauer interessiert: arbeite mit MALLS, HPCL, GC, CE...).
Bevor ich dort meinen Dienst antrat, hatte ich auch keine Ahnung von Ergebnisauswertung und so... aber mit der Zeit...
Nun meine Schlüsse aus der Arbeit dort, übertragen auf Benchmarking sind folgende.
1. Um einen genaues Ergebnis zu haben muß man den Versuch mind. zweimal machen (zweifachbestimmun), besser drei mal.
Die Ergebnisse dürfen eine gewisse Abweichung nicht überschreiten sonst muß wiederholt werden. (sagen wir mal 2-5%)
2. Es müßte eine Nullmessung durchgeführt werden, oder in der Analytik sowas wie ne baseline messung. Also eine Messung unter bestimmten umständen die einem gewissen spezifizierten Wert entprechen muß, eine Art System Qualification. Also bei ner Grafikkarte, wird zum beispiel noch mit einer sagen wir geforce 1 SDR gegengetestet, oder der ergebniswert der spezifikationen entpricht. (geht natürlich nur wenn man einen spezifizierten Wert für sein spezielles system hat, und ne zb. gf1sdr hat)
3. Zur letztendlichen Auswertung, und das gerade an die macher der Seite! : Euere Datenbank ist super... aber wozu wenn man gerade mal darin suchen kann. Ihr könntet so viel damit machen. Zum Beispiel Vergleiche von Prozessor Taktung mit gleicher Graka, Vergleiche gleicher System - berechnung von Standardabweichungen, sozu sagen wie stark streuen ergebnisse... Statistische Erhebungen wie welche Graka ist bei welchem proz am besten...
Im moment ist das potential wohl kaum ausgelastet und taug mehr dafür dass jemand mit nem teueren system sich profilieren kann... wobei das Benchmarking doch in der Auswertung im Mittelfeld interessanter ist. Wo die Ergebniss dichte hoch ist, und außerdem, ein einzelner Wert von 113fps bei der crusher in 1600x1200, sagt ja wohl gar nichts für den der wirklich an benchmarks interessiert ist.
Diese Dinge nur so als anstoß um mal übers home-benchmarking nachzudenken...
Gruß
Deso
hatte schon länger mal im Sinn folgendes zu schreiben...
Und da hab ich dann diesen thread über min und max fps gelesen...
Nun ich arbeite derzeit in einem Labor das sich mit chemischer Analytik befaßt (wenns genauer interessiert: arbeite mit MALLS, HPCL, GC, CE...).
Bevor ich dort meinen Dienst antrat, hatte ich auch keine Ahnung von Ergebnisauswertung und so... aber mit der Zeit...
Nun meine Schlüsse aus der Arbeit dort, übertragen auf Benchmarking sind folgende.
1. Um einen genaues Ergebnis zu haben muß man den Versuch mind. zweimal machen (zweifachbestimmun), besser drei mal.
Die Ergebnisse dürfen eine gewisse Abweichung nicht überschreiten sonst muß wiederholt werden. (sagen wir mal 2-5%)
2. Es müßte eine Nullmessung durchgeführt werden, oder in der Analytik sowas wie ne baseline messung. Also eine Messung unter bestimmten umständen die einem gewissen spezifizierten Wert entprechen muß, eine Art System Qualification. Also bei ner Grafikkarte, wird zum beispiel noch mit einer sagen wir geforce 1 SDR gegengetestet, oder der ergebniswert der spezifikationen entpricht. (geht natürlich nur wenn man einen spezifizierten Wert für sein spezielles system hat, und ne zb. gf1sdr hat)
3. Zur letztendlichen Auswertung, und das gerade an die macher der Seite! : Euere Datenbank ist super... aber wozu wenn man gerade mal darin suchen kann. Ihr könntet so viel damit machen. Zum Beispiel Vergleiche von Prozessor Taktung mit gleicher Graka, Vergleiche gleicher System - berechnung von Standardabweichungen, sozu sagen wie stark streuen ergebnisse... Statistische Erhebungen wie welche Graka ist bei welchem proz am besten...
Im moment ist das potential wohl kaum ausgelastet und taug mehr dafür dass jemand mit nem teueren system sich profilieren kann... wobei das Benchmarking doch in der Auswertung im Mittelfeld interessanter ist. Wo die Ergebniss dichte hoch ist, und außerdem, ein einzelner Wert von 113fps bei der crusher in 1600x1200, sagt ja wohl gar nichts für den der wirklich an benchmarks interessiert ist.
Diese Dinge nur so als anstoß um mal übers home-benchmarking nachzudenken...
Gruß
Deso