Benchmarks der Zukunft: wohin führt die Reise?

[-=CHICKEN=-]

gute und umfangreiche benchmarks sind wohl für jeden von uns wichtig bzw. eine große orientierungshilfe. aber oft schon werden immer nur teile der möglichen hardware-konfiguration getestet, wodurch man schon oft mehrere benchmarks verschiedener quellen miteinander vergleichen muß, damit man überhaupt das gewünschte ergebnis heraus lesen kann.
für mich persönlich sind meine lieblingsspiele das hauptkriterium, das entscheidet, welche hardware ich mir zulege, egal ob intel, AMD, nvidia, ATI oder sonst was!
das was bei "meinen" spielen am besten performt (auch preislich), wird gekauft.

von daher wünsch ich mir immer solche Benchmarks, die spiele als "ausgangspunkt" benutzen.
also so z.b.: es werden 10-20 verschiedene spiele ausgesucht und diese dann mit so viel verschiedener hardware wie möglich getestet.

solche Benchs sind schon sehr selten und werden in zukunft vielleicht gar nicht mehr auftauchen, weil gute/umfangreiche Benchs in naher zukunft wohl so aufwendig werden, das es sich einfach niemand mehr leisten kann :frown:
denn wie würde so ein guter bench in 1-2 jahren aussehen? so etwa?:

Spiele: 10-20
Mainboard: die Chipsätze und 512/1024/2048 mb Ram
CPU: Intel/AMD mit jeweils 32/64 bit und single/dual/quad-core
Grafik: nvidia/ATI mit jeweils 256/512/1024mb, 256/512bit und single/dual/quad-core bzw. SLI/Crossfire
Sound: X-Fi/andere/on-board mit und ohne 64mb cache
Physik: Ja/Nein, mit PPU-Karte oder ATIs/Nvidias GPU-lösung
Auflösung: 1024er bis über 2000er, wegen hochauflösenden Monitoren
Qualität: noch mehr AA/AF modi als jetzt
usw.

So einen umfangreichen Benchmark wird es aber wohl nie geben :frown:
aber wie wirds dann ausehen? muß ich dann 20 verschidene Benchs (einer mit CPUs, einer mit GPUs, einer mit/ohne PPU, usw.) mühselig zusammensuchen und alle miteinander vergleichen, damit ich mein gewünschtes system erhalte? :rolleyes:

[Nightspider]

Alles was du nennst wird im 3DMark 2006 getestet, außer Sound, but who knows, vllt auch doch mit Sound.

Der 06er unterstützt Texturen bis 2048*2048 und wird damit alles ausreizen ;)
Auch Dualcore Tests und PPU tests wird es geben :)

[Fruli-Tier]

Aber das ist wieder nur eine Form, Grafik darzustellen. Andere Engines rechnen anders, auch wenn sie irgendwie den gleichen Effekt darstellen. Und schon performt die Hardware anders. Ausserdem ist die Vertrauenswürdigkeit des 3D Mark ja eh Ansichtssache und eine echte Spielszene wird dadurch auch nicht simuliert.

Als erstes sollte man den Spieleherstellern ans Herz legen, einen einfachen, aber möglichst Realitätsnahen Benchmark zu integrieren. So kann man schonmal auf externe Tools verzichten.
(Mit Realitätsnah meine ich in diesem Fall eine Sequenz, die dem realen Spielerlebnis in Sachen Berechnung so nah wie möglich kommt. Will heißen, so Sachen wie K.I. oder Fahrphysik usw. sollten auch in der Demo berechnet werden müssen, letztlich soll die Demo aber auch immer wieder gleich ablaufen.)

Als Testumgebung werden dann wieder die meistgenutzten Settings heran gezogen. So wie sich im Laufe der Zeit die Standardauflösung von 1024x768 auf 1280x1024 erhöht hat und mehr Bedeutung gewinnt, so wird das auch in Zukunft werden. Setzt sich 64Bit durch, so wird vermehrt darauf getestet. Setzten sich Physik Dinger durch, so wird dies evtl. auch irgendwann als Standard genutzt usw.

Daß die System-Konfigurationen immer komplexer werden, das ist schon klar, aber in manchen Dingen nimmt man einfach eine Komponente als selbstdefinierten Standard. Zum einen, weil es (konfigurationstechnisch) Sinn macht, zum anderen, um nicht über maßlos viele Komponenten nachdenken zu müssen (z.B. 1 GB RAM statt 512 MB, 1024 MB und 2048 MB).

Nur setzt jeder seinen Standpunkt anders und auch nicht jeder hat die gleichen Mittel für Testsysteme zur Verfügung. Deswegen gibt es ja soviele verschiedene Benchmarks.

[-=CHICKEN=-]

@nightspider
hab mich schon ziemlich dumm ausgedrückt!
ich meinte eigentlich die tests/benchmarks, die ein "PC-magazin" durchführt, wenn es neue hardware/spiele auf dem markt gibt. wie z.b. bei der neuen GTX512.
für eine umfangreiche "analyse" dieser karte würde ich mir halt schon wünschen, das die "PC-Magazine" diese Karte mit so viel wie möglich Hardwarekonfigurationen (am besten alle oben aufgeführten Konfig.) und Spielen testet, damit man einfach "alles" aus einem einzigen test ablesen kann. aber das scheint ja so gut wie unmöglich zu sein, denn:

@Fruli-Tier
Daß die System-Konfigurationen immer komplexer werden, das ist schon klar, aber in manchen Dingen nimmt man einfach eine Komponente als selbstdefinierten Standard. Zum einen, weil es (konfigurationstechnisch) Sinn macht, zum anderen, um nicht über maßlos viele Komponenten nachdenken zu müssen (z.B. 1 GB RAM statt 512 MB, 1024 MB und 2048 MB).

das ist es ja, was mir sorgen macht. wir bekommen in den nächsten 1-2 jahren ja viel mehr system-konfigurationen (dual/quad, SLI/CF, PPU usw.)!
müssen wir dann wirklich etliche benchmark-test verschiedener "PC-magazine" durchforsten, um überhaupt einen groben überblick der gesamten hardware(deren performance) mit ihren ganzen konfigurationsmöglichkeiten zu bekommen?

irgendwie gefällt mir nicht der gedanke, mich durch viele kleine tests zu wühlen:
ein "PC-Magazin" testet die performance zwischen AMD und Intel.
der nächste ermittelt die performance von single/dual/quad-core bei den CPUs.
ein anderer überprüft, was 512, 1024, 2048 MB RAM für auswirkungen haben.
ein vierter macht die ganzen grafikkarten von nvidia und ATI.
der nächste testet diese in single/dual/quad-core (bzw. SLI/CF).
dann kommt noch einer, der sich mal die PPUs zu herzen nimmt.
usw. :rolleyes:
mir persönlich gefällt das überhaupt nicht! :frown: aber anders wirds wohl nicht kommen :frown:

[Fruli-Tier]

Schön ist das nicht, das hast Du Recht. Aber was will man als Magazin machen? Du kannst nicht 10 Spiele mit jeweils 10 verschiedenen Konfigurationen testen, nur damit der Leser wirklich alles auf einen Blick hat. Das dauert zu lange, manchmal muss man ja auch Artikel schreiben ;)

Außerdem nimmt man sich so evtl. die Möglichkeit auf spezielle Artikel, die eben ein bestimmtes Phänomen (Auswirkung von 3D Sound usw.) untersuchen. Das spielt da bestimmt auch noch mit rein.

[-=CHICKEN=-]

Schön ist das nicht, das hast Du Recht. Aber was will man als Magazin machen? Du kannst nicht 10 Spiele mit jeweils 10 verschiedenen Konfigurationen testen, nur damit der Leser wirklich alles auf einen Blick hat. Das dauert zu lange, manchmal muss man ja auch Artikel schreiben ;)


ja leider. aber vielleicht könnte man doch etwas entgegen steuern, denn es wird ja immer schlimmer werden!
bin grad am überlegen ob es für ein magazin nicht sinnvoll wäre, test so auszulegen, das man auf sie "aufbauen" kann, also immer nur die aktuelle hardware testen und die ergebnisse dann in eine umfangreiche liste eintragen.
THG hat ein richtig gutes beispiel dafür: http://www.de.tomshardware.com/cpu/20051103/index.html
so in etwa müsste man das für die gesamte hardware&software (besonders spiele) tun und nicht nur für die CPUs. es ist zwar nicht ganz so einfach, weil es ja immer wieder neue treiber und hardware gibt, die auch ältere systeme/hardware beeinflusst, aber mit etwas ehrgeiz und zeit-investition könnte ein gutes "PC-magazin" vielleicht einen sehr guten vergleich der gesamten hardware schaffen.

das könnte man sogar richtig professionell aufbauen, indem man ne komplette internetseite nur für den hardware&software-performance-vergleich gestaltet.
eignetlich eine riesen datenbank über alle hardware-performance-tests, die sich auch alle auf einem "level" (gleiches ausganssystem) befinden, damit man auch wirklich alles mit allem vergleichen kann. wenn diese datenbank dann noch sehr übersichtilich ist und auch gute (richtige) werte liefert, dann könnte ich mir gut vorstellen, das sie eine heiße anlaufstelle für alle hard&software-performance-interresierten wäre, besonders dann, wenn man dort sämtliche hard&software-konfiguratinen findet. :biggrin:

fragt sich nur wer das machen würde? ihr vielleicht 3DC? :wink: :cool: :biggrin:

[Fruli-Tier]

Ich glaube, das wäre sogar garantiert, daß sowas eine Anlaufstelle für alle Hardware Interessierten werden könnte. Aber wie gesagt, der Aufwand der verschiedensten Konfiguration schreckt schonmal ab.

Gerade Mainboard Tests bringen die meisten Probleme, denke ich. Es ist zwar möglich, eine Windows Installation so zu vorzubereiten, daß sie nach einem Wechsel funzt, aber das kostet einfach Zeit. Und wie die Performance danach ist, weiss ich nicht. Wenn man gründlich ist, dann merkt man wahrscheinlich nichts. Aber es kostet einen Haufen Zeit.

Selbst wenn man sowas beruflich macht, kostet es Nerven und ist nicht gerade effektiv. Und Effektivität ist ja unser höchstes Ziel - seinen Job will man schliesslich behalten.