Benchmark Wunschliste

[vogel]

Was ist DAS Benchmark Feature das Ihr schon immer in einem Spiel sehen wolltet?

Fuer mich persoenlich war's das loggen aller interner Statistiken auf per Frame Basis um am Ende das ganze in einem fuer Excel lesbaren Format (.csv) zu speichern.

-- Daniel

[monstar-x]

das wären unmengen dan daten.
muss ned sein.
Avg frames würde ja schon reichen.
aber das sind auch wieder minimale berechungen die ich lieber für das game haben will.

greetings
monstar-x

[Micron]

Originally posted by monstar-x
das wären unmengen dan daten.
muss ned sein.
Avg frames würde ja schon reichen.
aber das sind auch wieder minimale berechungen die ich lieber für das game haben will.

greetings
monstar-x

*Vollzustimm* Nettes Babe hast du ;)

[vogel]

Im benchmark- mode gehen nur ~0.3 ms fuer's loggen der 139 Einzelwerte drauf (Dual Athlon 1900 MP). Eine ziemlich nuetzliche Informationsquelle :)

-- Daniel

[Major J]

Originally posted by [CoC]Blackmagic


*Vollzustimm* Nettes Babe hast du ;)

Woher willst DU wissen das die nett ist.
Monstar-X, pass auf dein Babe auf... Black hat bestimmt was mit der, sonst würde er das nicht wissen.

[monstar-x]

Die ist sogar extrem Nett, ich werde auf sie besser aufpassen als auf meinem pc und den schlisse ich jeden nacht in einen bank ein :D

Ps: mit dem Bild hat er keine chance soll ich sagen :D

greetings
monstar-x

[zeckensack]

Originally posted by monstar-x
das wären unmengen dan daten.
muss ned sein.
Avg frames würde ja schon reichen.

JAUUUUL!

Ich will minimum-fps gemessen haben!

[Nero]

@monstar-x schönes mädel haste da. ;)

CU
Nero

PS: musste mal gesagt werden.

[Major J]

Originally posted by monstar-x
Ps: mit dem Bild hat er keine chance soll ich sagen :D

greetings
monstar-x

Und ich mit meinem Bild? =)

[Micron]

@ Monstar-X Ich habe schon eine Frau und ein Kind *eg*

[monstar-x]

Originally posted by [CoC]Blackmagic
@ Monstar-X Ich habe schon eine Frau und ein Kind *eg*


Muahhaha ;)

@Major J Sie mag kein futurama ( ich glaub ich muss sie los werden *grins )

@Nero danke :D

Ich glaub ich sollte mein altes avatar rein machen das regt zuviel aufmerksammkeit auf *schmunzel*

greetings
monstar-x

[Major J]

Wenn du so eine gut aussehende Frau hier reindingst :D *schleim*, wird sie natürlich auseinander genommen.
Und was sind das blos für Leute die kein Futurama mögen. :|
(Ich an deiner Stelle würde sie nicht loswerden wollen. :D)

[vogel]

Originally posted by zeckensack


JAUUUUL!

Ich will minimum-fps gemessen haben!

Was Du wirklich willst ist min/avg/max und ein zusaetzlicher Wert der FPS unter einer festgelegten Grenze "bestraft" (will sagen, die den Wert dann extra runterdruecken). Der Vorteil wenn man alles in ein .csv File packt ist, dass jeder dann das machen kann worauf er Lust hat - und die meisten kennen sich ein wenig mit Excel aus.

Gut zu Wissen das bis jetzt niemand was verlangt hat was nicht schon moeglich ist ;)

-- Daniel, Epic Games Inc.

[monstar-x]

@[CoC]Blackmagic na so ist dein AVATAR schon besser, wir können ja mal für ne woche tauschen :D

Juhu hab einen Gläubiger wieder gewonnen und von der Brut des Bösen Mofas zurückgewonnen :D :)

Das mit Futurama verstehe ich auch ned aber ich werde sie schon überzeugen das es geil ist.

greetings
monstar-x

[Micron]

Es wäre doch mal nett wenn ein Benchmark nicht nur die Durchschnittlichen Fps anzeigt sinder auch die Max,Min Fps .

@Monstar-X Könnten wir mal machen ;)

[monstar-x]

mach doch die meisten oder etwa ned :)

[Micron]

Also ich kenne keinen die meisten zeigen nur die Durchscnittlichen Fps an

[monstar-x]

hmhm dann hab ich mich getäuscht naja was solls :D

greetings
monstar-x

[Quasar]

SeSam macht's, UT macht's Aquanox macht's, VulpineGL macht's, Giants macht's, DroneZ macht's, Max Payne macht's, Stefan Payne macht's mit Liszca, usw.

[Micron]

Originally posted by Quasar
Stefan Payne macht's mit Liszca, usw.

Das ist doch mal eine neue Info :lol:

[monstar-x]

LOL.

greetings
monstar-x

[Quasar]

OOooops. Wie konnte mir nur diese freud´sche Fehlleistung unterlaufen?

Falls sich einer der Beteiligten auf den Schlips getreten fühlt, möchte ich unterwürfigst um Bestrafung bitten!

[Leonidas]

Originally posted by vogel
Was ist DAS Benchmark Feature das Ihr schon immer in einem Spiel sehen wolltet?

Fuer mich persoenlich war's das loggen aller interner Statistiken auf per Frame Basis um am Ende das ganze in einem fuer Excel lesbaren Format (.csv) zu speichern.

-- Daniel


Sorry, das ich das erst jetzt lese.


Obiges Feature ist gut. Weiterhin würde ich mir einen Minimalwert wünschen, der aber nicht nur von einem Meßwert abhängt (der könnte ja ein Aussetzer in der Engine sein oder eine extrem CPU-lmitierte Stelle). Ergo ein Min-Wert, der der Durchschnitt von sagen wir den schlechtesten 20% alle Frames ist.

Das ist jetzt aus dem Bauch raus geschrieben, die Formel und die Grenzwerte kann man sicher noch präzisieren. Aber das Prinzip sollte klar sein.

[StefanV]

Originally posted by Quasar
OOooops. Wie konnte mir nur diese freud´sche Fehlleistung unterlaufen?

Falls sich einer der Beteiligten auf den Schlips getreten fühlt, möchte ich unterwürfigst um Bestrafung bitten!

Nie wieder NV Karten im Rechner :P

NUR noch ATI *eg*

@vogel

das Ausgeben in eine Excell Datei ist zwar ganz nett, aber nicht jeder hat Excell ;)

[Unregistered]

Originally posted by Leonidas
Obiges Feature ist gut. Weiterhin würde ich mir einen Minimalwert wünschen, der aber nicht nur von einem Meßwert abhängt (der könnte ja ein Aussetzer in der Engine sein oder eine extrem CPU-lmitierte Stelle). Ergo ein Min-Wert, der der Durchschnitt von sagen wir den schlechtesten 20% alle Frames ist.Auch im Benchmark von Serious Sam wird außer dem Peak-Wert ein Min-/Max-Wert, der bei mehreren frames gemessen wurde, angegeben. So ein Feature ist sehr sinnvoll. Und eine Excel-Tabelle, zumal es csv-Reader gibt (für alle, die kein Excel besitzen; es gibt außerdem openoffice), ist begrüßenswert.

[vogel]

Originally posted by Stefan Payne

das Ausgeben in eine Excell Datei ist zwar ganz nett, aber nicht jeder hat Excell ;)
Excel lesbaren Format != nur mit Excel lesbarem Format

Jedens Tabellenkalkulations das ich kenne beherrscht .csv (comma seperated variables) Files :)

-- Daniel, Epic Games Inc.

[vogel]

Originally posted by Leonidas

Obiges Feature ist gut. Weiterhin würde ich mir einen Minimalwert wünschen, der aber nicht nur von einem Meßwert abhängt (der könnte ja ein Aussetzer in der Engine sein oder eine extrem CPU-lmitierte Stelle). Ergo ein Min-Wert, der der Durchschnitt von sagen wir den schlechtesten 20% alle Frames ist.

All das liefert Dir das .csv File wenn Du mit z.B. Excel umgehen kannst. Theoretisch muesstest Du nur einmal ein Template erstellen und der Rest waere dann automatisch :) Kann's kaum erwarten, dass mehr Leute damit rumspielen da ich selber mit Tabellenkalkulationsprogrammen eher weniger umgehen kann... Ich umgehe sie halt lieber ;)

-- Daniel, Epic Games Inc.

[RAL]

Originally posted by vogel

All das liefert Dir das .csv File wenn Du mit z.B. Excel umgehen kannst. Theoretisch muesstest Du nur einmal ein Template erstellen und der Rest waere dann automatisch :) Kann's kaum erwarten, dass mehr Leute damit rumspielen da ich selber mit Tabellenkalkulationsprogrammen eher weniger umgehen kann... Ich umgehe sie halt lieber ;)

-- Daniel, Epic Games Inc.

Optimal wäre es imo, wenn man für das game selbst eine eigene Auswertungsfunktion schreiben könnte. Direkt nach dem Benchmarklauf (oder auch schon während der bench noch läuft kummulativ, wobei man hier ggf. auf Rückwirkungen der Auswertungsfunktion auf die Gameperformance achten müsste) könnten dann die Werte schon im game angezeigt werden (z.B. "LeonidasMinFPS = 23,23"). Damit wäre man völlig unabhängig von externen Tools für die Auswertung.

[Leonidas]

Originally posted by Unregistered
Auch im Benchmark von Serious Sam wird außer dem Peak-Wert ein Min-/Max-Wert, der bei mehreren frames gemessen wurde, angegeben. So ein Feature ist sehr sinnvoll.



Einziges Problem ist, daß der ds-Wert von SSam, in welchem die Peak-Werte abgeschnitten wurden, zu 90% *höher* ausfällt als der vanilla ds. Ergo: Ziel zwar erkannt, aber meilenweit verfehlt.


Daniel: Ich hätte noch einige weitere Ideen, die könnte ich bei Interesse mal zu Papier bringen.

[Leonidas]

Originally posted by vogel

All das liefert Dir das .csv File wenn Du mit z.B. Excel umgehen kannst. Theoretisch muesstest Du nur einmal ein Template erstellen und der Rest waere dann automatisch :) Kann's kaum erwarten, dass mehr Leute damit rumspielen da ich selber mit Tabellenkalkulationsprogrammen eher weniger umgehen kann... Ich umgehe sie halt lieber ;)

-- Daniel, Epic Games Inc.



Bringt nix. Man muss den Leuten einen Standard vorgeben. Q3A ist deswegen als Benchmark so beliebt, weil er ein Timedemo mitbringt *und* weil er Standard-gfx-Settings mitbringt. Einfachst zu bedienen von jedem, das ist der Key.

Wenn man also eine ds/min-Rate wünscht, muß man also auch eine Berechnung selber vorgeben, einbauen und das Ergebniss ausweisen. Das CSV kann man zusätzlich beilegen (extra Verzeichnis pls, mit Dateinamen aus Datum + Uhrzeit).

[vogel]

Originally posted by Leonidas

Daniel: Ich hätte noch einige weitere Ideen, die könnte ich bei Interesse mal zu Papier bringen.
vogel at epicgames.com :)

-- Daniel, Epic Games Inc.

[mirp]

Originally posted by Leonidas
Bringt nix. Man muss den Leuten einen Standard vorgeben. Q3A ist deswegen als Benchmark so beliebt, weil er ein Timedemo mitbringt *und* weil er Standard-gfx-Settings mitbringt. Einfachst zu bedienen von jedem, das ist der Key.

Dem stimme ich zu. Bei Unreal fehlte es bisher immer an einer mitgelieferten Demo. Beim ersten Teil gings ja noch, obwohl ich die Flyby-Sequenz als Benchmark nicht so gut finde, aber bei Unreal Tournament ist es schwerer durchzublicken. Die ganzen UT-Benchmarks, die da rumschwirren, lassen sich kaum vergleichen. Das fängt schon bei der verwendeten Demo an, die eher selten angegeben wird. Ob OpenGL oder Direct3D verwendet wurde, steht auch kaum da. Und weil die wichtigsten Grafikkartenfunktionen nicht über das normale Menü regelbar sind, ist auch nicht immer so ersichtlich welche Optionen eingesetzt werden.

Bevor man über Luxusfeatures der Benchmarkfunktion nachdenkt, muss erstmal erstmal ein transparenter Standardbenchmark her, der gut vergleichbar ist.

[Quasar]

Ja, aber zusätzlich wäre eine Auswahl an verschiedenen Tests (wie bei UT eben, auch wenn sie da nur extern sind) die halt unterschiedliche Teile des Systems stärker fordern sehr nett.

Ein Test mit vielen Explosionen und anderen Effekten, die klassischerwiese RAM und PS belasten, einen mit extrem vielen Polygonen, und einen massively Multiplayer für die CPU-Last...

[Leonidas]

... ist erreichbar durch mehrere Standard-Timedemos.

[Quasar]

Originally posted by Quasar
Ja, aber zusätzlich wäre eine Auswahl an verschiedenen Tests (wie bei UT eben, auch wenn sie da nur extern sind) die halt unterschiedliche Teile des Systems stärker fordern sehr nett.

Habe ich doch geschrieben, oder???

[mirp]

Der Unterschied ist, dass externe Demos keine Standarddemos sind. ;)

Ich glaub, dass man selbst Demos aufnehmen kann und die dann als Benchmark benutzen kann, steht ausser Frage.

[Quasar]

Originally posted by Quasar
Ja, aber zusätzlich wäre eine Auswahl an verschiedenen Tests (wie bei UT eben, auch wenn sie da nur extern sind)

Es besteht ein Unterschied zwischen "auch wenn sie da nur extern sind" und "auch wenn sie, wie da, nur extern sind".

[mirp]

Vielleicht habe ich dich falsch verstanden. Was verstehst du denn unter 'extern'? Bei mir sind das Demos, die nicht mitgeliefert werden.

[Quasar]

Richtig!
Bei UT war es ja auch so, daß die Demos extern erzeugt und dann hinzugefügt werden mussten, was ich mit dem eingeklammerten "wie bei UT eben, auch wenn sie da nur extern sind" auszudrücken versucht habe, was mir offensichtlich nicht befriedigend gelungen ist.

Das "wie bei UT eben, auch wenn.." sollte den Unterschied zu dem ausdrücken, was ich mir vom Benchmark im neuen Epicgames Produkt erwarte. Offenbar ist mir auch dies nicht hinreichend gelungen.

[mirp]

Glaub, jetzt hab ich es verstanden. :)

[Quasar]

Das freut micht. Ich werde mich bemühen, meine Postings in Zukunft weniger mißverständlich zu schreiben ;)

[ram]

Was ist DAS Benchmark Feature das Ihr schon immer in einem Spiel sehen wolltet? Fuer mich persoenlich war's das loggen aller interner Statistiken auf per Frame Basis um am Ende das ganze in einem fuer Excel lesbaren Format (.csv) zu speichern.

csv-Output ist sicher interessant, genauso aber eine bereits integrierte und sinnvoll definierte Funktion für die low-sustained Framerate.

Cool wär eine Batch-Funktion, welche die Standard-Auflösungen automatisch durchbencht. Ausserdem sollten die Timedemos IMO nicht zu lange dauern, 2 Minuten und mehr pro Durchlauf sind der Tot für einen Hardware-Tester (bei 5 Grafikkarten à 5 Auflösungen mit und ohne FSAA, je 2 FSAA-Modi dauert das sonst ewig.). Maximal 30-60 Sekunden pro Durchlauf sind ideal.

Das Wichtigste ist meiner Meinung nach aber, dass der Benchmark dem Spiel entspricht, d.h. nicht wie bei 3D Mark Features nutzt (Shader), die im Spiel gar nicht eingesetzt werden oder wie bei Aquamark Szenenkomplexitäten aufweisst, die im Vergleich zum Spiel einen Faktor 3 zu hoch sind. Derartige Dinge verzerren die Benchmarkergebnisse unverhältnissmässig zu Gunsten jener Grafikkarten, welche diese Features in Hardware unterstützen.

Für die Analyse wär interessant, wenn man genaue Daten zu den gezeigten Szenen hat, d.h. durchschnittliche und min-/maximale Textur- und Polygonmenge pro Bild, Anzahl und Typ der HW-Lichter und eventuell durchschnittliche Anzahl Instruktionen pro Vertex Program.

Interessant wären mehrere Timedemos für verschiedene Zwecke, eines für CPU-Tests (entsprechend CPU-limitierter Ablauf), eines für Grafikkarten-Tests (mit entsprechenden Schwerpunkt auf Bandbreiten-/füllratenlimitierte Szenen) und eines mit einem Mix aus beidem.

Cheers,
Raphael

[MaxSPL]

Originally posted by ram



Das Wichtigste ist meiner Meinung nach aber, dass der Benchmark dem Spiel entspricht, d.h. nicht wie bei 3D Mark Features nutzt (Shader), die im Spiel gar nicht eingesetzt werden oder wie bei Aquamark Szenenkomplexitäten aufweisst, die im Vergleich zum Spiel einen Faktor 3 zu hoch sind. Derartige Dinge verzerren die Benchmarkergebnisse unverhältnissmässig zu Gunsten jener Grafikkarten, welche diese Features in Hardware unterstützen.

Cheers,
Raphael

Ich finde auch, dass das ganz wichtig ist ;)

Ich will ja schliesslich wissen, wie sich mein Rechner in diesem Spiel schlägt und nicht, welche Möglichkeiten mit meiner Hardware möglich sind...

Vor allem sollte er aber realitätsnah sein, und nicht irgendwelche Chips bevorzugen, die manche Features besser beherrschen als andere...

Cya, MaxSPL

[Quasar]

Originally posted by MaxSPL
Vor allem sollte er aber realitätsnah sein, und nicht irgendwelche Chips bevorzugen, die manche Features besser beherrschen als andere...


Aber gerade das IST realitätsnah. Manche Chips können eben unabhängig von ihrer Gesamtgeschwindigkeit manche Effekt besser als den Durchschnitt darstellen und manche eben langsamer.

[Exxtreme]

Originally posted by Quasar


Aber gerade das IST realitätsnah. Manche Chips können eben unabhängig von ihrer Gesamtgeschwindigkeit manche Effekt besser als den Durchschnitt darstellen und manche eben langsamer.
Ich glaube, daß MaxSPL gemeint hat, daß der Benchmark nicht auf einen Chip oder Chip-Hersteller optimiert werden darf.

Gruß
Alex

[ow]

Unter D3D ist eine Optimierung auf bestimmte Chips sowieso sehr schwer, das alle Funktionen des API standardisiert sind. Da geht höchstens was, wenn man die Architektur des Chip genau kennt (Caches, etc..) aber das ist dann schon Gefummele auf 'low-level' Chip-Ebene.

Unter OGL sieht das anderes aus.
Da kann ich schon durch die Nutzung von Extensions ganz einfach ungleiche Vorraussetzungen (Optimierung) schaffen.

[Quasar]

Originally posted by Exxtreme

Ich glaube, daß MaxSPL gemeint hat, daß der Benchmark nicht auf einen Chip oder Chip-Hersteller optimiert werden darf.

Gruß
Alex

Das glaube ich eher nicht, sonst hätte er nicht die Sache mit den "bestimmten Funktionen besser als andere beherrschen" erwähnt.

Wenn ein Game bsw. exzessiv Dot3-Bumpmapping nutzt, und dessen Implementation bsw. auf Chip-X besser als auf Chip-Y ist, auch wenn normalerweise Chip-Y schneller ist, wird in diesem speziellen Benchmark wahrscheinlich Chip-X überproportional gut abschneiden.

So etwas kann man kaum verhindern, es sei denn, man schreibt für wirklich jeden Chip einen eigenen Codepath mit extra Fallbacks (z.B. einmal auf EMBM, das andere mal auf Dot3 anstelle vom Pixelshader).

Damit wäre die Vergleichbarkeit allerdings auch wieder dahin, obwohl keiner bevorzugt würde...

[Leonidas]

1. Durchschnittliche minimale Framerate. Einfachstes und bestes Berechnungsschema
wäre einfach der Durchschnitt der niedrigsten 20% aller Einzelwerte. Schlecht wäre
eine starre Fixierung auf Werte unter (beispielsweise) 50 fps oder aber auf Werte,
die x Prozent vom normalen Durchschnitt abweichen: Weil dies je nach gfx Karte eine
sehr unterschiedliche Anzahl von Werten zur Durchschnittsbildung ergibt. Mit den 20%
ist die Anzahl der Werte immer gleich (sofern Eure Einzelwerte immer pro Sekunde
angegeben werden). Nachteil: Die Demos sollten entsprechend lang sein, damit auch
1/5 der Einzelwerte eine vernünftige Masse an Werten ergibt, um den Meßfehler
gering zu halten. Diese durchschnittliche minimale Framerate sollte komplett im Spiel
integriert sein, d.h. jeder normale Benchmark weisst immer die normale Zahl und immer
die minimale Zahl aus. Vorteil: Wenn die User was vorgekaut bekommen, nutzen sie es auch.
Ansonsten werden nur ein paar Experten das Feature nutzen, wenn es irgendwo vergraben
ist. Ansonsten sollte natürlich die Einzelwerte immer in eine extra Datei geschrieben
werden, für diejenige Leute, die eine andere Berechnungsmethode vorziehen (siehe
auch Punkto 8).

2. Die Standard-Benchmark Funktionalität muß im Spiel drin gut erreichbar sein.
Irgendwo ein Untermenü nur für die Benchmarker wäre toll, dort sollten auch alle
Benchmark-Demos gleich noch mit eingebunden werden. Bitte dort die Funktion einbinden,
automatisch denselben Benchmark 1x, 2x und 3x hintereinander auszuführen. Daß ist für
diejenigen, welche den Cache-Effekt ausnutzen wollen oder aber immer das Mittel aus
drei Benchmarks benutzen. Zusätzlich immer die Funktion des Normalspeeds ohne
Benchmark-Auswertung, daß ist für die Screenshot-Fraktion.

3. Standard-Timedemos: Eines für den normalen Bedarf (gfx + CPU limitiert), Framerate
sollte dem Mittel des Games entsprechen. Ein spezielles für die CPU (meist über
viele Gegner zu erreichen), Framerate sollte dem fast niedrigstem entsprechen, was
mit dem Game erreichbar ist. Eines für die gfx Karte (wahrscheinlich gut über
Außen-Terrains hinzubekommen, je nach Engine), Framerate sollte auch nicht unbedingt
wahnwitzig hoch sein. Bei allen ist eine niedrige Framerate tendenziell eher besser,
da so der Benchmark lange unter 200 fps bleibt und somit länger genutzt werden wird.
Zu allen Timedemos sollten exakte Angaben über die jeweils darzustellenden Effekte
irgendwo im Help-File zum Spiel notiert sein.

4. In vorbeschriebenem Benchmark-Menü oder aber im normalen Grafiksetting-Menü sollte
ähnlich wie bei Q3A es Standard-Grafiksettings geben. Dies hat den Vorteil, daß die
User den Benchmark einfacher und genauer ausführen können, womit er wieder stärker
genutzt werden wird. Bitte arbeitet in Eure Settings aber alle relavanten Optionen
ein (bei Q3A werde von den Standards einige Optionen nicht berührt) oder aber weisst
auf diese Optionen hin, welche von den Standards nicht betroffen sind.

5. Zu diesen Standard-Grafiksettings: Sound sollte überall aktiviert sein. Sinnvoll
sind die von Q3A bekannten Settings: Fastest (niedrigstmögliches), Fast (Settings für
Riva TNT2), Normal (Settings für GeForce 1/2 + Radeon I), HighQuality (Settings für
GeForce 3/4 + Radeon 8500) und zusätzlich Extreme (alles auf Maximum). Der anisotrope
Filter und AA sollten dabei aber nicht betroffen sein. Bei allen Settings sollte zudem
angegeben sein, welches DirectX die gfx mindestens beherrschen muß (ich denke mal,
Extreme wird DX8-Hardware-only sein).

6. Falls Ihr AF und AA im Game anbietet, sollten dort natürlich alle möglichen Optionen
wählbar sein und nicht nur on/off - ansonsten lieber nicht im Game anbieten. In den
Standard-Grafiksettings sollten diese beiden Optionen aber immer off sein.

7. Eventuell sucht Ihr Euch für die Timedemos noch eine extra Endung aus (damit sie
nicht mit U oder UT verwechselt werden können) und baut in das Kontex-Menü dieser
Dateinamen-Endung die Benchmark-Funktion gleich ein: Das sollte dann mit den zuletzt
angetroffenen gfx Settings laufen. Auch hier gilt wieder: Bitte die Funktion einbinden,
automatisch denselben Benchmark 1x, 2x und 3x hintereinander auszuführen, das wären
also drei Befehle im Kontext-Menü.

8. Für eine gute Screenshot-Fuktionalität wäre es gut, wenn die Demos im Ablaufspeed
variiert werden und ganz eingefroren werden können (es sei denn, Ihr bietet eine
Funktion an, die nach einer festgelegten Demo-Zeit einen Screenshot an immer derselben
Stelle aufnimmt). Diese Zeitfunktionen sind hervorragend in RAL´s DemoShowCreator
für Q3A integriert: http://www.3dcenter.org/dsc/

9. Das Ergebnis sollte in allen Fällen immer zusätzlich in einer Text-Datei vorliegen.
Dazu wäre ein extra Verzeichnis sinnvoll. Die Benennung der Dateien sollte automatisch
mit Jahr-Monat(numerisch)-Tag-Uhrzeit erfolgen, so daß die Dateien sich nicht überschreiben
können und man später nochmal durchsieht. In den Dateien können ruhig mehr als nur die
reine Framerate stehen: Beide Frameraten (normal/minimal), dazu alle Einzelwerte, dazu
alle Grafiksettings oder sonstwie interessanten Settings. Die Settings unterteilt in
Settings, die von den Standard-Settings erfasst werden und in diejenige, die extra
eingestellt werden müssen. Und immer der Hinweis, ob eines der Standard-Grafiksettings
aktiv war, oder ob der Benchmark "Custom" war. Dazu alle Infos über die vorgefundene
Hardware gleich mit hintendran. Je komfortabler und nutzbringender man es den Usern macht,
um so mehr wird diese Benchmark-Funktionalität auch genutzt. Die Einzelwerte sollten
zusätzlich in eine extra csv-Datei geschrieben werden, gleiches Namensschema bei dieser.

10. Ich würde die in UT bisher angezeigten High- und Min-Frameraten komplett weglassen.
Diese geben nur ein mathematisch gesehen unrelavantes Ergebnis aus, auf deren Basis man
besser keinerlei Behauptung aufstellen sollte. Sind diese Frameraten aber integriert,
wird genau dieser Fehler passieren.

11. Logisch: Zumindestens die Standard-Timedemos sollten sich niemals durch zukünftige
Patches aus der Ruhe bringen lassen. Was id da momemtan macht, ist des Benchmarkers Tod.

12. Die aktuelle Framerate sollte per default in UT2003 eingeblendet sein. Ansonsten füllen
die Fragen, wie dies zu bewerkstelligen ist, wieder ganze Foren.

13. Sahnehäubchen: Batch-Funktion, welche nacheinander verschiedene Auflösungen
durchbencht. Komfortabel wäre hier, wenn man regelrecht eine Liste mit ToDo´s zusammenstellen
kann, in welcher man die Auflösung und das Timedemos frei auswählen kann (gfx-Settings wäre
hier sicher auch gut, aber wohl zu schwierig zu bewerkstelligen). So kann man mehrere Demos
in allen Auflösungen durchlaufen lassen, womit der Rechner erst einmal beschäftigt wäre,
ohne das man ihn ständig kontrollieren muß. Der Vorteil einer ToDo-Liste wäre auch, daß man
dasselbe Demo beliebig oft hintereinander laufen lassen kann. Die Liste sollte nicht unbedingt
in ihrer Länge begrenzt sein.

14. Sahnehäubchen 2: Eine Funktion, welche ein Abbild der aktuell eingestellten Konfiguration
(alle relevanten Settings) abspeichert. Dann sollte man in der Batchfunktion des Punktes 13 auch
diese Konfigurationen anwählen können und schon kann man wirklich alles in jeder aberwitzigen
Konfiguration automatisch benchmarken lassen.

15. Sahnehäubchen 3: Daß die Liste der Batch-Funktion abspeicherbar ist. Damit kann man sich
eine komplizierte Liste zusammenstellen, die man später jederzeit für andere gfx-Karten
wieder verwenden kann. Also nur noch gfx ausgetauscht, UT2003 gestartet, Batch-Liste geladen,
das ganze gestartet und dann kann man sich wieder anderen Dingen widmen.

[loewe]

Sehe das hier auch gerade, ist mir vorher nie aufgefallen.

Ich stimme Leonidas zu 120% zu.

Vor allem die Punkte drei und acht möchte ich noch einmal betonen. Wir brauchen ganz genau definierte Einstellungen ähnlich der bei Q3A nur noch besser. Diese müssen dann aber auch wirklich alles erfassen, am Besten auch den sound und solche Dinge. Z.B. wer halt auf fastest laufen läßt hat dann auch schlechteren Sound, wer auf extem Quality geht hat auch dort alles auf max.

Zu einer Funktion für die Screenshots von und aus den Benchmarks wäre eine Funktion gut, die die gezielte Auswahl eines speziellen Shots ermöglich und oder das Durchschalten der Demo in Einzelschritten möglich macht. Gerade für den Vergleich der Grafikqualität wäre sowas eine große Hilfe.
:)

[mirp]

Das hat jetzt nur indirekt mit dem Benchmark zu tun: Unter Unreal Tournament sind Demos ziemlich vernachlässigt worden. Eigentlich sind nur die allerwichtigsten Funktionien vorhanden.

Für Unreal Tournament 2003 wünsche ich mir:

- vollwertiges Menu, welches die meisten Demo-Funktionen bietet und man hier eine Auflistung der vorhandenen Demos mit den wichtigsten Informationen erhält (Map, Länge, Grösse, etc.).

- besseres Datenformat: 25 fps für eine Demo sollten reichen. Im Moment werden alle "Frames" abgespeichert. Das bläht die Demo nur unnötig auf, wenn man mit hohen Frameraten spielt.

- Automatisierungsfunktionen für das Aufnehmen, Abspielen und "Benchmarken". Ein Clanmatch per Hand aufzuzeichnen ist einfach zu umständlich. Eine Playlist wäre auch nicht schlecht, mit Loopfunktion und ähnlichem. Das könnte sehr hilfreich für Stabilitätstests sein.