Frametime-Analyse, Bewertung von Mikrorucklern

[Spasstiger]

Ich hab mir einen Ansatz überlegt, wie man die gefühlte Framerate ermitteln kann, wenn die Dauer der Frames starken Schwankungen unterliegt.

/EDIT: Es gibt zwischenzeitlich auch einen besser funktionierenden Ansatz. Ansatz 2:
- http://www.forum-3dcenter.org/vbulletin/showthread.php?p=6898640#post6898640-
- http://www.forum-3dcenter.org/vbulletin/showthread.php?p=6899107#post6899107
Im Folgenden wird noch der alte Ansatz beschrieben.

/EDIT: Erklärung der Werte

avg_fps ... Tatsächliche Durchschnitts-Framerate, berechnet auf Basis der jeweiligen frametimes.csv. Gegenüber der Auswertung von Fraps fehlt dabei ein Frame, denn die Gesamtdauer des Benchmarks speichert Fraps nur in der minmaxavg.csv.

avg_fps_gewichtet ... Gefühlte Framerate nach Ansatz 1 (veraltet und weniger aussagekräftig)

avg_fps_std_methode ... Gefühlte Framerate nach Ansatz 2 (besser und aussagekräftiger)

mikroruckel_faktor ... Wurzel des Mittelwerts der quadratischen Abweichungen zwischen direkt aufeinanderfolgenden Framedauern im Verhältnis zur durchschnittlichen Framedauer. Diese Angabe macht nur Aussagen über Schwankungen zwischen aufeinanderfolgenden Framedauern (Mikroruckler), während die obigen gefühlten Mittelwerte auch Aussagen über "schleichende" Frameratenschwankungen machen (Makroruckler).

Ansatz 1

Vorweg: Der Begriff der Framerate ist klar definiert als Anzahl der Frames, die in einem bestimmten Zeitraum dargestellt werden. Und wenn man die durchschnittliche Framerate ermittelt, ist es per Definition egal, ob exakt alle 30 ms ein neuer Frame kommt oder ob die Frames abwechslend nach 10 ms und nach 50 ms erscheinen.
Ich bin jetzt mal so frei und führe den Begriff der "gefühlten Framerate" ein, welcher von der Definition der Framerate entkoppelt sein soll. Vielleicht fällt euch auch ein besserer Begriff ein, wenn ihr meinen Ansatz gelesen habt.

Einführung: Das Grundproblem bei der Angabe einer durchschnittlichen Frame sehe ich in der Gewichtung der einzelnen Framedauern. Die Gewichtung der Framedauern ist für jeden Frame gleich, egal ob ein Frame 1 Sekunde lang angezeigt wird oder nur 10 ms lang.
Das entspricht aber nicht der menschlichen Wahrnehmung. Der Mensch nimmt längere Framedauern wesentlich eindrücklicher wahr als kurze Framedauern. Und eine Framefolge, die aus abwechselnd kurzen und langen Framedauern besteht, wird in der Wahrnehmung von den langen Framedauern dominiert, d.h. die durchschnittliche Framerate ist gefühlt schlechter als sie per Definition berechnet wird.
Der Mensch hat grundsätzlich eine logarithmische bzw. exponentielle Wahrnehmung. Er nimmt das Tageslicht im Freien als nicht viel heller wahr als das Licht in Räumen mit künstlicher Beleuchtung, obwohl die Physik Unterschiede im Bereich eines Faktors 1000 oder mehr nachweist. Schalldruckpegel und Lautstärken werden in einer logarithmischen Darstellung angegeben, um die menschliche Wahrnehmung besser abzubilden. Und wie Studien mit Kindern und Naturvölkern zeigen, hat der Mensch von Geburt an sogar ein logarithmisches Zahlen-/Mengenverständnis. Das lineare Zahlenverständnis wird dem Menschen erst antrainiert.

Erkenntnis: Es liegt also nahe, dass auch die Framedauern der logarithmischen Wahrnehmung des Menschen unterliegen. Für eine Berechnung der gefühlten, durchschnittlichen Framerate dürfen die Framedauern also nicht linear gewichtet werden. Viel mehr sollte man eine exponentielle Gewichtung vornehmen, so dass hohe Framedauern viel stärker in die Framerate einfließen als kurze Framedauern.

Vorgehensweise/Algorithmus: Bei der Durchführung des Benchmarks müssen die Frametimes ermittelt werden, z.B. mit Fraps. Aus den Frametimes lassen sich dann die einzelnen Framedauern berechnen, welche im Folgenden verwendet werden.
Zunächst werden die Framedauern normiert, um die Zeiteinheit für die weitere Rechnung rauszubekommen. Ich denke, dass es wegen der häufig anzutreffenden Refreshrate von 60 Hz sinnvoll ist, auf 1/60 Sekunden zu normieren. Die Normierungsbasis ist sehr wichtig für das Endergebniss!
Die normierten Framedauern werden nun als Exponenten einer Potenz behandelt. Die Basis der Potenz muss nun auch sinnvoll gewählt werden. Ich habe bei meinen Untersuchungen die natürliche Basis e verwendet, welche ja auch in der Natur oft anzutreffen ist. Damit kommen nachvollziehbare Ergebnisse heraus.
Von den potenzierten, normierten Framedauern wird nun der Mittelwert bestimmt. Dieser Mittelwert muss nun wieder auf eine Größe mit einer Zeiteinheit gebracht werden. Dazu wird zunächst die Potenz invers gerechnet, d.h. es wird der Logarithmus zur gewählten Basis bestimmt. Und anschließend muss noch invers normiert werden, d.h. es wird mit 1/60 Sekunden multipliziert.
Der Kehrwert des Endergebnisses ist dann die gefühlte Framerate.
Hier das Ganze grafisch mit einer Normierung auf 1/100 Sekunden und der Basis 2, damit es jeder ohne Taschenrechner nachvollziehen kann:

http://www.abload.de/img/algorithmusst7j.png

Skript: Im Anhang befindet sich ein Matlab-Skript, das die von Fraps erzeugten Dateien der Frametimes-Messungen einliest und entsprechend dem obigen Algorithmus auswertet.
Wenn jemand ein Standalone-Programm mit grafischer Oberfläche dazu schreiben möchte, wäre ich sehr erfreut und würde helfend zur Seite stehen.

Ich habe mit dem Matlab-Skript auch reale Messungen ausgewertet. Das Szenario war ein Rennen in der Demo des aktuellen Sega Rally auf einer GeForce 8800 in 1920x1200 mit 4xAA und 16:1 AF. Ich habe Frametime-Messungen vorgenommen, weil mir in der ersten Runde des Rennens stets Mikroruckler aufgefallen sind, während sich der VRAM füllte (war mit RivaTuner zu beobachten).

Hier die Messung der ersten Runde:

avg_fps =
45.154594193783815
avg_fps_gewichtet =
37.278624629756358

Und die zweite Runde:

avg_fps =
44.136135977967932
avg_fps_gewichtet =
42.922996586362132

Die Auswertung bestätigt also meine Beobachtungen.

[Spasstiger]

Ich hab selbst mal ein paar Messungen mit einer Single-GPU-Karte gemacht und muss feststellen, dass der Algorithmus noch überarbeitet werden muss. Kurzzeitig niedrige Frameraten in einem sonst eigentlich recht gleichmäßigen Frametime-Verlauf schlagen zu stark durch. Ich darf also nicht global gewichten, sondern immer nur lokal über einen definierten Zeitraum (evtl. auch mit Fading) und das dann über die gesamte Zeit mitteln. Da muss ich mir aber noch was für die Mathematik dahinter überlegen.

[pest]

ich finde deinen Ansatz zu kompliziert, aber interessant
hab' mir dazu auch ein paar Gedanken gemacht, aber wenig Zeit, vielleicht schreib ich morgen noch was dazu

würde global bewerten, und die Gewichtung hart kodieren

[Pinoccio]

würde global bewerten, und die Gewichtung hart kodierenIch würde lokal bewerten, also eher was mit Fading. Ein langsames Frame in vielen schnellen dürfte mehr auffallen als ein langsames zwischen mehreren kaum schnelleren.Und wie Studien mit Kindern und Naturvölkern zeigen, hat der Mensch von Geburt an sogar ein logarithmisches Zahlen-/Mengenverständnis. Das lineare Zahlenverständnis wird dem Menschen erst antrainiert.Hast du mal eine Quelle (kostenpflichtige Paper gehen auch)? Klingt interessant.

Wer übrigens kein Matlab hat kann auch GNU OCtave (http://www.gnu.org/software/octave/) oder SciLab (http://www.scilab.org/) nehmen.

mfg

[Spasstiger]

Ich würde lokal bewerten, also eher was mit Fading.
Ja, das denke ich auch. Bei meiner jetzigen Variante kommen teilweise sehr seltsame Ergebnisse raus. Brauchbar ist es momentan nur bei relativ konstanter Framerate.

Hast du mal eine Quelle (kostenpflichtige Paper gehen auch)? Klingt interessant.
http://de.wikipedia.org/wiki/Zahlenverst%C3%A4ndnis_bei_Tieren#Biologische_Grundlagen_beim_Menschen

Ich hab das erste mal davon in der Bild der Wissenschaft gelesen (oder wars Spektrum der Wissenschaft?).

[pest]

Ich würde lokal bewerten, also eher was mit Fading. Ein langsames Frame in vielen schnellen dürfte mehr auffallen als ein langsames zwischen mehreren kaum schnelleren.

Naja, früher oder später muss man aber zu einer globalen Bewertung kommen.
Lokal/Umgebung ist mathematisch gesehen, bei diskreten Werten, auch etwas irreführend, aber egal

Das Problem ist, das man ein mathematisches Modell erstellen möchte,
das eine subjektive Bewertung durchführt. Die Schwelle, ab der jmd. aber
Bildzeitunterschiede als störend wahrnimmt, ist für jeden unterschiedlich.
Da ein allgemeingültiges Modell zu erstellen, erfordert imo enormen Aufwand und viele Freiwillige.

Soviel erstmal zur Annahme ;)

Zweitens würde ich das ganze erstmal so einfach wie möglich halten

Die Idee die ich hatte, war,
für jedes Bild einen Penalty-Wert zu seinen Nachbarn zu berechnen, anhand einer logarithmischen Skala. Das arithmetische Mittel aller Penalty-Werte im Vergleich zum Durschnitts-FPS-Wert ist dann ein Maß für die Abweichung. Im Prinzip eine einfache Erweiterung der Standardabweichung, die in meinen Experimenten schon rel. gute Ergebnisse geliefert hat.

[Spasstiger]

Die Idee die ich hatte, war,
für jedes Bild einen Penalty-Wert zu seinen Nachbarn zu berechnen, anhand einer logarithmischen Skala. Das arithmetische Mittel aller Penalty-Werte im Vergleich zum Durschnitts-FPS-Wert ist dann ein Maß für die Abweichung. Im Prinzip eine einfache Erweiterung der Standardabweichung, die in meinen Experimenten schon rel. gute Ergebnisse geliefert hat.
Hm, klingt gut. Mit der Standardabweichung hab ich auch schon experimentiert, aber auf die Idee, die Standardabweichung logarithmisch/exponentiell zu gewichten, bin ich noch nicht gekommen.

[pest]

schau mal hier (http://www.forum-3dcenter.org/vbulletin/showpost.php?p=6558053&postcount=33) da hab ich ein paar Crossfire-Diagramme inkl. Standardabweichung erstellt.

[Spasstiger]

schau mal hier (http://www.forum-3dcenter.org/vbulletin/showpost.php?p=6558053&postcount=33) da hab ich ein paar Crossfire-Diagramme inkl. Standardabweichung erstellt.
Schick.
Ich hab gerade festgestellt, dass man schon halbwegs brauchbare Ergebnisse bekommt, wenn man auf die durchschnittliche Framedauer noch die Standardabweichung der Framedauer draufaddiert und dies als gefühlte durchschnittliche Framedauer annimmt. Allerdings fehlen bei dieser Methode jegliche Parameter, mit denen man was kalibrieren könnte. Und generell ist die Methode zu optimistisch für Mikroruckler und zu pessimistisch für "keine Mikroruckler". Mal schauen, was eine exponentielle Gewichtung bringt.

[pest]

Schick.
Ich hab gerade festgestellt, dass man schon halbwegs brauchbare Ergebnisse bekommt, wenn man auf die durchschnittliche Framedauer noch die Standardabweichung der Framedauer draufaddiert und dies als gefühlte durchschnittliche Framedauer annimmt. Allerdings fehlen bei dieser Methode jegliche Parameter, mit denen man was kalibrieren könnte. Und generell ist die Methode zu optimistisch für Mikroruckler und zu pessimistisch für "keine Mikroruckler". Mal schauen, was eine exponentielle Gewichtung bringt.

im Thread findest du auch die entsprechnden Frapsdaten zum experimentieren ;)
wollt mit meiner Idee nur zeigen...erstmal was Simples probieren...
es müsste ja darauf hinauslaufen das der Wert den der Algorithmus ausspuckt, mit dem übereinstimmt was man selbst fühlt...
zu Beginn würde vielleicht erstmal eine Bewertung ala "Dieser Frameverlauf zeigt starke Mikroruckler" oder ähnliches ausreichen.
Da kann man mit der Standardabweichung schon gute Aussagen treffen, die Gewichtung dient dann eigentlich nur der Verfeinerung hinsichtlicher unserer subjektiven Wahrnehmung.

Hab von Matlab keinen Plan, aber wenn du noch Ideen hast, oder C-Code brauchst... ;) :)

edit:
der Worst-Case Fall für die Standardabweichung wäre natürlich wenn man große Schwankungen im FPS-Verlauf hat, diese aber nicht durch Mikroruckeln enstehen,
in meinen Screens Crysis ohne CF. Das würde aber meine vorgeschlagene Variante abdecken, da nur zu den direkten Nachbarn bewertet wird.

[Spasstiger]

edit:
der Worst-Case Fall für die Standardabweichung wäre natürlich wenn man große Schwankungen im FPS-Verlauf hat, diese aber nicht durch Mikroruckeln enstehen,
in meinen Screens Crysis ohne CF. Das würde aber meine vorgeschlagene Variante abdecken, da nur zu den direkten Nachbarn bewertet wird.
Ist halt die Frage, ob man nur auf Mikroruckler prüfen will oder auch den generellen Frameratenverlauf mitbewerten will. Wenn die Framerate stark schwankt, fühlt sich das ja auch nicht so spielbar an wie wenn man die gleiche mittlere Framerate konstant hat.

Ansatz 2

Ich hab mir noch was anderes überlegt:
Man wählt die gefühlte mittlere Framedauer abhängig vom Verhältnis aus der Standardabweichung und der tatsächlichen mittleren Framedauer. Dieses Verhältnis liegt im Definitionsbereich zwischen 1 und 0.
Wenn das Verhältnis 1 beträgt, bedeutet das extreme Schwankungen und es wird als gefühlte mittlere Framedauer die maximal auftretende Framedauer gewählt. Bei einem Verhältnis von 0 sind dagegen die Frameraten konstant und es wird die tatsächliche mittlere Framedauer gewählt.
Alle anderen Verhältnisse werden auf Framedauern dazwischen abgebildet, z.B. mit einer Exponentialfunktion.

Hier das Konzept quick and dirty:

http://www.abload.de/img/konzept_standardabweicxbpa.png

/EDIT: Es ist evtl. sinnvoller, das Verhältnis aus der Standardabweichung und der maximalen Framedauer zu wählen, das wird auch definitiv nie größer als 1. Und es passt besser zum zugehörigen y-Wert, welcher ja gerade die maximale Framedauer ist.
Ich hab das mal implementiert und die Ergebnisse sind imo deutlich besser als die mit dem Algorithmus aus dem Startposting. Kurzzeitig extreme Framedauern schlagen z.B. nicht so stark durch und wenn ich Messungen mit dem Mikroruckler-Tester analysiere, deckt sich das mit dem richtigen Parameter auch mit meinem persönlichen Eindruck (im Mikroruckler-Tester kann man ja zwischen Single-GPU und Multi-GPU bei beliebiger Framerate wechseln). Den einzigen Nachteil sehe ich im Freiheitsgrad, weil es nur einen veränderlichen Parameter gibt. Alle anderen Parameter sind Modelldaten.
/EDIT2: Bei den Crossfire-Benchmarks von Schlammsau siehts so aus (Algo kalibriert mit dem Mikroruckler-Tester):

Crossfire aktiv:
avg_fps =
38.919582387878506
avg_fps_gewichtet =
27.263411516171672
avg_fps_std_methode =
25.038685229259251

Crossfire nicht aktiv:
avg_fps =
23.059989587489301
avg_fps_gewichtet =
21.733770886230776
avg_fps_std_methode =
20.829338755595209

avg_fps_gewichtet ist die alte Methode aus dem Startposting. Man sieht auf jeden Fall schön, dass bei den bewerteten Methoden der Crossfireverbund gefühlt nur um ca. 20% zulegen kann während die reale Framerate um 69% steigt.

[Spasstiger]

zu Ansatz 2

Diese Funktion nehme ich momentan, um die gefühlte Framedauer bzw. Framerate zu berechnen:

http://www.abload.de/img/std_bewertungysjk.png

http://www.abload.de/img/std_bewertung_frameratlmju.png

Damit ergibt sich Folgendes:

Crysis-Benchmarks von Schlammsau, Crossfire aktiv:
avg_fps =
38.919582387878506
avg_fps_gewichtet =
27.263411516171672
avg_fps_std_methode =
25.556831562630233
mikroruckel_faktor =
1.299749507025579

Crysis-Benchmarks von Schlammsau, Crossfire deaktiviert:
avg_fps =
23.059989587489301
avg_fps_gewichtet =
21.733770886230776
avg_fps_std_methode =
20.756433337737342
mikroruckel_faktor =
0.154673335091080

Sega Rally @ 8800 GT, Runde 1 (VRAM füllt sich):
avg_fps =
45.154594193783815
avg_fps_gewichtet =
31.928054679882763
avg_fps_std_methode =
31.376795806324211
mikroruckel_faktor =
0.569788230095781

Sega Rally @ 8800 GT, Runde 2 (alle Daten im VRAM):
avg_fps =
44.136135977967932
avg_fps_gewichtet =
42.480272516815404
avg_fps_std_methode =
39.527446240797012
mikroruckel_faktor =
0.334361014989677

/EDIT:
3DMark06, Return to Proxycon @ HD 2900 Pro, VSync + TB an
avg_fps =
32.346176519430699
avg_fps_gewichtet =
23.780574127392526
avg_fps_std_methode =
21.837765712675068
mikroruckel_faktor =
0.522191036592316

3DMark06, Return to Proxycon @ HD 2900 Pro, VSync + TB aus
avg_fps =
32.510090139179219
avg_fps_gewichtet =
24.539148908810184
avg_fps_std_methode =
23.414330488004243
mikroruckel_faktor =
0.511299112849354

Das in 3DMark06 deckt sich übrigens auch mit meiner Beobachtung. Denn die Durchläufe haben sich bei mir als nicht flüssig eingeprägt, obwohl 32 fps average ja eigentlich auf einen überwiegend flüssigen Ablauf hindeutet.
Ich hab beim Benchen auf 23-25 fps average geschätzt.

/EDIT2:
MR-Tester, avg-fps auf 33 fps, 15 ms min. Kadenz
avg_fps =
32.721112475375158
avg_fps_gewichtet =
25.408166876570263
avg_fps_std_methode =
26.083240946260204
mikroruckel_faktor =
1.068056210953020

[pest]

sieht ganz gut aus, jetzt die frage ob das mit dem übereinstimmt, was man fühlt? ;)

[Spasstiger]

sieht ganz gut aus, jetzt die frage ob das mit dem übereinstimmt, was man fühlt? ;)
Ich glaube, mit der gefühlten Framerate hab ich das Ziel schon etwas hoch gesteckt. Aber die Methode erlaubt zumindest bessere Vergleiche von Multi-GPU-Lösungen als bisher.

/EDIT: Ich hab noch einen Mikroruckel-Faktor eingeführt nach folgender Berechnung: Bilde die Differenzen der Framedauern zwischen je zwei aufeinanderfolgenden Frames. Quadriere Differenzen, um auf rein positive Werte zu kommen. Bilde Mittelwert aller Quadrate. Ziehe die Wurzel. Normiere auf tatsächliche mittlere Framedauer.
Die Mikroruckel-Faktoren habe ich oben hinzugefügt.

[pest]

Normiere auf tatsächliche mittlere Framedauer.


damit der Faktor aus [0,1] ? weil prinzipiell ist der Ruckelfaktor ja auch nur ein Mittelwert

[Spasstiger]

damit der Faktor aus [0,1] ?
Ne, um einen Maßstab zu bekommen, der Wert kann auch größer als 1 sein.
Das Mikroruckeln hat ja in meinem Fall eine Zeiteinheit und die will ich durch eine Normierung rausbekommen. Und dazu bietet sich die mittlere Framedauer an, eben weil auch das Mikroruckeln einen Mittelwert darstellt.
Und so kommt dann eben der Mikroruckel-Faktor zustande, welcher direkte Vergleiche erlaubt. Der Mikroruckelfaktor allein sagt natürlich nix darüber aus, wie flüssig ein Spiel läuft, er wird erst in Kombination mit der mittleren Framerate und der gefühlten mittleren Framerate aussagekräftig. So kann man dann abschätzen, ob eine Differenz der beiden Frameraten eher von Mikroruckeln kommt oder eher von generellen Schwankungen der Framerate.

Kannst ja oben mal die Ergebnisse vergleichen. Bei meinen Tests zeigt sich, dass permanentes Mikroruckeln zu Mikroruckelfaktoren von ~1 oder größer führt.

[pest]

sieht gut aus :) kannst du noch nen Beispiel von mir nehmen, z.B. Grid mit CF, das zwar Mikroruckeln aufweißt aber durch die hohe Framerate merkt man das garnicht

[Spasstiger]

Bei den Grid-Benchmarks, die ein gewisser Gamingforce gepostet hat (bist das du?), sieht es so aus:

Grid, 1920x1200 4xAA 16:1 AF @ HD 3870 X2, CF on
avg_fps =
78.746342202348814
avg_fps_gewichtet =
73.721746720742857
avg_fps_std_methode =
60.671660081448401
mikroruckel_faktor =
0.491277126175280

Grid, 1920x1200 4xAA 16:1 AF @ HD 3870 X2, CF off
avg_fps =
31.233325958798044
avg_fps_gewichtet =
13.467783478610855
avg_fps_std_methode =
23.807248077146326
mikroruckel_faktor =
0.410514417659392

Irgendwie komisch, dass Crossfire hier so zulegt, deutlich über Faktor 2. Was das Mikroruckeln angeht, sind beide Varianten mittelmäßig. Die gefühlten fps mit CF sind auf jeden Fall mehr als spielbar.

/EDIT: Wenn ich den Bench von Grid ohne CF erst ab Frame 20 - also ohne den großen Ruckler am Anfang - auswerte, sieht es so aus:

Grid, 1920x1200 4xAA 16:1 AF @ HD 3870 X2, CF off, Auswertung ab Frame 20
avg_fps =
31.222023200678201
avg_fps_gewichtet =
31.161460484138633
avg_fps_std_methode =
31.081958496965985
mikroruckel_faktor =
0.065088144915307

Für aussagekräftige Tests sollte man länger als nur ein paar Sekunden testen, dann führen auch solche Ausreißer nicht zu starken Verfälschungen. Und man sieht oben auch, dass mein Algorithmus, der auf der Standardabweichung basiert (avg_fps_std_methode), gegenüber dem kurzen Ruckler wesentlich robuster ist als der Algorithmus mit dem exponentiell gewichteten Mittelwert (avg_fps_gewichtet).

[pest]

Bei den Grid-Benchmarks, die ein gewisser Gamingforce gepostet hat (bist das du?), sieht es so aus:


nene, meinte nur den Thread den ich verlinkt habe ;)


Grid, 1920x1200 4xAA 16:1 AF @ HD 3870 X2, CF on
avg_fps =
78.746342202348814
avg_fps_gewichtet =
73.721746720742857
avg_fps_std_methode =
60.671660081448401
mikroruckel_faktor =
0.491277126175280

Grid, 1920x1200 4xAA 16:1 AF @ HD 3870 X2, CF off, Auswertung ab Frame 20
avg_fps =
31.222023200678201
avg_fps_gewichtet =
31.161460484138633
avg_fps_std_methode =
31.081958496965985
mikroruckel_faktor =
0.065088144915307

ich kann mir garnicht vorstellen, das bei so hohen Frameraten, die FPS gefühlt so absacken, aber ich denke das ist nur Finetuning für den Ruckelfaktor, gut gemacht :)

[Spasstiger]

nene, meinte nur den Thread den ich verlinkt habe ;)



ich kann mir garnicht vorstellen, das bei so hohen Frameraten, die FPS gefühlt so absacken, aber ich denke das ist nur Finetuning für den Ruckelfaktor, gut gemacht :)
60 fps gefühlt sind genauso gut wie 80 fps gefühlt. ;)
Eigentlich sind schon 30 fps gefühlt ganz brauchbar.

Evtl. sollte man große Ausreißer noch rausrechnen. Alle Framedauern, die über Mittelwert + x*Standardweichung liegen, werden auf Mittelwert + x*Standardabweichung reduziert. Anschließend muss man die Standardabweichung natürlich neu berechnen.

/EDIT: Wenn ich die Framedauern nach oben unten unten auf diese Weise begrenzen mit x=1,5, dann sehen die Ergebnisse recht schön aus. Die Mikroruckler werden so nicht verschluckt und die Mikroruckelfaktoren bleiben bei aktivem Multi-GPU fast identisch, während sie ohne Multi-GPU deutlich sinken (sofern kurze Ruckler vorhanden sind).

[Spasstiger]

Hier mal Dead Space mit meiner HD 2900 Pro in 1920x1200 max. Details 8:1 AF und der oben erwähnten Framedauer-Limitierung:

Dead Space, 1920x1200 max. Details, 8:1 AF @ HD 2900 Pro, VSync + TB on

avg_fps =
44.540396697909657
avg_fps_gewichtet =
43.904549221596000
avg_fps_std_methode =
39.448003141510483
mikroruckel_faktor =
0.095329918909647

Dead Space, 1920x1200 max. Details, 8:1 AF @ HD 2900 Pro, VSync off

avg_fps =
44.716851545504916
avg_fps_gewichtet =
43.834642206927612
avg_fps_std_methode =
38.837455309064396
mikroruckel_faktor =
0.110931198065863

Ich bin selbst durchs Level gelaufen, daher sind kleine Abweichungen normal. Interessanterweise scheint VSync + Triplebuffering keinen Einfluss aufs Mikroruckeln zu haben. Dennoch kam mir die Variante ohne VSync flüssiger vor. Auch mit anderen Parametern unterscheiden sich die Ergebnisse zwischen den beiden Varianten kaum bis gar nicht.
Wahrscheinlich fühlt sich das Spielen ohne VSync einfach nur flüssiger an, weil die Verzögerung zwischen Ein- und Ausgabe kürzer ausfällt.

/EDIT: Hier auch noch alle anderen Benchmarks aus dem Thread mit den aktuellen Algorithmen und Parametern:

Crysis-Benchmarks von Schlammsau @ HD 3870 X2, Crossfire on:
avg_fps =
38.919582387878506
avg_fps_gewichtet =
27.949316495491257
avg_fps_std_methode =
25.703999210392656
mikroruckel_faktor =
1.280046120263797

Crysis-Benchmarks von Schlammsau @ HD 3870 X2, Crossfire off:
avg_fps =
23.059989587489301
avg_fps_gewichtet =
22.455492143437716
avg_fps_std_methode =
21.087189678612194
mikroruckel_faktor =
0.077094507816858

Sega Rally, 1920x1200, 4xAA, 16:1 AF @ 8800 GT 1024 MiB, Runde 1 (VRAM füllt sich):
avg_fps =
45.154594193783815
avg_fps_gewichtet =
43.661200157125428
avg_fps_std_methode =
34.771783569074124
mikroruckel_faktor =
0.390095980611918

Sega Rally, 1920x1200, 4xAA, 16:1 AF @ 8800 GT 1024 MiB, Runde 1 (Daten im VRAM vorhanden):
avg_fps =
44.136135977967932
avg_fps_gewichtet =
42.748573671572878
avg_fps_std_methode =
39.988322818321627
mikroruckel_faktor =
0.293249908066976

3DMark06, Return to Proxycon @ HD 2900 Pro, VSync + TB an
avg_fps =
32.346176519430699
avg_fps_gewichtet =
26.964595278781818
avg_fps_std_methode =
22.589169507391869
mikroruckel_faktor =
0.444310417317657

3DMark06, Return to Proxycon @ HD 2900 Pro, VSync + TB aus
avg_fps =
32.510090139179219
avg_fps_gewichtet =
27.110138723278670
avg_fps_std_methode =
24.072580971786739
mikroruckel_faktor =
0.434012851239468

MR-Tester, avg-fps auf 33 fps, 15 ms min. Kadenz
avg_fps =
32.721112475375158
avg_fps_gewichtet =
25.408166876570263
avg_fps_std_methode =
26.083240946260204
mikroruckel_faktor =
1.068056210953020

Grid, 1920x1200 4xAA 16:1 AF @ HD 3870 X2, CF on
avg_fps =
78.746342202348814
avg_fps_gewichtet =
77.177481764682469
avg_fps_std_methode =
62.955064005552728
mikroruckel_faktor =
0.444861013842254

Grid, 1920x1200 4xAA 16:1 AF @ HD 3870 X2, CF off
avg_fps =
31.233325958798044
avg_fps_gewichtet =
31.406285767402323
avg_fps_std_methode =
28.101145922644804
mikroruckel_faktor =
0.103637604786544

Grid, 1920x1200 4xAA 16:1 AF @ HD 3870 X2, CF off, Auswertung ab Frame 20
avg_fps =
31.232011672109479
avg_fps_gewichtet =
31.176421614389845
avg_fps_std_methode =
31.101804884909168
mikroruckel_faktor =
0.059677022389852

[derguru]

http://www.megaupload.com/?d=W62KRBED

[Spasstiger]

http://www.megaupload.com/?d=W62KRBED
Thx!

Hier die Ergebnisse:

CoD 5, 1920x1200, 4xAA + Edge Detect + adaptives AA (Qualität), 16:1 AF @ HD 4870 1 GiB CF, Crossfire on
avg_fps =
66.777031574917615
avg_fps_gewichtet =
57.363900308607199
avg_fps_std_methode =
44.805570607249429
mikroruckel_faktor =
1.027427664362474

CoD 5, 1920x1200, 4xAA + Edge Detect + adaptives AA (Qualität), 16:1 AF @ HD 4870 1 GiB, Crossfire off
avg_fps =
33.652415682572375
avg_fps_gewichtet =
33.070014877661237
avg_fps_std_methode =
31.065209446032640
mikroruckel_faktor =
0.037188807562312

Fallout 3, 1920x1200, 4xAA + Edge Detect + adaptives AA (Qualität), 16:1 AF @ HD 4870 1 GiB CF, Crossfire on
avg_fps =
57.385837268699419
avg_fps_gewichtet =
58.679940843703356
avg_fps_std_methode =
52.924694873194106
mikroruckel_faktor =
0.119020204232655

Fallout 3, 1920x1200, 4xAA + Edge Detect + adaptives AA (Qualität), 16:1 AF @ HD 4870 1 GiB, Crossfire off
avg_fps =
29.206730204196752
avg_fps_gewichtet =
29.222637099660918
avg_fps_std_methode =
26.865849323594382
mikroruckel_faktor =
0.111068175231612

Bei CoD 5 sind starke Mikroruckler vorhanden, so dass die Spielbarkeit sich durch Crossfire trotz 100%-iger Skalierung nur um ~50% verbessert. Allerdings sollte das Spiel mit Crossfire bei gefühlten knapp 45 fps sehr flüssig spielbar sein, während die gefühlten 31 fps der Single-Karte schon grenzwertig sind.
Bei Fallout 3 scheint es trotz fast 100%-iger Skalierung keine Mikroruckler zu geben. Sehr schön!

[derguru]

noch eine das reicht dann,würde ja gerne mal ein sli sys hier sehen.

http://www.megaupload.com/?d=8AFANRRG

[Spasstiger]

The Witcher, 1920x1200, 4xAA + Edge Detect + adaptives AA (Qualität), 16:1 AF @ HD 4870 1 GiB CF, Crossfire on
avg_fps =
67.314268727431596
avg_fps_gewichtet =
65.869436356184409
avg_fps_std_methode =
53.793197559199001
mikroruckel_faktor =
0.362090338521322

The Witcher, 1920x1200, 4xAA + Edge Detect + adaptives AA (Qualität), 16:1 AF @ HD 4870 1 GiB, Crossfire off
avg_fps =
39.603354404117987
avg_fps_gewichtet =
37.757521242164422
avg_fps_std_methode =
31.386075356476780
mikroruckel_faktor =
0.084910939036843

Die Spielbarkeit skaliert hier ebenso gut wie die tatsächliche Framerate, nämlich um ca. 70%. Mikroruckler kommen allerdings teilweise durch Crossfire hinzu. Im Framedauerverlauf kann ich noch sehen, dass generell die Framerate alle paar Sekunden kurz einbricht, was sich auch bei der gefühlten Framerate der Einzelkarte auswirkt (avg_fps_std_methode = 31.4 gegenüber avg_fps = 39.6).

[Spasstiger]

Aus einem anderen Thread:

System:
Core 2 Duo E6600@3000MHz[8x375], 2x2048MB@DDR2-750, 5-5-5-12-2T,
NVIDIA GTX295@default, WinXp32 Sp3, FW182.08@HQ

Ohne SLI:
1680x1050, 8xSQ, 16xAF

Frames, Time (ms), Min, Max, Avg
826, 30000, 21, 35, 27.533

Hier die Frametimes, sind aber ohne SLI unwichtig, habe ich aber trotzdem gemacht
http://speedshare.org/download.php?id=A5CF67293
avg_fps =
27.519464517253066
avg_fps_gewichtet =
25.533770591321854
avg_fps_std_methode =
21.492318138357891
mikroruckel_faktor =
0.312238528631032

Mit SLI:
1680x1050, 32xS, 16xAF

Frames, Time (ms), Min, Max, Avg
849, 30000, 19, 35, 28.300

Hier die Frametimes mit SLI
http://speedshare.org/download.php?id=E016CB6F3
avg_fps =
28.289615202518956
avg_fps_gewichtet =
24.503774658358285
avg_fps_std_methode =
20.640118361722553
mikroruckel_faktor =
0.476783599427893

http://www.forum-3dcenter.org/vbulletin/showthread.php?p=7164720#post7164720

[Schlammsau]

Und was bedeutet der mikroruckel_faktor ? Welche Werte sind gut und ab wann sind sie schlecht?

[Spasstiger]

Und was bedeutet der mikroruckel_faktor ? Welche Werte sind gut und ab wann sind sie schlecht?
Ein Gut oder Schlecht gibt es bei diesem Wert eigentlich nicht. Ich hab eine Erklärung im Startposting hinzugefügt.
Der Mikroruckelfaktor macht nur eine Aussage darüber, wie stark Mikroruckler auftreten. Der Mikroruckelfaktor macht aber keine Aussage darüber, in welchem Frameratenbereich sich alles abspielt. Der Mikroruckelfaktor sollte immer zusammen mit der gefühlten Framerate (avg_fps_std_methode) und der tatsächlichen durchschnittlichen Framerate (avg_fps) betrachtet werden. Wenn avg_fps und avg_fps_std_methode stark voneinander abweichen, dann kann man an mikroruckel_faktor ablesen, ob die Framerate allgemein schwankt oder ob die Abweichung von Mikrorucklern kommt.
Werte um 1 entsprechen ungefähr dem Mikroruckeln im Mikroruckel-Tester bei default-Settings.

/EDIT: Nachschub.

System:
Core 2 Duo E6600@3000MHz[8x375], 2x2048MB@DDR2-750, 5-5-5-12-2T,
NVIDIA GTX295@default, WinXp32 Sp3, FW182.08@HQ

Race Driver Grid

Da mit 1680x1050 bei 32xS der Vram ausgeht habe ich mit 1280x960 getestet, ohne SLI kaum spielbar, wegen der niedriegen fps lenkt man immer zu früh ein.
Mit SLI läuft es sehr schön flüssig.

SLI aus
1280x960, 32xS, 16xAF

Frames, Time (ms), Min, Max, Avg
1120, 30000, 33, 43, 37.333


Frametimes -> http://speedshare.org/download.php?id=989D32073
avg_fps =
37.313057082441773
avg_fps_gewichtet =
37.063546765499304
avg_fps_std_methode =
35.744571745766272
mikroruckel_faktor =
0.090461323740494

SLI an
1280x960, 32xS, 16xAF

Frames, Time (ms), Min, Max, Avg
1994, 30000, 58, 80, 66.467

Frametimes -> http://speedshare.org/download.php?id=D7CB30BC13
avg_fps =
66.442165711895370
avg_fps_gewichtet =
65.656317137166184
avg_fps_std_methode =
59.213919951088542
mikroruckel_faktor =
0.255295693224236

Crysis DX9 unter WinXP32, System wie bei Grid

SLI aus
1680x1050, 8xSQ, 16xAF

Frames, Time (ms), Min, Max, Avg
582, 30000, 18, 21, 19.400

http://speedshare.org/download.php?id=385418FE11
http://www.abload.de/img/crysisdx9_frametimesm9v2.png

avg_fps =
19.3769

avg_fps_feeled_delay_norm =
19.3176

avg_fps =
19.376873757866530
avg_fps_gewichtet =
19.322754917446641
avg_fps_std_methode =
19.098754155604095
mikroruckel_faktor =
0.042056821869849

SLI an
1680x1050, 8xSQ, 16xAF

Frames, Time (ms), Min, Max, Avg
1076, 30000, 33, 39, 35.867

http://speedshare.org/download.php?id=946F59E612
http://www.abload.de/img/crysisdx9_frametimes26yog.png

avg_fps =
35.8461

avg_fps_feeled_delay_norm =
27.2703

avg_fps =
35.846095738286017
avg_fps_gewichtet =
29.384858142430065
avg_fps_std_methode =
26.501207118149530
mikroruckel_faktor =
0.934464588586086

---

Deneb X3@3400Mhz, 8Gb DDR2-800, Vista 64bit SP1, Quad-SLI System mit 9800GX2@default mit FW182.08@HQ

Erste Frametimesmessungen mit dem Performancetest von HAWX auf 1680*1050, max Details und 4xMSAA/16HQAF
1. Abschnitt

Frames, Time (ms), Min, Max, Avg
3106, 48351, 43, 78, 64.239

http://speedshare.org/download.php?id=D772B1D912
http://www.abload.de/img/hawx_frametimes1zb3d.png

avg_fps =
64.2381

avg_fps_feeled_delay_norm =
50.0659

avg_fps =
64.238112913058615
avg_fps_gewichtet =
63.292831971078506
avg_fps_std_methode =
47.772685389310169
mikroruckel_faktor =
0.401489539772817

2. Abschnitt (Fast durchgängig CPU-limitiert)

Frames, Time (ms), Min, Max, Avg
2367, 76611, 16, 59, 30.896

http://speedshare.org/download.php?id=42AB19C53
http://www.abload.de/img/hawx_frametimes2ybmh.png

avg_fps =
30.8920

avg_fps_feeled_delay_norm =
22.7519

avg_fps =
30.892010995623572
avg_fps_gewichtet =
26.105641514846692
avg_fps_std_methode =
20.754725215244200
mikroruckel_faktor =
0.399897469915088

The Call of Juarez Benchmark D3D10 - Alles auf Max mit 4xMSAA und 16xHQAF

Frames, Time (ms), Min, Max, Avg
9888, 178156, 30, 136, 55.502

http://speedshare.org/download.php?id=CF1BD15D3
http://www.abload.de/img/coj_frametimesbaqa.png

avg_fps =
55.5021

avg_fps_feeled_delay_norm =
25.3977

avg_fps =
55.502076261548154
avg_fps_gewichtet =
44.093368134244280
avg_fps_std_methode =
32.803986450447120
mikroruckel_faktor =
0.905701823529547

---

Quad auf 4Ghz, 4gb Ram ,4870X2+4870 (1024mb)

Frametimes mit Triplecrossfire:
Crysis Warhead DX10 Enthusiast : 1280x960 8xAA+AAAq+16AF

http://speedshare.org/download.php?id=F5B7A4F013

FPS:

Frames, Time (ms), Min, Max, Avg
1312, 30000, 29, 55, 43.733
http://www.abload.de/img/crysis_frametimes3t94o.png

avg_fps =
43.7117

avg_fps_feeled_delay_norm =
38.6107

avg_fps =
43.711653526830226
avg_fps_gewichtet =
43.097141354544902
avg_fps_std_methode =
34.927536864071833
mikroruckel_faktor =
0.208074555415547

Das Ganze in DX9, selbe Einstellungen:
Frametimes:
http://speedshare.org/download.php?id=003E08C63

FPS:
Frames, Time (ms), Min, Max, Avg
806, 30000, 13, 43, 26.867

In DX9 absolute Ruckelorgie.

http://www.abload.de/img/crysis_frametimes26zjo.png

avg_fps =
26.8877

avg_fps_feeled_delay_norm =
13.2147

avg_fps =
26.887691282542868
avg_fps_gewichtet =
18.311735440394600
avg_fps_std_methode =
15.970008094633258
mikroruckel_faktor =
0.849914033665499

[ZÜNDELholz]

Thx!

Hier die Ergebnisse:

CoD 5, 1920x1200, 4xAA + Edge Detect + adaptives AA (Qualität), 16:1 AF @ HD 4870 1 GiB CF, Crossfire on
avg_fps =
66.777031574917615
avg_fps_gewichtet =
57.363900308607199
avg_fps_std_methode =
44.805570607249429
mikroruckel_faktor =
1.027427664362474


Bei CoD 5 sind starke Mikroruckler vorhanden, so dass die Spielbarkeit sich durch Crossfire trotz 100%-iger Skalierung nur um ~50% verbessert. Allerdings sollte das Spiel mit Crossfire bei gefühlten knapp 45 fps sehr flüssig spielbar sein, während die gefühlten 31 fps der Single-

CoD 5, 1920x1440, 4xAA + Edge Detect + adaptives AA (Qualität), 16:1 AF @ HD 4870 1 GiB + HD4870X2, TripleCrossfire
Erstes Level am Strand, gleich nach dem Befreiungssvideo:

Vsync on:

Frames, Time (ms), Min, Max, Avg
2128, 30000, 56, 76, 70.933

Frametimes: http://speedshare.org/download.php?id=6289755913

Vsync off:

Frames, Time (ms), Min, Max, Avg
2460, 30000, 58, 93, 82.000

Frametimes: http://speedshare.org/download.php?id=79D89D2513

[Spasstiger]

Hab schon eine Weile nicht mehr in den Thread geschaut, aber thx für die neuen Ergebnisse.

CoD 5, 1920x1440, 4xAA + Edge Detect + adaptives AA (Qualität), 16:1 AF @ HD 4870 1 GiB + HD4870X2, TripleCrossfire
Erstes Level am Strand, gleich nach dem Befreiungssvideo:

Vsync on:

Frames, Time (ms), Min, Max, Avg
2128, 30000, 56, 76, 70.933

Frametimes: http://speedshare.org/download.php?id=6289755913
/EDIT: Mit neuer Methode:

http://www.abload.de/img/cod5_frametimes1vabh.png

avg_fps =
70.9216

avg_fps_feeled_delay_norm =
64.2912

avg_fps =
70.921576707686953
avg_fps_gewichtet =
72.722417814963165
avg_fps_std_methode =
65.543488367321245
mikroruckel_faktor =
0.158809407119382

Also praktisch mikrorucklerfrei, vergleichbar mit Single-GPU. VSync glättet die Mikroruckler weg.
Vsync off:

Frames, Time (ms), Min, Max, Avg
2460, 30000, 58, 93, 82.000

Frametimes: http://speedshare.org/download.php?id=79D89D2513

http://www.abload.de/img/cod5_frametimes2dyxl.png

avg_fps =
81.9955

avg_fps_feeled_delay_norm =
74.9257

avg_fps =
81.995474410009408
avg_fps_gewichtet =
81.766856067214093
avg_fps_std_methode =
71.279651889389839
mikroruckel_faktor =
0.264974539168614

Stärkeres Mikroruckeln, aber dennoch besser spielbar als mit VSync.

[ZÜNDELholz]

hab mir nen HP LP 3065 gegönnt.
Spiele jetzt COD5 in 2560x1600 mit denselben Einstellungen wie vorher, ausser Edge (nur 4xMSAA), ruckelfrei .
Dasselbe GRID, aber mit 8XMSSA ruckelfrei.
Monitorfrequenz 60Hz und Vsync aktiviert.
Das ganze Gewichse vom derben Crossfireruckeln ist nichts anderes als Volksverdummung seitens der von NVidia gekauften Expertenseiten.
Wenn gewünscht, kann ich mal ein Beweisvideo incl. Frametimer reinstellen.

[ZÜNDELholz]

Crysis Ingame, Map Assault_Harbor, Ausstieg Flugzeug mit anschliessenden Explosionen. Zur anhöhe rennen.
Auflösung 2560x1600 + 16Af, no AA

FPS: Frames, Time (ms), Min, Max, Avg
710, 30000, 14, 40, 23.667

Frametimes:

http://speedshare.org/download.php?id=22190B9911

[Spasstiger]

Quad auf 4Ghz, 4gb Ram ,4870X2+4870 (1024mb)

Crysis Ingame, Map Assault_Harbor, Ausstieg Flugzeug mit anschliessenden Explosionen. Zur anhöhe rennen.
Auflösung 2560x1600 + 16Af, no AA

FPS: Frames, Time (ms), Min, Max, Avg
710, 30000, 14, 40, 23.667

Frametimes:

http://speedshare.org/download.php?id=22190B9911

/EDIT: Mit neuer Methode:

http://www.abload.de/img/crysis_frametime6xiv.png

avg_fps =
23.6423

avg_fps_feeled_delay_norm =
18.3558


avg_fps =
23.6423

avg_fps_gewichtet =
20.2412

avg_fps_std_methode =
17.8916

mikroruckel_faktor =
0.3137

[HarryHirsch]

Doom 3, 16x SGSSAA

http://ul.to/q9mcm6

[Spasstiger]

Doom 3, 16x SGSSAA

http://ul.to/q9mcm6
Thx, ich lass es mal über die aktuellste Version meines Skripts mit neuem, besseren Algorithmus laufen. Hast du zwei HD 5870?

/EDIT:

http://www.abload.de/img/harryhirsch_doom386l2.png

avg_fps =
47.0010
avg_fps_feeled_delay_norm =
40.7950

Und im Vergleich dazu noch die Werte vom alten Skript

avg_fps =
47.0010
avg_fps_gewichtet =
44.5845
avg_fps_std_methode =
35.0392
mikroruckel_faktor =
0.1402

Ich glaub, ich sollte mal die anderen Benchmarks auch durch das neue Skript jagen.

[HarryHirsch]

Quake 4 + GTX Mod, quake alles höchste, gtx auch + fps limit aus

http://ul.to/xj0eeu

[Spasstiger]

Quake 4 + GTX Mod, quake alles höchste, gtx auch + fps limit aus

http://ul.to/xj0eeu

http://www.abload.de/img/quake4_frametimesgb11.png

avg_fps =
45.8664

avg_fps_feeled_delay_norm =
41.2297

P.S.: Single-GPU-Ergebnisse sind zum Vergleich auch gerne willkommen.

[HarryHirsch]

Doom 3 @ Ultra bla bla, 1680x1050, 16xAF, \timedemo demo1, 2ter lauf

single 5870, 8x SGSSAA


5870 CF, 8x SGSSAA


5870 CF, 16x SGSSAA

[Spasstiger]

Doom 3 @ Ultra bla bla, 1680x1050, 16xAF, \timedemo demo1, 2ter lauf

single 5870, 8x SGSSAA

http://ul.to/lerbw3

5870 CF, 8x SGSSAA

http://ul.to/5fbuo6

5870 CF, 16x SGSSAA

http://ul.to/kn2z28
Du hast da die minmaxavg.csv hochgeladen und nicht die frametimes.csv, zumindest bei dem ersten Link. Außerdem kann ich von der Seite nicht mehr runterladen, mein "Free-Trafficlimit ist aufgebraucht". Häng die Dateien doch einfach ans Posting an, sollten ja nicht allzugroß sein. Notfalls ein .txt anhängen.

/EDIT: Wobei, das Größenlimit hier liegt ja bei mickrigen 32 KiB.

[HarryHirsch]

Doom 3 @ Ultra bla bla, 1680x1050, 16xAF, \timedemo demo1, 2ter lauf

single 5870, 8x SGSSAA


5870 CF, 8x SGSSAA


5870 CF, 16x SGSSAA


2ter versuch

http://rapidshare.de/files/48489210/benchmarks.rar.html

[Spasstiger]

Doom 3 @ Ultra bla bla, 1680x1050, 16xAF, \timedemo demo1, 2ter lauf

single 5870, 8x SGSSAA

http://www.abload.de/img/8xsingle_frametimest3ha.png

avg_fps =
40.4025

avg_fps_feeled_delay_norm =
29.3962

5870 CF, 8x SGSSAA
http://www.abload.de/img/8xcf_frametimesn5db.png

avg_fps =
54.9399

avg_fps_feeled_delay_norm =
43.8672

5870 CF, 16x SGSSAA
http://www.abload.de/img/16xcf_frametimesc15r.png

avg_fps =
36.4821

avg_fps_feeled_delay_norm =
26.4530

Interessante Ergebnisse. 16xSGSSAA im Crossfire verhält sich performancetechnisch sowohl "gefühlt" als auch real ähnlich wie 8xSGSSAA mit Single-GPU und 8xSGSSAA im Crossfire scheint sogar mit geringeren Frametime-Schwankungen zu laufen als Single-GPU.

/EDIT: Hast du noch ein paar Single-5870-Mesungen von anderen Spielen zur Hand? Die Frametime-Schwankungen sind hier schon ungewöhnlich stark für Single-GPU. Hoffentlich ist das nicht auch in anderen Spielen so.

[HarryHirsch]

IntoThePink_final_by_Plastic_v1.04

Single 5870, 1680x1050 8xMSAA, 16xAF

http://ul.to/rhlwan

[Spasstiger]

IntoThePink_final_by_Plastic_v1.04

Single 5870, 1680x1050 8xMSAA, 16xAF

http://ul.to/rhlwan

http://www.abload.de/img/intothepink_1680x1050_fsho.png

avg_fps =
32.1019

avg_fps_feeled_delay_norm =
24.4890

Kannst du noch 5870 CF nachreichen? Wäre interessant.

[HarryHirsch]

http://ul.to/vyqevt

[Spasstiger]

http://ul.to/vyqevt
HD 5870 Single

http://www.abload.de/img/intothepink_hd5870singq6f2.png

avg_fps =
38.7246

avg_fps_feeled_delay_norm =
33.0985

HD 5870 Crossfire

http://www.abload.de/img/intothepink_hd5870cfp6l7.png

avg_fps =
67.4238

avg_fps_feeled_delay_norm =
41.9123

Die "reale" Durchschnittsframerate verbessert sich mit Crossfire also um knapp rund 74%, die "gefühlte" Durchschnittsframerate dagegen nur um rund 27%.

[mapel110]

Bissl offtopic vielleicht, aber wie kann man aus den Frametimes von fraps dann in Excel ein schönes Diagramm machen? Ich bekomm da nichts hin.

[Spasstiger]

fps-Diagramm in Excel/Open Office Calc:
Differenz von je zwei Frametimes berechnen, Kehrwert bilden und diese berechneten Werte auf der y-Achse auftragen. Auf die x-Achse kommen die zugehörigen Frametimes. Dann hat man schön die momentane Framerate über der Zeit aufgetragen. Aufpassen auf "," und "." als Komma- und Tausendertrennzeichen. Hier mal eine Beispieldatei:

[HarryHirsch]

Immer noch keine SLI - Frametimes... ;(

http://ul.to/65iqgi

[HarryHirsch]

Ich hab ja die settings vergessen.
1 ist 16xSGSSAA CF
2 ist 8xSGSSAA single

8xSGSSAA mit CF kommt noch.

benutzt wurde fr-43 rove.

[samm]

Cooler thread! Single GPU MR sind auch interessant... Wenn jemand noch SLI liefern könnte? :)

"gefühlt" = "felt", nicht "feeled"

[HarryHirsch]

Cooler thread! Single GPU MR sind auch interessant... Wenn jemand noch SLI liefern könnte? :)

"gefühlt" = "felt", nicht "feeled"

Naja die dienen eher zum Vergleich.

[ZÜNDELholz]

Immer noch keine SLI - Frametimes... ;(

http://ul.to/65iqgi

Crysis Warhead angenehm (Benchmarktool) oder Dirt ingame ?

[HarryHirsch]

Was optimiertes und was unoptimiertes wären sicher ein Anfang.

[ZÜNDELholz]

Crysis Warhead: Call of Ishmael_2 , die gescriptete Szene ,als das Auto bei der Brücke explodiert mit anschliessend gegamten Scharmützel mit den 4 Soldaten incl. paar Handgranatenexplosionen.

1920x1200 8xQAA+MSAA , 16AF,HQ, Vsync off:

480GTX SLIx2 @PCIe 16x8


Frames, Time (ms), Min, Max, Avg
3259, 60000, 35, 75, 54.317

Frametimerar:

http://speedshare.org/download.php?id=E07919E511

[ZÜNDELholz]

wann kommt die auswertung. SLI-frametimes wurden doch sehnsüchtigst erwartet :frown:

[Spasstiger]

http://ul.to/65iqgi

Frametimerar:

http://speedshare.org/download.php?id=E07919E511
Leider nicht mehr online.
Ihr könnte gerne noch Frametimemessungen hier reinstellen, ich werde sie dann auswerten. Falls ich nicht zeitnah antworte, obwohl ich online bin, schreibt mir einfach kurz eine PM, damit ich dran denke. Ich schaue nicht allzuoft in den Thread und stolper eher über andere Threads hier rein. ;)

SLI-Ergebnisse sind übrigens schon im Thread vorhanden, siehe Seite 2.

[HarryHirsch]

Ich hab ja die settings vergessen.
1 ist 16xSGSSAA CF
2 ist 8xSGSSAA single

8xSGSSAA mit CF kommt noch.

benutzt wurde fr-43 rove.

http://uploaded.to/file/gwq7tpwy

[ZÜNDELholz]

BF3: Operation Guillotine, Aufbruch in die Schlacht

1920x1200 ultra, 4xmsaa+4xsgssaa per nvidiatool, vsync on

Frames, Time (ms), Min, Max, Avg
24745, 413419, 55, 63, 59.855

Frametimes:
http://speedshare.org/download.php?id=F336645D11

Sys: 980x+480gtx Triple SLI

[Spasstiger]

Ich hab ja die settings vergessen.
1 ist 16xSGSSAA CF
2 ist 8xSGSSAA single

8xSGSSAA mit CF kommt noch.

benutzt wurde fr-43 rove.
16xSGSSAA CF:
http://www.forum-3dcenter.org/vbulletin/attachment.php?attachmentid=41036&stc=1&d=1319873002
avg_fps = 57.5730
avg_fps_felt_delay_norm = 33.0403

Keine Mikoruckler, aber die allgemein starken fps-Schwankungen ziehen die gefühlte mittlere Framerate runter. Bringt halt nix, für ein paar Sekunden über 80 fps zu haben, wenn danach mehrere Sekunden lang nur 30 fps angesagt sind.

8xSGSSAA single:
http://www.forum-3dcenter.org/vbulletin/attachment.php?attachmentid=41038&stc=1&d=1319873304
avg_fps = 90.4649
avg_fps_felt_delay_norm = 38.5719

Ähnliches Bild wie mit 16xSGSSAA, man sieht aber, dass die hohe Durchschnittsframerate von 90 fps nicht wirklich repräsentativ für den Frameratenverlauf ist. Keine Mikroruckler.

BF3: Operation Guillotine, Aufbruch in die Schlacht

1920x1200 ultra, 4xmsaa+4xsgssaa per nvidiatool, vsync on

Frames, Time (ms), Min, Max, Avg
24745, 413419, 55, 63, 59.855

[...]
Sys[/U]: 980x+480gtx Triple SLI
http://www.forum-3dcenter.org/vbulletin/attachment.php?attachmentid=41039&stc=1&d=1319873568
avg_fps = 59.8560
avg_fps_felt_delay_norm = 59.5719

Man sieht, dass VSync aktiv ist, Mikroruckeln ist deutlich vorhanden, konzentriert sich aber auf ein sehr schmales Band um die 60 fps herum. Daher auch kein großes Penalty bei der gefühlten Framerate.

[ZÜNDELholz]

Man sieht, dass VSync aktiv ist, Mikroruckeln ist deutlich vorhanden, konzentriert sich aber auf ein sehr schmales Band um die 60 fps herum. Daher auch kein großes Penalty bei der gefühlten Framerate.

Und genau deswegen ist das ganze sehr gut spielbar. Ohne Vsync hat man stuttering.

Werde mal in den nächsten Tagen mit Single und 2waySLi framen.

[ZÜNDELholz]

Battlefield vorbei , aaaaber......da im Ungine-Benchmarkthread wieder Diskussionen über Sinn und Unsinn von Multi-GPU entflammten, habe ich mir mal die Mühe gemacht, Fraps-Benchläufe von SingleKarte und Tripple-SLI durchzuführen, speziell im Hardwarekiller Dirt1.
Wenn es die Zeit bei "Spasstiger" zulässt, bitte die Frametime-Analyse public


Game: Dirt1. Patch 1.2
Einstellungen: Alles Ultra, 4xSGSSA, LOD -1,000, 16AF HQ
Map: Goodridge 4WD Rallycross Classic
Benchzeit 60sekunden, ab dem Massenstart

System: 980X@4250MHZ, RampageIII-Extreme, 3x480GTX @ 890MhzGPU/2028MhzVRAM, SSD Ultradrive-SLC 128GB, DDR3Ram@17XX@7-7-7-21



3x480GTX

2560X1600 Vsync on:

Frames, Time (ms), Min, Max, Avg
3592, 60000, 58, 62, 59.867

Frametimes:
http://www.file-upload.net/download-4152412/DiRT-2012-02-27-18-31-33-90-frametimes.csv.html

2560X1600 Vsync off

Frames, Time (ms), Min, Max, Avg
5223, 60000, 68, 95, 87.050

Frametimes:
http://www.file-upload.net/download-4152421/DiRT-2012-02-27-18-40-27-51-frametimes.csv.html

1920x1200 Vsync on

Frames, Time (ms), Min, Max, Avg
3592, 60000, 58, 62, 59.867

Frametimes:
http://www.file-upload.net/download-4152430/DiRT-2012-02-27-18-35-14-33-frametimes.csv.html


1920x1200 Vsync off

Frames, Time (ms), Min, Max, Avg
6999, 60000, 85, 140, 116.650

Frametimes:
http://www.file-upload.net/download-4152437/DiRT-2012-02-27-18-37-36-29-minmaxavg.csv.html



1x480GTX


2560X1600 Vsync off ( "Vsync on" erpare ich mir, falls Interesse, dann kann ich's nachliefern)

Frames, Time (ms), Min, Max, Avg
1477, 60000, 18, 29, 24.617

Frametimes:
http://www.file-upload.net/download-4152446/DiRT-2012-02-27-19-22-22-22-frametimes.csv.html

1920x1200 Vsync on

Frames, Time (ms), Min, Max, Avg
2908, 60000, 43, 59, 48.467

Frametimes:
http://www.file-upload.net/download-4152450/DiRT-2012-02-27-18-46-33-00-frametimes.csv.html

1920x1200 Vsync off

Frames, Time (ms), Min, Max, Avg
2892, 60000, 42, 53, 48.200

Frametimes:
http://www.file-upload.net/download-4152461/DiRT-2012-02-27-18-43-58-94-frametimes.csv.html

1680x1050 Vsync on

Frames, Time (ms), Min, Max, Avg
3492, 60000, 50, 61, 58.200

Frametimes:
http://www.file-upload.net/download-4152472/DiRT-2012-02-27-18-49-24-98-frametimes.csv.html



Ergebnis


SLI ohne Vsync ein No-Go und Einzelkarte verursacht selbst bei 1680x1050 keine Spielfreude.
SLI mit Vsync ist bei 2560x1600 absolut perfekt zu spielen.

MfG

PS: Da sich per PN über das TestGame Dirt1 verlustiert wurde: Erst testen, dann labern!

[Terrorwurm]

Hallo hier die Frametimes von 3dmark 11 Gametest 1 aufgrund der nachfrage von HarryHirsch im 3dmark 11 Fred.

2x GTX 680 SLI
I7 2600k @ 4.5Ghz
16 Gb DDR 3 2000Mhz
1920x1080

Performancetest

http://www.file-upload.net/download-4220078/3DMark11Workload1-2012-03-25-01-08-14-34-frametimes.csv.html

[Spasstiger]

Ich schau mir das gleich an, das Posting von ZÜNDELholz hab ich auch eben erst gesehen.

Game: Dirt1. Patch 1.2
Einstellungen: Alles Ultra, 4xSGSSA, LOD -1,000, 16AF HQ
Map: Goodridge 4WD Rallycross Classic
Benchzeit 60sekunden, ab dem Massenstart

System: 980X@4250MHZ, RampageIII-Extreme, 3x480GTX @ 890MhzGPU/2028MhzVRAM, SSD Ultradrive-SLC 128GB, DDR3Ram@17XX@7-7-7-21



3x480GTX

2560X1600 Vsync on
http://www.abload.de/img/2560x1600_vsync_on89j2u.png
avg_fps =
59.8611
avg_fps_felt_delay_norm =
59.7139

2560X1600 Vsync off
http://www.abload.de/img/2560x1600_vsync_off8jk8m.png
avg_fps =
87.0354
avg_fps_felt_delay_norm =
75.8969

1920x1200 Vsync on
http://www.abload.de/img/1920x1200_vsync_ontmjcq.png
avg_fps =
59.8628
avg_fps_felt_delay_norm =
59.7101

1920x1200 Vsync off
Da hast du leider die minmaxavg.csv statt der frametimes.csv hochgeladen. Eine Auswertung kann nicht erfolgen.

VSync beseitigt zwar die Mikroruckler sehr effektiv, aber die Variante ohne Mikroruckler müsste sich dennoch einen Tick flüssiger angefühlt haben.


1x480GTX


2560X1600 Vsync off
http://www.abload.de/img/2560x1600_vsync_off01jnf.png
avg_fps =
24.6174
avg_fps_felt_delay_norm =
22.4366

1920x1200 Vsync on
http://www.abload.de/img/1920x1200_vsync_onz9jwh.png
avg_fps =
48.4553
avg_fps_felt_delay_norm =
42.4434
Hier schlägt offensichtlich Triple Buffering zu und disharmonisiert die Frametimes.

1920x1200 Vsync off
http://www.abload.de/img/1920x1200_vsync_offz9kpp.png
avg_fps =
48.1972
avg_fps_felt_delay_norm =
47.5970

1680x1050 Vsync on
http://www.abload.de/img/1680x1050_vsync_on5ujzz.png
avg_fps =
58.1837
avg_fps_feeled_delay_norm =
56.7579

In 2560x1600 ohne VSync skaliert 3-way-SLI hervorragend, bei den avg. fps ist es mehr als ein Faktor 3,5, bei den gefühlten fps immer noch ein Faktor 3,4. Die vorhandenen Mikroruckler verderben keineswegs den Spass am 3-way-SLI und mit VSync erreicht man stabile 60 fps, wo mit einer Einzelkarte nur stabile 20 fps drin wären.

2x GTX 680 SLI
I7 2600k @ 4.5Ghz
16 Gb DDR 3 2000Mhz
1920x1080

Performancetest

http://www.abload.de/img/gtx680sli3dmarkr1ksn.png
avg_fps =
95.9678
avg_fps_felt_delay_norm =
90.9917
Mikroruckler sind vorhanden, bringen dank der hohen Frameraten aber ein Penalty auf die gefühlte Framerate von nur rund 5%.