Autor Thema: Starke Verzerrung im Performance-Index wegen May Payne 3 Fps bei älteren Grafikk  (Gelesen 8971 mal)

0 Mitglieder und 1 Gast betrachten dieses Thema.

WMK

  • Gast
Guten Tag,

bei älteren Grafikkarten wie z.B. der AMD HD6870 steht bei "Max Payne 3" bei der Einstellung 1920 x 1080 [4xAA/16xAF] nur 1 Fps. Dies führt dazu das dort beispielsweise eine R9 280x 6360% und eine R9 290x 8800% schneller ist. Dieser extreme Ausreißer führt zu einer starken Verzerrung innerhalb der Vergleichstabellen bezogen auf ältere Grafikkarten (selbst beim verwendeten geometrischen Mittel).

Durch Ausklammern dieses einen Benchmark-Ergebnisses komme ich beispielsweise bei der R9 280x auf nur 115% Vorsprung zur HD6870 statt der angegeben 143% im 1920x1080 Performance-Index (Geometrisches Mittel wurde verwendet).

Diese Gegebenheit dürfte einige Leser zu falschen Erkenntnissen führen und sollte deshalb behoben werden. Ich finde das insbesondere deshalb schade, da ich die Tests vom HT4U ansonsten als sehr gut empfinde.

WMK

  • Gast
Nochmal um das Problem klarer zu machen:

Ich sprach im vorherigen Post von der HD6870 mit 1024 MByte GDDR5.

Normalerweise, wenn eine Grafikkarte eine Einstellung bei einem Spiel nicht schafft, wird dieser Eintrag nicht in die Berechnung einbezogen.
Zu sehen ist das beispielsweise bei Crysis 3 mit der Einstellung 1920 x 1080 [4xAA/16xAF]. Hier steht bei Grafikkarten wie der HD6870 1GB oder der 7850 1GB ein "-" anstelle einer Fps-Angabe.

Bei der Einstellung 1920 x 1080 [4xAA/16xAF] im Spiel Max Payne 3 wird dies aber unlogischer Weise anders gehandhabt. Hier werden die Grafikkarten die diese Einstellung nicht schaffen plötzlich mit einem Bild pro Sekunde gewertet. Dies hat zur Folge das dieser Benchmark zu Unrecht in den Vergleich mit eingeht und das gesamte Ergebnis verfälscht (siehe **).

So scheint im 1920x1080 Performance-Index eine 7850 2GB im Vergleich zu einer 7850 1GB einen unrealistischen Performanz-Vorteil von 18% zu haben. In Wirklichkeit sind es aber nur 3% Unterschied (siehe "3D-Performance 1920 x 1080" http://ht4u.net/reviews/2013/amd_radeon_r9_290x_hawaii_review/index46.php ).

Dieser Fehler betrifft alle Vergleiche mit Grafikkarten die 1024Mbyte (1GB) Speicher oder weniger aufweisen. All diese Grafikkarten sind deshalb auch im 1920x1080 Performance-Index mit falschen Werten repräsentiert.

Zu beheben ist dieser Fehler recht einfach: Löschen der 1 Fps Einträge bei den Benchmarks zu Max Payne 3 um es mit allen anderen Benchmarks konsistent zu machen.

Ich hoffe dies macht das Problem deutlich und führt zu einem schnellen Beheben.


** URL zum Vergleich der 7850 2GB mit einer 7850 1GB:
http://ht4u.net/reviews/2013/amd_radeon_r9_290x_hawaii_review/index48.php?dummy=&advancedFilter=false&prod%5B%5D=AMD+Radeon+HD+7850+%5B1024+MByte+GDDR5%5D&prod%5B%5D=AMD+Radeon+HD+7850+%5B2048+MByte+GDDR5%5D&filter%5B0%5D%5B%5D=1920&filter%5B2%5D%5B%5D=1&filter%5B2%5D%5B%5D=2&filter%5B2%5D%5B%5D=2+x+2+SSAA&filter%5B2%5D%5B%5D=2x2+SSAA&filter%5B2%5D%5B%5D=4&filter%5B2%5D%5B%5D=8&filter%5B2%5D%5B%5D=SSAA&filter%5B3%5D%5B%5D=16&aa=all

Offline Peter

  • HT4U.net Redakteur
  • HT4U.net-Methusalem
  • *****
  • Beiträge: 16235
  • Geschlecht: Männlich
    • Profil anzeigen
    • Hard Tecs 4U
Ohne die Resultate jetzt geprüft zu haben und damit Stellung zu den genommenen Zahlen zu nehmen: JA! Du hast absolut recht. Wir haben seit  (ich schätze jetzt mal 12 bis 18) Monaten Probleme mit den neuen Titeln, welche plötzlich von größerem Hauptspeicher massiv profitieren. Die Karten mit 1 GB Speicher schaffen die Auflösung nicht und wurden typischerweise damit herausgelassen. Das Resultat war aber, dass der Index zwar ein korrektes Bild zeichnet, aber der Index-Betrachter sich nicht darüber im klaren ist, dass 2 GB mehr Speicher dann doch seine Vorteile haben kann. Das war dann wiederum ein Entschluss vor ein paar Monaten, diese Karten mit einer 1 im Index zu tragen und genau das verfälscht den Index.

Da sind wir an einem Punkt angelangt, in welchem Indizes schlicht als scheiße empfunden werden müssen. Wollen wollten wir sie nicht, gemacht haben wir sie auf Grund des Drucks von Außen doch und im Ergebnis eiern wir herum. Deine Sicht der Dinge ist unsere Sicht der Dinge und unsere Sicht der Dinge ist sicher auch nicht verkehrt - der Index dann aber schon.

Ne Idee wie man das Problem abstellen kann? Es werden mehr Spiele, welche den Speicher fressen werden. Es wird zunehmend schwierig das darzustellen und wenn wir einfach eine "0" eintragen, dann wird die Karte im Index überbewertet auf diesen Bereichen.
Gruß

Peter

WMK

  • Gast
Ich sehe da eine einfache Möglichkeit:
Die Information das einige Spiele nicht spielbar sind sollte separat als eigenständiger Wert oder Hinweis aufgeführt werden. Dies kann man beliebig auffällig machen .

Man könnte die betreffenden Einträge z.B. mit ** vermerken und die Werte selbst in Klammern setzen oder ausgrauen (oder sonst wie kennzeichnen):

AMD Radeon R9 270X    =========================165%
[...]
(AMD Radeon HD 5870)** [1024 MByte GDDR5] ==== 112%
(HD 6870)** [1024 MB]  ======================= 100% .

** Bei Spielen mit <= 1024 MByte Grafikspeicher sind folgende Spiele nicht spielbar: May Payne 3, ... , ...


Die Performanz-Werte selbst sollten aber auf jeden Fall wie von mir beschrieben berechnet werden. Dafür sehe ich folgenden Grund:
Leser die bei alten Grafikkarten schauen wollen üblicherweise wissen wie viel schneller eine neue Grafikkarte ist. Dabei sollte ein relativer Wert von 200% eine Verdopplung ausdrücken und eben nicht das mehr Spiele laufen welche sonst nicht laufen würden. So etwas ist eine (sinnvolle) Zusatzinformation und sollte deshalb separat aufgeführt werden.

Anders ausgedrückt: Ein Performance-Index sollte mir helfen Ergebnisse zu interpolieren. Wenn ich derzeit 15 Fps in einem Spiel habe und meine Grafikkarte 100% im Index anzeigt, dann sollte mir ein Wert von 200% bei einer anderen Grafikkarte sagen, dass ich mit dieser mein Spiel mit ca. 30 Fps, also dem doppelten an Fps, spielen werden kann.

Im (hoffentlich niemals auftretendem) Extremfall könnte es sonst sogar in Zukunft sein, dass ich trotz vermeintlicher 200% Performanz, weniger(!)  also beispielsweise nur 33% der Fps pro Spiel bekomme, dafür aber nun Spiele spielen kann die vorher nicht gegangen wären. Dies wäre bei der derzeitigen Berechnungsmethode und mehr Spielen die viel Speicher benötigen durchaus möglich!

Dies ist sicherlich nicht im Interesse der Leser. Da lese ich dann lieber einen Wert von 33%  und einen Hinweis das ich mit der neuen Grafikkarte mehr Spiele zum Starten bekommen könnte.

Offline Leander

  • HT4U.net Redakteur
  • 64-Bit-Prozessor
  • *****
  • Beiträge: 4664
  • Geschlecht: Männlich
    • Profil anzeigen
Genauso kann man umgekehrt argumentieren, dass das Ausklammern des Speicherengpasses die Performance der Karten mit wenig VRAM verschönert. Man suggeriert in diesem Fall, dass eine Karte mit wenig VRAM, die gleiche Performance liefern würde, wie eine Karte mit größerem VRAM.

Eine andere Frage ist, wo zieht man bei deiner Betrachtung denn die Grenze? Bei Max Payne 3 ist es einfach, aber was ist zum Beispiel wenn eine Karte von 150 fps auf 20 fps abfällt, weil der VRAM ausgeht? Muss man diese Ergebnisse dann auch streichen? Das entspräche schließlich auch einem überdurchschnittlichem Plus von 750%.

Irgendeinen Tod muss man sterben mit so einem Performance-Index. Ich persönlich betrachte den VRAM als Bestandteil des Performance-Gesamtpaketes, genauso wie den Speichertakt, oder den GPU-Takt. Von daher sollter er IMHO auch in seiner vollen Härte in den Perf-Index einfließen. Möchte man die Ergebnisse ausklammern, wo Speicherengpässe auftreten, muss man sich eben die kleineren Auflösungen ansehen.

Und am Ende gibt es ja immer noch die Einzelresultate zum nachschlagen.
There are only 10 types of people in the world: Those who understand binary, and those who don't.
--
The World Wide Web is the only thing I know of whose shortened form takes three times longer to say than what it's short for. – Douglas Adams
--
Ihr werdet es sehen! Direct3D 10 wird exklusiv für Windows Vista bleiben

WMK

  • Gast
Für mich ist HT4U vor allem wegen der Möglichkeit etwas besonders, alte Karten bei gleichen Treibern und damit realistisch zu vergleichen . Die derzeitige Berechnung konterkariert dies aber. Ich selbst besitze derzeit eine HD6870 1GB. Ich hätte durch die verzerrte Darstellung beinahe eine für mich falsche Kaufentscheidung getroffen.

Im aktuellen Fall stört mich vor allem die Inkonsistenz der Berechnung:
  • Alan Wake @ 1920 x 1080 [8xAA/16xAF]
  • Max Payne 3 1920 x 1080 [8xAA/16xAF]
  • Crysis 3 @ 1920 x 1080[4xAA/16xAF]
  • Far Cry 3 @ 1920 x 1080 [8xAA/16xAF]
  • Hitman: Absolution @ 1920 x 1080 [8xAA/16xAF]
  • Sleeping Dogs @ 1920 x 1080 [2x2 SSAA/16xAF]
  • Serious Sam 3 - BFE @ 1920 x 1080 [8xAA/16xAF]
  • TES V - Skyrim @ 1920 x 1080 [8xAA/16xAF]
  • Dirt: Showdown @ 1920 x 1080 [8xAA/16xAF]
  • Tomb Raider (2013) @ 1920 x 1080 [2 x 2 SSAA/16xAF]
werden bei den 1GB Karten aktuell nicht mit eingerechnet.
  • Max Payne 3 @ 1920 x 1080 [4xAA/16xAF]
aber unlogischer Weise mit einem Fps! So eine willkürliche Ausnahme ist absolut Sinnfrei und unwissenschaftlich.
Ich hab mit die Mühe mal gemacht und alle  "-" durch "1"  ersetzt und dann das geometrische Mittel über alle Benchmarks berechnet: Die 7850 2GB wäre dann 187% schneller (also 2,87 mal so schnell) als die 7850 1GB ist. Soll das dann wirklich repräsentativer sein?


Die Grenze ist klar: Startet ein Spiel gar nicht erst sollte es ausgeklammert werden. Produziert es Frameraten sollte es einbezogen werden.  Der Vergleich der 7850 2GB mit einer 7850 1GB zeigt beispielsweise bei Assassin's Creed III mit der Einstellung 1920 x 1080 [4xAA/16xAF] 70,7% unterschied (20,9 Fps vs 35,6 Fps). Das ist für mich klar, dass so etwas mit eingerechnet werden sollte.  Im optimalen Fall ist die Auswahl der Spiele und der Einstellungen natürlich repräsentativ für den Markt. Ich würde aber sagen, dass ihr das derzeit gut hinbekommt.

Wie bereits vorgeschlagen könnte man die Grafikkarten die nicht alle Modi schaffen kennzeichnen. Eventuell auch sowas wie "schafft 25 von 36 getesteten Modi", vielleicht als Prozentzahl.  Für die Details können die Leser ja wie von Leander vorgeschlagen in den Einzelergebnissen nachschauen. Das gibt den Lesern ein klareres Bild und lässt sie selbst entscheiden was ihnen wichtiger ist.

Offline Peter

  • HT4U.net Redakteur
  • HT4U.net-Methusalem
  • *****
  • Beiträge: 16235
  • Geschlecht: Männlich
    • Profil anzeigen
    • Hard Tecs 4U
So, wir haben uns das jetzt im überarbeiteten Benchmark-Parcours zu Herzen genommen und die Resultate, bei welchen beispielsweise die 1 GB-Karten nicht durchgegangen sind, weggelassen. So wird der Index natürlich deutlich weniger beeinflusst.
http://ht4u.net/reviews/2014/nvidia_geforce_gtx_750_ti_im_test/index40.php

Eine Möglichkeit über unsere Diagramm-Generatoren dort allerdings Vermerke zu hinterlassen, welche Modelle unter welchen Benchmarks nicht zu betreiben waren, fehlt uns leider. Von daher müssen wir auf die Mündigkeit des einzelnen Lesers vertrauen, welcher beim Durchsehen der Einzelresultate feststellt, dass beispielsweise bei Max Payne 3 eine 1-GB-Karte (je nach Auflösung) ohne Resultat geführt wird.
Gruß

Peter

 

Bei der Schnellantwort können Sie Bulletin Board Code und Smileys wie im normalen Beitrag benutzen.

Achtung: In diesem Thema wurde seit 120 Tagen nichts mehr geschrieben.
Sollten Sie Ihrer Antwort nicht sicher sein, starten Sie ein neues Thema.

Name: E-Mail:
Verifizierung:
Geben Sie die Buchstaben aus dem Bild ein
Buchstaben anhören / Neues Bild laden
Geben Sie die Buchstaben aus dem Bild ein:
Was 20+1 ist, dass weiß ein jeder Bot. Was wir wirklich wollen: Buchstabiere die Zahl, die im Namen unseres Online-Magazins enthalten ist.: