¿Es fácil engañar a un benchmark?

Como muchos sabréis, el viernes aparecía un parche para 3DMark 2003 en el web de FutureMark. Junto con este parche, aparecía también un documento explicando el porqué de su aparición. En dicho documento se explicaba que tanto ATI como NVIDIA usaban ciertos trucos para interceptar los shaders del benchmark para usar unos casi idénticos, pero que permitían mejorar el rendimiento de manera notable.

La verdad es que tras ejecutar el benchmark parcheado en las Radeon 9800 Pro y GeForce FX 5900 de que disponían, el equipo de FutureMark encontró que el rendimiento disminuía en un 1,9 % y un ¡24%! respectivamente. NVIDIA se ha defendido diciendo que al no formar parte del programa de desarrollo del benchmark (FutureMark's BETA Program), no había manera de enseñar a los programadores cómo aprovechar mejor sus GeForce FX (como hacen con los desarrolladores de juegos) y por eso se han visto obligados a interceptar las llamadas a ciertos shaders para usar los mejores para sus chips. Según la compañía americana, los escenarios planteados por FutureMark estaban hechos de tal manera que perjudicaban a sus tarjetas.

ATI también ha reconocido el truco que usan en sus últimos Catalyst, aunque afirma que es un tipo de optimización que se suele emplear en los juegos para que se ejecuten con mayor suavidad. Sin embargo, para evitar suspicacias, eliminarán estos "trucos" en posteriores versiones de los drivers Catalyst (incluso tras la publicación del parche de FutureMark).

Así que ya sabéis: si queréis que las comparativas sean justas con este benchmark, descargad el parche 330 de 3DMark 2003. Pero ya sabéis que no podéis confiar en un único test para evaluar las prestaciones de dos chips gráficos, precisamente para evitar problemas como éste.