HW téma - podvádění v 3D Marku 2003

Třenice mezi tvůrci benchmarkovacího programu 3D Mark 2003 a výrobci grafických čipů nabírají na intenzitě. Jak nVidia podváděla, aby dosáhla o 25% lepších výsledků? A co to znamená do budoucnosti?

Autor: Cappy
Publikováno: 27.května 2003

zdroj: tisková zpráva Zdá se, že časté podvody s ovladači spějí k nečekanému rozuzlení. Třenice mezi Futuremarkem, autorem benchmarkovacího programu 3D Mark 2003 a výrobci grafických čipů nabírají na intenzitě. Mezi oběma stranami létají obvinění a začíná souboj o veřejné mínění. Bude mít ještě 3D Mark šanci zůstat uznávaným benchmarkem? Myslíme si, že nikoliv. Pojďte se s námi vypravit po stopách celé kauzy.

Nečekanou rozbuškou se staly poslední ovladače pro grafické karty nVidia, Detonátory ve verzi 44.03. Redaktoři serveru ExtremeTech si asi jako první všimli, že v průběhu benchmarku přejímá GeForce FX jiné postupy při renderování scény, které však za jistých okolností rezultují v nepěkné artefakty v obraze. Jejích následné pokusy problém osvětlit vyústily ve zjištění, že nVidia podvádí s ovladači. nVidia celou záležitost označila za softwarovou chybu a pokusila se jí, lidově řečeno zamést pod koberec. Ale na celou věc okamžitě zareagoval Futuremark a pokusil se ověřit, jestli je na zjištěních Extremetechu něco pravdy. Nešlo o nic menšího, než rozhodnout, kdo vlastní nejvýkonnější grafickou kartu na trhu. Zda je skutečným králem Radeon 9800PRO od ATi, nebo GeForce FX 5900 Ultra od společnosti nVidia. Alespoň co se týká výkonů v 3D Marku 2003.

• Prohlášení Futuremarku
V oficiálním prohlášení Futuremaku k celému případu se píše přibližně toto:

V případě, když jsme změnili softwarový kód benchmarku triviálním způsobem a bez změny aktuálního zatížení karet při testu, všechny identifikační mechanismy zastavily činnost. S takto pozměněným benchmarkem měl jistý produkt nVidie pokles výkonu až o 24.1 procenta, zatímco výkon jiného srovnatelného produktu zůstal v rozmezí 3-procentní statistické chyby. Jak jsme zjistili, všechny ovladače s tímto detekčním mechanismem byly zveřejněny pouze až po vypuštění 3D Marku 2003. A podle běžně používané terminologie v tomto odvětví je tento typ ovladačů definován jako podvod.

Podnět k šetření přišel od členů BETA programu Futuremarku (jejich seznam je zde). Ti nám oznámili, že části testů v 3D Marku 2003 byly renderovány odlišně na jiném druhu hardwaru. Pokud se potom testoval hardware od nVidie v 3D Marku 2003 se zapnutou volnou kamerou, která je přítomná ve vývojářské verzi 3D Marku, byly některé části scény renderovány odlišně.

My (Futuremark) jsme později tuto skutečnost vyšetřovali a naše zjištění ukázala, že některé ovladače nVidie detekovaly, kdy je spuštěn 3D Mark 2003 a potom nahradily požadavek 3D Marku na renderování scény manuálně implementovanou alternativou k renderovacím operacím. Tato renderovací alternativa zredukovala kartě značnou část zatížení při vykreslování scény a tím tak obdržela zvýšený výsledek testu.

• Vyjádření nVidie
nVidia k celému problému zaujala (byť zatím neoficiální) stanovisko, ve kterém je zhruba toto:

Dokud nVidia není částí BETA programu Futuremarku (programu, který stojí sta tisíce dolarů, pokud do něj chcete být zapojeni), nemáme šanci pracovat s Futuremarkem na napsání shaderů, jako bychom to udělali s normálními vývojáři. Nevíme, co chtěli udělat, ale vypadá to, jako by úmyslně zkoušeli vypracovat scénář, který by ukazoval naše produkty ve špatném světle. To je jasné, pokud si uvědomíte, že naše skutečné výkony ve hrách, jako je Unreal Tournament 2003 a DOOM 3 jsou zcela odlišné. V nich se ukazuje, že GeForce FX 5900 Ultra je s velkým odstupem nejrychlejší grafickou kartou na dnešním trhu.

• Jak se přesně podvádí?
Podváděla nVidia úmyslně, nebo jde skutečně jenom o chybu? Futuremark publikoval kompletní rozbor (PDF) cheatovacích prvků, které našel v ovladačích. A jak uvidíte z následujícího výpisu, nešlo jenom o nějaký jednoduchý pokus. nVidia v cheatování s ovladači skutečně zkusila, co se dalo a nacheatovala celý 3D Mark 2003.

- nahrávací obrazovka 3DMarku 2003 byla detekována ovladačem
- program běžící ve vertex shaderu v testu číslo 2 (P_Pointsprite.vsh) byl detekován ovladačem
- program běžící ve vertex shaderu v testu číslo 4 (M_HDRsky.vsh) byl detekován ovladačem.
- pixel shader v testu číslo 4 (M_Water.psh) byl detekován ovladačem
- pixel shader v testu číslo 4 (m_HDRSky.psh) byl detekován ovladačem
- vertex shader v testu číslo 1 (G_MetalCubeLit.vsh) byl detekován ovladačem
- vertex shader v testu číslo 3 (G_PaintBaked.vsh) byl detekován ovladačem
- vertex a pixel shadery použité ve "feature" testu byly také detekovány ovladačem

Testovací systém s nVidia GeForce FX 5900 Ultra s ovladači Detonátor 44.03 dosáhl v 3D Marku 2003 (build 320) skóre 5806 bodů. Ta samá karta testovaná se stejnými ovladači v nové verzi 3D Marku 2003 s posledním patchem 330, který však ovladače nemohly identifikovat, dosáhla výsledného skóre pouze 4679 bodů, což je o zmíněných 24.1 procenta méně. K podobnému rozdílu dospěli i kolegové ze serveru HotHardware:

zdroj: tisková zpráva

zdroj: tisková zpráva
Celý problém se ale netýká jenom nVidie. V 3D Marku zjevně podváděla i ATi a to naprosto stejným způsobem. Futuremark zatím provádí vyšetřování, ale faktem je, že i ovladače ATi detekovaly spuštění 3D Marku a i její ovladače nahrazovaly pro ní nevýhodné příkazy k renderování svými vlastními, uměle za tímto účelem vytvořenými. Výsledné skóre v novém 3D Marku (build 330) se tak při testu Radeonu 9800 PRO, v kombinaci s ovladači Catalyst verze 3.4 snížilo o 1.9 procenta. A toto snížení měl za následek pokles výkonu o 8.2 procenta v testu číslo 4.

• Co bude následovat?
Z pohledu hráčů a také z pohledu recenzenta hardware je to velice nepříjemná situace. Asi jeden z nejčernějších scénářů budoucího vývoje je následovný a musím konstatovat, že (bohužel) vzhledem k jistým indiciím i poměrně pravděpodobný.

zdroj: tisková zpráva Víme, že grafické karty se pravidelně testují v těch nejoblíbenějších hrách a také v určitém okruhu benchmarků, které jsou jaksi "zaručené". To znamená, že v mnoha recenzích na celém internetu (a pochopitelně nejen na internetu) se při testech opakují dokolečka jedny a ty samé testovací aplikace. Pokud firmám, jako je nVidia a ATi bude záležet na image, jakou má jejich hardware před veřejností a to pochopitelně vždy bude, je bláhové domnívat se, že se nebudou neustále pokoušet podvádět. Při malém procentu nešikovně provedených a odhalených podfuků tím v podstatě ani nic neriskují.

Výkon hardwaru byl vždy definován jen jako účinná schopnost pracovat s určitým softwarem a ohraničená časem. Mezi tím, co se nazývá optimalizací a tím, co už je možné považovat za podfuk, je (a vždy byla) tenká hranice. To ale také znamená, že každá nová verze ovladačů pro grafické karty může obsahovat část kódu přímo připraveného na nějaký typ benchmarku, který je zrovna populární, nebo všeobecně hojně používaný. A je poměrně lhostejné, jestli by to měl být test syntetický nebo test reálný, z nějaké hry. Optimalizovat ovladače je možné zdánlivě na vše. Od Unreal Tournament 2003 až po ten nejposlednější syntetický benchmark, který dá dohromady nějaký studentík, nebo nadšenec doma na koleně.

• Chmurná budoucnost
zdroj: tisková zpráva Zásadní otázka tedy je, čemu věřit? Když budeme až přehnaně podezíraví, jednoho dne nebudou benchmarky vůbec opodstatněné. A placená WHQL ceritfikace už asi nikoho jen tak nepřesvědčí. Sama o sobě určitě ne - a tím spíš ne, že je placená. Recenzenti hardware se tak nejspíše budou po nocích "bavit" vyměňováním grafů benchmarků ve svých recenzích za nové, o kterých si budou myslet, že nejsou zmanipulované.

Dědictví po 3Dfx tedy stále žije s námi a kult králů framerate (info) nabírá nových a obludných rozměrů. Na firmách vyvíjejících a vyrábějících grafické čipy je cítit únava a vyčerpání z rok a půl trvajících vzájemných soubojů. A zejména pak na lidech od nVidie je to hodně znát. Zatímco dříve nad nějakou spekulací, která se objevila na zapadlém internetovém serveru jen mávli rukou a s úsměvem na rtu prohlašovali, že nemají potřebu vyjadřovat se ke každé fámě, která se mihne internetem, dnes komentují v podstatě cokoliv a vyjadřují se s prominutím ke každé pitomosti. Ale ani ATi na tom není o poznání líp. Firma utratila stamilióny dolarů, aby se dostala se svým hardwarem na vrchol a výsledek? Na vrcholu sice je, ale vavříny sbírá někdo jiný a horní příčky žebříčků prodejnosti stále okupuje nVidia.

• Podvodný hardware
zdroj: tisková zpráva Je nasnadě, že další metou už nebudou jenom ovladače, software a jiné "primitivní způsoby" optimalizací. Vše se asi přenese na vlastní úroveň hardwaru a na optimalizace přímo v čipu. Tím se stane ale přesný opak toho, co pro tento průmysl bylo vždy přínosné. Místo toho, aby vývojáři her využívali možnosti hardwaru, hardware bude využívat možnosti her. A kolik herně-vývojářských společností bude mít šanci hovořit do toho, jakým způsobem mají být budoucí grafické čipy navržené? Já vím jenom o jediné - a možná tak o dvou nebo třech dalších kandidátech na toto privilegium. To je však žalostně málo.

Za takovou první černou vlaštovku můžeme považovat prohlášení nVidie v souvislosti s uvedením GeForce FX 5900 Ultra, ve kterém stálo, že tato karta, speciálně pak technologie "shadow culling" (info), byla speciálně navržena proto, aby na ní dobře běžel DOOM 3. Kdybychom předpokládali, že tomu tak skutečně je a že nejde jenom o reklamní trik, museli bychom se pak smát prohlášením, že právě ve hře DOOM 3 GeForce FX 5900 Ultra předhoní konkurenční Radeon 9800 PRO. Bylo by to totiž stejné, jako by se Microsoft vychloubal tím, že X-Box dokáže akcelerovat Halo rychleji než Playstation 2.

Zdroje: FutureMark, HotHardware, News.com.com, X-bitLabs a další

Cappy
autorovi je 26 let, momentálně pobývá v zahraničí a specializuje se na hardware, dříve se podílel na vývoji několika počítačových her (všechny články autora)