MediaTek işlemci yakalandı ve çalıştırıldı ve "hile" puanı aldı: P95 performansı Dimensity 1000L'den daha mı yüksek?
Cep telefonu performans ölçütlerinde hile yapmanın, tüm sektöre (en azından akıllı telefon endüstrisi çağında) uzanan uzun bir geçmişi vardır ve uzun yıllardır tartışmalı bir rapor konusu olmuştur.
Birkaç yıl önce, bir zamanlar güvenilir olduğu düşünülen kıyaslama yazılımı aniden bir güven krizi patlak verdi. Bunun nedeni, bazı akıllı telefon üreticilerinin kıyaslama aracını tespit ettiklerinde hile yapması ve bu da gerçek deneyimin tüketicilerin beklentilerini karşılayamamasına neden olmasıdır. Örneğin, Samsung, Huawei ve diğer cep telefonları, puanlarda hile yapıldığından şüpheleniliyor.
Örnek olarak Samsung'u ele alalım. 2014'te testçiler, Samsung'un kaynak kodu ekleyerek karşılaştırma testlerinde hile yaptığını keşfetti. Kod, kıyaslama uygulamasının cep telefonunda çalışıp çalışmadığını tespit edebiliyor. Bulunduğunda daha hızlı olacak (532MHz, normal koşullar). 480MHz) cep telefonunu çalıştırmak için. Sonuç olarak Samsung, 4 yıl süren toplu dava davasına konu oldu. 30 Eylül 2019'da Samsung davayı kaybetti, kıyaslama testinde hile yaptığını kabul etti ve Galaxy S4'ün alıcısına toplam 13,4 milyon dolara kadar tazminat olarak 10 dolar ödemeyi kabul etti.
Bugün de benzer şeyler devam ediyor ve MediaTek çiplerinde de şüpheli hile davranışları keşfedildi.
MediaTek Helio P95, Dimensity 1000L'den daha mı iyi?
Konunun başlangıcı OPPO Reno3 ile başlamalıdır.
Yabancı medya Anandtech, P95CPU ile donatılmış OPPO Reno3 Pro'nun Avrupa versiyonunun, daha güçlü performansa sahip en yeni Dimensity 1000L CPU ile donatılmış Reno3'ün ulusal versiyonundan daha yüksek çalışma puanlarına sahip olduğunu buldu ve bu, Anandtech'in şüphelerine neden oldu.
Sonuç olarak, Anandtech, MediaTek P95 CPU üzerinde puanları çalıştırmak için anonim sürümü (hile puanlamaya yardımcı olabilir) ve PCMark'ın normal sürümünü kullandı.
Sonuç, P95 CPU'nun gerçek toplam puanının anonim versiyondan% 30 daha düşük olduğunu gösteriyor; doğal olarak ve maalesef ilk düşüncem, hile yapan bir şey olması gerektiğidir. Bir UL arkadaşıyla iletişime geçtik ve PCMark'ın anonim bir versiyonunu almayı ümit ettik - oradaki ekip sektörde hile yapılmasını önlemede büyük bir rol oynuyordu. Şaşırtıcı olmayan bir şekilde, iki versiyonun karşılaştırma puanları gerçekten farklıdır - ancak puanların sapması beni hala şaşırtmaktadır: toplam puan% 30 farklıdır ve önemli alt testte, yazma yükü açısından iki Oyuncuların puanlarındaki fark% 75'e bile ulaşıyor.
Peki algılanan hile çip üreticisi veya cep telefonu üreticisi tarafından mı kaynaklanıyor?
Anandtech ayrıca Reno3 Pro'nun Snapdragon 765G versiyonunu da test etti. Bu mekanizma Oppo'dan kaynaklanıyorsa bu cihaz kesinlikle PCMark'ta tespit edilecek ve hile yapılacaktır. Ama aslında durum böyle değil: Bu cihazın kıyaslama testindeki performansı diğer uygulamalar kadar iyi görünüyor.
Bu tür karşılaştırma sonuçları, OPPO Reno3 Pro'nun neden olduğu çalışma noktalarındaki fark olmadığını göstermektedir. Başka bir deyişle, çalışma noktalarındaki farkın kaynağı MediaTek yongalarında yatmaktadır.
MediaTek'in Reno3 versiyonunu daha derinlemesine incelersek, tüm hile mekanizmasının birkaç yıldır var olduğu görülüyor:
Reno3 Pro- "Spor Modu" Benchmark Beyaz Listesi
Bu sonucu kanıtlamak için Anandtech, Reno3 tarafından taşınan MediaTek yongası üzerinde daha fazla araştırma yaptı. Telefonun üretici yazılımının (/ vendor / etc klasörü) bir "power_whitelist_cfg.xml" dosyası içerdiği ortaya çıktı.
Bu dosyada GeekBench, AnTuTu, 3dbench, PCMark, Master Lu, AndroBench2 vb. Dahil olmak üzere çeşitli kriterlerin bir listesi vardır. Sadece bu değil, Master Lu AIBench ve ZTH AI dahil olmak üzere listeye yapay zeka kriterleri eklendi.
Reno3 Pro - Herkese Açık Olmayan Karşılaştırmalı Hedefleme
Bunlar arasında Anandtech, PCMark'ın APK ID'sini buldu ve ID'de bazı güç yönetimi istemlerinin yapılandırıldığını ve yaygın komut istemlerinden birinin "spor modu" olduğunu buldu.
Bu mod, bellek denetleyicisinin her zaman maksimum frekansta çalıştırılması gibi, SoC yongalarının bazı DVFS (Dinamik Voltaj Frekans Ayarı) özelliklerini değiştirebilir. Ek olarak, yük izleme açısından, zamanlayıcı ayarları da değiştirildi ve CPU çekirdeğinin frekansı iş yükleri sırasında daha hızlı artabilir ve daha uzun süre kalabilir.
Sadece bu değil, APK ID'si GFXBench'in kurumsal sürümünü de içerir.Listede "spor modu" istemi olmamasına rağmen, uygulamayı kullanırken varsayılan DVFS, ısı ve zamanlayıcı ayarlarına değiştirilecektir.
Reno 3'te Spor Modu (Dimensity 1000L)
Reno 3 Pro'da Spor Modu (P95)
Peki bu "egzersiz modu" tam olarak ne yapıyor? Her şeyden önce, bellek denetleyicisini her zaman en yüksek frekansta çalıştırmak gibi, SoC'nin bazı DVFS özelliklerini düzeltiyor gibi görünüyor. Ek olarak, programlayıcının ayarları da yük takibini daha agresif hale getirir - bu, iş yükünün CPU çekirdeğinin frekansını daha hızlı artırmasının ve gelişmiş bir mekanizma elde etmek için daha uzun süre orada kalmasının daha kolay olduğu anlamına gelir.
_FPS_ girişinin bunu yaptığından emin değiliz, ancak açık adı göz önüne alındığında, karşılaştırma verilerini iyileştirmek için birkaç şeyi değiştiriyorlar. Buradaki en garip şey, F2FS cihazındaki dosya sistemi hızını iyileştirme girişidir; bu, AndroBench gibi kıyaslama testlerinin de hedeflenmesinin nedeni olabilir.
"Power_whitelist_cfg.xml" dosyasının yalnızca OPPO cihazlarında bulunmadığını, Anandtech'in de benzer dosyaları ve diğer cihazlarda (MediaTek yongaları bulunan cihazlar) neredeyse aynı kıyaslama listesi girişlerini bulduğunu belirtmek gerekir. Tabloda gösterildiği gibi:
Buradaki şok edici şey, kullandığı ekipmanın çeşitliliğidir. Buradaki en eski cihazlar 2016 Sony XA1 ve P20'dir.
Oppo Reno3 Pro (P95) -Yeni aygıt yazılımı ve ilk aygıt yazılımının karşılaştırılması
Daha şüpheli bir şekilde, bu listelerin gizlenmiş gibi göründüğünü öğrendiğimiz için şanslıydık. Dosyaları Reno3 Pro'nun kullanıma hazır ilk ürün yazılımından çıkardım. Geçtiğimiz birkaç hafta içinde OPPO, cihaz yazılımı güncellemelerini telefona aktardı ve dosyadaki bazı içerikleri tekrar kontrol ettiğimde, kıyaslama girişinin kaybolduğunu görünce şaşırdım.
Bu mekanizma devre dışı mı? Bu öğelerin şu anda nereye taşındığını bilmiyoruz, ancak bu telefon hala kıyaslama testinde spor modunu büyük ölçüde tetikliyor.
MediaTek yanıt verdi
MediaTek, Anandtech'in sorduğu sorulara da olumlu yanıt verdi. Aşağıdaki yanıt beyanıdır:
MediaTek, tanınmış endüstri standartlarını takip eder ve kıyaslama testinin yonga setimizin yeteneklerini doğru bir şekilde temsil ettiğinden emindir. Yonga setlerimiz tarafından yönlendirilen cihazları test ederken ve karşılaştırırken, küresel cihaz üreticileriyle yakın çalışıyoruz, ancak sonunda marka sahipleri uygun gördükleri cihazları esnek bir şekilde yapılandırabilirler. Birçok şirket, yonga setinin tüm yeteneklerini göstermek için ekipmanlarını karşılaştırma testleri sırasında maksimum performansta çalışacak şekilde tasarlar. Bu, herhangi bir yonga setinin performans kapasitesinin en üst düzeyini ortaya çıkarır.
Tabii ki gerçek dünyada yonga setinin performansını belirleyecek birçok faktör var. MediaTekin yonga setleri, pil ömrünü en üst düzeye çıkarırken en iyi kullanıcı deneyimini sağlamak için güç tüketimini ve performansı optimize etmek üzere tasarlanmıştır. Birisi zorlu oyunlar gibi hesaplama açısından yoğun programlar çalıştırıyorsa, yonga seti sürekli performans sağlamak için hesaplama moduna akıllıca uyum sağlayacaktır.
Bu, yonga seti mükemmel bir kullanıcı deneyimi için gereken işlevlere ve performansa dayalı olarak CPU, GPU ve bellek kaynaklarını dinamik olarak yönetirken, kullanıcıların farklı uygulamalardan farklı performans seviyeleri göreceği anlamına gelir. Ayrıca, bazı markaların farklı bölgelerde farklı model türleri vardır, bu nedenle cihaz performansı bölgesel pazar talebine bağlı olarak değişebilir.
Yonga setinin tüm özelliklerini kıyaslama testinde göstermenin diğer şirketlerin uygulamaları ile tutarlı olduğuna ve tüketicilere cihazın performansı hakkında doğru bilgi sağlayabileceğine inanıyoruz.
MediaTek, yayınlanan Benchmark puanının yonga seti cihazı çalıştırdığında en yüksek puanı temsil ettiğine ve yonga seti performansının en yüksek noktasını temsil ettiğine, dolayısıyla herhangi bir sahtekarlık olmadığına inanıyor. MediaTek aynı zamanda bu yaklaşımın diğer firmaların uygulamaları ile tutarlı olduğuna, yani sektördeki üreticilerin bunu yaptığına dikkat çekti.
Ancak bu yanıt Anandtech tarafından çürütüldü. Anandtech, MediaTek'in sorunun doğasına yanıt vermediğine inanıyor. . .
Daha fazla yanıt içeriği için orijinal metni görüntüleyebilirsiniz:
https://www.anandtech.com/show/15703/mobile-benchmark-cheating-mediatek
