更准 更透明!DXOMARK史上最大规模更新揭秘:特定"优化"不管用了
  • 上方文Q
  • 2022年09月26日 13:37
  • 0

说到显卡性能测试,都会想到3DMark;说到电脑性能测试,都会想到PCMark;说到手机拍照测试,自然都会想到DXOMARK。

各种各样的Mark软件,为我们认识、衡量产品的性能提供了非常直观的参考,但因为种种原因,也经常引发各种争议,尤其是中立性、客观性。

这其实也是不可避免的。在测试段,使用的设备、方法都是人来定义的;在产品端,体验如何也都是人来感知的。

毕竟,人,必然有着主观性。一千个观众,就有一千个哈姆雷特。

DXOMARK是评测相机起步的,之后逐渐成为手机评测的代名词,又陆续拓展到了音频、屏幕、电池以及其他消费电子领域,而在不断发展的同时,DXOMARK也在思考,如何为大家带来更精准、更客观、更结合新技术、更符合实际体验的测试。

近日,DXOMARK就对智能手机测试基准、评分系统进行了史上最大规模的更新,工程师团队历时一年多,使得手机影像、自拍、屏幕、音频、电池等评测项目都焕然一新。

同时,DXOMARK还首次公开了评分标准。

更准 更透明!DXOMARK史上最大规模更新揭秘:大量内幕首次公开

DXOMARK指出,全新的测试基准,致力于距离用户更近一步,基于真实用例进行测试,囊括评测设备在不同场景、不同环境的日常使用情况,同时坚持紧紧跟随技术发展,考察设备的最新科技。

除了更新基准测试,DXOMARK本次还做了以下三个方面的工作:

一是更透明。

所有评分公式和分数结构,都可以在DXOMARK官方网站“如何测试”的相应部分中查阅。

二是提高分数的可读。

本次重新格式化了分数尺度,数值在所有测试基准中都代表相似的表现,更容易进行比较。

比如同样是80分,以往在摄像头测试中是个很普通的成绩,但在音频、屏幕测试中相对较高,而以后都会反应同样的高低水平。

三是在所有基准中使用几何平均分规则。

对于在一个测试中表现出色、另一个测试中表现糟糕导致不均衡的设备,这可以大大提高评分的一致性。

更准 更透明!DXOMARK史上最大规模更新揭秘:大量内幕首次公开

一、影像基准测试

DXOMARK影像基准测试经过更新后,已经来到了第五版,主要变化有以下几个方面:

一是增加与用户需求密切相关场景的测试,包括人像、低光拍摄、室内、户外等;

二是进一步改进测试方法,包括扩展变焦评分、增加照片和视频变焦测试的焦距范围、丰富变焦测试场景等,比如5勒克斯极低光下变焦、微距功能加分(不支持不扣分)、文件扫描场景、

三是新增实验室设置,能在实验室中重现真实生活场景,并测试人像、运动物体的HDR模式;

四是新增AI驱动指标,能在真实场景、物体上执行照片和视频的噪点和纹理AI指标,比如对人脸细节增加新的AI测量。

五是使用国际焦点小组(focus group),以更好地反应用户偏好,并评估摄像头的暗光性能。

更准 更透明!DXOMARK史上最大规模更新揭秘:大量内幕首次公开

总的来说,DXOMARK第五版基准标准不会让已有的排行榜完全重新洗牌,原来靠前的仍然会有好成绩,但会出现一些局部变化。

如上新的TOP10机型,荣耀Magic4至臻版、华为P50 Pro仍然位居前两名。

苹果iPhone 13 Pro Max、iPhone 13 Pro升到第三和第四,原本在此的华为Mate 40 Pro+、小米12S Ultra分别滑落到第六和第七,后者甚至比小米11 Ultra还要低(有点小尴尬)。

另外,第九和第十的Google Pixel 6 Pro、三星Galaxy S22 Ultra骁龙版互换了一下位置。

对于iPhone 13 Pro Max为何排名大涨,DXOMARK也做了详细解释,主要一是微距细节相当丰富,伪像很少,人像拍照可以很好地捕捉运动场景、控制低对比度,而且在所有光照条件下都能呈现良好的肤色,只是暗光表现略差一些。

DXOMARK透露,已经对数据中的近80款手机进行了重新测试,目标是重测超过100台,争取所有机型都再来一遍。

更准 更透明!DXOMARK史上最大规模更新揭秘:大量内幕首次公开

更准 更透明!DXOMARK史上最大规模更新揭秘:大量内幕首次公开 ↑↑↑DXOMARK影像测试第四版、第五版设备排名变化

DXOMARK还指出,在新版测试基准下,图像质量对评分的影响更大。

比如对比度,尤其在人像和逆光场景中,小米11 Ultra、小米12S Ultra、华为P50 Pro在这方面表现不是太好,所以丢失了一些分数。

比如运动,荣耀Magic4至臻版在室内照明下表现非常出色,华为P50 Pro、苹果iPhone 13 Pro Max等则在移动物体的细节呈现上有些处理不当。

比如低光和夜间“氛围”,DXOMARK直言在测试中,一些手机在低光和极低光下拍出了明亮的测标曝光,背离了用户的偏好,包括华为P50 Pro、小米12S Ultra、苹果iPhone 13 Pro Max,所以更新后会丢失一些分数。

这意味着,那些宣传自己是“夜视仪”的手机,今后要在DXOMARK测试中吃亏了。

更准 更透明!DXOMARK史上最大规模更新揭秘:大量内幕首次公开 ↑↑↑不自然的拍照效果,DXOMARK新版测试中会丢分

二、音频基准测试

相比于影像拍照测试基准的大幅度调整,第二版DXOMARK音频测试的整体结构保持不变,只是调整了播放、录制的细项分数,同时面向高端手机增加了风噪声、音频变焦两项新的测试属性。

风噪声会破坏录音效果,也是手机录音中最令人头疼的问题。

DXOMARK音频实验室引入了全新设置,可测量风噪声对在各种角度上、不同风速范围内的影响。

音频变焦可以录制来自特定方向的声音,并削弱其他方向的声音,通常与变焦拍照结合使用。

新的音频变焦测试包括客观测量和感知测量,可以在广角、远摄、超远摄变焦的全新设置上进行,结果纳入方向性测量中。

2020年,DXOMARK音频团队委托多位音乐家,量身定制了自定义曲目,包含基准测试所需的全部声音属性。

第二版中又增加了2首新的曲目,可以进行更精确、更全面的测试,曲目总数也达到10首。

更准 更透明!DXOMARK史上最大规模更新揭秘:大量内幕首次公开

第二版DXOMARK音频测试规则中,表现四平八稳的手机会得分更更高,尤其是音频变焦和风噪声性能更加的手机,会获得加分。

榜单顺序变化幅度不是很大,但不少设备的名次都变了。黑鲨5 Pro仍是第一,在各个方面都稳坐王者宝座,在新的风噪声评分中表现尤为出色。

华硕手机整体排名上升,要归功于其整体良好的性能,比如ROG游戏手机5取代黑鲨4/4S Pro升至第二,华硕骁龙Insider取代荣耀Magic 3 Pro+拿到第四。

iPhone 13 Pro Max凭借出色的音频变焦功能,三星Galaxy S22 Ultra凭借出色的风噪降噪能力,都在排名中攀升了几个位置。

更准 更透明!DXOMARK史上最大规模更新揭秘:大量内幕首次公开

更准 更透明!DXOMARK史上最大规模更新揭秘:大量内幕首次公开 ↑↑↑DXOMARK音频测试第一版、第二版设备排名变化

三、首次公开评分标准、专访

现在,DXOMARK第一次对外公开了其评分算法结构,包括有测试基准的子项目得分、评分占比。

DXOMARK强调,所有测试基准都是基于消费者使用场景制定的,子项目的分数权重也完全由消费者手机使用行为的科学调研数据所决定。

对于不同测试场景、不同子项目所占的比重如何决定,DXOMARK表示有三个方面。

一是在测试基准中有统一的标准,百分比代表的是各个使用场景在我们日常生活中的使用频率,同时也代表了这些使用场景的重要性。

二是会把消费者的痛点考虑进去。如果手机在某一方面的表现能更好地响应或者解决消费者的痛点,这一部分也会占据更高的百分比。

三是与摄影师、技术专家等大量行业专业人士交流和沟通,了解他们对行业未来发展趋势的观点和看法,并纳入评分考量。

最后要说的是,除了测试基准更新,DXOMARK所有分数的算法,都会由算数平均数转变为几何平均数,以强调设备的均衡表现。

这样一来,针对特定技术、场景专门优化的机型,将很难获得高分,而在单独某个方面表现稍差的机型,也不会被大幅拉低分数。

更准 更透明!DXOMARK史上最大规模更新揭秘:大量内幕首次公开

对于大家非常关注的测试手机来源问题,DXOMARK高管在接受快科技采访时表示,他们的测试大部分手机都来自商业渠道,也就是大众销售渠道购买的,主要是法国市场、中国市场,并且与法国最大的电信公司Orange建立了合作,会测试其所售手机。

当然,还有一部分机型是厂商送测的原型机,但在测试完成之后,DXOMARK还会再自行购买一台上市的商用机型,进行复测,以避免刻意“优化”造成的影响。

PS:iPhone 14系列已经在测试中了……

最近,有些厂商公开宣布不会再像DXOMARK送测手机,这引发了不小的争议。

对此,DXOMARK解释说,厂商是否送测,其实都是基于他们自己的选择。无论如何,DXOMARK仍然会继续测试市面上的手机,尤其是所有的旗舰机型都会测试。

DXOMARK强调,不管厂商是否送测,都不会影响其使命:为消费者提供全方位的技术指南。

有着20年影像评测历史的DXOMARK,一直都在不断延伸触角,视频会议、智能家居、无人机都测过,目前正在与法国P2020汽车成像标准委员会进行交流沟通,其负责制定智能设备尤其是自动驾驶电动汽车、智能传感器的相关规范,未来有望推出车载娱乐设备、电动汽车智能传感器的测试基准。

关于屏幕测试,流程包括两个部分,首先是在实验室中对每一个用户使用情境进行测试,成绩占比为1/3,然后是再用感官测试进行验证,从而让测试结果更贴合消费者的实际体验,因此占比更大,达到了2/3。

关于电池测试,续航部分占比50%是因为消费者目前最在意续航,手机没电、耗电快是比较大的痛点,而充电30多分钟对于消费者而言并没有那么大的影响。当然,快充技术发展非常快,未来可能也会占据更重要的位置。

更准 更透明!DXOMARK史上最大规模更新揭秘:大量内幕首次公开 ↑↑↑DXOMARK CEO 弗雷德里克·吉夏尔(Frédéric Guichard)

文章纠错

  • 好文点赞
  • 水文反对

此文章为快科技原创文章,快科技网站保留文章图片及文字内容版权,如需转载此文章请注明出处:快科技

观点发布 网站评论、账号管理说明
热门评论
查看全部评论
相关报道

最热文章排行查看排行详情

邮件订阅

评论0 | 点赞0| 分享0 | 收藏0