副标题#e#
智能手机早期诞生时,它的智能只能说是“Smart”。发展至今,我们再说到智能手机时,它的智能早已超越了“Smart”而变为了“AI”(人工智能)。不得不说,近年来,伴随着AI技术更多、更广泛地应用于智能手机当中,用户开始渐渐地感觉到,手边的这台便携智能终端是真的开始智能了,其最大的体现就是功能的进一步丰富与好用。
AI美颜早已成为大多数用户自拍首选功能
与此同时,还有一个问题摆在消费者的面前,那就是“选择”。据不完全统计,仅今年上半年,全新发布的智能手机就有几十款,面对这么多的产品,用户该如何选择?成为大多数消费者购机的主要困扰。于是,为了帮助消费者更好地去挑选带有AI功能的智能手机产品,继智能手机性能、拍照“跑分”后,终于,又来了针对AI性能的“跑分”。
当下,随着“AI跑分”逐渐“成熟”(并非真的成熟,仅仅是越来越多地出现在大众视野中),究竟该如何解读这样的一个“跑分”?从消费者的角度来看,如何理解这样的“跑分”?“AI跑分”是否具有参考价值?一系列的问题进一步困扰着广大的消费者。早先,笔者的一位友人也曾问道,难道不是像性能与拍照跑分一样,分高就证明性能好、分低就证明性能差吗?笔者负责任地告诉他,当然不是!至于为什么?那正是这篇文章想要跟你讲的!
AI性能究竟取决于什么?
了解AI技术的人想必都会懂得,AI技术并不是简单的运算快慢可以评判得了的。考虑到大多数用户并非对AI技术了解得那么深入,在正式开始讲讲“AI跑分”复杂在哪前,笔者认为还是有必要普及一些有关终端侧AI性能的基本知识。
人工神经网络
无论是终端侧AI还是云端侧AI,在为用户提供服务的过程中,决定服务质量优劣的一大因素,就是神经网络。如今,我们常说的神经网络主要是指受人类大脑活动方式的启发打造的算法模型。在其正式投入使用前,神经网络首先需要经过训练阶段,也就是常说的机器学习阶段。即通过大量数据的学习,让人工神经网络可以基于数据得出一些结论、或者是基于特定数据完成新的推理。例如小米智能手机的AI魔法换天功能,就是在一套算法中,大量学习了带有“天”的图片为数据基础,进而演化到在功能实现的过程中,算法自己可以准确地识别出图片中“天”的所在,并自动进行替换。
小米10 PRO 5G AI魔法换天样张
因此,算法模型的完善与否,自然成为决定AI性能的关键因素之一。当然,算法还是要运行在硬件上,以智能手机上的终端侧AI来说,除了算法模型的质量外,运算能力当然也是评判AI性能的重要标准。而AI跑分,往往就是针对硬件的能力进行测试,并将测试结果带入到一套打分体系下,加以权重后,形成一个最终得分来展现终端AI性能的优劣。
听方法论似乎觉得没什么不妥,但在实际执行的过程中,可就没有想象中那么简单了。如今,令广大消费者大呼AI跑分看不懂的关键在于不同第三方机构提供的AI跑分结果大相径庭。究竟应该相信谁?消费者显然已经看懵了。
AI跑分大相径庭背后,反映出了什么?
究竟为什么智能手机AI跑分的成绩会出现截然不同的结果呢?为了说明这样一个问题。在此,笔者针对目前市面上比较常见的三大AI跑分软件、机构进行详细讲解,尽可能做到通俗易懂让消费者可以做到一目了然!
AIMark
首先是AIMark,它是当下比较常见的一款安装在智能手机上的AI跑分软件,是由鲁大师开发,主要采用了面向图像分类、图像识别和图像分割的ResNet-34、Inception-V3、Mobilenet-SSD和DeepLab-v3+模型来进行测试。
在评分标准上,终端设备在AIMark获取的分值取决于移动平台处理数据集和执行特定目标识别的效率(简单说就是“跑”算法的速度以及识别的准确率)。
先来看下由国外著名硬件测试网站Hothardware整理的几组跑分成绩:
可以看到,在AIMark的测试中,高通骁龙865移动平台的表现脱颖而出,这主要取决于865移动平台所支持的第五代Qualcomm人工智能引擎AI Engine。因此,在结果中Galaxy S20 Pro和一加8的AI跑分成绩远超其他终端。
第五代Qualcomm人工智能引擎AI Engine
同时,我们还可以看到,尽管Pixel 4 XL和Galaxy Note 10都搭载骁龙855移动平台,但由于采用了不同的软件配置和人工神经网络应用支持,两款机型的表现有很大差异。
AITuTu
#p#副标题#e##p#分页标题#e#
AITuTu也是目前市面上为智能手机进行AI跑分时常用的APP,它也是采用了面向图像分类的Inception-v3神经网络以及面向目标检测的MobileNet-SSD来进行测试。评分标准上,基于终端处理数据的速度以及准确性来衡量综合分值。
同样的几组跑分如下:
在AITuTu的跑分结果上看,采用高通骁龙移动平台的终端设备依旧领先。
苏黎世AI跑分应用(ETH AI Benchmark)
苏黎世AI跑分也是如今经常被厂商所提及的第三方AI跑分机构,相比此前的两款跑分APP,苏黎世的AI Benchmark评估的是一些关键的AI和计算机视觉算法的速度、准确率和内存要求。测试方案包括图像分类与人脸识别方法、用于图像超分辨率和图像增强的人工神经网络、玩Atari游戏和进行背景虚化模拟的AI模型以及自动驾驶系统中所用的算法。算法结果能够以可视化图形的方式呈现,进而了解其在不同AI领域的最新表现。
这里通过两个ETH AI Benchmark的版本(v3、v4)测试成绩来分析:
首先是比较早版本的ETH AI Benchmark v3,可以看到,得分的情况似乎不太平衡。从最终得分的确定过程可以看到,v3版本的跑分尤其重视浮点(FP)运算的性能,让浮点运算的权重很高。因此,包含针对浮点运算单独优化的专用AI处理器的麒麟990得分遥遥领先。
接下来是ETH AI Benchmark v4的测试结果:
从v4的测试结果不难看出,在这个版本的评分过程中,降低了浮点运算的权重,因此,麒麟990胜出的分值相比v3版本来说,大幅降低,但由于v4版本依然让FP16浮点运算保持了很高的权重,因此AI Benchmark的此次版本更新并未影响原有趋势,对于这点,我们在下图拆解的AI Benchmark的细项测试中可以更明显地看出端倪。
其中的Avg. Init Times (ms),也就是“平均初始化时间”的数值越低越好
由于第五代Qualcomm人工智能引擎AI Engine更重视INT8定点模式,因此搭载骁龙865移动平台的三星最新机型在INT8性能上更好,准确度也更高,并且能够获得INT8带来的省电优势。
此外,还需要注意的是,如上图所示,苏黎世AI跑分还有一个问题在于,其采用的是Android NN API(安卓平台基础SDK)。但实际上,使用骁龙SDK的厂商比例为94%,使用Android NN API的比例小于1%。而苏黎世跑分由于不支持骁龙SDK,导致在测试中并不能发挥出骁龙平台的全部AI性能。而在AIMark和AITutu上则由于能够支持骁龙SDK让该平台的AI性能得到了更好的发挥。
看过了这些测试,究竟反映出了什么呢?笔者进行了一个简单的总结:
一、是否支持特定SDK会对AI跑分结果造成影响