Future Tech

[转贴] AI芯片跑分有了新玩法!解读地平线MAPS评估法

Tan KW
Publish date: Tue, 08 Sep 2020, 08:09 AM
Tan KW
0 466,485
Future Tech
AI芯片跑分有了新玩法!解读地平线MAPS评估法

芯东西(公众号:aichip001)
文 | 韦世玮

“摩尔定律已死”和“把GPU推下AI神坛”,哪一个先会到来?

这两件事对目前发展正如火如荼的AI芯片行业来说,似乎都是一项挑战。

一方面,多样化的智能应用对芯片算力需求越来越高,制程技术在过去几年也从成熟工艺大步迈进了7nm及以下先进工艺,但摩尔定律的缓慢推进却与当下算力需求的爆发格格不入。

另一方面,专用AI芯片的出现也掀起了一股挑战GPU的势头,但在AI芯片创企层出不穷的同时,比芯片研发节奏更快的算法演进,也使这些“后浪”难以真正撼动GPU的地位。

更重要的是,在AI芯片落地过程中,芯片AI性能峰值算力与实际应用过程中存在的利用率差异,在一定程度上也不利于行业的协同发展。

问题随之而来,现有的主流芯片AI性能评估方法和指标,是否能真实地反应每一款芯片在不同应用场景下的特点?

这个从学术界到产业界都一直在探讨的问题,我国AI芯片独角兽公司地平线提出了一个新的解决思路——MAPS(在精度有保障范围内的平均处理速度)。

何为MAPS?简单地说,该方法通过可视化和量化的方式,在合理的精度范围内,以“快”和“准”两个维度评估芯片对数据的平均处理速度。

那么,MAPS评测方法与目前的主流方法到底有何不同?它将从哪些新的角度为行业提供研发和落地的新思路?为了找到这些答案,芯东西与地平线BPU算法负责人罗恒博士进行了深入交流,从中也看到地平线暗藏在MAPS背后的芯片开发理念。

一、计算效率每9个月翻倍,芯片性能发展难追算法演进

我们先来直面一个最为根本的问题,在当下爆发的算力需求和缓慢推进的摩尔定律面前,推动行业继续前进有哪些解法?

行业中已经有不少答案呼之欲出:新材料的普及、工艺制程的突破、新封装的采用……但我们将推进工艺创新和发展的目光回到芯片应用本身,实际上还有一个方法值得我们思考,那就是充分发挥芯片AI性能的有效利用率。

有效利用率为何重要?在传统芯片行业中,PPA(功耗Power、性能Performance、面积Area)是衡量芯片的重要指标,其中最复杂的正是Performance。

例如,一款芯片的峰值算力为16 TOPS,但它在不同模型上的算力利用率不同,时而低至2%,时而才到80%,这与峰值算力之间的巨大差距,让用户无法完整地体验到一颗芯片的AI能力。

AI芯片跑分有了新玩法!解读地平线MAPS评估法

“有时峰值性能为4 TOPS的芯片处理某一任务时,跑得快比16 TOPS的芯片更快,这是经常发生的现象,也是一个行业早已意识到的普遍问题。”罗恒谈到。

主要原因在于,每款芯片都需要处理不同任务,即使在同一个任务下又有各种各样的模型,不同模型的计算量和精度也各不相同,这些因素都会影响芯片在实际应用过程中的性能表现。

基于此,如何充分地认识和评估一款芯片处理不同任务的性能,不仅是芯片厂商需要提供给客户的重要信息,也是推动AI芯片落地和行业健康发展的重要能力之一。

目前行业中较为主流的芯片AI性能基准测试(Benchmark)是MLPerf。

MLPerf是谷歌英特尔百度哈佛大学等企业与高校联合发布的新型基准测试工具,专门用来测量芯片的机器学习性能,并在2019年发布了首个Inference v0.5测试结果。

尽管该基准尚未成熟,但也获得了不少芯片巨头的关注,其榜单结果已成为英特尔、英伟达等行业巨头每年刷榜的重要阵地之一。

然而,当下模型算法演进的速度远快于芯片性能的提升。

罗恒举例说,以某卷积神经网络为例,从2014年到2019年,最好的神经网络计算效率相差了100倍,相当于计算效率每9个月翻一倍,远快于每18个月翻倍的摩尔定律。

这也导致MLPerf上的测试模型与目前行业最新的模型相比,算法落后了2至4年不等,无法及时地反映算法效率的提升,以及各种精度下芯片能够达到的计算速度。

“Benchmark还有一点不太好的是它不够直观。”罗恒解释到,从用户角度看,Benchmark上复杂的表格数据,很难让用户直观地比较每款芯片在多个模型上的性能结果。

因此,如何体现芯片在不同任务中的真实性能,并指导用户以最优的方式使用芯片,这是整个行业在发展过程中仍需思考的问题。

在这一需求下,地平线的MAPS应运而生。

二、MAPS:以可视化和量化方式,直观展示精度范围内的芯片性能

在地平线联合创始人兼技术副总裁黄畅博士看来,评估芯片的AI性能可以从准、快、省三个维度来看。

“准”反映了实际任务的算法精度;“快”既指延迟,侧重处理单个任务的速度,也指吞吐率(帧率,FPS),侧重特定输入尺寸、特定模型上的最大处理能力;“省”则代表芯片的成本和功耗。

地平线将芯片AI性能进行可视化,横轴为速度(帧率)、纵轴为精度(准确率),数字越大代表着速度越快、精度越准。

AI芯片跑分有了新玩法!解读地平线MAPS评估法

▲(图1)Edge TPU运行不同模型的精度和帧率测试结果

以地平线在Edge TPU上测试的结果为例,左侧所有蓝色点为传统算法,右侧是经过优化之后的EfficientNet模型。

我们分别对比最右侧和最下方的两个点。其中,最右侧的点意味这该模型能够达到77%的准确率,在Edge TPU上可以跑到181.77帧/秒;最下方的点准确率为76%,但速度仅为20帧/秒。

相比之下,我们就能很直观地看出最下方的传统模型不仅比最右侧经过优化的EfficientNet模型帧率更慢,精度也更低。

基于这张可视化视图,我们不仅能简单准确地看到每一个模型的帧率和准确率情况,同时也能看到这些年算法的演进,在精度保持不变的情况下,帧率明显加快。

但这如何更直观地展示芯片的AI能力?实际上,用户可以选择一个合适的精度范围,如77%至80.5%,将该精度范围内所有算法所能达到的最高精度连成一个包围圈,若围出的面积越大,也就说明芯片的能力越强。

不仅如此,MAPS还可以横向地展示多款芯片在相同模型上,不同精度情况下的性能表现。

AI芯片跑分有了新玩法!解读地平线MAPS评估法

▲(图2)ImageNet图像分类75%-80.5%精度范围内,MAPS评估方法下的主流芯片测试结果

在另一个测试中,地平线用谷歌Edge TPU4 TPOS)、某款峰值算力11.4 TOPS等多家性能不同的芯片,以及地平线即将推出的旭日3芯片在EfficientNet Lite 04模型上进行测试,并将精度范围基本保持在75%80%之间,以此形成数条不同的折线。

同样的,在限定的精度范围内,每条折线所围多边形面积越大,也意味着芯片AI能力越强。地平线通过将各个梯形的面积之和除以高度算出的平均值,则称为“MAPS,也可称为有精度保障下的平均处理速度

AI芯片跑分有了新玩法!解读地平线MAPS评估法

 

https://zhidx.com/p/233454.html

Discussions
Be the first to like this. Showing 0 of 0 comments

Post a Comment