芯东西(公众号:aichip001)
文 | 韦世玮
“摩尔定律已死”和“把GPU推下AI神坛”,哪一个先会到来?
这两件事对目前发展正如火如荼的AI芯片行业来说,似乎都是一项挑战。
一方面,多样化的智能应用对芯片算力需求越来越高,制程技术在过去几年也从成熟工艺大步迈进了7nm及以下先进工艺,但摩尔定律的缓慢推进却与当下算力需求的爆发格格不入。
另一方面,专用AI芯片的出现也掀起了一股挑战GPU的势头,但在AI芯片创企层出不穷的同时,比芯片研发节奏更快的算法演进,也使这些“后浪”难以真正撼动GPU的地位。
更重要的是,在AI芯片落地过程中,芯片AI性能峰值算力与实际应用过程中存在的利用率差异,在一定程度上也不利于行业的协同发展。
问题随之而来,现有的主流芯片AI性能评估方法和指标,是否能真实地反应每一款芯片在不同应用场景下的特点?
这个从学术界到产业界都一直在探讨的问题,我国AI芯片独角兽公司地平线提出了一个新的解决思路——MAPS(在精度有保障范围内的平均处理速度)。
何为MAPS?简单地说,该方法通过可视化和量化的方式,在合理的精度范围内,以“快”和“准”两个维度评估芯片对数据的平均处理速度。
那么,MAPS评测方法与目前的主流方法到底有何不同?它将从哪些新的角度为行业提供研发和落地的新思路?为了找到这些答案,芯东西与地平线BPU算法负责人罗恒博士进行了深入交流,从中也看到地平线暗藏在MAPS背后的芯片开发理念。
我们先来直面一个最为根本的问题,在当下爆发的算力需求和缓慢推进的摩尔定律面前,推动行业继续前进有哪些解法?
行业中已经有不少答案呼之欲出:新材料的普及、工艺制程的突破、新封装的采用……但我们将推进工艺创新和发展的目光回到芯片应用本身,实际上还有一个方法值得我们思考,那就是充分发挥芯片AI性能的有效利用率。
有效利用率为何重要?在传统芯片行业中,PPA(功耗Power、性能Performance、面积Area)是衡量芯片的重要指标,其中最复杂的正是Performance。
例如,一款芯片的峰值算力为16 TOPS,但它在不同模型上的算力利用率不同,时而低至2%,时而才到80%,这与峰值算力之间的巨大差距,让用户无法完整地体验到一颗芯片的AI能力。
“有时峰值性能为4 TOPS的芯片处理某一任务时,跑得快比16 TOPS的芯片更快,这是经常发生的现象,也是一个行业早已意识到的普遍问题。”罗恒谈到。
主要原因在于,每款芯片都需要处理不同任务,即使在同一个任务下又有各种各样的模型,不同模型的计算量和精度也各不相同,这些因素都会影响芯片在实际应用过程中的性能表现。
基于此,如何充分地认识和评估一款芯片处理不同任务的性能,不仅是芯片厂商需要提供给客户的重要信息,也是推动AI芯片落地和行业健康发展的重要能力之一。
目前行业中较为主流的芯片AI性能基准测试(Benchmark)是MLPerf。
MLPerf是谷歌、英特尔、百度和哈佛大学等企业与高校联合发布的新型基准测试工具,专门用来测量芯片的机器学习性能,并在2019年发布了首个Inference v0.5测试结果。
尽管该基准尚未成熟,但也获得了不少芯片巨头的关注,其榜单结果已成为英特尔、英伟达等行业巨头每年刷榜的重要阵地之一。
然而,当下模型算法演进的速度远快于芯片性能的提升。
罗恒举例说,以某卷积神经网络为例,从2014年到2019年,最好的神经网络计算效率相差了100倍,相当于计算效率每9个月翻一倍,远快于每18个月翻倍的摩尔定律。
这也导致MLPerf上的测试模型与目前行业最新的模型相比,算法落后了2至4年不等,无法及时地反映算法效率的提升,以及各种精度下芯片能够达到的计算速度。
“Benchmark还有一点不太好的是它不够直观。”罗恒解释到,从用户角度看,Benchmark上复杂的表格数据,很难让用户直观地比较每款芯片在多个模型上的性能结果。
因此,如何体现芯片在不同任务中的真实性能,并指导用户以最优的方式使用芯片,这是整个行业在发展过程中仍需思考的问题。
在这一需求下,地平线的MAPS应运而生。
在地平线联合创始人兼技术副总裁黄畅博士看来,评估芯片的AI性能可以从准、快、省三个维度来看。
“准”反映了实际任务的算法精度;“快”既指延迟,侧重处理单个任务的速度,也指吞吐率(帧率,FPS),侧重特定输入尺寸、特定模型上的最大处理能力;“省”则代表芯片的成本和功耗。
地平线将芯片AI性能进行可视化,横轴为速度(帧率)、纵轴为精度(准确率),数字越大代表着速度越快、精度越准。
▲(图1)Edge TPU运行不同模型的精度和帧率测试结果
以地平线在Edge TPU上测试的结果为例,左侧所有蓝色点为传统算法,右侧是经过优化之后的EfficientNet模型。
我们分别对比最右侧和最下方的两个点。其中,最右侧的点意味这该模型能够达到77%的准确率,在Edge TPU上可以跑到181.77帧/秒;最下方的点准确率为76%,但速度仅为20帧/秒。
相比之下,我们就能很直观地看出最下方的传统模型不仅比最右侧经过优化的EfficientNet模型帧率更慢,精度也更低。
基于这张可视化视图,我们不仅能简单准确地看到每一个模型的帧率和准确率情况,同时也能看到这些年算法的演进,在精度保持不变的情况下,帧率明显加快。
但这如何更直观地展示芯片的AI能力?实际上,用户可以选择一个合适的精度范围,如77%至80.5%,将该精度范围内所有算法所能达到的最高精度连成一个包围圈,若围出的面积越大,也就说明芯片的能力越强。
不仅如此,MAPS还可以横向地展示多款芯片在相同模型上,不同精度情况下的性能表现。
▲(图2)ImageNet图像分类75%-80.5%精度范围内,MAPS评估方法下的主流芯片测试结果
在另一个测试中,地平线用谷歌Edge TPU(4 TPOS)、某款峰值算力11.4 TOPS等多家性能不同的芯片,以及地平线即将推出的旭日3芯片在EfficientNet Lite 0~4模型上进行测试,并将精度范围基本保持在75%至80%之间,以此形成数条不同的折线。
同样的,在限定的精度范围内,每条折线所围多边形面积越大,也意味着芯片AI能力越强。地平线通过将各个梯形的面积之和除以高度算出的平均值,则称为“MAPS值”,也可称为“有精度保障下的平均处理速度”。
https://zhidx.com/p/233454.html
Created by Tan KW | Aug 15, 2024
Created by Tan KW | Aug 15, 2024
Created by Tan KW | Aug 15, 2024
Created by Tan KW | Aug 15, 2024