智东西(公众号:zhidxcom)
文 | 韦世玮
中国AI开源阵营再添一军!
3月25日,旷视宣布正式开源工业级深度学习框架“天元(MegEngine)”,成为国内第一家开源AI框架的AI企业。
作为旷视AI生产力平台Brain++的核心组件之一,天元拥有训练推理一体化、动静合一、兼容并包和灵活高效四个特点,能帮助开发者用户进行灵活、高效的大规模深度学习模型训练和部署。
从“AI”这一概念诞生至今,在这片浩瀚的AI海洋中,算力、算法和数据已经为这片海域贡献了许多珍贵的技术资源,而“开源”作为其中一个经久不衰的话题,为AI乃至计算机行业构建了一个开放共进的生态环境,进一步加速AI产业的落地和行业转型。
而天元深度学习框架的诞生,不仅为旷视AI业务的开拓和成熟提供强有力的底层技术支持,其本身的开源,在丰富国内AI开源生态的同时,也为近年来全国火热的新基建中AI领域的发展,提供了重要的创新力和生产动力。
那么,“天元”深度学习框架究竟是什么?它的背后隐藏了哪些旷视的AI布局野心?在谷歌TensorFlow和Facebook PyTorch大肆收割开发者的AI时代下,“天元”深度学习框架的开源,之于旷视,或是之于中国的AI行业生态,到底意味着什么?
从授人以鱼到授人以渔,天元深度学习框架的开源,不仅仅是旷视一次面向AI行业和开源生态的技术释放。从本质上看,它的开源还是旷视在产业智能时代头部玩家抢位战的一次入局。
对旷视这么一家以AI为本业的公司来说,在当下迅猛发展的AI行业中,选择将自己的核心竞争力开源,无疑需要巨大的勇气和对市场时机的把握。
天元的开源,在直面全行业开发者实践和检验的同时,也将激发更多开发者的创造力,为天元自身的迭代和创新带来了无限可能性。而在这背后,其实也隐藏了旷视对自身技术实力的强大自信。
但迈出开源的这一步,给旷视带来的意义不止于此。
若我们将眼光放在整个行业来看,旷视天元深度学习框架的开源,亦为各个行业的AI化转型,以及AI行业的加速落地引擎,增添了润滑剂。
一方面,天元通过简单高效的AI性能,为追求AI转型的产业提供了一种新的尝试和选择,进一步解放传统产业的生产力;另一方面,天元也将成为一个新契机,将上游应用、算法、场景,以及下游的操作系统和芯片等更好地结合起来,开拓一个AI生态和产业链紧密结合的新局面。
与此同时,天元对中国高新技术产业而言,亦是中国在全球科技竞赛舞台上的一次实力亮相。
当下,我国新基建如火如荼地开展,5G、AI、工业互联网和大数据中心等技术的构建和发展,已经成为国家大力发展智能产业的重要科技因素。
而旷视天元的开源,为国家新基建的在线化、数字化和智能化发展和升级,提供了不可或缺的创新力和生产力。
更重要的是,它作为中国计算机发展阶段的新兴代表,同时也是中国AI企业中唯一一个开源的深度学习框架,它的面世不仅代表着中国AI企业的科研实力和包容开发的态度,亦彰显着中国AI产业在当下全球科技竞赛的复杂时代下,与巨头抗衡的底气与决心。
“我们开源的初心,是希望开源后有更多开发者贡献更闪光的想法和创意,一起参与天元的建设和发展。”旷视首席科学家、旷视研究院院长孙剑谈到,旷视希望通过开源,进一步解决目前行业发展和国家建设中尚未解决的技术难题,为国内的AI开源生态提供创新动力。
从Linux操作系统的开源,到AI领域谷歌TensorFlow的入局,“开源”一直是风云变幻的计算机界发展史中,经久不衰的一个话题。
什么是“开源(Open Source)”?简单地说,开源全称为开放源代码,程序员和普通终端用户能够利用源代码在其基础上进行修改和学习。
如今,包括Linux、Android、NetBSD和Symbian在内的操作系统,以及谷歌TensorFlow、Facebook PyTorch等AI框架,都在漫长的计算机历史中走向了开源,为各个行业的创新和发展增添了不可或缺的重要驱动力。
例如,Android操作系统的开源,直接催生了一个独立于苹果iOS之外庞大的智能手机生态,包括三星、华为、小米等手机均基于Android进行软件开发。
实际上,除了操作系统外,AI框架的开源亦是近年来业界火热的开源趋势之一。
如何理解AI开源?在AI最为本质的算法、算力和数据三大元素中,如果把算法比作一道菜,那么框架就像是一个中央厨房,能够规模化地生产各种各样的菜式。
在开源之前,“大厨们”需要独自全手工地进行洗菜(洗数据)、配菜(选模型)、炒菜(算法训练)、调味(调参数)和装盘(部署)等操作,整个过程既冗长又费力。
而开源,就像是将食材和菜谱全都准备妥善,“大厨们”不用再重复进行造锅、生火和洗菜等步骤,直接基于前人的经验开始炒菜就够了。
与此同时,“大厨们”还能在这一开放式厨房中,对前人的经验进行学习、交流和创新,一同逐渐完善厨房的功能,提高生产效率。
如今的AI开源领域,则有以谷歌TensorFlow和Facebook PyTorch为首的深度学习框架,受到广大开发者们的欢迎。
“目前看来,开源已经成为软件时代非常关键的一条技术路线。”旷视副总裁谢忆楠谈到,谷歌、微软和亚马逊等国外科技巨头早已在AI领域推行开源,并通过AI开源工具与平台打通产业链,形成开源生态。
在此背景下,旷视选择开源AI框架,不仅是对其解决算法无限性这一长期战略的探索,同时旷视作为目前国内开源企业中唯一以AI为主业的公司,也期望能够通过开源让更多的合作伙伴实现AI+转型,进一步推动AI技术的加速落地。
其实早在2014年,旷视就开始着手“天元”深度学习框架的研发,当时它的名字叫做MegEngine。
为了让MegEngine早日跟上公司业务的发展进度,研究人员不断加速优化和研发,成功在2015年年中实现了MegEngine与公司内部所有业务的接轨。当时,旷视所有业务线上的模型,都已全部更换成MegEngine训练出来的版本。
但MegEngine的发展并非一帆风顺。
2015年11月,谷歌TensorFlow的正式开源,对当时已逐渐走入稳定发展期的MegEngine带来了巨大冲击,几乎打乱了旷视自研框架的开发节奏。面对国外科技巨头的压力,自研框架的路子是坚持还是放弃,成为当时旷视内部一场激烈持久的讨论。
终于,在经过一次大规模的性能评测后,旷视的研究人员发现,当时刚开源的TensorFlow性能并不理想,比旷视的自研框架还要慢上10倍。
正是这一发现,让旷视更加坚定不移地踏上自研框架的道路,并一路狂飙突进,不断克服研发道路上的阻碍,相继研发了深度学习云计算平台MegCompute和数据管理平台MegData,与深度学习框架共同构成了AI生产力平台Brain++。
因此,Brain++是一个集算法、算力和数据为一体的AI底层平台,拥有数据处理、清洗、管理,以及大规模分布式训练和计算等能力,帮助旷视开发了大量部署于云端、移动端、边缘端等全计算平台的先进深度神经网络。
值得一提的是,在Brain++的数据、算法和算力三大核心架构中,最为核心开源了的深度学习框架天元MegEngine。
随着AI产业发展的浪潮越来越汹涌,为了进一步加速AI技术落地,给更多开发者和企业用户提供开发选择,旷视从2019年起决定开源Brain++最核心的深度学习框架MegEngine,并为它了一个全新的名字——天元。
“天元”意味着围棋中棋盘的正中心,也代表着古代数学概念中所有复杂方程式的基础,还是古代天文学中指代万物本源和开始的北极星。
“天元”这一名字的寓意背后,既表达了旷视希望MegEngine成为AI行业发展壮大的基石和重要组成部分,也透露出它之于旷视技术战略布局的最核心地位,是其AI宏图中最为关键和重要的底层基础设施。
在准备开源的一年时间里,旷视对MegEngine的整个框架进行了脱胎换骨般的基础性升级和改动,研究人员对框架的所有代码进行了梳理和重组,并引入了动静合一等新特性,同时还进一步打磨对外接口,使其更符合广大开发者们的使用习惯。
直至昨日,前后历时6年产业实践和工业验证的天元MegEngine,终于开源面世。
同时,旷视云服务业务资深副总裁赵立威在发布会上表示,旷视将面向高校师生、企业开发者逐步开放Brain++的核心能力,为企业用户提供AI生产全流程服务。
实际上,旷视的开源定位与大多数开源玩家的定位不太一样,最显著的差异在于旷视是目前所有AI开源公司中,唯一一家以AI为主业的公司。
“天元是为了工业级、研究院规模的研发机构而开发的算法研发基础组件。”旷视研究院高级技术总监田忠博谈到,天元所具备的训练推理一体化等核心特点,都是为了解决开发者现实研发过程中的痛点而存在。
至此,旷视天元MegEngine的AI开源宏图正朝着未来缓缓铺开。
历时6六年自主研发和打磨的天元深度学习框架到底是什么?
从架构上看,天元具体分为计算接口、图表示、优化与编译、运行时管理和计算内核五层。
若说谷歌TensorFlow采用利于部署的静态图更适用于工业界,而Facebook PyTorch采用灵活且方便调试的动态图更适合学术科研。那么旷视的天元则在兼具了双方特性的过程中,找到了一个的平衡点。
“天元是一个训练和推理在同一个框架、同一个体系内完整支持的设计。”田忠博谈到,天元从实际问题出发,提供了许多深度学习和AI落地问题的解决方案。
基于这些创新性的框架设计,天元深度学习框架拥有推理训练一体化、动静合一、兼容并包和灵活高效四大优势。
1、训练推理一体化
天元既能够支持开发者进行算法训练,同时其训练得到的模型,还可以直接用于产品的推理和封装,无需进行多余的模型转换。这极大地简化了算法开发流程,实现速度和精度的无损迁移。
与此同时,天元在模型部署时还能够自动优化模型,自动帮助开发者删除冗余代码。
2、动静合一
天元将动态图的简单灵活,与静态图的高性能优势进行整合,能在充分利用动态图模型训练优势的同时,通过动静态一键转换功能,以静态图的形式完成生产和部署。
此外,天元还支持动静态的混合编程,进一步提高其灵活性。
3、兼容并包
天元部署了Pythonic的API和PyTorch Module功能,支持模型直接导入,进一步降低框架迁移的入门门槛和学习成本。
同时,它内置高性能计算机视觉算子和算法,能够深度优化计算机视觉相关模型训练和应用。
4、灵活高效
在部署方面,天元拥有多平台多设备适应能力,其内置算子能够在推理或生产环境中充分利用多核优势,灵活调用设备算力,十分适用于大模型算法训练。
从另一角度看,天元亦是一个面向工业级、研究院规模的研发机构而设计的算法研发基础组件。
例如其训练推理一体化优势,能够帮助开发者简化复杂的模型生产流程,大幅度地缩短了算法研发和部署的时间,帮助企业快速地将算法变成产品,以投放到市场中,更好地满足大规模工业级、生产级项目的AI需求。
天元的这些优势和特点,无疑为中国各大产业的AI化转型和发展提供了重要的技术支持。
目前,旷视推出的天元是Alpha版本,其中包括旷视前期整理的代码和关键步骤。田忠博谈到,今年6月旷视将推出天元的Beta版本,届时将添加对Arm系列CPU的支持,以及更多加速芯片的支持。
而天元的正式版本将于今年9月发布,除了添加对主流计算设备的支持外,还将升级其动态计算能力,进一步优化训练推理全流程的使用体验。
与此同时,旷视天元已在GitHub和国内新一代人工智能开源开放社区OpenI上同步开源。
随着计算机产业和AI技术的发展,开源已经成为行业创新和技术落地的推动力,同时也是加速AI行业落地的重要引擎之一。
随着近年来大国之间的科技竞赛愈演愈烈,AI技术的成熟与落地即代表着一个国家的科技硬实力水平。与此同时,5G、AI、物联网和大数据等新兴技术的每一步发展,都将不同程度地推动国家新基建的成长与爆发。
而旷视天元,则是引燃这场爆发,以及时代变革浪潮中的一股重要力量。
未来,中国要想真正立于世界AI科技舞台的潮头,不仅需要靠新科技力量的发展和创新,更需要一个开放、包容和多样化的科技环境和生态。
在这场变革的漩涡之中,旷视还会给我们带来哪些新的技术和惊喜?时间会告诉我们答案。
http://zhidx.com/p/201273.html
Created by Tan KW | Aug 16, 2024
Created by Tan KW | Aug 16, 2024
Created by Tan KW | Aug 16, 2024
Created by Tan KW | Aug 16, 2024
Created by Tan KW | Aug 16, 2024
Created by Tan KW | Aug 16, 2024
Created by Tan KW | Aug 16, 2024
Created by Tan KW | Aug 16, 2024