Future Tech

[转贴] 为企业打造数字分身!解密联想的一大关键挑战、三大硬核技术

Tan KW
Publish date: Fri, 17 Nov 2023, 10:13 PM
Tan KW
0 501,497
Future Tech
为企业打造数字分身!解密联想的一大关键挑战、三大硬核技术

智东西(公众号:zhidxcom)
作者 |  程茜
编辑 |  漠影

智东西11月16日消息,今天,联想集团发布了2023/24财年第二财季业绩,整体营收达到1044亿人民币,净利润近20亿人民币,连续两个季度环比提升。

其中,IDG(智能设备业务)个人电脑出货量市占率近24%;SSG(方案服务业务)营收、运营利润均创新高,联想集团正在打造混合式AI专业服务;能为生成式AI全生命周期提供服务的ISG(基础设施方案业务)受多重风险制约,存储业务市场份额仍提升至全球第三

众所周知,生成式AI带来的产业变革已经席卷全球各行各业,其引发的技术变革成为当下产业的焦点。

10月24日,联想创新科技大会上,联想集团提出了AI for All的战略,在联想集团董事长兼CEO杨元庆看来,AI for All意味着让AI惠及每一个人。

为企业打造数字分身!解密联想的一大关键挑战、三大硬核技术

同时,联想创新科技大会上,联想集团展示了AI设备产品组合,并阐释了自己对于生成式AI时代的理解——个人与企业级人工智能双胞胎(AI Twin)。

此次发布财报之际,联想集团还创新性地随发了一个可视化科普视频,在展望生成式AI下一个里程碑用AI重塑Enterprise Twin(企业级人工智能双胞胎)的同时,将其对于AI行业的深入理解进行了层层拆解。

在此节点,智东西有幸与联想研究院人工智能实验室商务及运营总监陈钢、联想研究院人工智能实验室主任研究员王奇刚围绕降低大模型训练成本等话题进行了对话,深入探讨了联想集团正如何抓住AI发展与落地的重要突破口。

一、AI重塑企业在即,训练模型难题何解?

自去年11月底至今,生成式AI引发的技术革新愈演愈烈,产业热情被全面点燃。在这场空前紧迫的竞赛中,以企业为主体的典型代表已经跃跃欲试,试图在新兴技术浪潮中抢占先手棋。

这场风暴的起点,最早可以追溯至人类“火种”的诞生,往后,每一次生产力工具的变革都推动了社会发展。数十万年的薪火相传,如今,在深度学习技术的驱动下,AI在人类生产力变革中扮演着重要的角色。

火堆、时钟、汽车……短短20余秒的时间,视频在逼真还原火焰物理效果的同时,沉浸式带观看者穿梭于不同时代背景,最终使得深度学习神经网络被“点燃”。

为企业打造数字分身!解密联想的一大关键挑战、三大硬核技术

产业变革至今,企业已经成为生成式AI下一个里程碑的重要主体。这也就是联想集团今年在联想创新科技大会上,提出的Enterprise Twin(企业级人工智能双胞胎)概念。

企业在AI世界的数字分身能做什么?首先,它具备AI的强大学习和表达能力,能基于企业的独家、私有知识进行训练;其次,它能为此前大量依赖人类经验的任务提供有数据、逻辑清晰的辅助决策;最后,它还能通过文字、图像等形式,将关乎企业业务规划的内容输出。

视频中构建于城市大大小小的建筑物以及其中的万千企业之上可视化的数字形象正是其最恰当的体现。

为企业打造数字分身!解密联想的一大关键挑战、三大硬核技术

然而,正如画面中缓缓旋转并隐隐散发出些许微光的黑箱,企业热切拥抱AI之际需要深厚的技术功底和具有远见卓识的行业视角,真正冲破黑箱,感知到AI对企业自身带来的颠覆式革命尤为关键。

为企业打造数字分身!解密联想的一大关键挑战、三大硬核技术

这其中的第一个黑箱就是“训练模型”。飙涨的算力需求背后是真金白银的AI芯片,鲜少有企业能独立支撑如此大额的支出。

大模型训练最关键的三个要素就是算力、算法、数据,其中数据也是“Enterprise Twin能真正听到企业完整的自主思考与内心独白”的关键,也是构建其大脑的重中之重。

可以看到,市面上的大模型参数规模动辄上百亿、千亿,这转换到企业的数字分身上就是经营、生产、销售的每一处细节。

视频中以手机和民航飞机发动机的叶片为例,对其零部件进行可视化处理的同时,清晰展现出了其背后的庞大数据规模。当将手机一层层“剥离”开时,每个生产环节中的信息都可能被转化为数据;发动机上的叶片也涉及数百万零件的供应链体系。

为企业打造数字分身!解密联想的一大关键挑战、三大硬核技术

庞大数据量的处理、以月为单位的训练时间、极易出现的返工等风险,都是横亘在企业面前的一道道难题。

但可以确定的是,企业积极、主动拥抱大模型已成必然趋势,联想集团则为这场前路莫测的创新革命,点亮了一盏引路灯。

二、企业数字分身普及杀手锏:让模型可用、好用、易用

这就是联想集团自研的AI开发及运营平台炼AI大师,覆盖了企业构建Enterprise Twin(数字分身)的各个流程。

炼AI大师拥有图像识别、语音识别、物体检测等9类基础模型,将模型训练的各个环节层层剥开,既包含其中所需的庞大数据,还能灵活应对企业业务不同环节所需的多模态、多语言数据。

为企业打造数字分身!解密联想的一大关键挑战、三大硬核技术

针对于企业训练大模型的核心痛点,结合炼AI大师的层层能力,联想集团将为企业训练出具有超强大脑的大模型总结为三大要点,分别是保证训练出的模型准确可用、训练成本可控、能摆脱通用大模型千亿级规模庞大身躯

技术路径、文案、视频内容相结合,将联想集团在帮助企业降低大模型训练成本中的核心思路进行了呈现。

在保证训练出的模型准确可用方面,一般而言,通用大模型为了保证知识的广度会预载综合学科、语料库等基础数据,炼AI大师就会根据企业所处的具体行业、实际需求进行筛选。

为企业打造数字分身!解密联想的一大关键挑战、三大硬核技术

还有一大关键在于,如何让企业尽早发现模型训练中间的问题。基于此,联想集团自研了训测一体的流程,王奇刚解释说,将大模型的训练和测试交叉进行,通过测试中间环节中大模型的表现效果,来综合判断实际的效果,如果出现问题就及时停止复查。

此外,为了让企业在大模型训练时具有数据配比的参考,联想集团将自身采样抽取的常用操作集成到了框架中,可以帮助企业以某种规则从大数据集中生成自己的数据配方。

王奇刚谈道,因为数据质量对大模型精度的影响很大, 因此,联想集团的研发人员正在研发将杂乱无章的数据以可视化的方式呈现出来,便于企业进行筛选、剔除劣质数据,从而进一步提供模型训练的效率。

其次,就是更为关键的降低训练成本,联想集团开发了专门对大模型进行二次预训练、微调的LeLLM大模型框架,其中通过3D并行分布式训练方案中的流水线并行、模型并行、数据并行,让模型跑起来、跑得更快。

这一方案的实现路径,通过视频中被具象化的数据、服务器、GPU进行了层层剥离,通过动态的具体操作过程阐释了其对于降低大模型训练成本的意义。

为企业打造数字分身!解密联想的一大关键挑战、三大硬核技术

王奇刚谈道,联想集团将他们在加快预训练、微调等速度等工作方面的经验,集成到了LeLLM大模型框架中,并且这一框架也正在被集成到炼AI大师平台中。

最后一步,就是帮助企业摆脱通用大模型千亿级参数规模庞大身躯的技术——剪枝。剪枝可以剔除大模型中与企业无关的参数,从700亿精简至70亿甚至10亿。

王奇刚介绍道,他们有两种方案,一种是量化,将浮点数从32bit转化为16bit、8bit或4bit,以达到成倍减少大模型体积的目的;又因为大模型内部和人脑类似,存在视觉、听觉等分离区域,因此他们尝试针对某个场景剪掉与之无关的区域,观察其对大模型精度的影响等,这也是其第二种方案。

为企业打造数字分身!解密联想的一大关键挑战、三大硬核技术

归根结底,联想集团要做的就是提高企业训练大模型的成功率,同时降低成本。在这之后,大模型训练、压缩、推理、算力设施的一系列环节完成,也就意味着企业已经拥有了拥抱AI的底气。

三、联想“内生外化”心法,为企业拥抱大模型“铺路搭桥”

联想展望生成式AI下一个里程碑,用AI重塑Enterprise Twin的背后,正是其多年技术与经验积累的印证。

事实上,炼AI大师这一平台的研发起步可以追溯至2016年,现在已经迭代至6.0版本,这一平台是联想集团内部、企业客户等在AI开发过程中经验的“集大成者”。陈钢谈道,炼AI大师的路线十分清晰,就是AI训练推理的一站式平台。前后版本的不同之处在于,此前炼AI大师面向的主要为中小模型,去年大模型爆火后,联想集团迅速将其在大模型领域的工程化方法进行了集成。

除了技术外,还有联想集团一以贯之的“内生外化”思路。

联想集团基于上述训练方法,打造了公司内部局部试用的大模型,王奇刚透露说,联想集团的一些业务部门可以直接登录,与大模型进行对话,或者通过调用API,来实现企业级客服助手、知识管理等应用。

如今,这一部分能力正在联想内部和外部都爆发出强大的生命力。陈钢谈道,对于联想而言,他们自己就是大模型的第一使用者。因此,联想集团内部在积极推进内部产品迭代、升级的同时,积极将这一部分能力外化出去。

王奇刚谈道,这背后联想集团的核心思路主要集中于两点,首先为不是任何公司都有能力从头训练大模型,其次就是进一步增强算力的有效利用率,让企业少走弯路。

这也正是联想集团在生成式AI产业变迁之际,积极加速AI普及的有力举措。

结语:联想加码AI+计算,驱动AI普慧

正如视频中所呈现的,生产力工具历经数十万年薪火相传,如今其火把已经被传给了AI。生成式AI在生成、理解等方面展现出的强大能力,不断拓宽其在千行百业中的应用边界。当下,AI驱动的各类应用正在变革着人们的工作、生活、学习等。

联想从2017年开始智能化转型布局以来,技术积累颇深,且拥有从口袋到云端的全产品组合和能力。当下,迈入AI战略收获期的联想,将围绕着计算和AI这两个关键的“锚点”技术,加速AI的普及。

 

https://zhidx.com/p/403178.html

Discussions
Be the first to like this. Showing 0 of 0 comments

Post a Comment