Future Tech

[转贴] 微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!

Tan KW
Publish date: Sat, 09 Mar 2024, 06:01 PM
Tan KW
0 500,547
Future Tech
微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!

智东西(公众号:zhidxcom)
作者 | ZeR0
编辑 | 漠影

智东西3月8日消息,又一家生成式AI独角兽推出了性能匹敌GPT-4的大模型,而且训练计算量只用了GPT-4的40%

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!

这是美国AI独角兽企业Inflection AI最新发布的Inflection-2.5大语言模型,兼具高智商与高情商,支持联网查询内容,登录Pi聊天机器人的网页、iOS、安卓和桌面端app均可免费体验

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!▲让Pi聊天机器人比较Inflection-2.5与GPT-4

试用直通车:https://pi.ai/talk

一个月之内,GPT-4连迎三个强劲的新竞争对手:Gemini 1.5 Pro、Claude 3 Opus,以及最新登场的Infection-2.5。这意味着GPT-4独霸时代已经过去,大模型王者之战还有很多可能。

在这场激烈的战事中,Inflection AI既年轻又锋芒毕露,成立刚满两年,由前DeepMind首席科学家Karén Simonyan、LinkedIn联合创始人Reid Hoffman、DeepMind联合创始人Mustafa Suleyman共同创办,2023年6月获得英伟达、微软等参投的13亿美元融资,估值达40亿美元(折合约287亿人民币),是当前全球第四大生成式AI独角兽

它是OpenAI的大语言模型劲敌之一,以“为每个人创造一个个性化的AI”为使命,2023年5月推出了一款具有同理心、乐于助人和安全的个性化AI聊天助手Pi,11月推出基础模型Inflection-2。与此同时,Inflection AI正在构建由22000万块H100 GPU组成的世界最大AI计算集群

现在,Inflection AI进一步给Pi加料——新升级的Inflection-2.5有“世界级的智商”、“独特的善良”、“好奇的个性”,并具备4个主要亮点:

1、在关键基准测试中与GPT-4并驾齐驱,并且使用40%的计算量来训练,与其他顶级基础模型相比训练效率优势显著

2、在编程、数学等STEM(科学、技术、工程、数学)领域进步显著。

3、“世界级”实时网络搜索功能:确保用户能获得高质量、最新的新闻和信息,增强用户体验和交互的即时性

4、广泛可用性+显著满意度:对所有Pi用户开放,支持多平台访问,对用户情绪、参与度和留存率产生显著影响,加速了有机用户增长

继Anthropic后,又一家初创公司推出了性能强大、能与GPT-4一较高下的大语言模型,并在优化模型训练方法上大秀肌肉。这展现了创业团队在大模型竞赛中的潜力和冲劲,随着大模型性能不断升级,如何用更少计算资源训出更强模型,将是接下来产学界都重点探索的方向。

一、用40%的计算量,训练出接近GPT-4的性能

Inflection-1用了GPT-4训练FLOPs的约4%,在不同的智商导向任务中,平均性能达到GPT-4水平的大约72%。Inflection-2.5用了GPT-4训练FLOPs的40%,在不同的智商导向任务中,平均性能达到GPT-4的94%以上。

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!

Inflection-2.5在MMLU基准测试上的成绩相较Inflection-1进步明显,略低于GPT-4。

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!

MMLU基准测试衡量了从高中到专业难度的各种任务的性能。Inflection AI还根据GPQA钻石基准进行评估,这是一个极难的专家级基准。

其测试还包括两种不同的STEM(科学、技术、工程、数学)考试的结果:匈牙利数学考试和物理GRE(物理研究生入学考试)的表现。

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!

在BIG-Bench-Hard(大语言模型难以解决的BIG-Bench问题的子集)上,Inflection-2.5性能比Inflection-1提高10%以上,接近GPT-4。

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!

在MT-Bench上评估模型后,Inflection AI意识到,在推理、数学、编程类别中,有很大一部分(接近25%)的示例具有不正确的参考解决方案或具有错误前提的问题。因此Inflection AI更正了这些示例,并发布了该版本的数据集。

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!

在评估这两个子集时,Inflection AI发现在正确修正的版本中,其模型更符合他们基于其他基准的期望。

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!

与Inflection-1相比,Inflection-2.5在数学和编程性能方面有了显著进步。下表是在MBPP+和HumanEval+两个编程基准上的评测结果对比。

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!

在HellaSwag和ARC-C常识和科学基准测试上进行评估,Inflection-2.5同样表现强劲。

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!

二、特别致谢微软Azure和CoreWeave,正构建世界最大AI集群

上面所有的评估都是用现在为Pi提供动力的模型Inflection-2.5完成的,但是Inflection AI注意到,受web检索的影响(没有使用web检索的基准测试),少量提示词的结构以及其他生产端差异,用户体验可能会略有不同。

这家独角兽企业还专门致谢了为其提供算力资源的合作伙伴AzureCoreWeave

Azure是微软云计算服务,CoreWeave则是去年凭借英伟达的支持坐拥数万块芯片狂揽算力大单的GPU云服务黑马。

2023年初,CoreWeave找到Inflection并为其提供几千张H100 GPU。英伟达看中了这个组合的巨大潜力,先后向两家公司投资数亿美元,抬高了Coreweave的H100供货优先级。

2023年6月,Inflection AI宣布与将与合作伙伴CoreWeave、英伟达一起,构建世界上最大的AI集群,包含22000个H100 GPU

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!▲CoreWeave-Infection AI超算的信息推测(图源:The Next Platform)

就在宣布最大AI集群的一个月前,Inflection AI推出Pi聊天机器人,向OpenAI正式下战书。

不同于ChatGPT等产品的“生产力工具”定位,Pi想做“个人AI”,成为用户24小时在线的数字朋友,更注重为用户带来友好、丰富的社交互动体验。Pi能记住与跨平台登录用户的100次对话,支持网页、APP、短信、社交平台等设备交互。

相比其他AI聊天机器人,Pi可能在文本生成、代码生成等能力上不算出众,但在安全、同理心等特性上独树一帜。

这也是为什么这家创企刚创办就从微软等公司处筹集2.25亿美元,一年后又拿到微软、英伟达、微软联合创始人比尔·盖茨、Alphabet前CEO Eric Schmidt等的13亿美元融资,飞速成为全球最大的生成式AI独角兽之一。

截至2023年年底,Inflection AI估值约为40亿美元,是全球第四大生成式AI独角兽,仅次于OpenAI、Anthropic、Character.AI。

三、联创团队有钱有技术:曾创办DeepMind,曾投资OpenAI

2022年3月成立的年轻AI团队,能赢得微软和英伟达两大巨头的青睐,与其创始团队密不可分。

Inflection AI联合创始人Reid Hoffman被称作“硅谷人脉王”,是硅谷最有名的天使投资人之一,他是全球最大专业社交网站LinkedIn的联合创始人,以及风险投资机构Greylock Partners的合伙人,曾是OpenAI的创始投资者。

截至2023年5月,Reid Hoffman和Greylock Partners已投资至少37家AI公司。

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!▲左为Mustafa Suleyman,右为Reid Hoffman图源:福布斯、Business Insider)

另一位联合创始人Mustafa Suleyman,2009年与几位合伙人共同创立DeepMind,并将研究重点放到AI在医疗健康和气候变化中的应用,但连年亏损压得Suleyman喘不过气。2014年,谷歌抛出橄榄枝,6亿美元将DeepMind收入麾下。

背靠金主的DeepMind终于可以没有资金之忧地继续从事前沿研究,然而5年后,Suleyman却选择离开DeepMind,加入谷歌并担任AI产品管理和AI政策副总裁。背后原因,据说是由于一些同事曾抱怨他在工作上骚扰和欺凌同事。

Suleyman也曾坦言,作为DeepMind联合创始人,他对员工的要求过于苛刻,有时他的管理风格并不具有建设性。2022年,他离开谷歌,创办Inflection AI并担任CEO,“希望与有远见和无所畏惧的创始人在一起”。

第三位联合创始人是前DeepMind首席科学家Karén Simonyan,现任Inflection AI首席科学家。他是同代中成就突出的深度学习研究者之一,其出版物(包括5篇在学术顶级期刊Nature和Science上的论文)吸引了超过18万次引用。

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!▲Karén Simonyan部分高引用量学术成果

Karén Simonyan在牛津大学完成了博士学位和博士后学位,期间设计了VGGNet图像处理框架并在赢得了知名的ImageNet挑战赛。随后他创办Vision Factory AI公司,将VGGNet商业化。这家公司很快就被DeepMind收购,Simonyan的身份则变成了DeepMind首席科学家。

任职DeepMind首席科学家期间,Simonyan建立并领导了大规模深度学习团队,开发了基于真实世界数据的大型AI模型。他在AlphaZero、AlphaFold、WaveNet、BigGAN和Flamingo等AI突破中均发挥了关键作用。

结语:团队仅70人,Pi每日聊天消息数超40亿

根据Crunchbase,目前Inflection AI团队规模不到50人据外媒Axios援引Suleyman的话,当前Inflection AI团队拥有70名员工。

据Inflection AI透露,其100万日活跃用户和600万月活跃用户与Pi聊天机器人往来了超过40亿条消息。与Pi的平均谈话时间为33分钟,每天有1/10的谈话时间超过1小时。在任何一周与Pi交谈的用户中,约有60%的人会在接下来的一周返回,其月粘性高于主要竞争对手。

微软英伟达力挺,OpenAI强敌出手:训练计算量仅40%、性能直逼GPT-4!

Inflection AI认为,新推出的Inflection-2.5保持了Pi的独特、平易近人的个性和出色的安全标准,同时成为一个更有用的模型。这个“智商”更加接近GPT-4的模型,将让Pi在更具人性温度的同时,成为能够提供更好建议的个人AI朋友。

 

https://zhidx.com/p/416320.html

Discussions
Be the first to like this. Showing 0 of 0 comments

Post a Comment