Future Tech

[转贴] 免费ML平台Kubeflow正式升级1.0!亚马逊、英特尔、阿里都在用

Tan KW
Publish date: Tue, 03 Mar 2020, 07:31 PM
Tan KW
0 467,388
Future Tech

智东西(公众号:zhidxcom)
编 | 云鹏

智东西3月3日消息,据外媒报道,由谷歌、思科、IBM等公司共同创办的免费机器学习平台Kubeflow目前已经升级到1.0版本。Kubeflow能够让工程师和数据科学家更容易利用云端资源来运行机器学习工作负载。

Kubeflow平台在2017年年度Kubecon会议上首次亮相,目前参与组织已经超过30个,使用该平台的公司包括美国合众银行、亚马逊英特尔阿里巴巴、戴尔、沃尔沃等。

一、三年磨一剑,众多科技巨头参与

由谷歌、思科、IBM、红帽、CoreOS和CaiCloud等公司共同创办的免费机器学习平台Kubeflow在2017年年度Kubecon会议上首次亮相,经过三年打磨,现在已经升级到1.0版本。

随着Kubeflow项目的发展壮大,目前参与组织已经超过30个,参与人数过百。目前使用该平台的公司有美国合众银行、美国大通银行、亚马逊、UberGitHub,英特尔、阿里巴巴、戴尔、沃尔沃等。

据报道,项目的合作者在近日的新闻发布会上表示,“ Kubeflow的目标是使机器学习工程师和数据科学家更容易利用云端资源来运行机器学习工作负载。” “有了Kubeflow,数据科学家就无需学习新概念或平台来部署他们的应用程序。

二、Kubeflow 1.0的核心部分有哪些?

免费ML平台Kubeflow正式升级1.0!亚马逊、英特尔、阿里都在用

Kubeflow 1.0包括一系列核心组件,这些组件是在Kubernetes上有效开发、构建、训练和部署模型所必需的,而Kubernetes是谷歌开发的用于实现应用程序部署、扩展和管理自动化的开源容器编排系统(container-orchestration system)。

除了Kubeflow的主UI和Jupyter Notebooks控制器之外,Kubeflow 1.0还附带了Web应用程序Tensorflow Operator(TFJob)、PyTorch Operator(用于分布式训练)、kfctl(用于部署和升级)以及配置控制器和多用户管理UI。

使用Kubeflow 1.0,开发人员可以使用Jupyter Notebooks工具和Kubeflow工具来开发模型、构建容器、创建Kubernetes资源来训练模型。开发人员可以选择通过Kubeflow的KFServing资源来对经过训练的模型进行漏斗化(funneled),以便在各种硬件上创建、部署、自动最佳化(auto-scale)推理服务器。

Kubeflow 1.0引入了一个命令行界面和配置文件,这使Kubeflow可以通过单个命令以及正在开发的模块(例如Pipelines)进行部署。Pipelines部分基于TensorFlow Extended库,该库在谷歌内部用于构建机器学习组件。

三、调配资源更灵活、公平、安全

Kubeflow让数据科学家和研究团队可以在命名空间(namespaces)内运行工作负载。命名空间提供了安全性和资源隔离,并且管理员可以使用Kubernetes资源配额来限制个人或团队可以消耗的资源数量,以确保公平的调度。

用户可以在Kubeflow的 UI界面中通过预置图像或输入自定义图像的URL两种方式启动Notebooks。然后,用户可以设置要连接到Notebooks的处理器和图形卡的数量,还可以设置存储库和数据库的配置和密码参数。

“这是一项重大的投资。”思科的杰出工程师、Kubeflow的贡献者Debo Dutta在博客中写道,“Kubeflow发展到目前这个阶段,已经花费了许多组织的大量宝贵资源。” “我们对Kubeflow的未来充满信心,并且非常期待。我们希望Kubeflow社区可以变得更强大、更多样化,我们希望更多的个人和组织加入Kubeflow。”

结语:Kubeflow加速各行业实现AI化

Kubeflow 1.0的推出,让工程师们可以更加方便地利用云端资源部署机器学习任务,这也一定程度上降低了企业利用机器学习技术实现业务AI化的门槛。

开源平台的发展需要的是更多开发者、更多组织和企业加入,共同开发、贡献、完善。我们也期待Kubeflow平台能够在机器学习基础设施领域有更多精彩表现。

文章来源:Venturebeat

 

http://zhidx.com/p/196647.html

Discussions
Be the first to like this. Showing 0 of 0 comments

Post a Comment