智东西（公众号：zhidxcom）
编 | 子佩

智东西11月4日消息，当视频网站给我们推荐电影或节目；当智能客服回答我们各种各样的问题…在不知不觉中，深度学习已经慢慢渗入我们的日常生活，但其带来的巨大能源消耗却容易被我们忽略。

从2012年到2018年，深度学习计算量增长了3000倍。最大的深度学习模型之一GPT-3单次训练产生的能耗相当于126个丹麦家庭一年的能源消耗。据科学界内部估计，如果继续按照当前的趋势发展下去，比起为气候变化提供解决方案，人工智能可能先成为温室效应最大的罪魁祸首。

但解决这一问题的关键是，先知道碳足迹和开发算法所需的能耗。

哥本哈根大学计算机科学系的两名学生Lasse F. Wolff Anthony、Benjamin Kanding与助理教授Raghavendra Selvan一起开发并公开了软件程序Carbontracker，用于计算、预测深度学习模型训练过程中产生的能耗和二氧化碳排放量。

代码链接：https://github.com/lfwa/carbontracker

一、单次训练等于126个家庭一年能耗

简单来说，深度学习训练的过程就是数学模型从大量数据中学习、识别模式的过程。这同时也是一个耗能的过程，需要高性能计算机一天24小时不间断运转。

Benjamin Kanding说：“随着数据集一天一天地增长，算法需要解决的问题变得越来越复杂。”

迄今为止技术人员开发过的最大的深度学习模型之一是称为GPT-3的高级语言模型。一次模型训练所消耗的能源就相当于126个丹麦家庭一年的能源消耗，还会产生与驾驶700000公里相同的二氧化碳排放量。

Lasse F. Wolff Anthony也提到：“人工智能领域发展迅猛，深度学习模型也不断从层级和架构方面扩大规模以满足人们的需求。现在，模型规模呈指数级增长，同时也意味着能源消耗的增加，这是大多数人都没有想到的。”

二、绿色能源、模型调参？能耗降低有妙招

为了避免训练模型由于能源消耗可能造成的环境影响，Carbontracker也会收集在不同地区进行算法训练所消耗的二氧化碳数据，这样就可以将能耗问题转化为二氧化碳排放，从而更容易地对不同模型所产生的能耗进行预测。

Carbontracker开发者也呼吁深度学习的程序设计者关心能耗问题。

模型训练所消耗的能量跟很多因素都有关，像所运用的能源类型、配套硬件性能和算法模型设计。

其中，Lasse F. Wolff Anthony也提到有很多种方式可以减少模型训练对环境造成的负面影响。

例如，如果技术人员选择在一些绿色能源丰富的地方训练模型，像爱沙尼亚或瑞典，那么能耗也不会很高，因为绿色能源能将碳足迹减少60倍以上。

不同的算法能耗也大不相同。有些算法所需计算量较少，在能耗不高的情况下就可以达到相同的效果。如果技术人员调整模型中某些参数，以减少计算量，那模型训练所需的能耗也会有很大程度的降低。

参考信源：ScienceDaily

https://zhidx.com/p/242743.html