技术人工智能消耗多少电力?
要计算一个Balenciaga教皇所消耗的瓦特和焦耳数并非易事。作者:詹姆斯-文森特(James Vincent)是一名资深记者,在 The Verge 报道人工智能、机器人技术等内容长达八年之久。2024年2月16日,世界协调时下午2:00分享此故事插图:Erik Carter插图:Erik Carter众所周知,机器学习需要消耗大量能源。所有这些为电子邮件摘要、弑君聊天机器人和荷马-辛普森(Homer Simpson)演唱新金属乐视频提供动力的人工智能模型,都在消耗着以兆瓦/小时为单位的巨额服务器费用。但是,似乎没有人--甚至是这项技术背后的公司--能准确说出成本是多少。
估计数字确实存在,但专家们表示,这些数字是片面的、偶然的,只能窥见人工智能总能耗的一斑。这是因为机器学习模型的可变性极高,其配置方式会极大地改变其能耗。此外,最有能力出具账单的机构--如 Meta、微软和 OpenAI 等公司--根本没有分享相关信息。(微软负责云计算运营和创新的首席技术官朱迪-普里斯特(Judy Priest)在一封电子邮件中表示,该公司目前正在 "投资开发量化人工智能能源使用和碳影响的方法,同时研究如何使大型系统在训练和应用方面更加高效"。OpenAI 和 Meta 没有回应置评请求)。
我们可以确定的一个重要因素是首次训练模型与向用户部署模型之间的差异。尤其是训练,其能耗极高,比传统的数据中心活动耗电多得多。例如,训练一个像 GPT-3 这样的大型语言模型,估计要消耗不到 1,300 兆瓦时 (MWh) 的电力;大约相当于 130 个美国家庭一年的耗电量。换句话说,播放一小时的 Netflix 流媒体节目大约需要 0.8 千瓦时(0.0008 兆瓦时)的电量。这意味着你必须观看162.5万小时的节目,才能消耗与训练GPT-3相同的电量。
但是,很难说这样的数字如何适用于目前最先进的系统。能耗可能更大,因为人工智能模型的规模多年来一直呈稳步上升趋势,而更大的模型需要更多的能量。另一方面,公司可能正在使用一些行之有效的方法来提高这些系统的能效,这将抑制能源成本的上升趋势。
法美人工智能公司 "Hugging Face "的研究员萨沙-卢奇奥尼(Sasha Luccioni)说,进行最新估算所面临的挑战是,随着人工智能变得有利可图,公司变得更加神秘。早在几年前,OpenAI 等公司就会公布其训练制度的细节--使用什么硬件、训练多长时间。但 Luccioni 说,ChatGPT 和 GPT-4 等最新模型根本不存在同样的信息。
"对于 ChatGPT,我们不知道它有多大,我们不知道底层模型有多少参数,我们不知道它在哪里运行......它可能是三只穿着风衣的浣熊,因为你根本不知道引擎盖下面是什么。"
"可能是三只穿风衣的浣熊" "因为你不知道引擎盖下是什么"
Luccioni 撰写了多篇研究人工智能能源使用情况的论文,他认为这种保密性部分是由于公司之间的竞争,但也是为了转移批评。人工智能的能源使用统计数据--尤其是其最无聊的使用案例--自然会招致与加密货币的浪费现象进行比较。"她说:"人们越来越意识到,这一切都不是免费的。
培训模型只是其中的一部分。在系统创建之后,它将被推广给消费者,消费者使用它来产生输出,这个过程被称为 "推理"。去年 12 月,Luccioni 和来自 Hugging Face 和卡内基梅隆大学的同事发表了一篇论文(目前正在等待同行评审),其中首次估算了各种人工智能模型的推理能耗。
Luccioni 和她的同事对 88 种不同的模型进行了测试,涵盖了从回答问题到识别物体和生成图像等一系列使用案例。在每种情况下,他们都运行了 1000 次任务,并估算了能耗成本。他们测试的大多数任务耗能较小,比如对书面样本进行分类耗能为 0.002 千瓦时,生成文本耗能为 0.047 千瓦时。如果我们用一小时的 Netflix 流媒体播放作为比较,这分别相当于观看 9 秒钟或 3.5 分钟所消耗的能量。(记住:这是执行每项任务 1,000 次的成本)图像生成模型的数据明显更大,平均每 1,000 次推理消耗 2.907 千瓦时。正如论文所指出的,智能手机的平均充电耗电量为 0.012 千瓦时,因此使用人工智能生成一张图像所消耗的能源
因此,使用人工智能生成一幅图像所耗费的电量几乎与智能手机充电的电量相当。
不过,重点是 "可以",因为这些数字并不一定适用于所有使用情况。Luccioni 和她的同事测试了十种不同的系统,从生成 64 x 64 像素小图片的小型模型到生成 4K 图片的大型模型,这些测试结果产生了巨大的数值差异。研究人员还对使用的硬件进行了标准化,以便更好地比较不同的人工智能模型。这并不一定能反映真实世界的部署情况,因为在真实世界中,软件和硬件通常都会针对能效进行优化。
"Luccioni 说:"这肯定不能代表每个人的使用情况,但至少我们现在有了一些数字。"我想在地上插一面旗帜,说'让我们从这里开始'。"
"生成式人工智能革命会带来我们完全不知道的地球代价"。
这项研究提供了有用的相对数据,尽管不是绝对数字。例如,它表明人工智能模型生成输出所需的功率比对输入进行分类所需的功率更大。它还显示,任何涉及图像的内容都比文本更耗能。卢西奥尼说,虽然这些数据的偶然性可能会令人沮丧,但这本身就说明了一个问题。"她说:"生成式人工智能革命带来了我们完全不知道的地球代价,对我来说,这种传播尤其具有指示意义。"简而言之,我们就是不知道。
因此,由于变数太多,要确定生产一个 Balenciaga 教皇的能源成本非常棘手。但是,如果我们想更好地了解地球的成本,还可以采取其他方法。如果我们不把重点放在模型推理上,而是把视野放大呢?
阿姆斯特丹理工大学的博士生亚历克斯-德-弗里斯(Alex de Vries)就是这样做的,他曾在自己的博客 "Digiconomist "中计算比特币的能源消耗,并使用英伟达 GPU(人工智能硬件的黄金标准)来估算该行业的全球能源使用量。德弗里斯在去年发表在《焦耳》(Joule)杂志上的评论中解释说,英伟达约占人工智能市场销售额的95%。该公司还发布了其硬件的能源规格和销售预测。
结合这些数据,de Vries 计算出,到 2027 年,人工智能领域每年可能消耗 85 到 134 太瓦时的能源。这与德弗里斯的祖国荷兰每年的能源需求差不多。
"德-弗里斯告诉 The Verge:"到 2027 年,人工智能的耗电量可能占全球耗电量的一半。"我认为这是一个相当可观的数字。"