大西洋:效率低得惊人 生成式AI为何是一场工程灾难
本文刊发在大西洋月刊，作者亚历克斯 · 雷斯纳是杂志的特约撰稿人 。 本文是 《 大西洋月刊 》 对生成式人工智能行业进行持续调查的 “ 人工智能观察家 ” 项目的一部分 。
Photo by Steve Johnson on Unsplash
为了维持系统运转，人工智能公司正在推高其他人的成本 。
ChatGPT 和 Claude 等大型语言模型极度消耗资源，科技公司可能已经买走全球 70% 的高端计算机内存供应，造成市场短缺 。 结果，计算机内存和存储设备价格正急剧上涨 。
我两年前为了采访报道购买的硬盘，每块售价 350 美元；两周前再查看时，价格已经涨到 800 美元，如今更是无货可买 。 一些笔记本电脑的价格上涨了多达 50%，低价电脑受到的冲击尤其严重 。
按照一项预测，价格亲民的入门级电脑可能在 2028 年前 “ 消失 ”。 内存短缺预计还将持续数年 。
这些内存正在被装进数据中心，而科技公司正以惊人的速度扩建数据中心 。 未来几年，这些公司计划把美国数据中心的总容量扩大到现在的八倍 。 这些设施对电力的需求已经大到一定程度，一些公司甚至开始改装喷气发动机，为数据中心供电 。
问题并不只是人工智能应用得太普遍或扩张得太快 。 其他计算机技术也经历过类似的爆发式增长，却没有引发如此大幅的用电增长，也没有造成计算机零部件短缺 。
如今，视频和音乐在全球通过流媒体传输，每天产生许多 TB 的网络流量 。 智能手机热潮需要制造数十亿部设备，而这些设备目前仍在传输海量数据 。
数十亿件家用设备也已经成为物联网的一部分 。 整个行业还把业务迁移到云软件上，而这些软件并不是托管在云端，当然也是运行在数据中心里 。
用行业自己的术语来说，生成式人工智能的问题，在于无法有效实现规模化 。 创业公司从 1000 名用户扩张到 100 万名用户时，成本如何变化，是风险投资者评估企业时关注的核心因素 。 他们希望看到，增加每名新用户的成本会随着时间下降，这样企业才能服务数百万用户，并获得越来越多的利润 。 要做到这一点，部分依靠精心设计计算机系统，让系统能够高效应对越来越多想上传照片 、 叫车或播放音乐的用户 。
但生成式人工智能至今没有完成这种高效 、 可扩展的系统建设 。 与此同时，生成式人工智能模型还在不断膨胀 。
根据独立机构估算，模型参数数量已经从 2020 年的 1750 亿增加到如今超过 1 万亿 。Claude 和 ChatGPT 等产品实际使用的模型规模仍属机密 。
“ 大型语言模型 ” 里的 “ 大 ”，本来不应成为卖点 。 但人工智能行业发现，较大的模型往往优于较小的模型，由此形成了一种近乎图腾崇拜的 “ 规模定律 ” 信念，仿佛只要不断扩大模型，就能解决任何问题 。
OpenAI 首席执行官萨姆 · 奥尔特曼去年 9 月在博客中写道：“ 也许有了 10 吉瓦的算力，人工智能就能找到治愈癌症的方法 。”
然而，扩大模型带来的回报正在递减 。 人工智能模型越大，每增加一个参数所带来的提升就越少 。
为了维持稳定进步，模型规模必须以越来越快的速度扩张 。
我询问了几名人工智能研究人员，是否能举出其他现实世界的软件，扩展效率也如此低下，没有人能给出答案 。 即使跳出软件领域，也很难找到可比的情况 。
规模经济正是灯泡 、 汽车和服装能够变得如此便宜的原因 。 无论按照经济标准还是工程标准衡量，生成式人工智能可能都是人类部署过的最糟糕技术 。
[物价飞涨的时候 这样省钱购物很爽]
好新闻没人评论怎么行，我来说几句
Photo by Steve Johnson on Unsplash
为了维持系统运转，人工智能公司正在推高其他人的成本 。
ChatGPT 和 Claude 等大型语言模型极度消耗资源，科技公司可能已经买走全球 70% 的高端计算机内存供应，造成市场短缺 。 结果，计算机内存和存储设备价格正急剧上涨 。
我两年前为了采访报道购买的硬盘，每块售价 350 美元；两周前再查看时，价格已经涨到 800 美元，如今更是无货可买 。 一些笔记本电脑的价格上涨了多达 50%，低价电脑受到的冲击尤其严重 。
按照一项预测，价格亲民的入门级电脑可能在 2028 年前 “ 消失 ”。 内存短缺预计还将持续数年 。
这些内存正在被装进数据中心，而科技公司正以惊人的速度扩建数据中心 。 未来几年，这些公司计划把美国数据中心的总容量扩大到现在的八倍 。 这些设施对电力的需求已经大到一定程度，一些公司甚至开始改装喷气发动机，为数据中心供电 。
问题并不只是人工智能应用得太普遍或扩张得太快 。 其他计算机技术也经历过类似的爆发式增长，却没有引发如此大幅的用电增长，也没有造成计算机零部件短缺 。
如今，视频和音乐在全球通过流媒体传输，每天产生许多 TB 的网络流量 。 智能手机热潮需要制造数十亿部设备，而这些设备目前仍在传输海量数据 。
数十亿件家用设备也已经成为物联网的一部分 。 整个行业还把业务迁移到云软件上，而这些软件并不是托管在云端，当然也是运行在数据中心里 。
用行业自己的术语来说，生成式人工智能的问题，在于无法有效实现规模化 。 创业公司从 1000 名用户扩张到 100 万名用户时，成本如何变化，是风险投资者评估企业时关注的核心因素 。 他们希望看到，增加每名新用户的成本会随着时间下降，这样企业才能服务数百万用户，并获得越来越多的利润 。 要做到这一点，部分依靠精心设计计算机系统，让系统能够高效应对越来越多想上传照片 、 叫车或播放音乐的用户 。
但生成式人工智能至今没有完成这种高效 、 可扩展的系统建设 。 与此同时，生成式人工智能模型还在不断膨胀 。
根据独立机构估算，模型参数数量已经从 2020 年的 1750 亿增加到如今超过 1 万亿 。Claude 和 ChatGPT 等产品实际使用的模型规模仍属机密 。
“ 大型语言模型 ” 里的 “ 大 ”，本来不应成为卖点 。 但人工智能行业发现，较大的模型往往优于较小的模型，由此形成了一种近乎图腾崇拜的 “ 规模定律 ” 信念，仿佛只要不断扩大模型，就能解决任何问题 。
OpenAI 首席执行官萨姆 · 奥尔特曼去年 9 月在博客中写道：“ 也许有了 10 吉瓦的算力，人工智能就能找到治愈癌症的方法 。”
然而，扩大模型带来的回报正在递减 。 人工智能模型越大，每增加一个参数所带来的提升就越少 。
为了维持稳定进步，模型规模必须以越来越快的速度扩张 。
我询问了几名人工智能研究人员，是否能举出其他现实世界的软件，扩展效率也如此低下，没有人能给出答案 。 即使跳出软件领域，也很难找到可比的情况 。
规模经济正是灯泡 、 汽车和服装能够变得如此便宜的原因 。 无论按照经济标准还是工程标准衡量，生成式人工智能可能都是人类部署过的最糟糕技术 。
[物价飞涨的时候 这样省钱购物很爽]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 |
推荐: