新闻 
大西洋:效率低得惊人 生成式AI为何是一场工程灾难
大西洋:效率低得惊人 生成式AI为何是一场工程灾难大西洋:效率低得惊人 生成式AI为何是一场工程灾难
但当前这种臃肿的技术路线已经吸引了巨额投资，行业可能缺乏改变方向的意愿 。OpenAI 联合创始人 、 前首席科学家伊利亚 · 苏茨克维去年 11 月接受采访时表示，企业采用这种暴力扩张方式，是因为 “ 这让你能够以极低风险投入资源 ”。
他认为，要把资金投入重新设计一种估值已经达到万亿美元级别的产品，难度要大得多 。
那些怀疑人工智能正在推动经济泡沫的人指出，这些企业能否盈利仍然是未知数，主要原因正是技术成本高昂而且效率低下 。
效率是计算机科学的核心原则 。 计算机专业本科生最先学到的知识之一，是编写一个对 50 个单词排序的程序并不困难 。 但如果把 5000 万个单词交给同一个程序，程序很可能耗尽内存，或者需要数小时才能完成 。
计算机科学的大量内容，就是学习各种巧妙的编程方法，防止这种情况发生 。 许多方法利用数据中的重复规律，让程序接收更多输入时，处理每一小部分新增数据所需的时间或内存反而减少 。
正是这种效率，使现代智能手机和计算机既强大又便宜 。 这种方式被称为对数扩展 。
大型语言模型并不遵循对数扩展规律 。 当输入的单词增加时，模型会变得更慢，并占用更多内存 。 输入规模越大，所需时间和资源增长得越快 。
用技术术语来说，大型语言模型按平方级扩展 。 任何计算机专业学生都知道，这非常糟糕 。
研究人工智能模型运行成本的机构 Epoch AI 去年发布了一张图表，展示了多种公开人工智能模型在处理越来越多 “token” 时，服务成本如何呈指数增长 。 所谓 token，就是用户输入聊天机器人的文字单位 。
人工智能并非一定要以这种方式开发 。 传统人工智能研究的目标，是用模拟人类思维过程的方式解决问题 。 研究人员观察自己的思考方式，然后尝试把这些思维习惯写进程序 。
这种方法后来基本被放弃，部分原因是人类思维规则很难识别，也很难清楚表达 。 不过，这种方法有一个明显优点，就是消耗的资源和数据少得多 。
如今的人工智能开发并不试图总结人类思维规则，而是向计算机提供数百万个例子，让计算机模仿 。
大型模型之所以在生成语言 、 图像和音乐时往往优于小型模型，其中一个原因就是拥有更多可供借鉴的素材 。
一些研究人员希望重新采用过去效率更高的方法，并与现代技术路线结合 。 但到目前为止，这些项目得到的关注和资金，远远少于为聊天机器人提供支持的大型模型 。
聊天机器人企业知道自己的产品效率低下 。 一些公司找到了改善性能的方法，但这些方法并没有带来显着进展 。 企业偶尔会声称取得突破 。Anthropic 首席执行官达里奥 · 阿莫代把这类突破称为 “ 算力倍增器 ”。
但这些说法通常含糊不清，也没有证据表明，大型语言模型按平方级扩展和模型规模爆炸式扩大的根本问题已经解决 。 我联系 Anthropic 询问这一问题时，公司拒绝公开发表评论 。
一些研究人员正在开发体积极小 、 所需数据和算力更少的模型 。 我采访了微软人工智能研究人员亚历克西娅 · 若利克尔－马蒂诺 。 她独立设计了其中一种模型 。
我问她如何看待整个行业依赖暴力扩张的做法 。
她对我说：“ 这有点疯狂 。 到了某个阶段，你必须学会提高一点效率 。”
去年，若利克尔－马蒂诺凭借一篇研究 “ 微型递归模型 ” 的论文获得 5 万美元奖金 。 这种模型不需要消耗巨量算力 。
[加西网正招聘多名全职sales 待遇优]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 |
推荐: