新闻 
图灵奖得主警告:当前安全措施 追不上AI能力狂飙
图灵奖得主警告:当前安全措施 追不上AI能力狂飙图灵奖得主警告:当前安全措施 追不上AI能力狂飙
本吉奥发出警告
尤其在网络安全和生物领域，开源模型一旦发布就不可逆转。那些具有双重用途的能力一旦被释放，就无法召回，也无法修复。他强调，仅仅基于当前前沿水平来思考AI风险是远远不够的。
“必须在AI模型能力跃迁之前就做好准备，而不是事后才应对，这应当成为我们的默认姿态。”
非营利组织SecureBio的AI研究负责人贾斯珀·戈汀进一步聚焦到了生物风险上。
他提到知名AI研究员索伦·明德曼分享的一项实地调查：在尼日利亚，前恐怖组织“博科圣地”的成员每天都在使用AI，AI不只用来制造更大的炸弹，还包括制定攻击计划。
更令人不安的是，他们还办起了培训班，教组织成员如何用AI进行恐怖活动。
戈汀指出，生物学天然具有双重属性，但“我们希望AI驱动的是疫苗实验室，而不是恐怖分子的病毒学实验室。”
研究人员在防护栏之内，应当获得AI辅助来完成对策研发，但这些知识不应出现在开源模型里。
独立研究员、前OpenAI项目负责人杰夫·吴则从权力集中的角度补充了思考。他指出，前沿AI的发展伴随着资源的集中，很可能导致权力汇聚到少数公司或机构手中。如果未来制造出远比人类聪明的系统，人类可能面临被全面剥夺权力的风险。
明德曼则指出一个更深的治理困境——“证据困境”：AI能力常跳跃式提升，让人措手不及；但真正棘手的是，在风险变成现实之前，人们很难拿到“它一定会造成危害”的确凿证据。
Anthropic就遇到过这种情况，模型能力突然跃升，团队担忧网络攻击风险，却无法证明“一定会出事”，最终自愿决定暂不投放市场，才避免了潜在危害。
这正是困境所在：能力已强到令人不安，却没有硬证据支撑立即干预。
04 AI威胁是炒作or真相？面对如此严峻的前沿风险，全球科技界在治理态度上呈现出显着分歧。
本吉奥呼吁立即采取行动。他警告称，在模型能力出现跃升之前做好准备，必须成为默认姿态。各国政府需要意识到，这不是某个国家单独面对的威胁，而是AI滥用带来的共同挑战，必须共同预防。
相比之下，国内学者给出的回应更为务实。
高新波认为，前沿AI风险确实是基于逻辑推演的系统性威胁，但不必因此陷入末日恐慌，更不能直接叫停研究。他把前沿AI比作“比核能还要深刻的潘多拉魔盒”——打开之前，必须在工程和设计层面把“安全锁”打造完美。
姜育刚的立场更贴近现实。他指出，呼吁停止研发在现实中根本不可能，没人会停下来。不管各方觉得该开源还是闭源，两种模式已经同时存在了。最务实的做法，是在新技术研发的过程中同步推进风险防控。
熊辉则坚定支持开源。他认为闭源大模型的能力越强，风险同样在急剧增加。问题的核心不在于开不开源，而在于重构安全架构：如果能在内核层面把安全控制做到极致，外围完全可以放心开源，让开源的生产力红利惠及更多人。
在具体操作层面，杰夫·吴和明德曼都提到了可落地的缓解措施。
杰夫·吴建议通过预训练和后训练阶段的数据过滤来降低风险。明德曼补充称，云服务商也可以在身份核查层面设置门槛，就像进地铁站需要出示证件一样，确保只有更可信的人才能获得模型权重访问权限。
结语讨论最后，技术派把焦点放在了“可控”上。
高新波希望，AI专家不仅能造出最聪明的模型，还能提供一套能证明、能解释、能控制的安全防护体系；姜育刚强调，内生安全重要，但攻防技术同样关键，更坚固的盾才能支撑技术持续发展；熊辉则期待安全控制能力与开发能力齐头并进。
乐观派把目光投向了未来。
贾斯珀·戈汀认为AI在生物学领域拥有巨大潜力，人类能找到收获所有好处同时，也能遏制严重风险的方式。
制度派的思考则落在了人与人之间的协调上。
杰夫·吴和明德曼都指出，除了科学研究与风险缓解，还需要建立协调机制，在共识和监督下推进AI的开发进程。
周伯文在演讲最后留下一个判断：“安全价值就是商业价值，它们并不对立。”
[物价飞涨的时候 这样省钱购物很爽]
无评论不新闻，发表一下您的意见吧
尤其在网络安全和生物领域，开源模型一旦发布就不可逆转。那些具有双重用途的能力一旦被释放，就无法召回，也无法修复。他强调，仅仅基于当前前沿水平来思考AI风险是远远不够的。
“必须在AI模型能力跃迁之前就做好准备，而不是事后才应对，这应当成为我们的默认姿态。”
非营利组织SecureBio的AI研究负责人贾斯珀·戈汀进一步聚焦到了生物风险上。
他提到知名AI研究员索伦·明德曼分享的一项实地调查：在尼日利亚，前恐怖组织“博科圣地”的成员每天都在使用AI，AI不只用来制造更大的炸弹，还包括制定攻击计划。
更令人不安的是，他们还办起了培训班，教组织成员如何用AI进行恐怖活动。
戈汀指出，生物学天然具有双重属性，但“我们希望AI驱动的是疫苗实验室，而不是恐怖分子的病毒学实验室。”
研究人员在防护栏之内，应当获得AI辅助来完成对策研发，但这些知识不应出现在开源模型里。
独立研究员、前OpenAI项目负责人杰夫·吴则从权力集中的角度补充了思考。他指出，前沿AI的发展伴随着资源的集中，很可能导致权力汇聚到少数公司或机构手中。如果未来制造出远比人类聪明的系统，人类可能面临被全面剥夺权力的风险。
明德曼则指出一个更深的治理困境——“证据困境”：AI能力常跳跃式提升，让人措手不及；但真正棘手的是，在风险变成现实之前，人们很难拿到“它一定会造成危害”的确凿证据。
Anthropic就遇到过这种情况，模型能力突然跃升，团队担忧网络攻击风险，却无法证明“一定会出事”，最终自愿决定暂不投放市场，才避免了潜在危害。
这正是困境所在：能力已强到令人不安，却没有硬证据支撑立即干预。
04 AI威胁是炒作or真相？面对如此严峻的前沿风险，全球科技界在治理态度上呈现出显着分歧。
本吉奥呼吁立即采取行动。他警告称，在模型能力出现跃升之前做好准备，必须成为默认姿态。各国政府需要意识到，这不是某个国家单独面对的威胁，而是AI滥用带来的共同挑战，必须共同预防。
相比之下，国内学者给出的回应更为务实。
高新波认为，前沿AI风险确实是基于逻辑推演的系统性威胁，但不必因此陷入末日恐慌，更不能直接叫停研究。他把前沿AI比作“比核能还要深刻的潘多拉魔盒”——打开之前，必须在工程和设计层面把“安全锁”打造完美。
姜育刚的立场更贴近现实。他指出，呼吁停止研发在现实中根本不可能，没人会停下来。不管各方觉得该开源还是闭源，两种模式已经同时存在了。最务实的做法，是在新技术研发的过程中同步推进风险防控。
熊辉则坚定支持开源。他认为闭源大模型的能力越强，风险同样在急剧增加。问题的核心不在于开不开源，而在于重构安全架构：如果能在内核层面把安全控制做到极致，外围完全可以放心开源，让开源的生产力红利惠及更多人。
在具体操作层面，杰夫·吴和明德曼都提到了可落地的缓解措施。
杰夫·吴建议通过预训练和后训练阶段的数据过滤来降低风险。明德曼补充称，云服务商也可以在身份核查层面设置门槛，就像进地铁站需要出示证件一样，确保只有更可信的人才能获得模型权重访问权限。
结语讨论最后，技术派把焦点放在了“可控”上。
高新波希望，AI专家不仅能造出最聪明的模型，还能提供一套能证明、能解释、能控制的安全防护体系；姜育刚强调，内生安全重要，但攻防技术同样关键，更坚固的盾才能支撑技术持续发展；熊辉则期待安全控制能力与开发能力齐头并进。
乐观派把目光投向了未来。
贾斯珀·戈汀认为AI在生物学领域拥有巨大潜力，人类能找到收获所有好处同时，也能遏制严重风险的方式。
制度派的思考则落在了人与人之间的协调上。
杰夫·吴和明德曼都指出，除了科学研究与风险缓解，还需要建立协调机制，在共识和监督下推进AI的开发进程。
周伯文在演讲最后留下一个判断：“安全价值就是商业价值，它们并不对立。”
[物价飞涨的时候 这样省钱购物很爽]
| 分享: |
| Note: | _VIEW_NEWS_FULL |
| 延伸阅读 |
推荐: