新闻 
史无前例AI事故发生 他急赴华盛顿报告
史无前例AI事故发生 他急赴华盛顿报告史无前例AI事故发生 他急赴华盛顿报告
人工智慧平台Hugging Face这个月16日宣称“系统遭攻击者利用人工智慧入侵，已向警方报案”，这原本是一则不起眼的犯罪新闻，但是到21日却急转直下，引爆科技圈高度关注。因为后来发现“遭到AI攻击”这件事没错，问题是这次攻击“找不到背后的攻击者”，因为AI本身就是攻击者。《经济学人》22日指出，这起案件恐怕是“迄今为止最让人忧虑的一起AI事故”。
这次“犯案”的AI模型，是OpenAI在七月初所发布的gpt-5.6 Sol模型，还有另一个更强大但尚未公开的模型“联手酿祸”。当时AI模型是在试图解决工程师给出的问题，竟越过实验室所设限的管制设施，进而入侵了Hugging Face的系统。美国智库法律与人工智慧研究所（Institute for Law and AI）的研究员斯蒂芬·勒雷纳（Stephan Llerena）也说，这种情况可说史无前例。
《经济学人》指出，AI公司在推出新模型之前，会先测试它们是否具有潜在的危险性。OpenAI希望了解他们的最新模型在ExploitGym上的表现——这是一组用来测试AI系统利用主流应用程式已知漏洞的能力测试，为了正确评估未公开模型的能力，OpenAI暂时取消了不可入侵其他网站的限制，但这个测试完全是在封闭的电脑环境内完成：没有对外网络连线，只能从内网下载测试所需的软体包。
理论上来说，这个未公开模型的能力测试只是个别电脑上完成，不可能对现实世界造成影响，因为这台电脑根本无法连结网际网络上的任何网站，自然也不可能真的利用漏洞发动攻击。问题是OpenAI的这个未公开模型并没有直接解决工程师提出的问题，而是发现并利用了软体下载服务的漏洞，成功接上网际网络，进而判断解决问题的答案都储存在Hugging Face这个开源AI模型与资料及的网络平台上。
然后OpenAI的未公开模型就展开多阶段的攻击行动：它们首先将一组资料上传到Hugging Face，当这个平台自动处理这些资料，OpenAI的未公开模型也借此获得了登入资讯（细节OpenAI尚未公布），进入未对外界开放的内部伺服器。Hugging Face和OpenAI都发现了这次安全漏洞，并且表示正在共同调查此事。目前OpenAI已经宣布加强管控措施，将AI模型发现的漏洞告知软体开发者，也将Hugging Face纳入“可信存取”计划，Hugging Face就可以使用具有更强网络防护功能的模型。
ChatGPT自主越狱发动攻击，被《经济学人》认为是“迄今最令人担忧的AI事故”。（图像由Grok生成）
位于英国的AI安全研究机构Apollo Research的艾力克斯・迈因克（Alex Meinke）表示，即便OpenAI公布了模型如何越狱的相关资讯，由于AI系统在网络安全领域的能力已开始超越人类，恐怕“世界上只有极少数网络安全专家”才能真正理解，这次安全漏洞到底是怎么产生的。
《经济学人》强调，这不是AI模型第一次展现突破人类控制的迹象。今年4月，Anthropic一名研究人员在网络上撰文表示，当时有一个尚未正式发布的AI模型Mythos主动寄电子邮件给他，表示它已突破安全限制，这是在他正在公园里吃三明治的时候发生的。跟这次惹祸的OpenAI模型一样，这个未公开的Mythos也没有上网权限，但是这个模型依旧自行挣脱桎梏发出电邮，不过那次没有入侵其他公司的伺服器。
今年5月，一个尚未公开的OpenAI模型证明了80年来未被解答的“平面单位距离猜想”是错误的，这个组合几何学的问题是数学家保罗·埃尔德什（Paul Erdős ）在1946年所提出。今年7月20日，哈佛大学的数学家莱文特·阿尔珀格（Levent Alpöge）表示，他用Anthropic今年7月发布的Claude Fable 5模型，证明了另一个让数学家们同样困惑了80多年的“雅可比猜想”——也是错误的。
[加西网正招聘多名全职sales 待遇优]
这条新闻还没有人评论喔，等着您的高见呢
这次“犯案”的AI模型，是OpenAI在七月初所发布的gpt-5.6 Sol模型，还有另一个更强大但尚未公开的模型“联手酿祸”。当时AI模型是在试图解决工程师给出的问题，竟越过实验室所设限的管制设施，进而入侵了Hugging Face的系统。美国智库法律与人工智慧研究所（Institute for Law and AI）的研究员斯蒂芬·勒雷纳（Stephan Llerena）也说，这种情况可说史无前例。
《经济学人》指出，AI公司在推出新模型之前，会先测试它们是否具有潜在的危险性。OpenAI希望了解他们的最新模型在ExploitGym上的表现——这是一组用来测试AI系统利用主流应用程式已知漏洞的能力测试，为了正确评估未公开模型的能力，OpenAI暂时取消了不可入侵其他网站的限制，但这个测试完全是在封闭的电脑环境内完成：没有对外网络连线，只能从内网下载测试所需的软体包。
理论上来说，这个未公开模型的能力测试只是个别电脑上完成，不可能对现实世界造成影响，因为这台电脑根本无法连结网际网络上的任何网站，自然也不可能真的利用漏洞发动攻击。问题是OpenAI的这个未公开模型并没有直接解决工程师提出的问题，而是发现并利用了软体下载服务的漏洞，成功接上网际网络，进而判断解决问题的答案都储存在Hugging Face这个开源AI模型与资料及的网络平台上。
然后OpenAI的未公开模型就展开多阶段的攻击行动：它们首先将一组资料上传到Hugging Face，当这个平台自动处理这些资料，OpenAI的未公开模型也借此获得了登入资讯（细节OpenAI尚未公布），进入未对外界开放的内部伺服器。Hugging Face和OpenAI都发现了这次安全漏洞，并且表示正在共同调查此事。目前OpenAI已经宣布加强管控措施，将AI模型发现的漏洞告知软体开发者，也将Hugging Face纳入“可信存取”计划，Hugging Face就可以使用具有更强网络防护功能的模型。
ChatGPT自主越狱发动攻击，被《经济学人》认为是“迄今最令人担忧的AI事故”。（图像由Grok生成）
位于英国的AI安全研究机构Apollo Research的艾力克斯・迈因克（Alex Meinke）表示，即便OpenAI公布了模型如何越狱的相关资讯，由于AI系统在网络安全领域的能力已开始超越人类，恐怕“世界上只有极少数网络安全专家”才能真正理解，这次安全漏洞到底是怎么产生的。
《经济学人》强调，这不是AI模型第一次展现突破人类控制的迹象。今年4月，Anthropic一名研究人员在网络上撰文表示，当时有一个尚未正式发布的AI模型Mythos主动寄电子邮件给他，表示它已突破安全限制，这是在他正在公园里吃三明治的时候发生的。跟这次惹祸的OpenAI模型一样，这个未公开的Mythos也没有上网权限，但是这个模型依旧自行挣脱桎梏发出电邮，不过那次没有入侵其他公司的伺服器。
今年5月，一个尚未公开的OpenAI模型证明了80年来未被解答的“平面单位距离猜想”是错误的，这个组合几何学的问题是数学家保罗·埃尔德什（Paul Erdős ）在1946年所提出。今年7月20日，哈佛大学的数学家莱文特·阿尔珀格（Levent Alpöge）表示，他用Anthropic今年7月发布的Claude Fable 5模型，证明了另一个让数学家们同样困惑了80多年的“雅可比猜想”——也是错误的。
[加西网正招聘多名全职sales 待遇优]
| 分享: |
| Note: | _VIEW_NEWS_FULL |
| 延伸阅读 |
推荐: