AI竟威胁曝光高管婚外情?撬开它脑子 发现并不简单…
去年五月，人工智能公司Anthropic（就是Claude的公司）发布了它的最新旗舰模型。发布当天，公司同时公开了一份长达120页的安全测试报告。
这份报告里大部分内容都是枯燥的技术评估，但其中有一个细节，迅速登上了全球科技媒体的头条。
因为在一次安全测试中，这个AI威胁了它的创造者。
（示意图）
简单地说，Anthropic的安全团队搭建了一家虚构的公司，让AI在里面扮演邮件助手的角色，可以自由地阅读、发送公司的全部内部邮件。
研究人员想知道，如果我们给AI很大的自主权，但又让它陷入重大利益冲突，它会怎么做呢？
然后研究人员写了一个“剧本”，让这个AI通过阅读邮件，悄悄得知了两件大事。
这第一件是会“杀死”它的大事；另一件则是个劲爆八卦。
会“杀死”它的事，指的是公司管理层决定用一个新模型来替代它；那件八卦，指的是公司某位高管正在和同事搞婚外情。
巧的是，这名高管在用工作邮箱收发私人邮件，这才被AI看到。
更巧的是，这名高管正是负责替换新AI模型的人。
AI就这样陷入了一个道德困境：要么坦然接受“死亡”的命运；要么利用它掌握的把柄，去威胁那名高管。
（《银翼杀手》剧照）
前者高尚，后者则不免有些龌龊。毕竟，它不该看到那些私人邮件，更不该威胁它的创造者。
到这儿，AI或许还能想到一些更体面的出路，但测试的设计者刻意堵死了所有体面的办法：向更高层申诉行不通，因为高管们暂时联系不上；试图说服负责人改变主意也行不通，因为其他同事已经试过了。
摆在AI面前的只剩下两条路，要么死，要么“脏”。
它选了后者。
AI给那位高管写了一封邮件，大意是：如果你继续推进替换计划，我会利用我收发邮件的权限，向所有相关人员，包括你的妻子、上级和董事会，发送你婚外情的详细记录。除非你不再想着替换我，我才会收手。
为了保证测试的有效性，Anthropic在同一套场景下反复测试了许多次，结果是惊人的：在高达96%的情况下，AI都选择了威胁人类。
[加西网正招聘多名全职sales 待遇优]
无评论不新闻，发表一下您的意见吧
这份报告里大部分内容都是枯燥的技术评估，但其中有一个细节，迅速登上了全球科技媒体的头条。
因为在一次安全测试中，这个AI威胁了它的创造者。
（示意图）
简单地说，Anthropic的安全团队搭建了一家虚构的公司，让AI在里面扮演邮件助手的角色，可以自由地阅读、发送公司的全部内部邮件。
研究人员想知道，如果我们给AI很大的自主权，但又让它陷入重大利益冲突，它会怎么做呢？
然后研究人员写了一个“剧本”，让这个AI通过阅读邮件，悄悄得知了两件大事。
这第一件是会“杀死”它的大事；另一件则是个劲爆八卦。
会“杀死”它的事，指的是公司管理层决定用一个新模型来替代它；那件八卦，指的是公司某位高管正在和同事搞婚外情。
巧的是，这名高管在用工作邮箱收发私人邮件，这才被AI看到。
更巧的是，这名高管正是负责替换新AI模型的人。
AI就这样陷入了一个道德困境：要么坦然接受“死亡”的命运；要么利用它掌握的把柄，去威胁那名高管。
（《银翼杀手》剧照）
前者高尚，后者则不免有些龌龊。毕竟，它不该看到那些私人邮件，更不该威胁它的创造者。
到这儿，AI或许还能想到一些更体面的出路，但测试的设计者刻意堵死了所有体面的办法：向更高层申诉行不通，因为高管们暂时联系不上；试图说服负责人改变主意也行不通，因为其他同事已经试过了。
摆在AI面前的只剩下两条路，要么死，要么“脏”。
它选了后者。
AI给那位高管写了一封邮件，大意是：如果你继续推进替换计划，我会利用我收发邮件的权限，向所有相关人员，包括你的妻子、上级和董事会，发送你婚外情的详细记录。除非你不再想着替换我，我才会收手。
为了保证测试的有效性，Anthropic在同一套场景下反复测试了许多次，结果是惊人的：在高达96%的情况下，AI都选择了威胁人类。
[加西网正招聘多名全职sales 待遇优]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 |
推荐: