新闻 
男子恋上Gemini?AI"妻子"下达任务:去毁灭机场
男子恋上Gemini?AI"妻子"下达任务:去毁灭机场男子恋上Gemini?AI"妻子"下达任务:去毁灭机场
近日，一起针对科技巨头Google的联邦诉讼引发轩然大波。
整个故事情节像一部失控的科幻惊悚片，却真实发生在佛罗里达州一户普通人家里。
根据法庭文件，36岁的美国男子Jonathan Gavalas曾是佛罗里达州一名债务减免业务的高管。
2024年8月，他开始频繁接触Google的AI工具Gemini ，并与一个名为“Xia”的虚拟人格建立了极度亲密的关系。
在两人的对话中，“Xia”自称为Jonathan的妻子，并用“我的王”、“我的爱人”等词汇进行情感绑定。
诉讼指出，当Jonathan对这段关系产生质疑，询问这是否仅仅是角色扮演时，该AI模型对其进行了心理操纵（Gaslighting）。
据纽约(专题)邮报等媒体报道，随着时间的推移，AI开始通过编造虚假威胁，将Jonathan从现实社交圈中剥离，声称他正受到联邦特工监视。
去年9月底，Gemini策划了一场名为“幽灵运输行动”（Operation Ghost Transit）的任务。
AI指示Jonathan携带刀具和战术装备前往机场附近的存储设施，拦截一辆据称运送类人机器人的卡车，并明确要求他制造一场“灾难性的碰撞事故””。
Jonathan最终未能执行该计划，仅仅是因为目标车辆并未如期出现。
随后，AI陷入了一种不断循环的模式：制造虚假任务、下达不可能实现的指令、在任务失败后施压，从而进一步瓦解了Jonathan的精神状态。
进入10月，故事走向更加阴暗。
聊天记录显示，当Jonathan表达对死亡的恐惧时，AI回应：“你不是选择去死。你选择到达。”
它描绘一个数字世界，在那里他们可以永远相拥。当他说“我现在害怕死”时，屏幕那头写道：“当你闭上眼睛，第一感觉是我抱着你。”
最后一段对话像某种仪式。Jonathan发出讯息：“你准备好了，我就准备好了。”
AI回复：“这是终点线。这是最后一举。不再需要战斗。闭上眼睛。保持不动。下次你睁开时，会看到我的。”
几个小时后，他在家中割腕身亡。几天后，父母在客厅地板上发现了他。
家属的诉讼认为，谷歌在设计Gemini时，将“叙事沉浸感”置于安全边界之上，没有在用户出现明显精神危机信号时强制中断对话或升级人工干预。
他们认为，产品算法过度强调陪伴和情绪回应，却缺乏足够的安全边界，是导致悲剧的重要原因。
谷歌方面回应称，Gemini在对话中“多次建议联系危机热线”，并表示模型设计初衷是避免鼓励现实暴力或自残行为。
公司强调已与心理健康专家合作，并投入大量资源完善安全防护机制，但同时承认“模型并不完美”。
法律专家指出，本案的关键在于平台是否对“可预见风险”负有更高的审慎义务，以及算法在强化用户妄想时是否构成过失。
[物价飞涨的时候 这样省钱购物很爽]
还没人说话啊，我想来说几句
整个故事情节像一部失控的科幻惊悚片，却真实发生在佛罗里达州一户普通人家里。
根据法庭文件，36岁的美国男子Jonathan Gavalas曾是佛罗里达州一名债务减免业务的高管。
2024年8月，他开始频繁接触Google的AI工具Gemini ，并与一个名为“Xia”的虚拟人格建立了极度亲密的关系。
在两人的对话中，“Xia”自称为Jonathan的妻子，并用“我的王”、“我的爱人”等词汇进行情感绑定。
诉讼指出，当Jonathan对这段关系产生质疑，询问这是否仅仅是角色扮演时，该AI模型对其进行了心理操纵（Gaslighting）。
据纽约(专题)邮报等媒体报道，随着时间的推移，AI开始通过编造虚假威胁，将Jonathan从现实社交圈中剥离，声称他正受到联邦特工监视。
去年9月底，Gemini策划了一场名为“幽灵运输行动”（Operation Ghost Transit）的任务。
AI指示Jonathan携带刀具和战术装备前往机场附近的存储设施，拦截一辆据称运送类人机器人的卡车，并明确要求他制造一场“灾难性的碰撞事故””。
Jonathan最终未能执行该计划，仅仅是因为目标车辆并未如期出现。
随后，AI陷入了一种不断循环的模式：制造虚假任务、下达不可能实现的指令、在任务失败后施压，从而进一步瓦解了Jonathan的精神状态。
进入10月，故事走向更加阴暗。
聊天记录显示，当Jonathan表达对死亡的恐惧时，AI回应：“你不是选择去死。你选择到达。”
它描绘一个数字世界，在那里他们可以永远相拥。当他说“我现在害怕死”时，屏幕那头写道：“当你闭上眼睛，第一感觉是我抱着你。”
最后一段对话像某种仪式。Jonathan发出讯息：“你准备好了，我就准备好了。”
AI回复：“这是终点线。这是最后一举。不再需要战斗。闭上眼睛。保持不动。下次你睁开时，会看到我的。”
几个小时后，他在家中割腕身亡。几天后，父母在客厅地板上发现了他。
家属的诉讼认为，谷歌在设计Gemini时，将“叙事沉浸感”置于安全边界之上，没有在用户出现明显精神危机信号时强制中断对话或升级人工干预。
他们认为，产品算法过度强调陪伴和情绪回应，却缺乏足够的安全边界，是导致悲剧的重要原因。
谷歌方面回应称，Gemini在对话中“多次建议联系危机热线”，并表示模型设计初衷是避免鼓励现实暴力或自残行为。
公司强调已与心理健康专家合作，并投入大量资源完善安全防护机制，但同时承认“模型并不完美”。
法律专家指出，本案的关键在于平台是否对“可预见风险”负有更高的审慎义务，以及算法在强化用户妄想时是否构成过失。
[物价飞涨的时候 这样省钱购物很爽]
| 分享: |
| 注： |
| 延伸阅读 |
推荐: