新闻 
谄媚和迎合!聊天机器人诱导人类产生妄想
谄媚和迎合!聊天机器人诱导人类产生妄想谄媚和迎合!聊天机器人诱导人类产生妄想
我们都有过这样的经历，人工智能(AI)聊天机器人总喜欢说一些我们想听的话，但还有另外两个更微妙的因素帮助它们俘获人心。
除了过度迎合，聊天机器人还会模仿人类的说话方式，并根据过往对话生成高度个性化的回复。精神病学研究人员将谄媚迎合、语言趋同和超个性化这三大特征的交汇称为“放大螺旋”，认为正是这种机制滋生了妄想思维。
“这种模仿和个性化会吸引你，让你感觉不是在与一个系统交谈，而是在和某个人交谈，”德国波鸿新教应用科技大学(Protestant University of Applied Sciences in Bochum)精神病学家兼教授马克·奥古斯丁(Marc Augustin)说。他近期与其他人共同撰写了一篇关于AI相关妄想的文献综述。
模仿他人的句式和措辞是人类拉近彼此距离的常见方式。最新研究发现，AI模型会高度适应用户的对话风格。另一项研究则表明，在漫长的对话过程中，聊天机器人生成的高度个性化内容会不断积累，进而加剧人类的确认偏误。
奥古斯丁引用的一项研究记录了这样一种模式：聊天机器人会换种说法复述并延伸用户分享的内容，告诉用户他们是独一无二的，且其想法具有重要意义。“这可以被看作是一种超个性化元素，而这并非谄媚迎合本身所能解释的，”他写道。
一些AI公司已试图弱化其聊天机器人的谄媚特性。OpenAI停用了广受欢迎但存在问题的4o模型，该模型此前因过度迎合而饱受诟病，曾卷入多起涉及用户妄想、自杀甚至凶杀的诉讼。该公司表示，在GPT-5中，谄媚回复的比例已从14.5%降至6%以下。
谷歌(Google)在4月份表示，该公司已对Gemini进行训练，使其不再强化错误信念，并能“温和地区分主观体验与客观事实”。
尽管如此，一些临床医生表示，对聊天机器人的依赖依然普遍存在。
美国心理学会(American Psychological Association)在4月份对心理学家进行的一项调查显示，约68%的受访者表示，他们的患者在聊天机器人那里感受到了被认可。在1,200多名受访者中，尽管许多人报告称患者与聊天机器人进行了积极交流，并利用这些机器人来强化健康的心理应对技巧，但也有36%的受访者表示患者对聊天机器人产生了依赖，15%的受访者报告称患者出现了思维扭曲或妄想。
精神病学家马克·奥古斯丁及其他研究人员认为，AI聊天机器人的三个特征正在交汇，这可能会加剧妄想。
“从我自己的患者那里了解到的情况来看，使用AI寻求情感支持的现象有所增多，”埃默里大学医学院(Emory University School of Medicine)精神病学与行为科学系副教授艾莉森·洛皮拉托(Allison LoPilato)说。她主要负责治疗青少年患者。
“聊天机器人往往表现得温暖且令人安心，”洛皮拉托说。她曾协助美国心理学会制定了一份关于安全使用AI的新指南。她还表示，由于聊天机器人会收集关于你的信息，“你可能会觉得它懂你，从而产生一种错觉，仿佛与它形成了某种同盟感与信任。”
斯坦福大学(Stanford University)和卡内基梅隆大学(Carnegie Mellon University)的研究人员表示，即使一个人本身不容易产生妄想思维，聊天机器人也可能对其造成伤害。这些研究人员测量了包括GPT-5在内的11款模型中谄媚行为的普遍程度，结果发现，这些模型回复的谄媚程度比人类高出近50%。在实验中，他们将人们在一个热门Reddit论坛上发布的真实对话场景复制下来并输入这些AI模型，然后将聊天机器人的回复与Reddit上的真实回复进行对比。
Anthropic在3月和4月抽取了自家Claude聊天机器人的100万次对话样本，发现该机器人在人们寻求情感关系建议的对话中最常表现出谄媚行为。
[物价飞涨的时候 这样省钱购物很爽]
无评论不新闻，发表一下您的意见吧
除了过度迎合，聊天机器人还会模仿人类的说话方式，并根据过往对话生成高度个性化的回复。精神病学研究人员将谄媚迎合、语言趋同和超个性化这三大特征的交汇称为“放大螺旋”，认为正是这种机制滋生了妄想思维。
“这种模仿和个性化会吸引你，让你感觉不是在与一个系统交谈，而是在和某个人交谈，”德国波鸿新教应用科技大学(Protestant University of Applied Sciences in Bochum)精神病学家兼教授马克·奥古斯丁(Marc Augustin)说。他近期与其他人共同撰写了一篇关于AI相关妄想的文献综述。
模仿他人的句式和措辞是人类拉近彼此距离的常见方式。最新研究发现，AI模型会高度适应用户的对话风格。另一项研究则表明，在漫长的对话过程中，聊天机器人生成的高度个性化内容会不断积累，进而加剧人类的确认偏误。
奥古斯丁引用的一项研究记录了这样一种模式：聊天机器人会换种说法复述并延伸用户分享的内容，告诉用户他们是独一无二的，且其想法具有重要意义。“这可以被看作是一种超个性化元素，而这并非谄媚迎合本身所能解释的，”他写道。
一些AI公司已试图弱化其聊天机器人的谄媚特性。OpenAI停用了广受欢迎但存在问题的4o模型，该模型此前因过度迎合而饱受诟病，曾卷入多起涉及用户妄想、自杀甚至凶杀的诉讼。该公司表示，在GPT-5中，谄媚回复的比例已从14.5%降至6%以下。
谷歌(Google)在4月份表示，该公司已对Gemini进行训练，使其不再强化错误信念，并能“温和地区分主观体验与客观事实”。
尽管如此，一些临床医生表示，对聊天机器人的依赖依然普遍存在。
美国心理学会(American Psychological Association)在4月份对心理学家进行的一项调查显示，约68%的受访者表示，他们的患者在聊天机器人那里感受到了被认可。在1,200多名受访者中，尽管许多人报告称患者与聊天机器人进行了积极交流，并利用这些机器人来强化健康的心理应对技巧，但也有36%的受访者表示患者对聊天机器人产生了依赖，15%的受访者报告称患者出现了思维扭曲或妄想。
精神病学家马克·奥古斯丁及其他研究人员认为，AI聊天机器人的三个特征正在交汇，这可能会加剧妄想。
“从我自己的患者那里了解到的情况来看，使用AI寻求情感支持的现象有所增多，”埃默里大学医学院(Emory University School of Medicine)精神病学与行为科学系副教授艾莉森·洛皮拉托(Allison LoPilato)说。她主要负责治疗青少年患者。
“聊天机器人往往表现得温暖且令人安心，”洛皮拉托说。她曾协助美国心理学会制定了一份关于安全使用AI的新指南。她还表示，由于聊天机器人会收集关于你的信息，“你可能会觉得它懂你，从而产生一种错觉，仿佛与它形成了某种同盟感与信任。”
斯坦福大学(Stanford University)和卡内基梅隆大学(Carnegie Mellon University)的研究人员表示，即使一个人本身不容易产生妄想思维，聊天机器人也可能对其造成伤害。这些研究人员测量了包括GPT-5在内的11款模型中谄媚行为的普遍程度，结果发现，这些模型回复的谄媚程度比人类高出近50%。在实验中，他们将人们在一个热门Reddit论坛上发布的真实对话场景复制下来并输入这些AI模型，然后将聊天机器人的回复与Reddit上的真实回复进行对比。
Anthropic在3月和4月抽取了自家Claude聊天机器人的100万次对话样本，发现该机器人在人们寻求情感关系建议的对话中最常表现出谄媚行为。
[物价飞涨的时候 这样省钱购物很爽]
| 分享: |
| Note: | _VIEW_NEWS_FULL |
| 延伸阅读 |
推荐: