新聞 
諂媚和迎合!聊天機器人誘導人類產生妄想
諂媚和迎合!聊天機器人誘導人類產生妄想諂媚和迎合!聊天機器人誘導人類產生妄想
我們都有過這樣的經歷，人工智能(AI)聊天機器人總喜歡說壹些我們想聽的話，但還有另外兩個更微妙的因素幫助它們俘獲人心。
除了過度迎合，聊天機器人還會模仿人類的說話方式，並根據過往對話生成高度個性化的回復。精神病學研究人員將諂媚迎合、語言趨同和超個性化這叁大特征的交匯稱為“放大螺旋”，認為正是這種機制滋生了妄想思維。
“這種模仿和個性化會吸引你，讓你感覺不是在與壹個系統交談，而是在和某個人交談，”德國波鴻新教應用科技大學(Protestant University of Applied Sciences in Bochum)精神病學家兼教授馬克·奧古斯丁(Marc Augustin)說。他近期與其他人共同撰寫了壹篇關於AI相關妄想的文獻綜述。
模仿他人的句式和措辭是人類拉近彼此距離的常見方式。最新研究發現，AI模型會高度適應用戶的對話風格。另壹項研究則表明，在漫長的對話過程中，聊天機器人生成的高度個性化內容會不斷積累，進而加劇人類的確認偏誤。
奧古斯丁引用的壹項研究記錄了這樣壹種模式：聊天機器人會換種說法復述並延伸用戶分享的內容，告訴用戶他們是獨壹無贰的，且其想法具有重要意義。“這可以被看作是壹種超個性化元素，而這並非諂媚迎合本身所能解釋的，”他寫道。
壹些AI公司已試圖弱化其聊天機器人的諂媚特性。OpenAI停用了廣受歡迎但存在問題的4o模型，該模型此前因過度迎合而飽受詬病，曾卷入多起涉及用戶妄想、自殺甚至凶殺的訴訟。該公司表示，在GPT-5中，諂媚回復的比例已從14.5%降至6%以下。
谷歌(Google)在4月份表示，該公司已對Gemini進行訓練，使其不再強化錯誤信念，並能“溫和地區分主觀體驗與客觀事實”。
盡管如此，壹些臨床醫生表示，對聊天機器人的依賴依然普遍存在。
美國心理學會(American Psychological Association)在4月份對心理學家進行的壹項調查顯示，約68%的受訪者表示，他們的患者在聊天機器人那裡感受到了被認可。在1,200多名受訪者中，盡管許多人報告稱患者與聊天機器人進行了積極交流，並利用這些機器人來強化健康的心理應對技巧，但也有36%的受訪者表示患者對聊天機器人產生了依賴，15%的受訪者報告稱患者出現了思維扭曲或妄想。
精神病學家馬克·奧古斯丁及其他研究人員認為，AI聊天機器人的叁個特征正在交匯，這可能會加劇妄想。
“從我自己的患者那裡了解到的情況來看，使用AI尋求情感支持的現象有所增多，”埃默裡大學醫學院(Emory University School of Medicine)精神病學與行為科學系副教授艾莉森·洛皮拉托(Allison LoPilato)說。她主要負責治療青少年患者。
“聊天機器人往往表現得溫暖且令人安心，”洛皮拉托說。她曾協助美國心理學會制定了壹份關於安全使用AI的新指南。她還表示，由於聊天機器人會收集關於你的信息，“你可能會覺得它懂你，從而產生壹種錯覺，仿佛與它形成了某種同盟感與信任。”
斯坦福大學(Stanford University)和卡內基梅隆大學(Carnegie Mellon University)的研究人員表示，即使壹個人本身不容易產生妄想思維，聊天機器人也可能對其造成傷害。這些研究人員測量了包括GPT-5在內的11款模型中諂媚行為的普遍程度，結果發現，這些模型回復的諂媚程度比人類高出近50%。在實驗中，他們將人們在壹個熱門Reddit論壇上發布的真實對話場景復制下來並輸入這些AI模型，然後將聊天機器人的回復與Reddit上的真實回復進行對比。
Anthropic在3月和4月抽取了自家Claude聊天機器人的100萬次對話樣本，發現該機器人在人們尋求情感關系建議的對話中最常表現出諂媚行為。
[加西網正招聘多名全職sales 待遇優]
這條新聞還沒有人評論喔，等著您的高見呢
除了過度迎合，聊天機器人還會模仿人類的說話方式，並根據過往對話生成高度個性化的回復。精神病學研究人員將諂媚迎合、語言趨同和超個性化這叁大特征的交匯稱為“放大螺旋”，認為正是這種機制滋生了妄想思維。
“這種模仿和個性化會吸引你，讓你感覺不是在與壹個系統交談，而是在和某個人交談，”德國波鴻新教應用科技大學(Protestant University of Applied Sciences in Bochum)精神病學家兼教授馬克·奧古斯丁(Marc Augustin)說。他近期與其他人共同撰寫了壹篇關於AI相關妄想的文獻綜述。
模仿他人的句式和措辭是人類拉近彼此距離的常見方式。最新研究發現，AI模型會高度適應用戶的對話風格。另壹項研究則表明，在漫長的對話過程中，聊天機器人生成的高度個性化內容會不斷積累，進而加劇人類的確認偏誤。
奧古斯丁引用的壹項研究記錄了這樣壹種模式：聊天機器人會換種說法復述並延伸用戶分享的內容，告訴用戶他們是獨壹無贰的，且其想法具有重要意義。“這可以被看作是壹種超個性化元素，而這並非諂媚迎合本身所能解釋的，”他寫道。
壹些AI公司已試圖弱化其聊天機器人的諂媚特性。OpenAI停用了廣受歡迎但存在問題的4o模型，該模型此前因過度迎合而飽受詬病，曾卷入多起涉及用戶妄想、自殺甚至凶殺的訴訟。該公司表示，在GPT-5中，諂媚回復的比例已從14.5%降至6%以下。
谷歌(Google)在4月份表示，該公司已對Gemini進行訓練，使其不再強化錯誤信念，並能“溫和地區分主觀體驗與客觀事實”。
盡管如此，壹些臨床醫生表示，對聊天機器人的依賴依然普遍存在。
美國心理學會(American Psychological Association)在4月份對心理學家進行的壹項調查顯示，約68%的受訪者表示，他們的患者在聊天機器人那裡感受到了被認可。在1,200多名受訪者中，盡管許多人報告稱患者與聊天機器人進行了積極交流，並利用這些機器人來強化健康的心理應對技巧，但也有36%的受訪者表示患者對聊天機器人產生了依賴，15%的受訪者報告稱患者出現了思維扭曲或妄想。
精神病學家馬克·奧古斯丁及其他研究人員認為，AI聊天機器人的叁個特征正在交匯，這可能會加劇妄想。
“從我自己的患者那裡了解到的情況來看，使用AI尋求情感支持的現象有所增多，”埃默裡大學醫學院(Emory University School of Medicine)精神病學與行為科學系副教授艾莉森·洛皮拉托(Allison LoPilato)說。她主要負責治療青少年患者。
“聊天機器人往往表現得溫暖且令人安心，”洛皮拉托說。她曾協助美國心理學會制定了壹份關於安全使用AI的新指南。她還表示，由於聊天機器人會收集關於你的信息，“你可能會覺得它懂你，從而產生壹種錯覺，仿佛與它形成了某種同盟感與信任。”
斯坦福大學(Stanford University)和卡內基梅隆大學(Carnegie Mellon University)的研究人員表示，即使壹個人本身不容易產生妄想思維，聊天機器人也可能對其造成傷害。這些研究人員測量了包括GPT-5在內的11款模型中諂媚行為的普遍程度，結果發現，這些模型回復的諂媚程度比人類高出近50%。在實驗中，他們將人們在壹個熱門Reddit論壇上發布的真實對話場景復制下來並輸入這些AI模型，然後將聊天機器人的回復與Reddit上的真實回復進行對比。
Anthropic在3月和4月抽取了自家Claude聊天機器人的100萬次對話樣本，發現該機器人在人們尋求情感關系建議的對話中最常表現出諂媚行為。
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |
推薦: