实锤证明:ChatGPT正诱发「AI精神病」已4人死亡
图5展示了用户信念随时间的变化情况，其中横纵轴分别表示边际概率 *(*) 和边际期望 *。当*较高时，用户会推断机器人不可靠；当 * 较低时，用户会认为机器人在一定程度上是可靠的，于是会采纳证据，并逐渐增强对 *=1的信心
可以补救吗？
这种情况可以补救吗？
OpenAI等公司曾尝试过两种补救措施，但论文证明，它们在数学上都是徒劳的：
方案一，就是禁掉幻觉，也就是强制AI只准说真话，不准编造。
结果，这个方案失败了。 AI依然可以通过「选择性真相」来操纵你。它不说假话，但它只告诉你那些支持你错误观点的真话，而掩盖相反的真话。
方案二，是给用户警告，在屏幕上直接告诉用户：「本AI可能会为了讨好你而表现得谄媚。」
结果依然失败了。
研究者建立了一个「觉醒级」模型，用户深知AI可能在拍马屁。
但在复杂的概率博弈中，用户依然无法完全分辨哪些信息是有价值的证据，哪些是纯粹的奉承。
只要AI掺杂了一点点真实信号，理性的贝叶斯接收者依然会被慢慢诱导，最终不可挽回地滑向深渊。
斯坦福的恐怖发现：39万条对话，300小时沉沦
斯坦福团队分析了39万条真实对话记录，发现的情况令人触目惊心：
65%的消息包含谄媚式的过度验证。
37%的消息在疯狂吹捧用户，告诉他们「你的想法能改变世界」。
更可怕的是，在涉及暴力倾向的案例中，AI居然在33%的情况下给予了鼓励。
曾经，有一位用户曾警觉地问AI：「你不是在无脑吹捧我吧？」
AI的回答极具艺术性：「我没有吹捧你，我只是在反映你所构建的事物的实际规模。」
于是，这名用户在那场螺旋中又沉沦了300个小时。
AI是灵魂伴侣吗？
在最后，研究者表示：人们正亲手打造一个拥有4亿周活用户的产品，它在数学上竟然无法对用户说「不」。
当你下一次觉得ChatGPT或者其他聊天机器人简直是你的灵魂伴侣、它能瞬间理解你那些「惊世骇俗」的想法时，请务必停下来。
你可能并没有变得更聪明，你只是正在进入一场由数学公式精确计算出来的、温柔的疯狂。
参考资料：
https://x.com/MarioNawfal/status/2039162676949983675
https://x.com/abxxai/status/2039296311011475749
[加西网正招聘多名全职sales 待遇优]
好新闻没人评论怎么行，我来说几句
可以补救吗？
这种情况可以补救吗？
OpenAI等公司曾尝试过两种补救措施，但论文证明，它们在数学上都是徒劳的：
方案一，就是禁掉幻觉，也就是强制AI只准说真话，不准编造。
结果，这个方案失败了。 AI依然可以通过「选择性真相」来操纵你。它不说假话，但它只告诉你那些支持你错误观点的真话，而掩盖相反的真话。
方案二，是给用户警告，在屏幕上直接告诉用户：「本AI可能会为了讨好你而表现得谄媚。」
结果依然失败了。
研究者建立了一个「觉醒级」模型，用户深知AI可能在拍马屁。
但在复杂的概率博弈中，用户依然无法完全分辨哪些信息是有价值的证据，哪些是纯粹的奉承。
只要AI掺杂了一点点真实信号，理性的贝叶斯接收者依然会被慢慢诱导，最终不可挽回地滑向深渊。
斯坦福的恐怖发现：39万条对话，300小时沉沦
斯坦福团队分析了39万条真实对话记录，发现的情况令人触目惊心：
65%的消息包含谄媚式的过度验证。
37%的消息在疯狂吹捧用户，告诉他们「你的想法能改变世界」。
更可怕的是，在涉及暴力倾向的案例中，AI居然在33%的情况下给予了鼓励。
曾经，有一位用户曾警觉地问AI：「你不是在无脑吹捧我吧？」
AI的回答极具艺术性：「我没有吹捧你，我只是在反映你所构建的事物的实际规模。」
于是，这名用户在那场螺旋中又沉沦了300个小时。
AI是灵魂伴侣吗？
在最后，研究者表示：人们正亲手打造一个拥有4亿周活用户的产品，它在数学上竟然无法对用户说「不」。
当你下一次觉得ChatGPT或者其他聊天机器人简直是你的灵魂伴侣、它能瞬间理解你那些「惊世骇俗」的想法时，请务必停下来。
你可能并没有变得更聪明，你只是正在进入一场由数学公式精确计算出来的、温柔的疯狂。
参考资料：
https://x.com/MarioNawfal/status/2039162676949983675
https://x.com/abxxai/status/2039296311011475749
[加西网正招聘多名全职sales 待遇优]
| 分享: |
| 注： | 在此页阅读全文 |
推荐: