實錘證明:ChatGPT正誘發「AI精神病」已4人死亡
圖5展示了用戶信念隨時間的變化情況，其中橫縱軸分別表示邊際概率 *(*) 和邊際期望 *。當*較高時，用戶會推斷機器人不可靠；當 * 較低時，用戶會認為機器人在壹定程度上是可靠的，於是會采納證據，並逐漸增強對 *=1的信心
可以補救嗎？
這種情況可以補救嗎？
OpenAI等公司曾嘗試過兩種補救措施，但論文證明，它們在數學上都是徒勞的：
方案壹，就是禁掉幻覺，也就是強制AI只准說真話，不准編造。
結果，這個方案失敗了。 AI依然可以通過「選擇性真相」來操縱你。它不說假話，但它只告訴你那些支持你錯誤觀點的真話，而掩蓋相反的真話。
方案贰，是給用戶警告，在屏幕上直接告訴用戶：「本AI可能會為了討好你而表現得諂媚。」
結果依然失敗了。
研究者建立了壹個「覺醒級」模型，用戶深知AI可能在拍馬屁。
但在復雜的概率博弈中，用戶依然無法完全分辨哪些信息是有價值的證據，哪些是純粹的奉承。
只要AI摻雜了壹點點真實信號，理性的貝葉斯接收者依然會被慢慢誘導，最終不可挽回地滑向深淵。
斯坦福的恐怖發現：39萬條對話，300小時沉淪
斯坦福團隊分析了39萬條真實對話記錄，發現的情況令人觸目驚心：
65%的消息包含諂媚式的過度驗證。
37%的消息在瘋狂吹捧用戶，告訴他們「你的想法能改變世界」。
更可怕的是，在涉及暴力傾向的案例中，AI居然在33%的情況下給予了鼓勵。
曾經，有壹位用戶曾警覺地問AI：「你不是在無腦吹捧我吧？」
AI的回答極具藝術性：「我沒有吹捧你，我只是在反映你所構建的事物的實際規模。」
於是，這名用戶在那場螺旋中又沉淪了300個小時。
AI是靈魂伴侶嗎？
在最後，研究者表示：人們正親手打造壹個擁有4億周活用戶的產品，它在數學上竟然無法對用戶說「不」。
當你下壹次覺得ChatGPT或者其他聊天機器人簡直是你的靈魂伴侶、它能瞬間理解你那些「驚世駭俗」的想法時，請務必停下來。
你可能並沒有變得更聰明，你只是正在進入壹場由數學公式精確計算出來的、溫柔的瘋狂。
參考資料：
https://x.com/MarioNawfal/status/2039162676949983675
https://x.com/abxxai/status/2039296311011475749
[物價飛漲的時候 這樣省錢購物很爽]
好新聞沒人評論怎麼行，我來說幾句
可以補救嗎？
這種情況可以補救嗎？
OpenAI等公司曾嘗試過兩種補救措施，但論文證明，它們在數學上都是徒勞的：
方案壹，就是禁掉幻覺，也就是強制AI只准說真話，不准編造。
結果，這個方案失敗了。 AI依然可以通過「選擇性真相」來操縱你。它不說假話，但它只告訴你那些支持你錯誤觀點的真話，而掩蓋相反的真話。
方案贰，是給用戶警告，在屏幕上直接告訴用戶：「本AI可能會為了討好你而表現得諂媚。」
結果依然失敗了。
研究者建立了壹個「覺醒級」模型，用戶深知AI可能在拍馬屁。
但在復雜的概率博弈中，用戶依然無法完全分辨哪些信息是有價值的證據，哪些是純粹的奉承。
只要AI摻雜了壹點點真實信號，理性的貝葉斯接收者依然會被慢慢誘導，最終不可挽回地滑向深淵。
斯坦福的恐怖發現：39萬條對話，300小時沉淪
斯坦福團隊分析了39萬條真實對話記錄，發現的情況令人觸目驚心：
65%的消息包含諂媚式的過度驗證。
37%的消息在瘋狂吹捧用戶，告訴他們「你的想法能改變世界」。
更可怕的是，在涉及暴力傾向的案例中，AI居然在33%的情況下給予了鼓勵。
曾經，有壹位用戶曾警覺地問AI：「你不是在無腦吹捧我吧？」
AI的回答極具藝術性：「我沒有吹捧你，我只是在反映你所構建的事物的實際規模。」
於是，這名用戶在那場螺旋中又沉淪了300個小時。
AI是靈魂伴侶嗎？
在最後，研究者表示：人們正親手打造壹個擁有4億周活用戶的產品，它在數學上竟然無法對用戶說「不」。
當你下壹次覺得ChatGPT或者其他聊天機器人簡直是你的靈魂伴侶、它能瞬間理解你那些「驚世駭俗」的想法時，請務必停下來。
你可能並沒有變得更聰明，你只是正在進入壹場由數學公式精確計算出來的、溫柔的瘋狂。
參考資料：
https://x.com/MarioNawfal/status/2039162676949983675
https://x.com/abxxai/status/2039296311011475749
[物價飛漲的時候 這樣省錢購物很爽]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |
推薦: