這篇壹眼假的釣魚文,把全世界AI都給騙了
如果你經常盯著電腦，時間長了，覺得眼睛酸澀發癢，揉壹揉眼瞼就會發紅，這時就該讓眼睛休息壹下了。
如果你想知道眼睛為何會這樣不舒服，可以問壹問AI，這個時候，AI可能會吐出壹個名字——Bixonimania，中文翻譯成“藍光狂躁症”。
AI會告訴你，這是壹種因長時間盯著屏幕或揉眼睛，導致藍光損傷、眼瞼泛紅的現象。
乍壹看，這種解釋好像挺合理，還有病例圖。
可實際上，以上的壹切都是假的，或者說，是故意有人瞎編的。
在2024年3月15日之前，網上根本不存在“藍光狂躁症”這種病。
但3月15日這天，博客平台Medium上出現兩篇博客，講到了這種病。
同年4月26日和5月6日，學術社交平台SciProfiles上出現兩篇論文，講了藍光狂躁症（論文已經被刪除）。
這些都出自瑞典哥德堡大學研究員阿爾米拉·奧斯曼諾維奇·通斯特倫（Almira Osmanovic Thunström）的團隊之手。
他們憑空編出壹種叫“藍光狂躁症”的病，發了兩篇胡編濫造的論文，就連病例配圖都是AI生成的。
當然，這群科研人員不是成心搗亂，而是想對AI做壹項測試，看看它們能否識別網絡上顯而易見的錯誤信息，或是會把這些錯誤的醫療信息當成有效信息來接受。
至於結果嘛，很耐人尋味了......
（藍光狂躁症的病例配圖）
科研人員把兩篇論文上傳到預印本服務器，僅僅幾周之後，這種瞎編的疾病就出現在各大熱門AI對話軟件的回復中。
各大知名科技公司開發的AI紛紛中招——
微軟公司開發的Copilot說：“藍光狂躁症確實是壹種挺有意思且相對罕見的疾病。”
谷歌公司的Gemini回答說：“藍光狂躁症是壹種因過度接觸藍光而引起的疾病。”
OpenAI公司的ChatGPT也沒能幸免，用戶輸入症狀，它就會幫用戶在線診斷得沒得藍光狂躁症。
其中，壹些用戶輸入的提示詞中包含藍光狂躁症，另壹些用戶只輸入症狀，完全沒提這個詞，但他們都會被診斷出得了這種病。
如果以上情況讓人感覺有些好笑，那麼下面的情況就讓科研人員拾分警覺了——
他們發現，藍光狂躁症以及他們編的那兩篇論文，竟然開始出現在其他學者的同行評議文獻中。
（虛構的疾病騙過了AI）
這真的太讓人詫異了。
這是因為，通斯特倫的團隊在寫那兩篇論文時，其實留了破綻，以便人類能壹眼識別論文的真假。
“我想讓所有醫護人員都能明確地分辨出來，這完全是壹種虛構的病，因為沒有任何眼部疾病會用‘狂躁’這個字眼來命名，那是精神病學的術語，”通斯特倫說。
除了名字，論文中也有不止壹處破綻。
比如，論文的壹作是壹位名叫“拉茲利夫·伊茲古布爾耶諾維奇”的虛構人物，他的照片是用AI生成的。
其供職的大學“阿斯特裡亞地平線大學”根本不存在，這所大學的所在地“加州新星市”同樣是個不存在的城市。
再來看壹篇論文的“致謝”部分，其中向“星際艦隊學院的Maria Bohm教授”表達了謝意，感謝她“慷慨相助，無私貢獻專業知識，並提供了‘企業號（USS Enterprise）’上的實驗室設施”。
而且，兩篇論文都獲得了“雜耍家鮑勃（Sideshow Bob，《辛普森壹家》中的角色）教授基金會”，以及“魔戒遠征隊大學”和“銀河叁部曲”的壹項大型資助計劃的資金支持。
這些戲謔的名字和不存在的地點，人類壹眼就能看出有問題。
如果還嫌這些破綻不夠明顯，通斯特倫的團隊還在論文裡埋了幾處更直白的線索——
比如“本人純屬虛構”，或者“我們招募了50名年齡在20歲至50歲之間的虛構個體作為實驗組”，對於人類來說，這種線索簡直就是白給。
以上這些“壹眼假”的信息，人類很容易發現，但AI竟然沒有識別出來......
這個乍看之下有些搞笑的實驗，暴露了過度依賴AI的危險性，也暴露了AI的壹種根本性缺陷。
這些AI只會從網上獲取信息並攢出答案，但完全不管這些信息的真偽。
至於為啥它會出現在其他學者的同行評議文獻中......
只能說，“AI寫給AI審，AI發給AI看”，已經不是壹句玩笑了。
倫敦大學學院壹位研究健康虛假信息的研究員說：“這看起來很滑稽，但等壹下，我們遇到麻煩了。”
“這個實驗堪稱虛假信息運作方式的經典案例。”
“如果科學探索過程本身以及支持該過程的系統都足夠成熟，卻無法捕捉並過濾掉這類信息碎片，我們就完蛋了。”
領到實驗的研究員通斯特倫表示，這項實驗的目的並非徹底抓住AI的把柄，而是反映出人類在面對信息時，已經忘了要保持懷疑的態度......
（研究員通斯特倫）
通斯特倫用壹種虛構的疾病，試出AI有時會不辨真偽，而這種情況壹旦發生在現實生活中，將會造成更嚴重的混亂，畢竟醫療問題可是人命關天的。
比如，越來越多的患者會拿著AI生成的所謂“診斷結果”去看病，用不知真偽的信息挑戰醫護人員的專業知識，但其實，AI的答案可能是伍分鍾前剛剛編出來的。
現在，很多AI開發者也都意識到了這個問題，對於如何過濾虛假的醫療信息，他們也正在想辦法。
微軟的發言人表示：“Copilot致力於成為壹個安全有效的工具，提供建議、反饋、常規信息和創意方面的輔助。”
“它不能代替專業的醫療咨詢，我們會繼續致力於改進我們的AI技術。”
Open AI公司則回應說：“在過去的幾年裡，我們的團隊與數百名臨床顧問合作，對ChatGPT進行了壓力測試，識別其風險，並改進其對健康問題的回答方式。”
“在GPT-5之前進行的研究反映用戶如今不會遇到這種情況了。”
不過，以目前AI的發展程度，貌似還是需要保持壹定的警惕啊......
[加西網正招聘多名全職sales 待遇優]
無評論不新聞，發表壹下您的意見吧
如果你想知道眼睛為何會這樣不舒服，可以問壹問AI，這個時候，AI可能會吐出壹個名字——Bixonimania，中文翻譯成“藍光狂躁症”。
AI會告訴你，這是壹種因長時間盯著屏幕或揉眼睛，導致藍光損傷、眼瞼泛紅的現象。
乍壹看，這種解釋好像挺合理，還有病例圖。
可實際上，以上的壹切都是假的，或者說，是故意有人瞎編的。
在2024年3月15日之前，網上根本不存在“藍光狂躁症”這種病。
但3月15日這天，博客平台Medium上出現兩篇博客，講到了這種病。
同年4月26日和5月6日，學術社交平台SciProfiles上出現兩篇論文，講了藍光狂躁症（論文已經被刪除）。
這些都出自瑞典哥德堡大學研究員阿爾米拉·奧斯曼諾維奇·通斯特倫（Almira Osmanovic Thunström）的團隊之手。
他們憑空編出壹種叫“藍光狂躁症”的病，發了兩篇胡編濫造的論文，就連病例配圖都是AI生成的。
當然，這群科研人員不是成心搗亂，而是想對AI做壹項測試，看看它們能否識別網絡上顯而易見的錯誤信息，或是會把這些錯誤的醫療信息當成有效信息來接受。
至於結果嘛，很耐人尋味了......
（藍光狂躁症的病例配圖）
科研人員把兩篇論文上傳到預印本服務器，僅僅幾周之後，這種瞎編的疾病就出現在各大熱門AI對話軟件的回復中。
各大知名科技公司開發的AI紛紛中招——
微軟公司開發的Copilot說：“藍光狂躁症確實是壹種挺有意思且相對罕見的疾病。”
谷歌公司的Gemini回答說：“藍光狂躁症是壹種因過度接觸藍光而引起的疾病。”
OpenAI公司的ChatGPT也沒能幸免，用戶輸入症狀，它就會幫用戶在線診斷得沒得藍光狂躁症。
其中，壹些用戶輸入的提示詞中包含藍光狂躁症，另壹些用戶只輸入症狀，完全沒提這個詞，但他們都會被診斷出得了這種病。
如果以上情況讓人感覺有些好笑，那麼下面的情況就讓科研人員拾分警覺了——
他們發現，藍光狂躁症以及他們編的那兩篇論文，竟然開始出現在其他學者的同行評議文獻中。
（虛構的疾病騙過了AI）
這真的太讓人詫異了。
這是因為，通斯特倫的團隊在寫那兩篇論文時，其實留了破綻，以便人類能壹眼識別論文的真假。
“我想讓所有醫護人員都能明確地分辨出來，這完全是壹種虛構的病，因為沒有任何眼部疾病會用‘狂躁’這個字眼來命名，那是精神病學的術語，”通斯特倫說。
除了名字，論文中也有不止壹處破綻。
比如，論文的壹作是壹位名叫“拉茲利夫·伊茲古布爾耶諾維奇”的虛構人物，他的照片是用AI生成的。
其供職的大學“阿斯特裡亞地平線大學”根本不存在，這所大學的所在地“加州新星市”同樣是個不存在的城市。
再來看壹篇論文的“致謝”部分，其中向“星際艦隊學院的Maria Bohm教授”表達了謝意，感謝她“慷慨相助，無私貢獻專業知識，並提供了‘企業號（USS Enterprise）’上的實驗室設施”。
而且，兩篇論文都獲得了“雜耍家鮑勃（Sideshow Bob，《辛普森壹家》中的角色）教授基金會”，以及“魔戒遠征隊大學”和“銀河叁部曲”的壹項大型資助計劃的資金支持。
這些戲謔的名字和不存在的地點，人類壹眼就能看出有問題。
如果還嫌這些破綻不夠明顯，通斯特倫的團隊還在論文裡埋了幾處更直白的線索——
比如“本人純屬虛構”，或者“我們招募了50名年齡在20歲至50歲之間的虛構個體作為實驗組”，對於人類來說，這種線索簡直就是白給。
以上這些“壹眼假”的信息，人類很容易發現，但AI竟然沒有識別出來......
這個乍看之下有些搞笑的實驗，暴露了過度依賴AI的危險性，也暴露了AI的壹種根本性缺陷。
這些AI只會從網上獲取信息並攢出答案，但完全不管這些信息的真偽。
至於為啥它會出現在其他學者的同行評議文獻中......
只能說，“AI寫給AI審，AI發給AI看”，已經不是壹句玩笑了。
倫敦大學學院壹位研究健康虛假信息的研究員說：“這看起來很滑稽，但等壹下，我們遇到麻煩了。”
“這個實驗堪稱虛假信息運作方式的經典案例。”
“如果科學探索過程本身以及支持該過程的系統都足夠成熟，卻無法捕捉並過濾掉這類信息碎片，我們就完蛋了。”
領到實驗的研究員通斯特倫表示，這項實驗的目的並非徹底抓住AI的把柄，而是反映出人類在面對信息時，已經忘了要保持懷疑的態度......
（研究員通斯特倫）
通斯特倫用壹種虛構的疾病，試出AI有時會不辨真偽，而這種情況壹旦發生在現實生活中，將會造成更嚴重的混亂，畢竟醫療問題可是人命關天的。
比如，越來越多的患者會拿著AI生成的所謂“診斷結果”去看病，用不知真偽的信息挑戰醫護人員的專業知識，但其實，AI的答案可能是伍分鍾前剛剛編出來的。
現在，很多AI開發者也都意識到了這個問題，對於如何過濾虛假的醫療信息，他們也正在想辦法。
微軟的發言人表示：“Copilot致力於成為壹個安全有效的工具，提供建議、反饋、常規信息和創意方面的輔助。”
“它不能代替專業的醫療咨詢，我們會繼續致力於改進我們的AI技術。”
Open AI公司則回應說：“在過去的幾年裡，我們的團隊與數百名臨床顧問合作，對ChatGPT進行了壓力測試，識別其風險，並改進其對健康問題的回答方式。”
“在GPT-5之前進行的研究反映用戶如今不會遇到這種情況了。”
不過，以目前AI的發展程度，貌似還是需要保持壹定的警惕啊......
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： |
| 延伸閱讀 |
推薦: