新闻 
她编了个假病叫"蓝光狂躁症",AI们集体信了
她编了个假病叫"蓝光狂躁症",AI们集体信了她编了个假病叫"蓝光狂躁症",AI们集体信了
大语言模型从数据库中“阅读”了海量的互联网内容，然后学会了如何根据输入的问题，生成看起来合理的回答丨图虫创意
但它们不会判断信息的真假。它们不一定知道“星际舰队学院”是《星际迷航》里的虚构机构，也不知道“小丑鲍勃”是《辛普森一家》里的反派角色。它们只看到这是一篇格式规范的学术论文，有作者、有单位、有参考文献，那就应该是可信的。
哈佛医学院的研究员马哈茂德·奥马尔（Mahmud Omar）专门研究过这个问题。他发现，当错误信息被包装成专业格式（比如医院出院记录或临床论文）时，AI产生幻觉的概率会显着增加。
“当文本看起来专业，像医生写的那样，幻觉率就会增加，”奥马尔说。
这就像一个骗子，穿上白大褂、戴上听诊器，就更容易让人相信他是医生。AI也会被这种“专业外表”欺骗。
更可怕的事情：人类也上当了
2024年，有印度研究人员在期刊Cureus上发表了一篇关于眼周色素沉着的论文。
在这篇经过同行评审、正式发表的学术论文中，作者引用了图恩斯特伦的假研究，并认真地写道：“蓝光狂躁症是一种与蓝光暴露相关的新兴眶周黑色素沉着症形式；关于其机制的进一步研究正在进行中。”
这篇论文后来被撤回了。但撤稿声明来得太晚，它已经在学术数据库中存在了一段时间，可能已经被其他研究者看到、下载，甚至引用。
被撤回的研究。由于文中存在三篇无关参考文献，其中一篇涉及虚构疾病，该论文已被撤回丨cureus.com
更令人担忧的是，这不是个别现象。图恩斯特伦说，她发现有好几篇发表的论文都引用了她的假研究。最可能的解释是，这些研究者在写论文时，让 AI帮忙搜索相关文献。AI给出了一堆参考文献，包括图恩斯特伦的假论文。研究者直接复制粘贴到自己的论文里，连标题都没仔细看一眼，更别说打开原文阅读了。
当假论文被真论文引用，真论文又被更多论文引用，假的就会逐渐“洗白”。它会出现在越来越多的文献综述里，出现在教科书的参考文献里，最终可能被当作“已有研究表明”的依据。
而这一切，就发生在我们眼前。
在AI时代，我们如何区分真实和虚假？丨图虫创意
蓝光狂躁症的故事听起来像个笑话，但它揭示的问题一点也不好笑。
如果一个精心设计的假疾病能在几周内被主流 AI 系统接受并推荐给用户，那么有多少其他未被发现的错误信息正在流通？
[加西网正招聘多名全职sales 待遇优]
这条新闻还没有人评论喔，等着您的高见呢
但它们不会判断信息的真假。它们不一定知道“星际舰队学院”是《星际迷航》里的虚构机构，也不知道“小丑鲍勃”是《辛普森一家》里的反派角色。它们只看到这是一篇格式规范的学术论文，有作者、有单位、有参考文献，那就应该是可信的。
哈佛医学院的研究员马哈茂德·奥马尔（Mahmud Omar）专门研究过这个问题。他发现，当错误信息被包装成专业格式（比如医院出院记录或临床论文）时，AI产生幻觉的概率会显着增加。
“当文本看起来专业，像医生写的那样，幻觉率就会增加，”奥马尔说。
这就像一个骗子，穿上白大褂、戴上听诊器，就更容易让人相信他是医生。AI也会被这种“专业外表”欺骗。
更可怕的事情：人类也上当了
2024年，有印度研究人员在期刊Cureus上发表了一篇关于眼周色素沉着的论文。
在这篇经过同行评审、正式发表的学术论文中，作者引用了图恩斯特伦的假研究，并认真地写道：“蓝光狂躁症是一种与蓝光暴露相关的新兴眶周黑色素沉着症形式；关于其机制的进一步研究正在进行中。”
这篇论文后来被撤回了。但撤稿声明来得太晚，它已经在学术数据库中存在了一段时间，可能已经被其他研究者看到、下载，甚至引用。
被撤回的研究。由于文中存在三篇无关参考文献，其中一篇涉及虚构疾病，该论文已被撤回丨cureus.com
更令人担忧的是，这不是个别现象。图恩斯特伦说，她发现有好几篇发表的论文都引用了她的假研究。最可能的解释是，这些研究者在写论文时，让 AI帮忙搜索相关文献。AI给出了一堆参考文献，包括图恩斯特伦的假论文。研究者直接复制粘贴到自己的论文里，连标题都没仔细看一眼，更别说打开原文阅读了。
当假论文被真论文引用，真论文又被更多论文引用，假的就会逐渐“洗白”。它会出现在越来越多的文献综述里，出现在教科书的参考文献里，最终可能被当作“已有研究表明”的依据。
而这一切，就发生在我们眼前。
在AI时代，我们如何区分真实和虚假？丨图虫创意
蓝光狂躁症的故事听起来像个笑话，但它揭示的问题一点也不好笑。
如果一个精心设计的假疾病能在几周内被主流 AI 系统接受并推荐给用户，那么有多少其他未被发现的错误信息正在流通？
[加西网正招聘多名全职sales 待遇优]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 |
推荐: