AI生成的假消息为什么更难防?怎么治理?
过去一年，我们目睹了虚假信息生态的根本性变革。在世界经济论坛发布的《全球风险报告》中，虚假信息和错误信息已连续三年位居全球短期风险高位，而AI技术的滥用，更成为这一全球挑战加速的重要推手。
当技术能轻易制造“有图有真相”的谎言，真实与虚假的边界被前所未有地模糊，虚假信息的工业化生产与病毒式传播对经济民生与公共安全构成严峻挑战。与此同时，作为应对的事实核查领域也在加速技术演进与模式创新。
为此，“澎湃明查”特约多位学者撰稿，回望2025，深度解析虚假信息的最新特点与治理难点，并探讨核查技术的未来路径。系列约稿旨在穿透信息迷雾，为重建人工智能时代的信息信任、构建社会认知的“免疫系统”提供智识支撑。
我们每天接触的信息中，真假混杂早已不是新鲜事。但随着生成式AI的普及，错误信息的生产和传播机制正在发生根本性改变。过去，制造谣言需要编故事、找素材、手工剪辑，如今许多环节已可“一键生成”；以往的虚假内容往往粗糙、容易识破，现在却能写得像专业报道、做得像新闻现场、说得像当事人亲述；从前传播多靠“碰运气”式扩散，如今则可根据用户兴趣与情绪特征实现精准推送。
这种变化带来的后果是，错误信息不再只是偶发的“劣质内容”，而更像一种持续累积的信息生态污染——它不断挤占真实信息的生存空间，消耗公众的注意力与社会信任，也使得治理越来越难以依靠单点突破来解决。
AI如何“升级”错误信息：四个变化，四重风险
第一个变化是从“零星制造”到“批量生产”。
过去，编造一条谣言需要时间和人力，传播范围也相对有限。而现在，同一个虚假叙事可以被AI迅速改写成多个版本：长文、短帖、聊天记录截图，甚至模仿“内部通报”的行文风格。AI甚至能根据不同平台的风格调整语气和标题，这使得治理陷入一个结构性困境：核查与澄清的速度，始终追不上生成与传播的速度。错误信息不再是“出现—澄清—消散”的单次事件，而是演变为持续再生的信息流。
其中，公共安全类谣言是典型场景。2025年5月，网上流传“杭州滨江发生恶性刑事案件，嫌疑人已被刑拘”，引发本地恐慌，后经警方查证为虚构。这类内容的危险不仅在于“骗到人”，更在于它借助“像通报、像新闻”的叙事模板，迅速获得转发与讨论，将公众注意力从真实信息上转移。
第二个变化是从“看着就假”到“以假乱真”。
很多人对谣言的第一道防线是直觉：看起来太离谱、图片太假、逻辑不通，会减少对其的信任。但随着多模态生成能力的提升，错误信息越来越能做得“像那么回事”：文本更通顺、画面更完整、音视频更像现场，让人很难仅凭经验判断真伪。而这种变化带来双重风险：一是普通人更易误判，并非因为缺乏常识，而是内容的“拟真度”提高了判断门槛；二是纠错信息更难扩散，一旦第一波传播建立起情绪与印象，后续澄清常常跑不过“既定印象”。
2025年北京大风期间，有人编造“门头沟广告牌砸死人”的视频进行传播，后才被警方证实为捏造并予以处罚。这类事件屡屡发生，是因为在天气灾害、突发事件等高关注场景中，人们更容易进入“求快”的信息状态：看到“像现场”的内容，就可能先转发给亲友，形成链式扩散。
第三个变化是从“广撒网”到“精准投喂”。
AI的另一种危险不在于“能写”，而在于“能迎合”。它可以根据不同人群的兴趣、立场和情绪偏好，生成“更像你会相信的版本”：同一件事，给不同群体配上不同角度、案例和话术。这会放大两种社会后果：一方面，同温层变得更厚，人们更容易把符合既有观点的错误信息当成“证据”，进一步固化立场；另一方面，公共讨论更加碎片化，大家看似在讨论同一话题，实际每个圈层拿到的是不同版本的“事实”。
2025年的“大熊猫宝力受虐、健康异常”的谣言便是情绪驱动的典型：它抓住公众对“国宝”的关心，用“伤痕、抽搐”等强刺激词汇制造道德震荡。后续虽有机构通过声明、视频与检查信息澄清，但在谣言扩散初期，它已完成情绪动员。这类内容并不依靠严密证据，而是靠“让你难受、让你愤怒、让你觉得必须转发”来推动传播。
第四个变化是从“抓到发布者就行”到“链条很长很分散”。
在AI时代，一条错误信息往往不是单点造成的：可能由模型生成初稿、账号搬运改写、平台推荐放大、用户二次创作扩散共同促成。结果就是——每个环节都可以声称自己只是“工具/转发/平台中立”，责任被切割得越来越碎。当责任难以归位，治理就容易出现两种失衡：要么只处理最末端的个体账号，而对上游的生产工具与分发机制缺乏约束；要么平台与技术主体“隐身”，把问题归结为“用户素质”，却忽视算法对传播效率的放大作用。
[加西网正招聘多名全职sales 待遇优]
无评论不新闻，发表一下您的意见吧
当技术能轻易制造“有图有真相”的谎言，真实与虚假的边界被前所未有地模糊，虚假信息的工业化生产与病毒式传播对经济民生与公共安全构成严峻挑战。与此同时，作为应对的事实核查领域也在加速技术演进与模式创新。
为此，“澎湃明查”特约多位学者撰稿，回望2025，深度解析虚假信息的最新特点与治理难点，并探讨核查技术的未来路径。系列约稿旨在穿透信息迷雾，为重建人工智能时代的信息信任、构建社会认知的“免疫系统”提供智识支撑。
我们每天接触的信息中，真假混杂早已不是新鲜事。但随着生成式AI的普及，错误信息的生产和传播机制正在发生根本性改变。过去，制造谣言需要编故事、找素材、手工剪辑，如今许多环节已可“一键生成”；以往的虚假内容往往粗糙、容易识破，现在却能写得像专业报道、做得像新闻现场、说得像当事人亲述；从前传播多靠“碰运气”式扩散，如今则可根据用户兴趣与情绪特征实现精准推送。
这种变化带来的后果是，错误信息不再只是偶发的“劣质内容”，而更像一种持续累积的信息生态污染——它不断挤占真实信息的生存空间，消耗公众的注意力与社会信任，也使得治理越来越难以依靠单点突破来解决。
AI如何“升级”错误信息：四个变化，四重风险
第一个变化是从“零星制造”到“批量生产”。
过去，编造一条谣言需要时间和人力，传播范围也相对有限。而现在，同一个虚假叙事可以被AI迅速改写成多个版本：长文、短帖、聊天记录截图，甚至模仿“内部通报”的行文风格。AI甚至能根据不同平台的风格调整语气和标题，这使得治理陷入一个结构性困境：核查与澄清的速度，始终追不上生成与传播的速度。错误信息不再是“出现—澄清—消散”的单次事件，而是演变为持续再生的信息流。
其中，公共安全类谣言是典型场景。2025年5月，网上流传“杭州滨江发生恶性刑事案件，嫌疑人已被刑拘”，引发本地恐慌，后经警方查证为虚构。这类内容的危险不仅在于“骗到人”，更在于它借助“像通报、像新闻”的叙事模板，迅速获得转发与讨论，将公众注意力从真实信息上转移。
第二个变化是从“看着就假”到“以假乱真”。
很多人对谣言的第一道防线是直觉：看起来太离谱、图片太假、逻辑不通，会减少对其的信任。但随着多模态生成能力的提升，错误信息越来越能做得“像那么回事”：文本更通顺、画面更完整、音视频更像现场，让人很难仅凭经验判断真伪。而这种变化带来双重风险：一是普通人更易误判，并非因为缺乏常识，而是内容的“拟真度”提高了判断门槛；二是纠错信息更难扩散，一旦第一波传播建立起情绪与印象，后续澄清常常跑不过“既定印象”。
2025年北京大风期间，有人编造“门头沟广告牌砸死人”的视频进行传播，后才被警方证实为捏造并予以处罚。这类事件屡屡发生，是因为在天气灾害、突发事件等高关注场景中，人们更容易进入“求快”的信息状态：看到“像现场”的内容，就可能先转发给亲友，形成链式扩散。
第三个变化是从“广撒网”到“精准投喂”。
AI的另一种危险不在于“能写”，而在于“能迎合”。它可以根据不同人群的兴趣、立场和情绪偏好，生成“更像你会相信的版本”：同一件事，给不同群体配上不同角度、案例和话术。这会放大两种社会后果：一方面，同温层变得更厚，人们更容易把符合既有观点的错误信息当成“证据”，进一步固化立场；另一方面，公共讨论更加碎片化，大家看似在讨论同一话题，实际每个圈层拿到的是不同版本的“事实”。
2025年的“大熊猫宝力受虐、健康异常”的谣言便是情绪驱动的典型：它抓住公众对“国宝”的关心，用“伤痕、抽搐”等强刺激词汇制造道德震荡。后续虽有机构通过声明、视频与检查信息澄清，但在谣言扩散初期，它已完成情绪动员。这类内容并不依靠严密证据，而是靠“让你难受、让你愤怒、让你觉得必须转发”来推动传播。
第四个变化是从“抓到发布者就行”到“链条很长很分散”。
在AI时代，一条错误信息往往不是单点造成的：可能由模型生成初稿、账号搬运改写、平台推荐放大、用户二次创作扩散共同促成。结果就是——每个环节都可以声称自己只是“工具/转发/平台中立”，责任被切割得越来越碎。当责任难以归位，治理就容易出现两种失衡：要么只处理最末端的个体账号，而对上游的生产工具与分发机制缺乏约束；要么平台与技术主体“隐身”，把问题归结为“用户素质”，却忽视算法对传播效率的放大作用。
[加西网正招聘多名全职sales 待遇优]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 |
推荐: