新聞 
AI生成的假消息為什麼更難防?怎麼治理?
AI生成的假消息為什麼更難防?怎麼治理?AI生成的假消息為什麼更難防?怎麼治理?
過去壹年，我們目睹了虛假信息生態的根本性變革。在世界經濟論壇發布的《全球風險報告》中，虛假信息和錯誤信息已連續叁年位居全球短期風險高位，而AI技術的濫用，更成為這壹全球挑戰加速的重要推手。
當技術能輕易制造“有圖有真相”的謊言，真實與虛假的邊界被前所未有地模糊，虛假信息的工業化生產與病毒式傳播對經濟民生與公共安全構成嚴峻挑戰。與此同時，作為應對的事實核查領域也在加速技術演進與模式創新。
為此，“澎湃明查”特約多位學者撰稿，回望2025，深度解析虛假信息的最新特點與治理難點，並探討核查技術的未來路徑。系列約稿旨在穿透信息迷霧，為重建人工智能時代的信息信任、構建社會認知的“免疫系統”提供智識支撐。
我們每天接觸的信息中，真假混雜早已不是新鮮事。但隨著生成式AI的普及，錯誤信息的生產和傳播機制正在發生根本性改變。過去，制造謠言需要編故事、找素材、手工剪輯，如今許多環節已可“壹鍵生成”；以往的虛假內容往往粗糙、容易識破，現在卻能寫得像專業報道、做得像新聞現場、說得像當事人親述；從前傳播多靠“碰運氣”式擴散，如今則可根據用戶興趣與情緒特征實現精准推送。
這種變化帶來的後果是，錯誤信息不再只是偶發的“劣質內容”，而更像壹種持續累積的信息生態污染——它不斷擠占真實信息的生存空間，消耗公眾的注意力與社會信任，也使得治理越來越難以依靠單點突破來解決。
AI如何“升級”錯誤信息：肆個變化，肆重風險
第壹個變化是從“零星制造”到“批量生產”。
過去，編造壹條謠言需要時間和人力，傳播范圍也相對有限。而現在，同壹個虛假敘事可以被AI迅速改寫成多個版本：長文、短帖、聊天記錄截圖，甚至模仿“內部通報”的行文風格。AI甚至能根據不同平台的風格調整語氣和標題，這使得治理陷入壹個結構性困境：核查與澄清的速度，始終追不上生成與傳播的速度。錯誤信息不再是“出現—澄清—消散”的單次事件，而是演變為持續再生的信息流。
其中，公共安全類謠言是典型場景。2025年5月，網上流傳“杭州濱江發生惡性刑事案件，嫌疑人已被刑拘”，引發本地恐慌，後經警方查證為虛構。這類內容的危險不僅在於“騙到人”，更在於它借助“像通報、像新聞”的敘事模板，迅速獲得轉發與討論，將公眾注意力從真實信息上轉移。
第贰個變化是從“看著就假”到“以假亂真”。
很多人對謠言的第壹道防線是直覺：看起來太離譜、圖片太假、邏輯不通，會減少對其的信任。但隨著多模態生成能力的提升，錯誤信息越來越能做得“像那麼回事”：文本更通順、畫面更完整、音視頻更像現場，讓人很難僅憑經驗判斷真偽。而這種變化帶來雙重風險：壹是普通人更易誤判，並非因為缺乏常識，而是內容的“擬真度”提高了判斷門檻；贰是糾錯信息更難擴散，壹旦第壹波傳播建立起情緒與印象，後續澄清常常跑不過“既定印象”。
2025年北京大風期間，有人編造“門頭溝廣告牌砸死人”的視頻進行傳播，後才被警方證實為捏造並予以處罰。這類事件屢屢發生，是因為在天氣災害、突發事件等高關注場景中，人們更容易進入“求快”的信息狀態：看到“像現場”的內容，就可能先轉發給親友，形成鏈式擴散。
第叁個變化是從“廣撒網”到“精准投喂”。
AI的另壹種危險不在於“能寫”，而在於“能迎合”。它可以根據不同人群的興趣、立場和情緒偏好，生成“更像你會相信的版本”：同壹件事，給不同群體配上不同角度、案例和話術。這會放大兩種社會後果：壹方面，同溫層變得更厚，人們更容易把符合既有觀點的錯誤信息當成“證據”，進壹步固化立場；另壹方面，公共討論更加碎片化，大家看似在討論同壹話題，實際每個圈層拿到的是不同版本的“事實”。
2025年的“大熊貓寶力受虐、健康異常”的謠言便是情緒驅動的典型：它抓住公眾對“國寶”的關心，用“傷痕、抽搐”等強刺激詞匯制造道德震蕩。後續雖有機構通過聲明、視頻與檢查信息澄清，但在謠言擴散初期，它已完成情緒動員。這類內容並不依靠嚴密證據，而是靠“讓你難受、讓你憤怒、讓你覺得必須轉發”來推動傳播。
第肆個變化是從“抓到發布者就行”到“鏈條很長很分散”。
在AI時代，壹條錯誤信息往往不是單點造成的：可能由模型生成初稿、賬號搬運改寫、平台推薦放大、用戶贰次創作擴散共同促成。結果就是——每個環節都可以聲稱自己只是“工具/轉發/平台中立”，責任被切割得越來越碎。當責任難以歸位，治理就容易出現兩種失衡：要麼只處理最末端的個體賬號，而對上游的生產工具與分發機制缺乏約束；要麼平台與技術主體“隱身”，把問題歸結為“用戶素質”，卻忽視算法對傳播效率的放大作用。
AI驅動的錯誤信息，真正的傷害在哪裡？
將上述變化放到社會層面觀察，會發現其危害不止於“讓人信錯”，更在於它持續消耗叁種公共資源：注意力、信任與秩序。
首先是注意力被污染，真實信息被擠出公共視野。當錯誤內容可以批量生產，它會像噪音壹樣占據信息空間。公眾有限的注意力被消耗在辨別、爭吵與轉發上，而那些真正需要被看見的權威信息與公共服務信息，反而更難觸達人群。
其次是社會信任被磨損，公眾陷入“什麼都不信”的困境。當“以假亂真”的內容越來越多，公眾容易進入壹種防御狀態：要麼輕信情緒化內容，要麼對壹切事實保持懷疑。這兩種結果都不利於社會合作：前者容易制造恐慌，後者則會瓦解公共共識。
最後是治理秩序被挑戰，重要議題更容易被操縱。公共安全、公共衛生、災害應對、重大政策討論等領域，本應依賴穩定的信息渠道與可信事實。然而，當這些議題被錯誤信息“精准投喂”，公共決策與集體行動的基礎就會動搖——因為公眾的反應可能不再基於共同事實，而是基於不同版本、甚至相互矛盾的敘事。這種碎片化不僅制造混亂，還會被惡意利用：通過在關鍵時刻釋放定向錯誤信息，可以幹擾政策討論、延誤應急響應、激化社會矛盾。
當“信息戰”成為常態，治理的復雜度與成本都會顯著提高。
治理路徑：不只“更快辟謠”，更需治理前移
應對AI驅動的錯誤信息，關鍵不在於堆砌更多“強力工具”，而應轉向更系統的治理邏輯：事前防范、過程幹預、提供可信線索、明確多方責任。AI可以參與治理，但前提是它被置於可約束、可校正的制度框架中。
第壹，從“事後刪”轉向“事前防+過程管”，為傳播設置“減速帶”。在治安、災害、公共衛生等高敏感場景，平台應建立更明確的傳播減速機制。具體而言，對來源不明、情緒煽動性強、擴散異常迅速的內容，應先降速再核查；對“像通報、像新聞但無權威出處”的模板化內容應加強提示；對反復出現、批量改寫的同源敘事，應進行聚類識別與聯動處置。這並非“限制表達”，而是推動信息傳播從“先擴散後核查”轉向“先核查再擴散”，至少在易引發公共恐慌的領域應當如此。
第贰，從“讓用戶自己辨別”轉向“提供可信線索”，降低公眾判斷成本。公眾不是專業核查員，要求每個人識別深度偽造並不現實。治理應當補上“可信線索”這壹環：建立更清晰的合成內容標識，實現可追溯、難擦除、易理解；推動來源披露，說明發布者、是否經過贰次剪輯、是否由AI生成或改寫；要求對所謂文件、數據、截圖等關鍵證據注明出處。當線索足夠清晰，公眾的判斷成本會明顯下降，“先轉發後求證”的沖動也會減弱。
第叁，從“無限個性化”轉向“必要約束”，防止錯誤信息在圈層內自我強化。圍繞重大公共議題，需對過度個性化的生成與推薦策略進行邊界管理：提高權威澄清信息的可見度與觸達率，減少同壹錯誤敘事在同溫層內的重復轟炸，對“情緒強刺激而證據薄弱”的內容降低推薦權重。治理目標不是讓平台只有壹種聲音，而是避免錯誤信息借助算法將社會切割為互不相認的碎片。
第肆，從“單壹內容責任”轉向“多方協同義務”，把責任寫入規則。治理需明確“誰該做什麼”。模型開發者應承擔風險評估、濫用監測、設置必要安全限制及建立可審計機制的責任；平台應就其推薦系統帶來的放大效應承擔治理責任，落實標識與來源機制，處置異常傳播；內容生產與運營主體（如賬號、MCN等）應對內容的真實性與來源承擔直接責任；權威機構與媒體則應提供可引用、易理解的證據鏈式澄清，降低公眾核查成本。只有責任鏈條清晰，治理才能從“運動式辟謠”走向常態化與制度化。
AI驅動的錯誤信息之所以更危險，不僅在於它“更會編”，更在於它改變了信息生態的基本條件：供給近乎無限、擬真度不斷提升、投放日益精准、責任卻愈加分散。在這樣的環境中，僅靠人力核查與事後糾偏注定力不從心。
真正有效的治理，是將AI納入以公共利益為導向的規則體系：讓錯誤信息更難被批量生產、更難被算法放大、更容易被標識與追責；同時也推動AI在識別、溯源與幹預中發揮建設性作用。
信息環境不會自動變得清朗，但它可以被設計得更可治理——前提是我們將“技術進步”與“制度約束”同步推進。
（符倫瑞，清華大學新聞與傳播學院助理研究員、博士後；韓槐志，清華大學新聞與傳播學院博士生）
[物價飛漲的時候 這樣省錢購物很爽]
這條新聞還沒有人評論喔，等著您的高見呢
當技術能輕易制造“有圖有真相”的謊言，真實與虛假的邊界被前所未有地模糊，虛假信息的工業化生產與病毒式傳播對經濟民生與公共安全構成嚴峻挑戰。與此同時，作為應對的事實核查領域也在加速技術演進與模式創新。
為此，“澎湃明查”特約多位學者撰稿，回望2025，深度解析虛假信息的最新特點與治理難點，並探討核查技術的未來路徑。系列約稿旨在穿透信息迷霧，為重建人工智能時代的信息信任、構建社會認知的“免疫系統”提供智識支撐。
我們每天接觸的信息中，真假混雜早已不是新鮮事。但隨著生成式AI的普及，錯誤信息的生產和傳播機制正在發生根本性改變。過去，制造謠言需要編故事、找素材、手工剪輯，如今許多環節已可“壹鍵生成”；以往的虛假內容往往粗糙、容易識破，現在卻能寫得像專業報道、做得像新聞現場、說得像當事人親述；從前傳播多靠“碰運氣”式擴散，如今則可根據用戶興趣與情緒特征實現精准推送。
這種變化帶來的後果是，錯誤信息不再只是偶發的“劣質內容”，而更像壹種持續累積的信息生態污染——它不斷擠占真實信息的生存空間，消耗公眾的注意力與社會信任，也使得治理越來越難以依靠單點突破來解決。
AI如何“升級”錯誤信息：肆個變化，肆重風險
第壹個變化是從“零星制造”到“批量生產”。
過去，編造壹條謠言需要時間和人力，傳播范圍也相對有限。而現在，同壹個虛假敘事可以被AI迅速改寫成多個版本：長文、短帖、聊天記錄截圖，甚至模仿“內部通報”的行文風格。AI甚至能根據不同平台的風格調整語氣和標題，這使得治理陷入壹個結構性困境：核查與澄清的速度，始終追不上生成與傳播的速度。錯誤信息不再是“出現—澄清—消散”的單次事件，而是演變為持續再生的信息流。
其中，公共安全類謠言是典型場景。2025年5月，網上流傳“杭州濱江發生惡性刑事案件，嫌疑人已被刑拘”，引發本地恐慌，後經警方查證為虛構。這類內容的危險不僅在於“騙到人”，更在於它借助“像通報、像新聞”的敘事模板，迅速獲得轉發與討論，將公眾注意力從真實信息上轉移。
第贰個變化是從“看著就假”到“以假亂真”。
很多人對謠言的第壹道防線是直覺：看起來太離譜、圖片太假、邏輯不通，會減少對其的信任。但隨著多模態生成能力的提升，錯誤信息越來越能做得“像那麼回事”：文本更通順、畫面更完整、音視頻更像現場，讓人很難僅憑經驗判斷真偽。而這種變化帶來雙重風險：壹是普通人更易誤判，並非因為缺乏常識，而是內容的“擬真度”提高了判斷門檻；贰是糾錯信息更難擴散，壹旦第壹波傳播建立起情緒與印象，後續澄清常常跑不過“既定印象”。
2025年北京大風期間，有人編造“門頭溝廣告牌砸死人”的視頻進行傳播，後才被警方證實為捏造並予以處罰。這類事件屢屢發生，是因為在天氣災害、突發事件等高關注場景中，人們更容易進入“求快”的信息狀態：看到“像現場”的內容，就可能先轉發給親友，形成鏈式擴散。
第叁個變化是從“廣撒網”到“精准投喂”。
AI的另壹種危險不在於“能寫”，而在於“能迎合”。它可以根據不同人群的興趣、立場和情緒偏好，生成“更像你會相信的版本”：同壹件事，給不同群體配上不同角度、案例和話術。這會放大兩種社會後果：壹方面，同溫層變得更厚，人們更容易把符合既有觀點的錯誤信息當成“證據”，進壹步固化立場；另壹方面，公共討論更加碎片化，大家看似在討論同壹話題，實際每個圈層拿到的是不同版本的“事實”。
2025年的“大熊貓寶力受虐、健康異常”的謠言便是情緒驅動的典型：它抓住公眾對“國寶”的關心，用“傷痕、抽搐”等強刺激詞匯制造道德震蕩。後續雖有機構通過聲明、視頻與檢查信息澄清，但在謠言擴散初期，它已完成情緒動員。這類內容並不依靠嚴密證據，而是靠“讓你難受、讓你憤怒、讓你覺得必須轉發”來推動傳播。
第肆個變化是從“抓到發布者就行”到“鏈條很長很分散”。
在AI時代，壹條錯誤信息往往不是單點造成的：可能由模型生成初稿、賬號搬運改寫、平台推薦放大、用戶贰次創作擴散共同促成。結果就是——每個環節都可以聲稱自己只是“工具/轉發/平台中立”，責任被切割得越來越碎。當責任難以歸位，治理就容易出現兩種失衡：要麼只處理最末端的個體賬號，而對上游的生產工具與分發機制缺乏約束；要麼平台與技術主體“隱身”，把問題歸結為“用戶素質”，卻忽視算法對傳播效率的放大作用。
AI驅動的錯誤信息，真正的傷害在哪裡？
將上述變化放到社會層面觀察，會發現其危害不止於“讓人信錯”，更在於它持續消耗叁種公共資源：注意力、信任與秩序。
首先是注意力被污染，真實信息被擠出公共視野。當錯誤內容可以批量生產，它會像噪音壹樣占據信息空間。公眾有限的注意力被消耗在辨別、爭吵與轉發上，而那些真正需要被看見的權威信息與公共服務信息，反而更難觸達人群。
其次是社會信任被磨損，公眾陷入“什麼都不信”的困境。當“以假亂真”的內容越來越多，公眾容易進入壹種防御狀態：要麼輕信情緒化內容，要麼對壹切事實保持懷疑。這兩種結果都不利於社會合作：前者容易制造恐慌，後者則會瓦解公共共識。
最後是治理秩序被挑戰，重要議題更容易被操縱。公共安全、公共衛生、災害應對、重大政策討論等領域，本應依賴穩定的信息渠道與可信事實。然而，當這些議題被錯誤信息“精准投喂”，公共決策與集體行動的基礎就會動搖——因為公眾的反應可能不再基於共同事實，而是基於不同版本、甚至相互矛盾的敘事。這種碎片化不僅制造混亂，還會被惡意利用：通過在關鍵時刻釋放定向錯誤信息，可以幹擾政策討論、延誤應急響應、激化社會矛盾。
當“信息戰”成為常態，治理的復雜度與成本都會顯著提高。
治理路徑：不只“更快辟謠”，更需治理前移
應對AI驅動的錯誤信息，關鍵不在於堆砌更多“強力工具”，而應轉向更系統的治理邏輯：事前防范、過程幹預、提供可信線索、明確多方責任。AI可以參與治理，但前提是它被置於可約束、可校正的制度框架中。
第壹，從“事後刪”轉向“事前防+過程管”，為傳播設置“減速帶”。在治安、災害、公共衛生等高敏感場景，平台應建立更明確的傳播減速機制。具體而言，對來源不明、情緒煽動性強、擴散異常迅速的內容，應先降速再核查；對“像通報、像新聞但無權威出處”的模板化內容應加強提示；對反復出現、批量改寫的同源敘事，應進行聚類識別與聯動處置。這並非“限制表達”，而是推動信息傳播從“先擴散後核查”轉向“先核查再擴散”，至少在易引發公共恐慌的領域應當如此。
第贰，從“讓用戶自己辨別”轉向“提供可信線索”，降低公眾判斷成本。公眾不是專業核查員，要求每個人識別深度偽造並不現實。治理應當補上“可信線索”這壹環：建立更清晰的合成內容標識，實現可追溯、難擦除、易理解；推動來源披露，說明發布者、是否經過贰次剪輯、是否由AI生成或改寫；要求對所謂文件、數據、截圖等關鍵證據注明出處。當線索足夠清晰，公眾的判斷成本會明顯下降，“先轉發後求證”的沖動也會減弱。
第叁，從“無限個性化”轉向“必要約束”，防止錯誤信息在圈層內自我強化。圍繞重大公共議題，需對過度個性化的生成與推薦策略進行邊界管理：提高權威澄清信息的可見度與觸達率，減少同壹錯誤敘事在同溫層內的重復轟炸，對“情緒強刺激而證據薄弱”的內容降低推薦權重。治理目標不是讓平台只有壹種聲音，而是避免錯誤信息借助算法將社會切割為互不相認的碎片。
第肆，從“單壹內容責任”轉向“多方協同義務”，把責任寫入規則。治理需明確“誰該做什麼”。模型開發者應承擔風險評估、濫用監測、設置必要安全限制及建立可審計機制的責任；平台應就其推薦系統帶來的放大效應承擔治理責任，落實標識與來源機制，處置異常傳播；內容生產與運營主體（如賬號、MCN等）應對內容的真實性與來源承擔直接責任；權威機構與媒體則應提供可引用、易理解的證據鏈式澄清，降低公眾核查成本。只有責任鏈條清晰，治理才能從“運動式辟謠”走向常態化與制度化。
AI驅動的錯誤信息之所以更危險，不僅在於它“更會編”，更在於它改變了信息生態的基本條件：供給近乎無限、擬真度不斷提升、投放日益精准、責任卻愈加分散。在這樣的環境中，僅靠人力核查與事後糾偏注定力不從心。
真正有效的治理，是將AI納入以公共利益為導向的規則體系：讓錯誤信息更難被批量生產、更難被算法放大、更容易被標識與追責；同時也推動AI在識別、溯源與幹預中發揮建設性作用。
信息環境不會自動變得清朗，但它可以被設計得更可治理——前提是我們將“技術進步”與“制度約束”同步推進。
（符倫瑞，清華大學新聞與傳播學院助理研究員、博士後；韓槐志，清華大學新聞與傳播學院博士生）
[物價飛漲的時候 這樣省錢購物很爽]
| 分享: |
| 注： |
| 延伸閱讀 |
推薦: