新聞 
圖靈獎得主警告:當前安全措施 追不上AI能力狂飆
圖靈獎得主警告:當前安全措施 追不上AI能力狂飆圖靈獎得主警告:當前安全措施 追不上AI能力狂飆
本吉奧發出警告
尤其在網絡安全和生物領域，開源模型壹旦發布就不可逆轉。那些具有雙重用途的能力壹旦被釋放，就無法召回，也無法修復。他強調，僅僅基於當前前沿水平來思考AI風險是遠遠不夠的。
“必須在AI模型能力躍遷之前就做好准備，而不是事後才應對，這應當成為我們的默認姿態。”
非營利組織SecureBio的AI研究負責人賈斯珀·戈汀進壹步聚焦到了生物風險上。
他提到知名AI研究員索倫·明德曼分享的壹項實地調查：在尼日利亞，前恐怖組織“博科聖地”的成員每天都在使用AI，AI不只用來制造更大的炸彈，還包括制定攻擊計劃。
更令人不安的是，他們還辦起了培訓班，教組織成員如何用AI進行恐怖活動。
戈汀指出，生物學天然具有雙重屬性，但“我們希望AI驅動的是疫苗實驗室，而不是恐怖分子的病毒學實驗室。”
研究人員在防護欄之內，應當獲得AI輔助來完成對策研發，但這些知識不應出現在開源模型裡。
獨立研究員、前OpenAI項目負責人傑夫·吳則從權力集中的角度補充了思考。他指出，前沿AI的發展伴隨著資源的集中，很可能導致權力匯聚到少數公司或機構手中。如果未來制造出遠比人類聰明的系統，人類可能面臨被全面剝奪權力的風險。
明德曼則指出壹個更深的治理困境——“證據困境”：AI能力常跳躍式提升，讓人措手不及；但真正棘手的是，在風險變成現實之前，人們很難拿到“它壹定會造成危害”的確鑿證據。
Anthropic就遇到過這種情況，模型能力突然躍升，團隊擔憂網絡攻擊風險，卻無法證明“壹定會出事”，最終自願決定暫不投放市場，才避免了潛在危害。
這正是困境所在：能力已強到令人不安，卻沒有硬證據支撐立即幹預。
04 AI威脅是炒作or真相？面對如此嚴峻的前沿風險，全球科技界在治理態度上呈現出顯著分歧。
本吉奧呼吁立即采取行動。他警告稱，在模型能力出現躍升之前做好准備，必須成為默認姿態。各國政府需要意識到，這不是某個國家單獨面對的威脅，而是AI濫用帶來的共同挑戰，必須共同預防。
相比之下，國內學者給出的回應更為務實。
高新波認為，前沿AI風險確實是基於邏輯推演的系統性威脅，但不必因此陷入末日恐慌，更不能直接叫停研究。他把前沿AI比作“比核能還要深刻的潘多拉魔盒”——打開之前，必須在工程和設計層面把“安全鎖”打造完美。
姜育剛的立場更貼近現實。他指出，呼吁停止研發在現實中根本不可能，沒人會停下來。不管各方覺得該開源還是閉源，兩種模式已經同時存在了。最務實的做法，是在新技術研發的過程中同步推進風險防控。
熊輝則堅定支持開源。他認為閉源大模型的能力越強，風險同樣在急劇增加。問題的核心不在於開不開源，而在於重構安全架構：如果能在內核層面把安全控制做到極致，外圍完全可以放心開源，讓開源的生產力紅利惠及更多人。
在具體操作層面，傑夫·吳和明德曼都提到了可落地的緩解措施。
傑夫·吳建議通過預訓練和後訓練階段的數據過濾來降低風險。明德曼補充稱，雲服務商也可以在身份核查層面設置門檻，就像進地鐵站需要出示證件壹樣，確保只有更可信的人才能獲得模型權重訪問權限。
結語討論最後，技術派把焦點放在了“可控”上。
高新波希望，AI專家不僅能造出最聰明的模型，還能提供壹套能證明、能解釋、能控制的安全防護體系；姜育剛強調，內生安全重要，但攻防技術同樣關鍵，更堅固的盾才能支撐技術持續發展；熊輝則期待安全控制能力與開發能力齊頭並進。
樂觀派把目光投向了未來。
賈斯珀·戈汀認為AI在生物學領域擁有巨大潛力，人類能找到收獲所有好處同時，也能遏制嚴重風險的方式。
制度派的思考則落在了人與人之間的協調上。
傑夫·吳和明德曼都指出，除了科學研究與風險緩解，還需要建立協調機制，在共識和監督下推進AI的開發進程。
周伯文在演講最後留下壹個判斷：“安全價值就是商業價值，它們並不對立。”
[加西網正招聘多名全職sales 待遇優]
還沒人說話啊，我想來說幾句
尤其在網絡安全和生物領域，開源模型壹旦發布就不可逆轉。那些具有雙重用途的能力壹旦被釋放，就無法召回，也無法修復。他強調，僅僅基於當前前沿水平來思考AI風險是遠遠不夠的。
“必須在AI模型能力躍遷之前就做好准備，而不是事後才應對，這應當成為我們的默認姿態。”
非營利組織SecureBio的AI研究負責人賈斯珀·戈汀進壹步聚焦到了生物風險上。
他提到知名AI研究員索倫·明德曼分享的壹項實地調查：在尼日利亞，前恐怖組織“博科聖地”的成員每天都在使用AI，AI不只用來制造更大的炸彈，還包括制定攻擊計劃。
更令人不安的是，他們還辦起了培訓班，教組織成員如何用AI進行恐怖活動。
戈汀指出，生物學天然具有雙重屬性，但“我們希望AI驅動的是疫苗實驗室，而不是恐怖分子的病毒學實驗室。”
研究人員在防護欄之內，應當獲得AI輔助來完成對策研發，但這些知識不應出現在開源模型裡。
獨立研究員、前OpenAI項目負責人傑夫·吳則從權力集中的角度補充了思考。他指出，前沿AI的發展伴隨著資源的集中，很可能導致權力匯聚到少數公司或機構手中。如果未來制造出遠比人類聰明的系統，人類可能面臨被全面剝奪權力的風險。
明德曼則指出壹個更深的治理困境——“證據困境”：AI能力常跳躍式提升，讓人措手不及；但真正棘手的是，在風險變成現實之前，人們很難拿到“它壹定會造成危害”的確鑿證據。
Anthropic就遇到過這種情況，模型能力突然躍升，團隊擔憂網絡攻擊風險，卻無法證明“壹定會出事”，最終自願決定暫不投放市場，才避免了潛在危害。
這正是困境所在：能力已強到令人不安，卻沒有硬證據支撐立即幹預。
04 AI威脅是炒作or真相？面對如此嚴峻的前沿風險，全球科技界在治理態度上呈現出顯著分歧。
本吉奧呼吁立即采取行動。他警告稱，在模型能力出現躍升之前做好准備，必須成為默認姿態。各國政府需要意識到，這不是某個國家單獨面對的威脅，而是AI濫用帶來的共同挑戰，必須共同預防。
相比之下，國內學者給出的回應更為務實。
高新波認為，前沿AI風險確實是基於邏輯推演的系統性威脅，但不必因此陷入末日恐慌，更不能直接叫停研究。他把前沿AI比作“比核能還要深刻的潘多拉魔盒”——打開之前，必須在工程和設計層面把“安全鎖”打造完美。
姜育剛的立場更貼近現實。他指出，呼吁停止研發在現實中根本不可能，沒人會停下來。不管各方覺得該開源還是閉源，兩種模式已經同時存在了。最務實的做法，是在新技術研發的過程中同步推進風險防控。
熊輝則堅定支持開源。他認為閉源大模型的能力越強，風險同樣在急劇增加。問題的核心不在於開不開源，而在於重構安全架構：如果能在內核層面把安全控制做到極致，外圍完全可以放心開源，讓開源的生產力紅利惠及更多人。
在具體操作層面，傑夫·吳和明德曼都提到了可落地的緩解措施。
傑夫·吳建議通過預訓練和後訓練階段的數據過濾來降低風險。明德曼補充稱，雲服務商也可以在身份核查層面設置門檻，就像進地鐵站需要出示證件壹樣，確保只有更可信的人才能獲得模型權重訪問權限。
結語討論最後，技術派把焦點放在了“可控”上。
高新波希望，AI專家不僅能造出最聰明的模型，還能提供壹套能證明、能解釋、能控制的安全防護體系；姜育剛強調，內生安全重要，但攻防技術同樣關鍵，更堅固的盾才能支撐技術持續發展；熊輝則期待安全控制能力與開發能力齊頭並進。
樂觀派把目光投向了未來。
賈斯珀·戈汀認為AI在生物學領域擁有巨大潛力，人類能找到收獲所有好處同時，也能遏制嚴重風險的方式。
制度派的思考則落在了人與人之間的協調上。
傑夫·吳和明德曼都指出，除了科學研究與風險緩解，還需要建立協調機制，在共識和監督下推進AI的開發進程。
周伯文在演講最後留下壹個判斷：“安全價值就是商業價值，它們並不對立。”
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |
推薦: