新聞 
圖靈獎得主警告:當前安全措施 追不上AI能力狂飆
圖靈獎得主警告:當前安全措施 追不上AI能力狂飆圖靈獎得主警告:當前安全措施 追不上AI能力狂飆
第壹，大模型只能被動觀察世界，學到的是相關性，而不是因果性，換壹個環境就容易失靈；
第贰，科研中越有價值的問題，越難立刻知道對錯，反饋周期很長，不像編程可以秒級驗證，模型因此很難學進去；
第叁，人類發表的科研成果只有成功數據，失敗經驗幾乎從未進入訓練集，模型被鎖死在已知的分布裡，只會模仿成功路徑，走不出新路。
這組對比恰好揭示了安全治理中壹個容易被忽視的維度：當前AI的強大，主要體現在閉環任務上——編程、翻譯、下棋，都有明確的目標、即時的反饋和清晰的邊界；而真正的安全威脅恰恰來自開放任務：沒有標准答案，反饋周期漫長，失敗是常態，還要跟物理世界交互。
周伯文據此提出壹個判斷：“AGI for Science（AI4S）不是通用人工智能的應用，而是人工智能的終極考題。”
在他看來，要讓模型突破智能上限，就得主動介入世界去尋找真正的因果關系，從密集的反饋中學會處理難題，在探索失敗的過程中拓展能力的邊界。
這些要求跟安全治理的內在邏輯完全壹致。壹個不理解因果、不會從稀疏反饋中學習、只會模仿成功的AI系統，面對惡意攻擊者的創造性手段，同樣會毫無招架之力。
順著這壹思路，上海人工智能實驗室推出了“書生·端硯”科學發現平台，試圖把知識認知、邏輯推演、實驗行動與結果反饋貫通起來，形成壹套新的研究范式。其核心邏輯是，讓科學研究在真實反饋中形成閉環：結果符合預期，就沉澱為可信發現；結果反預期甚至失敗，則反過來觸發問題重構，促使研究者重新審視最初假設。
清華大學教師張數壹課題組花了4年時間改造壹種基因調控蛋白，接入“書生-端硯”後只經過兩輪迭代，AI就發現了新的突變組合，功能比此前《自然》報道的最好結果高出77%。其中壹個關鍵突變落在傳統認知中的“非功能區”，相當於AlphaGo的“神之壹手”。
這套范式背後，還有年輕博士生提出的MOBIUS架構，把知識向量和推理算子分離開來，讓模型具備了可持續成長的能力。
從安全治理的角度審視，這種將失敗納入學習閉環、追求因果理解而非統計相關的路徑，恰恰是構建內生安全所必需的技術基礎。
03 當AI學會作惡：從生物風險到證據困境在各類前沿風險中，化學、生物、放射性與核風險（統稱為CBRN）被視為最致命的領域之壹。
圖靈獎得主、“AI教父”約書亞·本吉奧在遠程致辭中發出警告：AI正從兩個方向為惡意行為者“賦能”，既降低了作惡的門檻，又抬高了危害的上限。智力本身就是力量，而AI的能力正在極速膨脹。
[物價飛漲的時候 這樣省錢購物很爽]
無評論不新聞，發表壹下您的意見吧
第贰，科研中越有價值的問題，越難立刻知道對錯，反饋周期很長，不像編程可以秒級驗證，模型因此很難學進去；
第叁，人類發表的科研成果只有成功數據，失敗經驗幾乎從未進入訓練集，模型被鎖死在已知的分布裡，只會模仿成功路徑，走不出新路。
這組對比恰好揭示了安全治理中壹個容易被忽視的維度：當前AI的強大，主要體現在閉環任務上——編程、翻譯、下棋，都有明確的目標、即時的反饋和清晰的邊界；而真正的安全威脅恰恰來自開放任務：沒有標准答案，反饋周期漫長，失敗是常態，還要跟物理世界交互。
周伯文據此提出壹個判斷：“AGI for Science（AI4S）不是通用人工智能的應用，而是人工智能的終極考題。”
在他看來，要讓模型突破智能上限，就得主動介入世界去尋找真正的因果關系，從密集的反饋中學會處理難題，在探索失敗的過程中拓展能力的邊界。
這些要求跟安全治理的內在邏輯完全壹致。壹個不理解因果、不會從稀疏反饋中學習、只會模仿成功的AI系統，面對惡意攻擊者的創造性手段，同樣會毫無招架之力。
順著這壹思路，上海人工智能實驗室推出了“書生·端硯”科學發現平台，試圖把知識認知、邏輯推演、實驗行動與結果反饋貫通起來，形成壹套新的研究范式。其核心邏輯是，讓科學研究在真實反饋中形成閉環：結果符合預期，就沉澱為可信發現；結果反預期甚至失敗，則反過來觸發問題重構，促使研究者重新審視最初假設。
清華大學教師張數壹課題組花了4年時間改造壹種基因調控蛋白，接入“書生-端硯”後只經過兩輪迭代，AI就發現了新的突變組合，功能比此前《自然》報道的最好結果高出77%。其中壹個關鍵突變落在傳統認知中的“非功能區”，相當於AlphaGo的“神之壹手”。
這套范式背後，還有年輕博士生提出的MOBIUS架構，把知識向量和推理算子分離開來，讓模型具備了可持續成長的能力。
從安全治理的角度審視，這種將失敗納入學習閉環、追求因果理解而非統計相關的路徑，恰恰是構建內生安全所必需的技術基礎。
03 當AI學會作惡：從生物風險到證據困境在各類前沿風險中，化學、生物、放射性與核風險（統稱為CBRN）被視為最致命的領域之壹。
圖靈獎得主、“AI教父”約書亞·本吉奧在遠程致辭中發出警告：AI正從兩個方向為惡意行為者“賦能”，既降低了作惡的門檻，又抬高了危害的上限。智力本身就是力量，而AI的能力正在極速膨脹。
[物價飛漲的時候 這樣省錢購物很爽]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |
推薦: