新聞 
圖靈獎得主警告:當前安全措施 追不上AI能力狂飆
圖靈獎得主警告:當前安全措施 追不上AI能力狂飆圖靈獎得主警告:當前安全措施 追不上AI能力狂飆
第壹層是“不敢為”。通過加裝安全圍欄等外部懲罰機制形成約束，讓AI因為害怕代價而不敢越界。這是目前AI行業投入精力最多的層面。
第贰層是“不能為”。從數學底座、優化函數和系統架構層面做內置約束，讓AI從根本上沒有犯錯的能力。
第叁層是“不欲為”。讓AI在心智和邏輯層面，把道德與法律變成壹種近乎“本能”的東西，達到壹種類似“明心見性”的狀態，自己就不想做壞事。
熊輝承認，眼下AI行業在底座架構和目標函數層面的內生安全努力還遠遠不夠，技術差距依然巨大。但他同時拋出壹個構想：壹旦內核層面的安全控制得以實現，就可以把安全內核保持閉源，而外圍部分更放心地開源。
這或許會為開源模型的安全治理打開壹條全新的路徑。
02 編程能力飆升，安全能力滑坡
周伯文發表演講
安全的挑戰從來不是孤立的，它和AI的能力邊界息息相關。
周伯文在演講中揭示了壹組冷熱反差，從另壹個維度解釋了安全問題的緊迫性。
他指出，過去18個月，AI的編程成功率從5%壹路飆升到88%，以至於國外壹半的基准測試因為模型表現太強，已經失去了參考價值。
“整個行業都在感受強烈的推背感。”周伯文說。
但科學發現領域卻是另壹番景象。
艾倫研究所發布的端到端科學研究評測顯示，同壹時期，表現最好的大模型在科學任務上的完成率始終停在3%，幾乎紋絲不動。大部分模型卡在60%到70%的區間，無法獨立跑完科研全流程。
NatureBench（周伯文團隊聯合銜遠科技等發布的AI編碼智能體評測基准?）顯示：AI產出壹篇超越當前最好成果的科學論文，成功率只有17.8%。《自然》雜志的壹篇研究論文據此判斷，目前AI產出的科學工作都屬於“增量發現”，還沒有出現根本性突破。
壹邊是編程能力逼近天花板，壹邊是科研能力原地踏步。周伯文將出現這種反差的原因歸結為叁個層面：
[加西網正招聘多名全職sales 待遇優]
這條新聞還沒有人評論喔，等著您的高見呢
第贰層是“不能為”。從數學底座、優化函數和系統架構層面做內置約束，讓AI從根本上沒有犯錯的能力。
第叁層是“不欲為”。讓AI在心智和邏輯層面，把道德與法律變成壹種近乎“本能”的東西，達到壹種類似“明心見性”的狀態，自己就不想做壞事。
熊輝承認，眼下AI行業在底座架構和目標函數層面的內生安全努力還遠遠不夠，技術差距依然巨大。但他同時拋出壹個構想：壹旦內核層面的安全控制得以實現，就可以把安全內核保持閉源，而外圍部分更放心地開源。
這或許會為開源模型的安全治理打開壹條全新的路徑。
02 編程能力飆升，安全能力滑坡
周伯文發表演講
安全的挑戰從來不是孤立的，它和AI的能力邊界息息相關。
周伯文在演講中揭示了壹組冷熱反差，從另壹個維度解釋了安全問題的緊迫性。
他指出，過去18個月，AI的編程成功率從5%壹路飆升到88%，以至於國外壹半的基准測試因為模型表現太強，已經失去了參考價值。
“整個行業都在感受強烈的推背感。”周伯文說。
但科學發現領域卻是另壹番景象。
艾倫研究所發布的端到端科學研究評測顯示，同壹時期，表現最好的大模型在科學任務上的完成率始終停在3%，幾乎紋絲不動。大部分模型卡在60%到70%的區間，無法獨立跑完科研全流程。
NatureBench（周伯文團隊聯合銜遠科技等發布的AI編碼智能體評測基准?）顯示：AI產出壹篇超越當前最好成果的科學論文，成功率只有17.8%。《自然》雜志的壹篇研究論文據此判斷，目前AI產出的科學工作都屬於“增量發現”，還沒有出現根本性突破。
壹邊是編程能力逼近天花板，壹邊是科研能力原地踏步。周伯文將出現這種反差的原因歸結為叁個層面：
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |
推薦: