當數百萬個AI開始互相對話,會發生什麼?
公司 AGI 安全與對齊研究負責人羅欣·沙阿（Rohin Shah）說，智能體正在大規模湧入市場。它們可以在沒有人盯著的情況下幹活，還能聽從其他智能體的指令，這帶來了壹類舊互聯網時代不存在的風險。
Google DeepMind 上個月在 Google I/O 上剛把智能體工具當作重頭戲來展示，現在又聯合了幾家機構，拿出 1000 萬美元設立研究基金，資助學者研究多智能體系統的行為，想辦法防止危險情景出現。參與出資的還有 Schmidt Sciences（埃裡克·施密特夫婦創辦的慈善基金會）、ARIA（英國政府的前沿研究機構）、Cooperative AI 基金會（英國的非營利研究機構），以及 Google 的慈善部門 Google.org。
我問沙阿和 Schmidt Sciences 可信 AI 科學項目負責人詹姆斯·福克斯（James Fox），1000 萬美元打算怎麼花——這筆錢不少，但跟 Google DeepMind 自家研究團隊的預算比就是個零頭。
沙阿說他們的目的是在科技公司之外培育壹支研究力量：“學術界的長處是有時間做更長線的研究，做那些產業實驗室顧不上的事情。”
“關鍵問題是，‘多智能體安全’這個研究領域現在基本還不存在，”他說，“我們想讓它從無到有。”
讓他擔心的是：隨著越來越多的 AI 智能體被部署、開始協同運轉，我們可能在某個時刻跨過壹個臨界點——以前只存在於假想中的風險變成現實。“人類社會也壹樣，”沙阿說，“壹個組織、壹套制度能幹成的事，單個人根本做不到。智能體也是這個道理。”
沙阿估計離智能體在經濟中大規模部署、風險真正值得擔憂的那壹刻，大概還有幾個月，他想趕在那之前把准備工作做好。
到底怕什麼？
沙阿和福克斯擔心的風險，說白了大多是互聯網上已有的壞事的升級版：詐騙、提示詞注入（往 AI 智能體裡塞惡意指令，讓它變成壹個自動運行的惡意軟件）、各種網絡攻擊。沙阿說他們的思路很直接：看看人類現在在互聯網上幹什麼壞事，然後想想如果換成智能體來幹，規模會放大多少倍。
“我們有壹個數字公共空間，整個社會的運轉都依賴它，你絕對不想看到它變成壹片叢林。”福克斯說。
我問沙阿有沒有考慮過更極端的情景，比如大規模經濟崩潰。“如果說今年年底之前，那肯定不會。”他說。我提醒道，今年只剩下六個月了。他笑了笑：“好吧，再往後的事就不好說了。”
兩人都認為，要搞清楚大量智能體同時交互會發生什麼，唯壹靠譜的辦法是跑逼真的模擬實驗，把 AI 智能體扔進沙盒環境裡，看它們怎麼表現。光盯著單個智能體研究、甚至只看小規模的群組，預測不了什麼。福克斯說，不能指望基於大語言模型的智能體總會理性行事，真正的復雜性來自海量交互同時發生。
有些研究者——包括 Google DeepMind 自己的壹個團隊——甚至提出過壹種可能：通用人工智能 AGI（如果能實現的話）也許不會來自某壹個超級聰明的模型，而是來自壹種智能體“蜂群”，整體的能力加起來超過各部分之和。
誰都不能完全信任
不只是 Google DeepMind 在對自己正在造的技術發出警告。兩周前 Anthropic 發布了壹套部署 AI 智能體的指南，用的是網絡安全領域壹種叫“零信任”的思路：從壹開始就假設系統有漏洞、智能體可能是攻擊者、安全事件遲早會發生。
以色列特拉維夫網絡安全公司 Akeyless 的聯合創始人兼 CTO 拉法埃爾·安傑爾（Refael Angel）也認為搞清楚智能體帶來的新風險至關重要。
過去所有的安全方法都建立在壹個前提上：機器跑的是人寫的代碼，做的事情是確定的，走的路徑是固定的。安傑爾說：“智能體把這些前提全部推翻了。它會推理，會臨場發揮，甚至壹句藏在文檔裡的話就可能把它劫持。”
安傑爾歡迎這筆研究資金。“安全標准不應該只由某壹家實驗室來定，然後要求其他所有人照做。”他說。但他也提醒，搞安全研究的人有時候會追著新奇的假想問題跑，反而忽略了那些已經擺在眼前的、沒什麼新鮮感的真問題。
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |
 19歲百萬粉絲網紅鍾美美被波士頓大學錄取 |
第壹批消費者,已經開始抵制AI購物 |
| 飛往費城的航班發生乘客咬人事件 |
BC這兒發生種族襲擊 強開車門毆打 |
| 考驗已經開始!伊媒指出伊美關系中最重要挑戰 |
美國未能實現目標,伊朗戰爭究竟取得了什麼成果 |
| "花費百萬,月薪叁千" 海歸在中國祛魅了? |
老套劇情卻追到上頭,《耀眼》憑什麼圈粉無數? |
| 台灣設中國民眾聯系窗口 北京緊張什麼? |
買過這類飲料嗎 大規模索賠開始了 |
推薦: