新聞 
AI怎樣"想"出答案?Anthropic找到了線索
AI怎樣"想"出答案?Anthropic找到了線索AI怎樣"想"出答案?Anthropic找到了線索
長期以來，大語言模型壹直像壹個"黑箱"：人們知道它能生成答案，卻很難說清楚它在生成答案的那壹刻，內部究竟發生了什麼。如今，Anthropic 開發出壹種名為 Jacobian Lens（簡稱 J-lens）的新技術，為研究人員提供了迄今最清晰的壹次觀察窗口。而他們透過這扇窗看到的東西，有些平淡無奇，有些則令人不安。
Anthropic 的研究人員用 J-lens 觀察今年 2 月發布的旗艦模型 Claude Opus 4.6，在其內部發現了壹個此前從未被觀察到的隱藏區域，並將其命名為 J-space。
這個空間裡存放的，是壹些與它接下來可能生成的內容相關的詞語，這些詞語是模型在真正給出答案之前，內部正在處理、正在關聯的信息。打個不完全恰當的比方：如果 Claude 是壹個人，J-space 裡浮現的詞，就像是它開口之前腦海裡正在打轉的念頭。
更值得注意的是，Anthropic 的研究人員發現，大語言模型內部真正進行的計算，很多時候與它聲稱說自己正在做的事情對不上號。研究人員認為，持續監測 J-space 中不斷冒出的詞語，為理解模型行為、約束模型運行提供了壹個全新的切入點。
相關論文已於本周發布在 Anthropic 官網，同時 Anthropic 與開源平台 Neuronpedia 壹起放出了 J-lens 的演示。面對"會織網的動物有幾條腿？"這個問題，模型會先在 J-space 裡走完"會織網的動物→蜘蛛→八條腿"這條內部推理鏈，然後才輸出 eight（八）。研究人員把 J-space 裡 spider（蜘蛛）的內部表示替換成 ant（螞蟻）之後，模型的推理鏈跟著變了，最終改口回答 six（六）。換句話說，J-space 記錄的是推理過程中被反復調用的中間概念，而不只是對最終輸出的預測。
大模型創業公司 Goodfire 的聯合創始人兼首席科學家 Tom McGrath 對這項研究評價很高：“這是壹項非常出色、也拾分有意思的工作。”該公司同樣在做理解和控制大語言模型的工具。
（來源：Neuronpedia）
01 深入模型內部
過去幾年，Anthropic 壹直深耕壹個叫機制可解釋性（mechanistic interpretability）的研究方向，想弄清楚大語言模型究竟是怎麼工作的。《麻省理工科技評論》（MIT Technology Review）也把機制可解釋性評為今年的拾大突破性技術之壹。J-lens 正是在這條研究路線上的進壹步突破，它讓研究人員摸到了此前夠不著的模型內部層級。
不妨把大語言模型想象成壹摞書：每壹本書對應神經網絡中的壹層，由大量負責計算的神經元組成，逐層向上傳遞信息。最底部幾層相當於輸入層，處理用戶輸入的文本；最頂部幾層屬於輸出層，組織並生成即將輸出的內容。這兩頭做的大多是信息傳遞、數據整理壹類的基礎工作，真正復雜的推理並不發生在這裡。
承擔計算重任的是中間的隱藏層，大量數學運算在這裡持續進行，把輸入壹步步轉化成最終答案。模型最巧妙、也最神秘的部分，就藏在這裡。
[物價飛漲的時候 這樣省錢購物很爽]
好新聞沒人評論怎麼行，我來說幾句
Anthropic 的研究人員用 J-lens 觀察今年 2 月發布的旗艦模型 Claude Opus 4.6，在其內部發現了壹個此前從未被觀察到的隱藏區域，並將其命名為 J-space。
這個空間裡存放的，是壹些與它接下來可能生成的內容相關的詞語，這些詞語是模型在真正給出答案之前，內部正在處理、正在關聯的信息。打個不完全恰當的比方：如果 Claude 是壹個人，J-space 裡浮現的詞，就像是它開口之前腦海裡正在打轉的念頭。
更值得注意的是，Anthropic 的研究人員發現，大語言模型內部真正進行的計算，很多時候與它聲稱說自己正在做的事情對不上號。研究人員認為，持續監測 J-space 中不斷冒出的詞語，為理解模型行為、約束模型運行提供了壹個全新的切入點。
相關論文已於本周發布在 Anthropic 官網，同時 Anthropic 與開源平台 Neuronpedia 壹起放出了 J-lens 的演示。面對"會織網的動物有幾條腿？"這個問題，模型會先在 J-space 裡走完"會織網的動物→蜘蛛→八條腿"這條內部推理鏈，然後才輸出 eight（八）。研究人員把 J-space 裡 spider（蜘蛛）的內部表示替換成 ant（螞蟻）之後，模型的推理鏈跟著變了，最終改口回答 six（六）。換句話說，J-space 記錄的是推理過程中被反復調用的中間概念，而不只是對最終輸出的預測。
大模型創業公司 Goodfire 的聯合創始人兼首席科學家 Tom McGrath 對這項研究評價很高：“這是壹項非常出色、也拾分有意思的工作。”該公司同樣在做理解和控制大語言模型的工具。
（來源：Neuronpedia）
01 深入模型內部
過去幾年，Anthropic 壹直深耕壹個叫機制可解釋性（mechanistic interpretability）的研究方向，想弄清楚大語言模型究竟是怎麼工作的。《麻省理工科技評論》（MIT Technology Review）也把機制可解釋性評為今年的拾大突破性技術之壹。J-lens 正是在這條研究路線上的進壹步突破，它讓研究人員摸到了此前夠不著的模型內部層級。
不妨把大語言模型想象成壹摞書：每壹本書對應神經網絡中的壹層，由大量負責計算的神經元組成，逐層向上傳遞信息。最底部幾層相當於輸入層，處理用戶輸入的文本；最頂部幾層屬於輸出層，組織並生成即將輸出的內容。這兩頭做的大多是信息傳遞、數據整理壹類的基礎工作，真正復雜的推理並不發生在這裡。
承擔計算重任的是中間的隱藏層，大量數學運算在這裡持續進行，把輸入壹步步轉化成最終答案。模型最巧妙、也最神秘的部分，就藏在這裡。
[物價飛漲的時候 這樣省錢購物很爽]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |
推薦: