新闻 
AI怎样"想"出答案?Anthropic找到了线索
AI怎样"想"出答案?Anthropic找到了线索AI怎样"想"出答案?Anthropic找到了线索
长期以来，大语言模型一直像一个"黑箱"：人们知道它能生成答案，却很难说清楚它在生成答案的那一刻，内部究竟发生了什么。如今，Anthropic 开发出一种名为 Jacobian Lens（简称 J-lens）的新技术，为研究人员提供了迄今最清晰的一次观察窗口。而他们透过这扇窗看到的东西，有些平淡无奇，有些则令人不安。
Anthropic 的研究人员用 J-lens 观察今年 2 月发布的旗舰模型 Claude Opus 4.6，在其内部发现了一个此前从未被观察到的隐藏区域，并将其命名为 J-space。
这个空间里存放的，是一些与它接下来可能生成的内容相关的词语，这些词语是模型在真正给出答案之前，内部正在处理、正在关联的信息。打个不完全恰当的比方：如果 Claude 是一个人，J-space 里浮现的词，就像是它开口之前脑海里正在打转的念头。
更值得注意的是，Anthropic 的研究人员发现，大语言模型内部真正进行的计算，很多时候与它声称说自己正在做的事情对不上号。研究人员认为，持续监测 J-space 中不断冒出的词语，为理解模型行为、约束模型运行提供了一个全新的切入点。
相关论文已于本周发布在 Anthropic 官网，同时 Anthropic 与开源平台 Neuronpedia 一起放出了 J-lens 的演示。面对"会织网的动物有几条腿？"这个问题，模型会先在 J-space 里走完"会织网的动物→蜘蛛→八条腿"这条内部推理链，然后才输出 eight（八）。研究人员把 J-space 里 spider（蜘蛛）的内部表示替换成 ant（蚂蚁）之后，模型的推理链跟着变了，最终改口回答 six（六）。换句话说，J-space 记录的是推理过程中被反复调用的中间概念，而不只是对最终输出的预测。
大模型创业公司 Goodfire 的联合创始人兼首席科学家 Tom McGrath 对这项研究评价很高：“这是一项非常出色、也十分有意思的工作。”该公司同样在做理解和控制大语言模型的工具。
（来源：Neuronpedia）
01 深入模型内部
过去几年，Anthropic 一直深耕一个叫机制可解释性（mechanistic interpretability）的研究方向，想弄清楚大语言模型究竟是怎么工作的。《麻省理工科技评论》（MIT Technology Review）也把机制可解释性评为今年的十大突破性技术之一。J-lens 正是在这条研究路线上的进一步突破，它让研究人员摸到了此前够不着的模型内部层级。
不妨把大语言模型想象成一摞书：每一本书对应神经网络中的一层，由大量负责计算的神经元组成，逐层向上传递信息。最底部几层相当于输入层，处理用户输入的文本；最顶部几层属于输出层，组织并生成即将输出的内容。这两头做的大多是信息传递、数据整理一类的基础工作，真正复杂的推理并不发生在这里。
承担计算重任的是中间的隐藏层，大量数学运算在这里持续进行，把输入一步步转化成最终答案。模型最巧妙、也最神秘的部分，就藏在这里。
[加西网正招聘多名全职sales 待遇优]
好新闻没人评论怎么行，我来说几句
Anthropic 的研究人员用 J-lens 观察今年 2 月发布的旗舰模型 Claude Opus 4.6，在其内部发现了一个此前从未被观察到的隐藏区域，并将其命名为 J-space。
这个空间里存放的，是一些与它接下来可能生成的内容相关的词语，这些词语是模型在真正给出答案之前，内部正在处理、正在关联的信息。打个不完全恰当的比方：如果 Claude 是一个人，J-space 里浮现的词，就像是它开口之前脑海里正在打转的念头。
更值得注意的是，Anthropic 的研究人员发现，大语言模型内部真正进行的计算，很多时候与它声称说自己正在做的事情对不上号。研究人员认为，持续监测 J-space 中不断冒出的词语，为理解模型行为、约束模型运行提供了一个全新的切入点。
相关论文已于本周发布在 Anthropic 官网，同时 Anthropic 与开源平台 Neuronpedia 一起放出了 J-lens 的演示。面对"会织网的动物有几条腿？"这个问题，模型会先在 J-space 里走完"会织网的动物→蜘蛛→八条腿"这条内部推理链，然后才输出 eight（八）。研究人员把 J-space 里 spider（蜘蛛）的内部表示替换成 ant（蚂蚁）之后，模型的推理链跟着变了，最终改口回答 six（六）。换句话说，J-space 记录的是推理过程中被反复调用的中间概念，而不只是对最终输出的预测。
大模型创业公司 Goodfire 的联合创始人兼首席科学家 Tom McGrath 对这项研究评价很高：“这是一项非常出色、也十分有意思的工作。”该公司同样在做理解和控制大语言模型的工具。
（来源：Neuronpedia）
01 深入模型内部
过去几年，Anthropic 一直深耕一个叫机制可解释性（mechanistic interpretability）的研究方向，想弄清楚大语言模型究竟是怎么工作的。《麻省理工科技评论》（MIT Technology Review）也把机制可解释性评为今年的十大突破性技术之一。J-lens 正是在这条研究路线上的进一步突破，它让研究人员摸到了此前够不着的模型内部层级。
不妨把大语言模型想象成一摞书：每一本书对应神经网络中的一层，由大量负责计算的神经元组成，逐层向上传递信息。最底部几层相当于输入层，处理用户输入的文本；最顶部几层属于输出层，组织并生成即将输出的内容。这两头做的大多是信息传递、数据整理一类的基础工作，真正复杂的推理并不发生在这里。
承担计算重任的是中间的隐藏层，大量数学运算在这里持续进行，把输入一步步转化成最终答案。模型最巧妙、也最神秘的部分，就藏在这里。
[加西网正招聘多名全职sales 待遇优]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 |
推荐: