切开Claude大脑,发现了类似人类意识的内部空间
Anthropic 再次发表一篇长论文，光论文小标题就有 24 个 [1]，他们发现在 Claude 的几十亿个参数中间，暗藏着一个狭小的空间。它的体积只占整个模型活动的不到一成，但是里面承载的内容很特殊。所有你能让模型生成出来的东西，关于某一件事的判断、推理时的中间步骤、乃至于模型自己都没打算说出口的想法，都曾在这个空间里流过。
Anthropic 给它起名叫 J 空间，这个名字来自 Anthropic 用来找到它的一个名为雅可比矩阵的数学工具。
这个发现之所以非常重要，在于它跟人类大脑的一个特征出奇地相似。在认知神经科学里有一个理论叫作全局工作空间理论，由科学家斯坦尼斯拉斯·德阿内和莱昂内尔·纳卡什发展起来。
这一理论认为，大脑里有许多无意识的自动处理过程在并行运行，譬如维持姿势、调节呼吸以及处理语言的基本结构。但是有一小部分信息会进入一个特殊的共享通道，进而被广播到大脑的各个部分，供它们用来读取和使用。进入这个通道里面的信息，就是能被报告出来、能被用来推理、能被灵活控制的东西，即所谓的有意识访问。
上文的德阿内和纳卡什受邀审阅了 Anthropic 的这篇论文，他们在评论文章里写道，J 空间和这个理论模型的对应关系有着惊人的相似。
Anthropic 发现 J 空间的方式是这样的：他们先是从如下观察出发，那就是有意识访问的内容存在这样一个特点，这个特点就是你可以把它说出来。假如一个念头对你来说是有意识可访问的，别人问起来的时候你通常能描述它。基于此 Anthropic 在大模型里寻找具有同样特征的内部表征，这些内部表征就是那些一旦存在、就能让模型更有可能在未来某个时刻说出某个词的内容。
Anthropic 使用的工具叫雅可比透镜，简言之对于词表里的每一个词，这个工具可以找到模型内部的一种活动模式，这种模式可以让模型更加倾向于在未来的某个时刻说出那个词。当把这个透镜对准模型内部的激活状态的时候，就会得到一张词表，它代表着当前 J 空间里正在活跃的内容。
J 空间存在这样一个特征：模型在处理文本的时候会经过多个内部阶段，每一层都在加工信息和转换信息。在不同层应用这个透镜的话，就能看到这些沉默的词在 J 空间里是如何随着模型思考而演化的。
而这些内容远远超出了模型正在读或写的那些文本，当模型读到一段带有漏洞的代码的时候，J 空间里会出现“错误”这个词；当它读到一个蛋白质的原始序列时，J 空间里会出现关于那个蛋白质的生物学功能；当它读到一段实际上是试图操纵它的搜索结果的内容时，J 空间里会出现“注入”和“假造”等词语。
更为关键的是，J 空间里的内容能够被直接干预。在研究中的一项实验里，Anthropic 让模型先默想一项运动然后再说出来。在模型给出回答之前，J 空间里已经出现了“足球”这个词。这时，研究人员开始直接介入，把足球这个模式移除并换成橄榄球，模型随后开始说它想的是橄榄球。
图 | J 空间揭示了模型输出内容中未出现的内在想法（来源：Anthropic）
假如 J 空间只是一个被动的记分牌，记录着其他地方做出的决定，那么对其进行编辑它应该不会产生任何影响。模型仍然会说“足球”，但模型却被编辑带着跑，这说明答案确实是从 J 空间里读取出来的。
[加西网正招聘多名全职sales 待遇优]
还没人说话啊，我想来说几句
Anthropic 给它起名叫 J 空间，这个名字来自 Anthropic 用来找到它的一个名为雅可比矩阵的数学工具。
这个发现之所以非常重要，在于它跟人类大脑的一个特征出奇地相似。在认知神经科学里有一个理论叫作全局工作空间理论，由科学家斯坦尼斯拉斯·德阿内和莱昂内尔·纳卡什发展起来。
这一理论认为，大脑里有许多无意识的自动处理过程在并行运行，譬如维持姿势、调节呼吸以及处理语言的基本结构。但是有一小部分信息会进入一个特殊的共享通道，进而被广播到大脑的各个部分，供它们用来读取和使用。进入这个通道里面的信息，就是能被报告出来、能被用来推理、能被灵活控制的东西，即所谓的有意识访问。
上文的德阿内和纳卡什受邀审阅了 Anthropic 的这篇论文，他们在评论文章里写道，J 空间和这个理论模型的对应关系有着惊人的相似。
Anthropic 发现 J 空间的方式是这样的：他们先是从如下观察出发，那就是有意识访问的内容存在这样一个特点，这个特点就是你可以把它说出来。假如一个念头对你来说是有意识可访问的，别人问起来的时候你通常能描述它。基于此 Anthropic 在大模型里寻找具有同样特征的内部表征，这些内部表征就是那些一旦存在、就能让模型更有可能在未来某个时刻说出某个词的内容。
Anthropic 使用的工具叫雅可比透镜，简言之对于词表里的每一个词，这个工具可以找到模型内部的一种活动模式，这种模式可以让模型更加倾向于在未来的某个时刻说出那个词。当把这个透镜对准模型内部的激活状态的时候，就会得到一张词表，它代表着当前 J 空间里正在活跃的内容。
J 空间存在这样一个特征：模型在处理文本的时候会经过多个内部阶段，每一层都在加工信息和转换信息。在不同层应用这个透镜的话，就能看到这些沉默的词在 J 空间里是如何随着模型思考而演化的。
而这些内容远远超出了模型正在读或写的那些文本，当模型读到一段带有漏洞的代码的时候，J 空间里会出现“错误”这个词；当它读到一个蛋白质的原始序列时，J 空间里会出现关于那个蛋白质的生物学功能；当它读到一段实际上是试图操纵它的搜索结果的内容时，J 空间里会出现“注入”和“假造”等词语。
更为关键的是，J 空间里的内容能够被直接干预。在研究中的一项实验里，Anthropic 让模型先默想一项运动然后再说出来。在模型给出回答之前，J 空间里已经出现了“足球”这个词。这时，研究人员开始直接介入，把足球这个模式移除并换成橄榄球，模型随后开始说它想的是橄榄球。
图 | J 空间揭示了模型输出内容中未出现的内在想法（来源：Anthropic）
假如 J 空间只是一个被动的记分牌，记录着其他地方做出的决定，那么对其进行编辑它应该不会产生任何影响。模型仍然会说“足球”，但模型却被编辑带着跑，这说明答案确实是从 J 空间里读取出来的。
[加西网正招聘多名全职sales 待遇优]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 |
推荐: