"Claude长出意识"怎么理解?专家解析AI意识争议
卓克：“Claude长出意识”的新闻，怎么理解？
最近，Anthropic的一篇研究被各媒体传播，题目大都类似于“Claude长出了意识”“Anthropic切开了Claude的大脑发现了意识空间”“AI有了内心独白和主观体验”等等。
今天，我们请得到App《科技参考5》主理人卓克老师，来帮你解读这个新闻。理解这篇新闻，非常有助于我们了解当前模型的细节，但更重要的是，它能帮我们区分：什么是模型内部真实存在的中间表征，什么是媒体和公众脑补出来的“意识故事”。
Anthropic这项研究，真正突破的不是证明AI有了灵魂，而是提供了一种观察模型黑箱的新工具：它让我们看到，模型在给出答案前，哪些概念可能参与了推理，又怎样影响最终输出。AI确实越来越像会思考，但越是这样，我们越需要把热闹的想象，拉回冷静的理解。
作者：卓克
来源：得到App《科技参考5》
01
Claude有意识了？
这篇Anthropic的文章题目，如果直接翻译就叫做《语言模型中的全局工作空间》，但要明白这个空间是怎么看到的，那就要细说了。
媒体解读的各种文章之所以都被放在头条，还都很抓眼球，是因为让人以为语言模型有了意识，有了灵魂。
Anthropic在文章中给了很多鲜活的例子，比如，让他抄写一句话，是关于绘画的句子，然后一边抄，一边让他心里想着“橘子”。然后就会观察到在他们定义的“J-空间”里发现了“橘子、水果”这些概念，同时这个空间里还有“思考、想象”这些关键词。
还有个例子是，问Claude：“会织网的动物有几条腿？”他的回答就是“8”，没有出现其他信息。但在那个J-空间里却出现了“蜘蛛”这个词。所以咱们旁观者一看，这不就是有脑子的证据吗？心里有很多中间步骤要说没说啊。
而且工程师还通过特定的操作，把J-空间里的“蜘蛛”替换成了“蚂蚁”，然后再观察输出结果。Claude再回答“会织网的动物有几条腿？6条”。也就是说，这个中间步骤的心智是真实存在的，并且能够直接影响推理的结果。
然后还有这样的例子，被说得很神，就是工程师让Claude在接下来不要想某一个特定的概念。结果Claude在思考过程中，J-空间里那个概念是一直存在的。虽然强度比你命令他专门去想这个概念的时候弱，但也远远高于你不提这个要求时，这个概念的强度。
而且Claude的J-空间里还冒出了“完蛋了”“失败”这样的词。媒体的解读是，他没控制住，他还非得想那个词，结果他自己骂了自己一句。因为这个场景平时人类也在做，比如越告诉他别在某个步骤犯错，结果事到临头还是掉坑里去了，然后自己骂自己一句。接下来就是对Claude意识存在、灵魂存在的延伸讨论了。
02
所有大模型都有意识？
而实际上，Anthropic这篇论文里，虽然提到了意识，但往往不是单独出现的，而是以“conscious access”这个词出现的。
按照文章的内容，conscious（意识）其实很不适合翻译为“人的意识”，更应该翻译成“表征”，“数学表征”的那个“表征”——在数学上你可以理解为是向量的一个投影。
access更应该翻译成“可调用/可报告的”。
于是，整个词“conscious access”应该翻译成“可调用的向量投影”或者“可调用的数学表征”，而不能再往“感觉、体验、道德、意识”之类的方向去理解了。
很多同学对“大语言模型表现得很像有意识的样子”这件事其实很熟。
比如，我们曾经介绍了一个OpenAI的实验。
当时是用GPT-4去解读GPT-2的各层神经元，比如，第17层的第3218号神经元，学会的是“一句话表达完了”这个状态。而第21层的第2932号神经元，学会的是“加拿大”这个概念。同时，加拿大人、国家、多伦多、金士顿这些概念对于那个神经元来说也是激活的。神经元对“加拿大”的理解，从GPT-2那个远古时期以来就不是死板的。
而且我们也在3年前就知道，大语言模型在输出结果时，有点像文字接龙的游戏。就是在上一句话最后接哪个词，吐出那个字之前，其实是有一个“next token输出概率榜”的，这个概率榜单一大长串。
[物价飞涨的时候 这样省钱购物很爽]
这条新闻还没有人评论喔，等着您的高见呢
最近，Anthropic的一篇研究被各媒体传播，题目大都类似于“Claude长出了意识”“Anthropic切开了Claude的大脑发现了意识空间”“AI有了内心独白和主观体验”等等。
今天，我们请得到App《科技参考5》主理人卓克老师，来帮你解读这个新闻。理解这篇新闻，非常有助于我们了解当前模型的细节，但更重要的是，它能帮我们区分：什么是模型内部真实存在的中间表征，什么是媒体和公众脑补出来的“意识故事”。
Anthropic这项研究，真正突破的不是证明AI有了灵魂，而是提供了一种观察模型黑箱的新工具：它让我们看到，模型在给出答案前，哪些概念可能参与了推理，又怎样影响最终输出。AI确实越来越像会思考，但越是这样，我们越需要把热闹的想象，拉回冷静的理解。
作者：卓克
来源：得到App《科技参考5》
01
Claude有意识了？
这篇Anthropic的文章题目，如果直接翻译就叫做《语言模型中的全局工作空间》，但要明白这个空间是怎么看到的，那就要细说了。
媒体解读的各种文章之所以都被放在头条，还都很抓眼球，是因为让人以为语言模型有了意识，有了灵魂。
Anthropic在文章中给了很多鲜活的例子，比如，让他抄写一句话，是关于绘画的句子，然后一边抄，一边让他心里想着“橘子”。然后就会观察到在他们定义的“J-空间”里发现了“橘子、水果”这些概念，同时这个空间里还有“思考、想象”这些关键词。
还有个例子是，问Claude：“会织网的动物有几条腿？”他的回答就是“8”，没有出现其他信息。但在那个J-空间里却出现了“蜘蛛”这个词。所以咱们旁观者一看，这不就是有脑子的证据吗？心里有很多中间步骤要说没说啊。
而且工程师还通过特定的操作，把J-空间里的“蜘蛛”替换成了“蚂蚁”，然后再观察输出结果。Claude再回答“会织网的动物有几条腿？6条”。也就是说，这个中间步骤的心智是真实存在的，并且能够直接影响推理的结果。
然后还有这样的例子，被说得很神，就是工程师让Claude在接下来不要想某一个特定的概念。结果Claude在思考过程中，J-空间里那个概念是一直存在的。虽然强度比你命令他专门去想这个概念的时候弱，但也远远高于你不提这个要求时，这个概念的强度。
而且Claude的J-空间里还冒出了“完蛋了”“失败”这样的词。媒体的解读是，他没控制住，他还非得想那个词，结果他自己骂了自己一句。因为这个场景平时人类也在做，比如越告诉他别在某个步骤犯错，结果事到临头还是掉坑里去了，然后自己骂自己一句。接下来就是对Claude意识存在、灵魂存在的延伸讨论了。
02
所有大模型都有意识？
而实际上，Anthropic这篇论文里，虽然提到了意识，但往往不是单独出现的，而是以“conscious access”这个词出现的。
按照文章的内容，conscious（意识）其实很不适合翻译为“人的意识”，更应该翻译成“表征”，“数学表征”的那个“表征”——在数学上你可以理解为是向量的一个投影。
access更应该翻译成“可调用/可报告的”。
于是，整个词“conscious access”应该翻译成“可调用的向量投影”或者“可调用的数学表征”，而不能再往“感觉、体验、道德、意识”之类的方向去理解了。
很多同学对“大语言模型表现得很像有意识的样子”这件事其实很熟。
比如，我们曾经介绍了一个OpenAI的实验。
当时是用GPT-4去解读GPT-2的各层神经元，比如，第17层的第3218号神经元，学会的是“一句话表达完了”这个状态。而第21层的第2932号神经元，学会的是“加拿大”这个概念。同时，加拿大人、国家、多伦多、金士顿这些概念对于那个神经元来说也是激活的。神经元对“加拿大”的理解，从GPT-2那个远古时期以来就不是死板的。
而且我们也在3年前就知道，大语言模型在输出结果时，有点像文字接龙的游戏。就是在上一句话最后接哪个词，吐出那个字之前，其实是有一个“next token输出概率榜”的，这个概率榜单一大长串。
[物价飞涨的时候 这样省钱购物很爽]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 |
推荐: