"Claude长出意识"怎么理解?专家解析AI意识争议
工程师们用J-透镜去观察，就相当于是在考察：在第n层神经网络里，那个还处于半成品、尚未完成全部思考过程的、包含了相当多种流动方向可能性的信息流，具体经过了哪些个方向的后续网络之后，最终会为“8”这个结果的涌现贡献自己的力量呢？
这个计算其实是一种反向计算，知道结果，再去反推前置条件。雅可比矩阵就是反推的计算动作，经过它的计算后就能知道，神经网络的中间层里的某一些向量，在“蜘蛛”这个概念所指的方向上，一起作出了贡献。
于是，再经过一些平均化的处理，工程师就认为，J-透镜从中间层里那些可以言说的向量中，至少有一些一起贡献了“蜘蛛”这个概念。
所以，第三种操作并不是对信息流做任何扰动，它是从相反的方向去看哪些因素为最终的信息流向贡献了力量。
理解这个过程后你也会发现，如果全量地使用J-透镜看一个问题的中间过程都有哪些可以言说的因素，那个计算量是超级大的。可能是一个推理的问题得到答案所需要的计算量的几百、上千、上万倍。
05
J-透镜的局限与启示
那么，Anthropic为什么要搞出这么一个奇奇怪怪的J-透镜呢？
主要原因就是要打破“模型是个黑匣子”的禁锢。
模型有的时候就会输出一些惊人的内容或者错得离谱的、违法的内容，那想修正它，但它是一个浑然一体的、复杂的黑匣子，你根本不知道一万多亿的参数值哪几个参与了其中的犯罪，那各自的责任是怎么样的？比重又是怎么样的呢？
于是，为了理解模型输出的结果，才想尽办法设计观察手段。J-透镜就是在这个背景下设计出来的。
而由此带来另一个问题就是“解读”。实际上，J-透镜看到的都是一些关键词，而并没有看到这些关键词对结果是如何贡献的。所以，如果一个人只是去看Anthropic给出的案例里的关键词，然后就自己脑补出一些情节去推断，那这些中间步骤的关键词是怎么推导出最终输出结果的呢？
那“会织网的动物有几条腿”这种问题还真的是个特例，解读很可能是对的。但对于其他的问题，解读就很有可能是错的了，因为很多关键词给它们堆在一起，中间再加上一些逻辑，你正着解读可以，反着解读也是可以的。
你真的可以拍胸脯解读的那些内容，得伴随着验证过程。比如，Anthropic给出的例子中，工程师把J-空间投影的那个概念，从蜘蛛换成蚂蚁后，你一看输出结果一下从8变成6了，这就叫验证过程。
所以，大概其“蜘蛛”就是中间过程，他先想到了这种节肢动物。就是因为J-空间里的内容传递到最终结果了，这个作用是实实在在的。
如果真的要延伸，我们可以对比一下人类的思考。
人类没有说出口的话，其实也分几种。有一种，我们就可以称为“内语言”，比如看比赛的时候心里默念“阿根廷不要被淘汰”，其实这已经非常接近输出语言了，只是没有发出声音而已，所以这种内语言并不能对标J-透镜看到的内容。
第二种没有说出口的话，比如，看到一个蒙面客蹲在不远处一辆摩托车旁边，这时你是没有说什么话的，也没有心里默念什么。但第二天警察找你去调查，问你昨天晚上看到了什么、怎么想的。
你就跟警察说：“感觉这个人在撬摩托车锁呢。”而这个时候，警察的问话，就相当于J-透镜，你重新组织的语言，就是J-空间里的内容。
也可能有很多人就是出于这样的对照，才把Anthropic这个研究解读得很玄、很科幻吧。
[加西网正招聘多名全职sales 待遇优]
好新闻没人评论怎么行，我来说几句
这个计算其实是一种反向计算，知道结果，再去反推前置条件。雅可比矩阵就是反推的计算动作，经过它的计算后就能知道，神经网络的中间层里的某一些向量，在“蜘蛛”这个概念所指的方向上，一起作出了贡献。
于是，再经过一些平均化的处理，工程师就认为，J-透镜从中间层里那些可以言说的向量中，至少有一些一起贡献了“蜘蛛”这个概念。
所以，第三种操作并不是对信息流做任何扰动，它是从相反的方向去看哪些因素为最终的信息流向贡献了力量。
理解这个过程后你也会发现，如果全量地使用J-透镜看一个问题的中间过程都有哪些可以言说的因素，那个计算量是超级大的。可能是一个推理的问题得到答案所需要的计算量的几百、上千、上万倍。
05
J-透镜的局限与启示
那么，Anthropic为什么要搞出这么一个奇奇怪怪的J-透镜呢？
主要原因就是要打破“模型是个黑匣子”的禁锢。
模型有的时候就会输出一些惊人的内容或者错得离谱的、违法的内容，那想修正它，但它是一个浑然一体的、复杂的黑匣子，你根本不知道一万多亿的参数值哪几个参与了其中的犯罪，那各自的责任是怎么样的？比重又是怎么样的呢？
于是，为了理解模型输出的结果，才想尽办法设计观察手段。J-透镜就是在这个背景下设计出来的。
而由此带来另一个问题就是“解读”。实际上，J-透镜看到的都是一些关键词，而并没有看到这些关键词对结果是如何贡献的。所以，如果一个人只是去看Anthropic给出的案例里的关键词，然后就自己脑补出一些情节去推断，那这些中间步骤的关键词是怎么推导出最终输出结果的呢？
那“会织网的动物有几条腿”这种问题还真的是个特例，解读很可能是对的。但对于其他的问题，解读就很有可能是错的了，因为很多关键词给它们堆在一起，中间再加上一些逻辑，你正着解读可以，反着解读也是可以的。
你真的可以拍胸脯解读的那些内容，得伴随着验证过程。比如，Anthropic给出的例子中，工程师把J-空间投影的那个概念，从蜘蛛换成蚂蚁后，你一看输出结果一下从8变成6了，这就叫验证过程。
所以，大概其“蜘蛛”就是中间过程，他先想到了这种节肢动物。就是因为J-空间里的内容传递到最终结果了，这个作用是实实在在的。
如果真的要延伸，我们可以对比一下人类的思考。
人类没有说出口的话，其实也分几种。有一种，我们就可以称为“内语言”，比如看比赛的时候心里默念“阿根廷不要被淘汰”，其实这已经非常接近输出语言了，只是没有发出声音而已，所以这种内语言并不能对标J-透镜看到的内容。
第二种没有说出口的话，比如，看到一个蒙面客蹲在不远处一辆摩托车旁边，这时你是没有说什么话的，也没有心里默念什么。但第二天警察找你去调查，问你昨天晚上看到了什么、怎么想的。
你就跟警察说：“感觉这个人在撬摩托车锁呢。”而这个时候，警察的问话，就相当于J-透镜，你重新组织的语言，就是J-空间里的内容。
也可能有很多人就是出于这样的对照，才把Anthropic这个研究解读得很玄、很科幻吧。
[加西网正招聘多名全职sales 待遇优]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 |
推荐: