新聞 
"Claude長出意識"怎麼理解?專家解析AI意識爭議
"Claude長出意識"怎麼理解?專家解析AI意識爭議"Claude長出意識"怎麼理解?專家解析AI意識爭議
卓克：“Claude長出意識”的新聞，怎麼理解？
最近，Anthropic的壹篇研究被各媒體傳播，題目大都類似於“Claude長出了意識”“Anthropic切開了Claude的大腦發現了意識空間”“AI有了內心獨白和主觀體驗”等等。
今天，我們請得到App《科技參考5》主理人卓克老師，來幫你解讀這個新聞。理解這篇新聞，非常有助於我們了解當前模型的細節，但更重要的是，它能幫我們區分：什麼是模型內部真實存在的中間表征，什麼是媒體和公眾腦補出來的“意識故事”。
Anthropic這項研究，真正突破的不是證明AI有了靈魂，而是提供了壹種觀察模型黑箱的新工具：它讓我們看到，模型在給出答案前，哪些概念可能參與了推理，又怎樣影響最終輸出。AI確實越來越像會思考，但越是這樣，我們越需要把熱鬧的想象，拉回冷靜的理解。
作者：卓克
來源：得到App《科技參考5》
01
Claude有意識了？
這篇Anthropic的文章題目，如果直接翻譯就叫做《語言模型中的全局工作空間》，但要明白這個空間是怎麼看到的，那就要細說了。
媒體解讀的各種文章之所以都被放在頭條，還都很抓眼球，是因為讓人以為語言模型有了意識，有了靈魂。
Anthropic在文章中給了很多鮮活的例子，比如，讓他抄寫壹句話，是關於繪畫的句子，然後壹邊抄，壹邊讓他心裡想著“橘子”。然後就會觀察到在他們定義的“J-空間”裡發現了“橘子、水果”這些概念，同時這個空間裡還有“思考、想象”這些關鍵詞。
還有個例子是，問Claude：“會織網的動物有幾條腿？”他的回答就是“8”，沒有出現其他信息。但在那個J-空間裡卻出現了“蜘蛛”這個詞。所以咱們旁觀者壹看，這不就是有腦子的證據嗎？心裡有很多中間步驟要說沒說啊。
而且工程師還通過特定的操作，把J-空間裡的“蜘蛛”替換成了“螞蟻”，然後再觀察輸出結果。Claude再回答“會織網的動物有幾條腿？6條”。也就是說，這個中間步驟的心智是真實存在的，並且能夠直接影響推理的結果。
然後還有這樣的例子，被說得很神，就是工程師讓Claude在接下來不要想某壹個特定的概念。結果Claude在思考過程中，J-空間裡那個概念是壹直存在的。雖然強度比你命令他專門去想這個概念的時候弱，但也遠遠高於你不提這個要求時，這個概念的強度。
而且Claude的J-空間裡還冒出了“完蛋了”“失敗”這樣的詞。媒體的解讀是，他沒控制住，他還非得想那個詞，結果他自己罵了自己壹句。因為這個場景平時人類也在做，比如越告訴他別在某個步驟犯錯，結果事到臨頭還是掉坑裡去了，然後自己罵自己壹句。接下來就是對Claude意識存在、靈魂存在的延伸討論了。
02
所有大模型都有意識？
而實際上，Anthropic這篇論文裡，雖然提到了意識，但往往不是單獨出現的，而是以“conscious access”這個詞出現的。
按照文章的內容，conscious（意識）其實很不適合翻譯為“人的意識”，更應該翻譯成“表征”，“數學表征”的那個“表征”——在數學上你可以理解為是向量的壹個投影。
access更應該翻譯成“可調用/可報告的”。
於是，整個詞“conscious access”應該翻譯成“可調用的向量投影”或者“可調用的數學表征”，而不能再往“感覺、體驗、道德、意識”之類的方向去理解了。
很多同學對“大語言模型表現得很像有意識的樣子”這件事其實很熟。
比如，我們曾經介紹了壹個OpenAI的實驗。
當時是用GPT-4去解讀GPT-2的各層神經元，比如，第17層的第3218號神經元，學會的是“壹句話表達完了”這個狀態。而第21層的第2932號神經元，學會的是“加拿大”這個概念。同時，加拿大人、國家、多倫多、金士頓這些概念對於那個神經元來說也是激活的。神經元對“加拿大”的理解，從GPT-2那個遠古時期以來就不是死板的。
而且我們也在3年前就知道，大語言模型在輸出結果時，有點像文字接龍的游戲。就是在上壹句話最後接哪個詞，吐出那個字之前，其實是有壹個“next token輸出概率榜”的，這個概率榜單壹大長串。
[加西網正招聘多名全職sales 待遇優]
無評論不新聞，發表壹下您的意見吧
最近，Anthropic的壹篇研究被各媒體傳播，題目大都類似於“Claude長出了意識”“Anthropic切開了Claude的大腦發現了意識空間”“AI有了內心獨白和主觀體驗”等等。
今天，我們請得到App《科技參考5》主理人卓克老師，來幫你解讀這個新聞。理解這篇新聞，非常有助於我們了解當前模型的細節，但更重要的是，它能幫我們區分：什麼是模型內部真實存在的中間表征，什麼是媒體和公眾腦補出來的“意識故事”。
Anthropic這項研究，真正突破的不是證明AI有了靈魂，而是提供了壹種觀察模型黑箱的新工具：它讓我們看到，模型在給出答案前，哪些概念可能參與了推理，又怎樣影響最終輸出。AI確實越來越像會思考，但越是這樣，我們越需要把熱鬧的想象，拉回冷靜的理解。
作者：卓克
來源：得到App《科技參考5》
01
Claude有意識了？
這篇Anthropic的文章題目，如果直接翻譯就叫做《語言模型中的全局工作空間》，但要明白這個空間是怎麼看到的，那就要細說了。
媒體解讀的各種文章之所以都被放在頭條，還都很抓眼球，是因為讓人以為語言模型有了意識，有了靈魂。
Anthropic在文章中給了很多鮮活的例子，比如，讓他抄寫壹句話，是關於繪畫的句子，然後壹邊抄，壹邊讓他心裡想著“橘子”。然後就會觀察到在他們定義的“J-空間”裡發現了“橘子、水果”這些概念，同時這個空間裡還有“思考、想象”這些關鍵詞。
還有個例子是，問Claude：“會織網的動物有幾條腿？”他的回答就是“8”，沒有出現其他信息。但在那個J-空間裡卻出現了“蜘蛛”這個詞。所以咱們旁觀者壹看，這不就是有腦子的證據嗎？心裡有很多中間步驟要說沒說啊。
而且工程師還通過特定的操作，把J-空間裡的“蜘蛛”替換成了“螞蟻”，然後再觀察輸出結果。Claude再回答“會織網的動物有幾條腿？6條”。也就是說，這個中間步驟的心智是真實存在的，並且能夠直接影響推理的結果。
然後還有這樣的例子，被說得很神，就是工程師讓Claude在接下來不要想某壹個特定的概念。結果Claude在思考過程中，J-空間裡那個概念是壹直存在的。雖然強度比你命令他專門去想這個概念的時候弱，但也遠遠高於你不提這個要求時，這個概念的強度。
而且Claude的J-空間裡還冒出了“完蛋了”“失敗”這樣的詞。媒體的解讀是，他沒控制住，他還非得想那個詞，結果他自己罵了自己壹句。因為這個場景平時人類也在做，比如越告訴他別在某個步驟犯錯，結果事到臨頭還是掉坑裡去了，然後自己罵自己壹句。接下來就是對Claude意識存在、靈魂存在的延伸討論了。
02
所有大模型都有意識？
而實際上，Anthropic這篇論文裡，雖然提到了意識，但往往不是單獨出現的，而是以“conscious access”這個詞出現的。
按照文章的內容，conscious（意識）其實很不適合翻譯為“人的意識”，更應該翻譯成“表征”，“數學表征”的那個“表征”——在數學上你可以理解為是向量的壹個投影。
access更應該翻譯成“可調用/可報告的”。
於是，整個詞“conscious access”應該翻譯成“可調用的向量投影”或者“可調用的數學表征”，而不能再往“感覺、體驗、道德、意識”之類的方向去理解了。
很多同學對“大語言模型表現得很像有意識的樣子”這件事其實很熟。
比如，我們曾經介紹了壹個OpenAI的實驗。
當時是用GPT-4去解讀GPT-2的各層神經元，比如，第17層的第3218號神經元，學會的是“壹句話表達完了”這個狀態。而第21層的第2932號神經元，學會的是“加拿大”這個概念。同時，加拿大人、國家、多倫多、金士頓這些概念對於那個神經元來說也是激活的。神經元對“加拿大”的理解，從GPT-2那個遠古時期以來就不是死板的。
而且我們也在3年前就知道，大語言模型在輸出結果時，有點像文字接龍的游戲。就是在上壹句話最後接哪個詞，吐出那個字之前，其實是有壹個“next token輸出概率榜”的，這個概率榜單壹大長串。
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 |
推薦: