图灵奖得主警告:当前安全措施追不上AI能力狂飙

第一，大模型只能被动观察世界，学到的是相关性，而不是因果性，换一个环境就容易失灵；

第二，科研中越有价值的问题，越难立刻知道对错，反馈周期很长，不像编程可以秒级验证，模型因此很难学进去；

第三，人类发表的科研成果只有成功数据，失败经验几乎从未进入训练集，模型被锁死在已知的分布里，只会模仿成功路径，走不出新路。

这组对比恰好揭示了安全治理中一个容易被忽视的维度：当前AI的强大，主要体现在闭环任务上——编程、翻译、下棋，都有明确的目标、即时的反馈和清晰的边界；而真正的安全威胁恰恰来自开放任务：没有标准答案，反馈周期漫长，失败是常态，还要跟物理世界交互。

周伯文据此提出一个判断：“AGI for Science（AI4S）不是通用人工智能的应用，而是人工智能的终极考题。”

在他看来，要让模型突破智能上限，就得主动介入世界去寻找真正的因果关系，从密集的反馈中学会处理难题，在探索失败的过程中拓展能力的边界。

这些要求跟安全治理的内在逻辑完全一致。一个不理解因果、不会从稀疏反馈中学习、只会模仿成功的AI系统，面对恶意攻击者的创造性手段，同样会毫无招架之力。

顺着这一思路，上海人工智能实验室推出了“书生·端砚”科学发现平台，试图把知识认知、逻辑推演、实验行动与结果反馈贯通起来，形成一套新的研究范式。其核心逻辑是，让科学研究在真实反馈中形成闭环：结果符合预期，就沉淀为可信发现；结果反预期甚至失败，则反过来触发问题重构，促使研究者重新审视最初假设。

清华大学教师张数一课题组花了4年时间改造一种基因调控蛋白，接入“书生-端砚”后只经过两轮迭代，AI就发现了新的突变组合，功能比此前《自然》报道的最好结果高出77%。其中一个关键突变落在传统认知中的“非功能区”，相当于AlphaGo的“神之一手”。

这套范式背后，还有年轻博士生提出的MOBIUS架构，把知识向量和推理算子分离开来，让模型具备了可持续成长的能力。

从安全治理的角度审视，这种将失败纳入学习闭环、追求因果理解而非统计相关的路径，恰恰是构建内生安全所必需的技术基础。

03 当AI学会作恶：从生物风险到证据困境在各类前沿风险中，化学、生物、放射性与核风险（统称为CBRN）被视为最致命的领域之一。

图灵奖得主、“AI教父”约书亚·本吉奥在远程致辞中发出警告：AI正从两个方向为恶意行为者“赋能”，既降低了作恶的门槛，又抬高了危害的上限。智力本身就是力量，而AI的能力正在极速膨胀。