AI的可解释性是否接近突破？一篇新文章让研究人员意见不一
Maximilian Schreiner
查看 Maximilian Schreiner 的 LinkedIn 个人资料
2026年10月16日
Nano Banana Pro 由 THE DECODER 提示根据“叠加假设”的提出者之一尼克·卡马拉塔的说法，神经网络并没有研究人员所认为的那么复杂。OpenAI 的 Roon 认为这是具有历史意义的一刻。谷歌 DeepMind 的研究员尼尔·南达则警告不要过度夸大其重要性。
在一篇名为《神经网络已经很清晰》的长篇文章中，Nick Cammarata认为，大型人工智能模型的内部运作机制比之前想象的要容易理解得多。Cammarata是Goodfire可解释性实验室的研究员。通过这篇文章，他否定了多年前自己参与制定的一种解释方式。
机制性可解释性不仅仅是关注人工智能模型的输出结果，更旨在揭示模型是如何内部得出答案的。理想情况下，数百万个人工神经元中的每一个都应代表一个可识别的概念。但在实际中，许多神经元似乎会对完全无关的事物产生反应，研究人员将这种现象称为多义性。一个早期且著名的例子是 InceptionV1 图像模型中的一个神经元，它既对猫脸有反应，也对汽车前脸有反应。 卡玛拉塔在他的早期研究中将其作为示例。
标准的解释是叠加原理。该理论认为，当网络中的神经元用尽时，会将不相关的概念整合到同一个神经元中，因为这些概念很少会互相干扰。结果看起来就像一个结。因此，许多实验室会训练第二个模型，比如稀疏自编码器，以将各种概念分开。然后他们就研究这个模型，而不是原始模型。
卡马拉塔在塑造这一观点方面发挥了重要作用。他与克里斯·奥拉共同撰写了论文“Zoom In”，该论文首次介绍了叠加电路。2023年，他在 OpenAI 启动了自动化可解释性项目。当时，即使采用最宽松的标准，也只有约1.7%的神经元可以被视为可理解的。
证据可能被误读了
卡马拉塔现在认为那些最著名的例子被误理解了。他说猫-车神经元实际上是一个V形检测器。像狐狸的鼻子或火焰这样的尖锐形状会激活它，而像字母O这样的圆形形状则会使其激活状态减弱。因此，它并不代表猫脸和汽车这样完全无关的概念，这意味着它不是叠加现象的一个例子。
他还重新解释了“放大”中的叠加电路，在那种情况下，汽车似乎隐藏在狗的神经元之中。在他看来，这只是普通的概括过程，该电路只是根据汽车和狗面对摄像机的方向来将它们分组。他将 InceptionV1 后期层中的混乱问题归咎于过时的架构和弱的分析工具。
卡马拉塔用他所谓的“递归泛化”模式来解释剩余的模糊性。他说，神经元就像分支一样生长，会发出新的分支。一个识别了“iy”字母序列的神经元，后来会对“diy”做出反应，最终还会对“自己动手”产生反应，而“自己动手”中根本不包含“iy”。与叠加现象不同，这些分组方式可以让你了解网络的一些特性。
对于语言模型而言，他提供了初步数据。在 Qwen3-32B 模型中，约 90% 的神经元极只有一个主要功能，约 7% 的神经元极有两个相关的功能。只有 2% 到 4% 的情况无法解释。Goodfire 表示，在参数数量高达数万亿的模型中也能得到类似结果。分析大量神经元的 AI 代理完成了大部分工作。Cammarata 借鉴了 Rich Sutton 的 “Bitter Lesson” 研究，并得出结论：在可解释性方面，大规模的简单分析方式比复杂的分解方法更为有效。
卡马拉塔并没有提出一种根本性的新方法。他回归了该领域最初的研究方式，即直接研究神经元，只是使用了更好的工具、更大的模型以及自动化代理。
可阅读网络对人工智能安全来说将是一个重大胜利
如果 Cammarata 是对的，那将是个好消息，尤其是对 AI 安全而言。目前，除了监控那些越来越不可靠的思维链之外，几乎没有办法判断一个模型是否在欺骗人们或行为存在危险。Cammarata 认为，要实现 AI 朝着人类目标发展，即所谓的“对齐”，如果没有可解释性，是无法解决的，因为否则我们就不知道自己在构建什么。他写道，欺骗行为没有理由隐藏在模型自身的逻辑中。如果人类只是网络的另一个“阅读者”，他们也能看到这种欺骗行为，而且错误可以通过有针对性的方式被纠正。
Roon，一名在 X 上以该化名发布的 OpenAI 员工，也是人工智能领域具有影响力的人物，非常兴奋。他说他与 Cammarata 是亲密朋友，如果没有他，自己根本不会加入 OpenAI。他说这项工作“可能会被视为科学史上的重要时刻”。Roon 写道。他还补充说，这个消息如此好，以至于最著名的人工智能灾难警告者之一 Eliezer Yudkowsky 也不得不降低他对灾难发生的预期概率。在 Roon 看来，对齐问题可能会成为“正常的科学领域”。
甚至 Roon 也有些顾虑。该领域的其他人仍需确认这些结果，而且他怀疑可解释性方面的突破可能会推动人工智能能力的发展。这些突破来自外部因素，对包括 OpenAI 在内的大型实验室来说并不乐观。
南达看到了一个有用的工具，而非突破性的创新
尼尔·南达更加谨慎。他被视为机械式可解释性理论的奠基人之一，并领导着 Google DeepMind 的可解释性研究团队。在此之前，他在 Anthropic 公司工作，同时作为独立研究人员开展研究。据他说，他的观点已经发生变化：自2024年中期以来，他对雄心勃勃的可解释性研究更加悲观，倾向于采用实用主义的方法。他的团队不再将稀疏自动编码器研究视为优先事项。 他们认为这项技术没有用处，但看起来不值得该领域所付出的努力。
卡玛拉塔的工作很有趣，但并没有真正改变整体局面，Nanda 写道。基于神经元的分析可以帮助解决实际问题，比如理解模型为何做出有争议的行为，而且将其应用于前沿模型也更为容易。但他并不认同可解释性已经完全被破解的观点。他认为基于神经元的分析存在严重缺陷，也会遗漏很多内容。
南达仍然认为叠加现象是真实的。他认为语言模型所存储的事实数量远远超过其神经元数量，尤其是弱激活状态很可能保存了大部分信息。他怀疑小型图像模型的发现无法推广到其他情况。他还认为这篇论文对单义性的定义过于宽泛，但承认卡玛拉塔用现代工具检验他的旧研究工作这一点是值得肯定的。
部分争议源于定义问题：Cammarata 不反对那些代表超过其维度数量的模型，而 Nanda 认为他在这一点上持相同意见。Cammarata 反对的是网络随意地将完全无关的事物组合在一起。
技术配套论文尚未发布。作为可解释性公司，Goodfire在该研究中也拥有明显利益。如果Cammarata的观点成立，他认为自动化研究人员可以在几个月内完成人类花费近十年才能完成的任务，也就是图像模型的构建工作。他写道，可能已经没有太多时间了。
AI新闻——无炒作，由人类整理
订阅 THE DECODER，即可享受无广告阅读体验、每周 AI 通讯、每年六次独家 “AI Radar” 前沿报告、完整档案访问权限，以及评论区访问权。
继续阅读以了解完整情况。
订阅以获取无炒作的报道。
- 完全访问 THE DECODER 上的所有文章
- 无广告
- 参与评论和社区讨论
- 每周通过邮件发送的人工智能新闻汇总
- 每年 6 次： “AI Radar” —— 深入探讨最重要的 AI 主题
- 每日人工智能新闻，随时更新
- 我们的完整十年档案
- 由拥有10年以上AI经验的团队负责