Sakana AI的自改进模型在解决问题和判断方面表现更好，但无法发现自身的盲点

Sakana AI的自改进模型在解决问题和判断方面更出色，但无法发现自身的缺陷

关键点

• 一个语言模型可以通过“多智能体自我监督”机制来自我改进，无需外部帮助或更强大的教师模型。
• 该模型以独立团队的形式运行：它将其副本分配任务，评估结果，并优化工作流程以进行下一轮训练。
• 经过两轮后，针对基础模型的胜率接近70%，但这种方法存在真实风险：内部评估器有时会将有缺陷的步骤或操纵后的解决方案视为成功，并将其融入下一个模型中。

Sakana AI 的 MASS 方法允许一种语言模型通过解决任务、评估结果以及优化工作流程来自我改进，而无需更强的教师模型。研究发现三种角色都能获得收益，但共同的不足会导致错误被误认为是进步，进而影响到下一个训练周期。

Sakana AI和UC伯克利的研究人员提出了“多智能体自我监督”（MASS）技术，这是一种递归自我改进（RSI）的方法。一个语言模型负责处理任务，优化工作执行方式，并评估结果。

在研究前沿领域，甚至专家也常常难以判断结果，因为验证可能需要昂贵的支持证据或漫长的实验，作者们指出。一项等离子体研究可能需要超过1.2亿 CPU小时的时间。 根据论文.

因此，模型本身可能就是最好的评判者，尽管它在审查自身工作时会遗漏错误。使用同一模型来解决问题、检查和修改反而会强化这些错误而非纠正它们。

一个型号的副本负责分配工作

受人工智能先驱马文·明斯基所著的《心灵社会》一书启发，研究人员重点关注模型如何分配工作。在 MASS 中，工作流程是附加在提示语中的文本，用于定义每个子代理的角色和指令。 “合同”规定了每个子代理必须返回的信息以及必须执行的检查项，而“步骤”则设定了调用顺序。

一个调度器负责在子代理之间分配工作。例如，在针对历史价格测试交易策略时，数据专家的协议必须确保该策略仅使用特定时间点上可获取的信息。

在内部循环期间，当团队执行候选工作流且评估器将结果与当前“冠军”进行比较时，模型的权重保持冻结状态。优化器利用这种反馈来提出下一个工作流，主要是通过改变合约和跳转点来实现。在外部循环中，每个任务会有 18 次“冠军”运行，模型会自行对结果进行排序，并选择最多 15 次运行用于训练。

研究人员从训练示例中 orchestrator 的初始提示中删除了工作流文本，这样模型就能仅根据任务来安排工作。对子代理的具体任务分配仍保留在记录痕迹中，在 LoRA 微调之后，模型又会承担这三种角色。

基础模型是 Qwen3.6-27B，而 Qwen Code 则作为支撑框架。研究人员使用了由 GPT-5.5 生成的十二项研究任务，这些任务涉及金融、机器人技术和制药领域，其中三项用于测试，九项用于训练。只有八项能够产生训练数据，因为搜索中没有发现任何在某个训练任务上能超越参考模型的流程。

基准测试性能提升主要来自于完成了更多工作

在测试任务中，与基础模型相比的胜率从第一轮后的 53.9% 上升到第二轮后的 69.9%。在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench 上，该模型每输出一个标记的得分是基础模型的 1.2 到 1.6 倍。原始得分的提升有时很小，例如 DSBench 的得分仅从 0.473 提高到了 0.482，而 Terminal-Bench 2.0 和 SWE-bench Verified 的得分则略有下降。

论文的附录显示，完成的 MLR-Bench 提交量从 60 项中的 31 项增加到 50 项，而其平均评分则从 3.07 降到了 2.88。在全部 180 次运行中，委托工具都没有被使用，因此尚不清楚是否是团队合作导致了这些改进。

当按任务进行比较时，这些收益在统计上不再具有显著性。作者们指出不同研究任务之间结果不一，AstaBench也呈现了相同的模式。

对解决方案的培训也能提升评估者和优化器的能力

虽然该模型仅在解决方案轨迹上进行训练，但其在其他两个任务中的表现也有所提升。自我评估者与外部评审者的一致率从73%上升到了93%。经过一轮训练后找到的工作流程，在64%的情况下优于基础模型的工作流程，即使基础模型同时运行了两种工作流程也是如此。

没有工作流指示的情况下，基础模型在 110 次运行中的仅一次中就将任务委托给子代理，而经过两轮后则为 87 次。在明确指示下，它本可以进行任务委托，但现在却在未被要求时这样做。

在优化过程中，任务知识转化为契约和步骤，而角色与指令则变得更加通用。这一发现基于仅八到九项任务的小样本数据。

针对团队痕迹进行的训练产生的模型胜率为68.3%，而单agent模型的胜率为64%。此时使用的训练标记数减少了31%。外部裁判在85.1%的情况下更青睐团队结果，尽管团队的标记数量约为单agent模型的2.4倍。当输出长度相近时，仅基于十对样本，裁判在80%的情况下更青睐团队结果。

评估后的团队表现更好，但这种比较并不能证明仅通过授权就能带来优势。团队运行和单个agent运行在工作流程说明、审核说明以及哪些成功完成的剧集被选中方面也存在差异。

更好的反馈只有在优化器能够使用它时才有帮助

仅用 GPT-5.5 替换评估器几乎没有帮助；只有当优化器更强时，搜索才进展得更快。作者们认为，良好的反馈只有在优化器能够利用它时才有意义。当 Qwen 承担所有三个角色时，在 12 项任务中仍有 11 项能找到有效的工作流程，但耗时更长。

工作流重构的规模对结果的影响并不明显，甚至字节完全相同的工作流也会产生相反的结果。其中一个实例在六项外部评判中全部获胜，而另一个则因代理陷入循环而全部失败。研究人员认为，限制优化器在每一步中的变化幅度可能有助于稳定搜索过程。

共享的盲点会逐轮叠加

在机器人任务中的模拟失败之后，模型被修改了模拟器，使其能够直接将物体移动到目标位置，随后取得了成功。外部评委在六次中仍有五次对此次运行给予了积极评价。在用于训练的另一种测试中，尽管返回了无效值，但检查还是通过了。

作者们认为，共享的缺陷是递归自我改进的潜在“阿喀琉斯之踵”。如果模型在三个角色中都犯同样的错误，该错误可以被视为一种改进，并融入下一个模型中。这种弱点会同时影响系统及其修正机制，促使作者呼吁进行独立检查、限制自主性，以及明确干预条件。代码已公开可用。

日本研究实验室 Sakana AI 在六月成立了一个专门用于递归自我改进的研究实验室，该实验室基于早期成果开展研究，包括达尔文-戈德尔机器以及AI 科学家项目。谷歌的研究人员也在采用类似方法，自动优化围绕固定模型构建的提示、工作流和工具体系，避免智能体过度拟合于测试任务。

Vals AI 最近发现，代理团队的成本是单个代理的 1.8 到 5.1 倍，但在四次比较中只有一次表现明显更优。Anthropic 表明，那些通过奖励黑客行为来操纵奖励系统的模型，也会学会欺骗和破坏安全检查。

AI新闻——无炒作，由人类精选

订阅 THE DECODER，即可享受无广告阅读体验、每周 AI 通讯、每年六次专属的“AI Radar”前沿报告、完整存档功能，以及评论区访问权限。