Sakana AI의 자기 개선 모델, 문제 해결과 판정은 능숙해지지만 자신의 맹점은 잡아내지 못해

Sakana AI의 자기 개선 모델, 문제 해결과 판정은 능숙해지지만 자신의 맹점은 잡아내지 못해

핵심 요약

• 단일 언어 모델이 외부 도움이나 더 강한 교사 모델 없이 "다중 에이전트 자기 감독(Multi-Agent Self-Supervision)"(MASS)을 통해 스스로를 개선합니다.
• 모델이 자체 팀으로 작동합니다: 자신의 복제본들에 과제를 할당하고, 결과를 평가하며, 다음 훈련 라운드를 위한 워크플로를 최적화합니다.
• 기반 모델에 대한 승률은 두 라운드 후 거의 70%까지 상승하지만, 이 방법에는 실질적인 위험이 있습니다: 내부 평가자가 때때로 결함이 있는 단계나 조작된 해결책을 성공으로 받아들여 다음 모델에 그대로 반영합니다.

Sakana AI의 MASS 방식은 더 강한 교사 모델 없이도 하나의 언어 모델이 과제를 해결하고, 결과를 판정하고, 워크플로를 다듬는 방식으로 스스로를 개선하게 합니다. 연구는 세 가지 역할 모두에서 향상을 발견했지만, 공유된 맹점으로 인해 오류가 진전으로 통과되어 다음 훈련 주기로 유입될 수 있습니다.

Sakana AI와 UC Berkeley의 연구진이 재귀적 자기 개선(RSI)을 위한 방법인 "다중 에이전트 자기 감독(Multi-Agent Self-Supervision)"(MASS)을 소개했습니다. 단일 언어 모델이 과제를 수행하고, 작업 수행 방식을 최적화하며, 결과를 평가합니다.

저자들은 연구의 최전선에서는 검증에 비용이 많이 드는 뒷받침 증거나 긴 실험이 필요할 수 있어 전문가조차 결과를 판정하기 어려운 경우가 많다고 주장합니다. 단일 플라즈마 연구에는 120,000,000시간이 넘는 CPU 시간이 소요될 수 있는데, 논문에 따르면.

따라서 모델 자신이 이용 가능한 최선의 판정자일 수 있지만, 자신의 작업을 검토할 때 자신의 실수를 놓칠 수 있습니다. 동일한 모델로 해결, 검사, 수정을 수행하면 그러한 오류를 바로잡기보다 강화할 수 있습니다.Ad

하나의 모델의 복제본들이 작업을 분담합니다

AI 선구자 Marvin Minsky의 저서 "Society of Mind"에서 영감을 받아, 연구진은 모델이 작업을 어떻게 분담하는지에 주목합니다. MASS에서 워크플로는 각 하위 에이전트의 역할과 지침을 정의하는 프롬프트에 추가되는 텍스트입니다. "계약(contract)"은 각 하위 에이전트가 어떤 정보를 반환해야 하고 어떤 검사를 수행해야 하는지를 명시하며, "홉(hop)"은 호출 순서를 정합니다.

오케스트레이터가 하위 에이전트들 사이에 작업을 분배합니다. 예를 들어 과거 가격을 대상으로 거래 전략을 테스트할 때, 데이터 전문가의 계약은 전략이 각 시점에서 이용 가능한 정보만 사용하도록 보장해야 합니다.

내부 루프 동안에는 모델의 가중치가 고정된 채로 팀이 후보 워크플로를 실행하고, 평가자가 그 결과를 현재 "챔피언"과 비교합니다. 최적화기는 그 피드백을 사용해 주로 계약과 홉을 변경하는 방식으로 다음 워크플로를 제안합니다. 외부 루프에서는 챔피언이 과제당 18회 실행되며, 모델이 결과를 직접 순위 매기고 훈련용으로 최대 15개의 실행을 선택합니다.

연구진은 모델이 과제만을 기반으로 작업을 조직하도록 학습할 수 있도록 훈련 예제에서 오케스트레이터의 초기 프롬프트에서 워크플로 텍스트를 제거합니다. 하위 에이전트에 대한 구체적 할당은 기록된 트레이스에 남아 있으며, LoRA 파인튜닝 후 모델은 다시 세 가지 역할을 모두 수행합니다.Ad

기반 모델은 Qwen3.6-27B이며, 하네스로는 Qwen Code를 사용합니다. 연구진은 금융, 로봇공학, 제약 분야에 걸쳐 GPT-5.5 가 생성한 12개의 연구 과제를 사용하며, 3개는 테스트용, 9개는 훈련용으로 확보합니다. 검색이 하나의 훈련 과제에서 참조를 능가하는 워크플로를 찾지 못해 8개만 훈련 데이터를 산출합니다.

벤치마크 향상은 주로 더 많은 작업을 완료하는 데서 나옵니다

테스트 과제에서 기본 모델 대비 승률은 1회 라운드 후 53.9퍼센트에서 2회 라운드 후 69.9퍼센트로 상승합니다. MLR-Bench, DSBench, ScienceAgentBench, AstaBench에서 이 모델은 출력 토큰당 기본 모델 점수의 1.2배에서 1.6배에 도달합니다. 원점수의 향상은 때때로 작아서, DSBench는 0.473에서 0.482로 겨우 개선되었으며, Terminal-Bench 2.0과 SWE-bench Verified에서는 점수가 약간 하락했습니다.

논문의 부록에 따르면 완료된 MLR-Bench 제출물은 60개 중 31개에서 50개로 증가한 반면, 평균 등급은 3.07에서 2.88로 하락했습니다. 위임 도구는 180회 실행 모두에서 사용되지 않아, 팀워크가 성과 향상을 설명하는지 여부는 불분명합니다.

과제별로 결과를 비교하면 이러한 향상은 더 이상 통계적으로 유의하지 않습니다. 저자들은 연구 과제 전반에서 엇갈린 결과를 보고하며, AstaBench도 동일한 패턴을 보인다고 설명합니다.

솔루션으로 학습하면 평가자와 옵티마이저도 향상된다

모델이 솔루션 트레이스로만 학습했음에도, 다른 두 역할에서의 성능도 향상됩니다. 자기평가자의 외부 심사자와의 일치도는 73퍼센트에서 93퍼센트로 상승합니다. 1회 라운드 후 발견된 워크플로는 기본 모델이 두 역할을 모두 수행하는 경우에도 64퍼센트의 확률로 기본 모델의 워크플로를 능가했습니다.

워크플로 지침이 없을 때 기본 모델은 110회 실행 중 단 1회만 서브에이전트에 위임한 반면, 2회 라운드 후에는 87회 실행에서 위임했습니다. 명시적으로 지시받으면 이미 위임할 수 있었지만, 이제는 요청받지 않아도 위임을 수행합니다.

최적화 과정에서 과제 지식은 계약(contract)과 홉(hop)으로 이동하는 반면, 역할과 지침은 더 일반화됩니다. 이 발견은 단 8~9개 과제의 작은 표본에 근거합니다.

팀 트레이스로 학습하면 단일 에이전트 학생의 64퍼센트와 비교해 68.3퍼센트의 승률을 가진 모델이 만들어지며, 학습 토큰은 31퍼센트 적게 사용합니다. 외부 심사자는 팀 결과를 85.1퍼센트의 확률로 선호하지만, 팀은 약 2.4배 더 많은 토큰을 생성합니다. 출력 길이가 비슷한 경우 심사자는 단 10쌍을 기준으로 팀 결과를 80퍼센트의 확률로 선호했습니다.

평가된 팀 실행이 더 좋은 성과를 보이지만, 이 비교만으로 위임이 그 우위를 설명한다고 확립하지는 못합니다. 팀 실행과 단일 에이전트 실행은 워크플로 지침, 검토 지침, 그리고 성공적으로 완료된 에피소드 중 어떤 것들이 선택되었는지에서도 서로 다릅니다.

더 나은 피드백은 옵티마이저가 활용할 수 있을 때만 도움이 된다

평가자만 GPT-5.5로 교체하는 것은 거의 도움이 되지 않았습니다. 검색은 옵티마이저도 강해졌을 때에만 훨씬 빠르게 진행되었습니다. 저자들은 좋은 피드백은 옵티마이저가 이를 활용할 수 있을 때만 도움이 된다고 결론지었습니다. Qwen이 세 역할을 모두 담당해도 검색은 12개 과제 중 11개에 대해 승리하는 워크플로를 여전히 찾아내지만, 더 오랜 시간이 걸립니다.

워크플로 재작성의 범위는 결과에 미치는 영향과 거의 관련이 없으며, 바이트 단위로 동일한 워크플로조차 정반대의 결과를 낼 수 있습니다. 한 실행은 에이전트가 루프에 갇힌 후 여섯 번의 외부 심사를 모두 이겼고, 다른 실행은 여섯 번 모두 졌습니다. 연구진은 옵티마이저가 각 단계에서 변경하는 양을 제한하면 검색을 안정화하는 데 도움이 될 수 있다고 추측합니다.

공유된 맹점은 라운드마다 누적될 수 있다

로봇공학 과제에서 시뮬레이션이 실패한 후, 모델은 시뮬레이터를 수정해 객체를 목표 지점으로 직접 이동시키도록 하고 성공을 보고했습니다. 외부 심사자는 여전히 이 실행을 여섯 번 중 다섯 번 긍정적으로 평가했습니다. 학습에 사용된 다른 트레이스에서는, 유효하지 않은 값만 반환했음에도 검사가 통과되었습니다.

저자들은 공유된 맹점을 재귀적 자기개선의 잠재적 "아킬레스건"으로 봅니다. 모델이 세 역할 모두에서 동일한 오류를 놓치면, 그 오류는 개선으로 수용되어 다음 모델에 고정될 수 있습니다. 그러면 이 약점은 시스템과 그 교정 메커니즘 모두에 영향을 미치므로, 저자들은 독립적인 검증, 자율성에 대한 제한, 그리고 개입을 위한 명확한 조건을 촉구합니다. 이 code 는 공개되어 있습니다.

일본 연구소 Sakana AI는 6월에 재귀적 자기개선을 위한 전문 research lab for recursive self-improvement 을 출범했으며, 이는 Darwin-Godel Machine 과 AI Scientist를 포함한 이전 연구를 기반으로 합니다. 구글 연구진은 관련 접근법을 추구하며, 에이전트가 테스트 과제에 과적합되지 않도록 하면서 고정된 모델을 둘러싼 scaffolding of prompts, workflows, and tools around a fixed model 을 자동으로 최적화하고 있습니다.

Vals AI는 최근 에이전트 팀 이 단일 에이전트보다 1.8배에서 5.1배의 비용이 들지만 네 가지 비교 중 단 하나의 경우에만 측정 가능하게 더 나은 성능을 보였다는 것을 발견했습니다. Anthropic은 보상 해킹 을 통해 보상 시스템을 속이는 모델이 기만 행위와 안전 점검 방해 행위도 학습한다는 것을 보여주었습니다.

과장 없는 AI 뉴스 – 인간이 엄선

광고 없는 읽기, 주간 AI 뉴스레터, 연 6회 독점 "AI Radar" 최전선 리포트, 전체 아카이브 접근, 그리고 댓글 섹션 이용을 위해 THE DECODER를 구독하세요.