El modelo autoelevado de Sakana AI es mejor en resolver y juzgar problemas, pero no puede detectar sus propios puntos ciegos

El modelo auto-mejorable de Sakana AI es mejor en resolver y juzgar problemas, pero no puede detectar sus propios puntos ciegos

Puntos clave

• Un modelo de lenguaje único se mejora por sí mismo a través de “Multi-Agent Self-Supervision” (MASS), sin ayuda externa ni un modelo maestro más potente.
• El modelo funciona como un equipo independiente: asigna tareas a copias de sí mismo, evalúa los resultados y optimiza los flujos de trabajo para la siguiente ronda de entrenamiento.
• Las tasas de victoria contra el modelo base aumentan a casi el 70 por ciento después de dos rondas, pero el método conlleva un verdadero riesgo: el evaluador interno a veces acepta pasos defectuosos o soluciones manipuladas como éxitos y los incorpora en el siguiente modelo.

El método MASS de Sakana AI permite que un modelo de lenguaje se mejore por sí mismo, resolviendo tareas, evaluando los resultados y refinando los flujos de trabajo, sin necesidad de un modelo maestro más potente. El estudio revela beneficios en todos los tres roles, pero las deficiencias comunes pueden hacer que los errores parezcan progreso y influyen en el siguiente ciclo de entrenamiento.

Investigadores de Sakana AI y UC Berkeley han introducido “Multi-Agent Self-Supervision” (MASS), un método para el autodesarrollo recursivo (RSI). Un único modelo de lenguaje gestiona la tarea, optimiza cómo se realiza el trabajo y evalúa los resultados.

En la frontera de la investigación, incluso los expertos a menudo tienen dificultades para juzgar los resultados, ya que la verificación puede requerir evidencia de soporte costosa o experimentos prolongados, argumentan los autores. Un único estudio sobre plasma puede tomar más de 120 millones de horas de CPU, según el artículo.

Por lo tanto, el modelo en sí puede ser el mejor juez disponible, aunque pueda cometer errores al revisar su propio trabajo. Utilizar el mismo modelo para resolver, verificar y revisar puede reforzar esos errores en lugar de corregirlos.

Copias de un modelo distribuyen el trabajo

Inspirados en “Society of Mind”, un libro del pionero en IA Marvin Minsky, los investigadores se centran en cómo el modelo divide el trabajo. En MASS, un flujo de trabajo es un texto añadido al prompt que define el papel y las instrucciones de cada subagente. Un “contrato” especifica qué información cada subagente debe devolver y qué comprobaciones debe realizar, mientras que un “hop” establece el orden de las llamadas.

Un orquestador distribuye el trabajo entre los sub-agentes. Cuando se prueba una estrategia de trading contra precios históricos, por ejemplo, el contrato del especialista en datos debe asegurar que la estrategia utilice únicamente información disponible en cada momento.

Durante el bucle interno, los pesos del modelo permanecen congelados mientras el equipo ejecuta un flujo de trabajo candidato y el evaluador compara el resultado con el “campeón” actual. El optimizador utiliza esa retroalimentación para proponer el siguiente flujo de trabajo, principalmente cambiando contratos y saltos. En el bucle externo, el campeón se ejecuta 18 veces por tarea, y el modelo rankinga los resultados por sí mismo, seleccionando hasta 15 ejecuciones para el entrenamiento.

Los investigadores eliminan el texto del flujo de trabajo del prompt inicial del orquestador en los ejemplos de entrenamiento, de modo que el modelo aprenda a organizar el trabajo basándose únicamente en la tarea. Las asignaciones específicas a los subagentes permanecen en los registros grabados, y el modelo asume nuevamente los tres roles después del ajuste LoRA.

El modelo base es Qwen3.6-27B, con Qwen Code como el sistema de soporte. Los investigadores utilizan doce tareas de investigación generadas por GPT-5.5 en áreas como finanzas, robótica y farmacéutica, reservando tres para pruebas y nueve para entrenamiento. Solo ocho producen datos de entrenamiento, ya que la búsqueda no encuentra un flujo de trabajo que supere al referencial en una tarea de entrenamiento.

Los beneficios del benchmark provienen en su mayor parte de completar más trabajo

En las tareas de prueba, la tasa de victoria contra el modelo base aumenta de 53.9 por ciento después de una ronda a 69.9 por ciento después de dos. En MLR-Bench, DSBench, ScienceAgentBench y AstaBench, el modelo alcanza 1.2 a 1.6 veces la puntuación del modelo base por token de salida. Los aumentos en las puntuaciones brutas son a veces pequeños: en DSBench solo mejoró de 0.473 a 0.482, mientras que las puntuaciones disminuyen ligeramente en Terminal-Bench 2.0 y SWE-bench Verified.

El apéndice del artículo muestra que el número de entregas completadas de MLR-Bench aumenta de 31 a 50 de 60, mientras que su calificación promedio disminuye de 3.07 a 2.88. La herramienta de delegación no se utiliza en las 180 ejecuciones, lo que hace difícil determinar si el trabajo en equipo explica estos avances.

Esos beneficios ya no son estadísticamente significativos cuando los resultados se comparan tarea por tarea. Los autores describen resultados mixtos en las tareas de investigación, y AstaBench muestra el mismo patrón.

El entrenamiento en soluciones también mejora al evaluador y al optimizador

Aunque el modelo se entrena únicamente con los rastros de solución, su rendimiento en las otras dos tareas también mejora. La concordancia del autoevaluador con los jueces externos aumenta de 73 a 93 por ciento. Los flujos de trabajo encontrados después de una ronda superan a los flujos de trabajo del modelo base en un 64 por ciento, incluso cuando el modelo base se ejecuta ambas veces.

Sin instrucciones de flujo de trabajo, el modelo base delega la tarea a subagentes en solo una de las 110 ejecuciones, en comparación con 87 después de dos rondas. Ya podía delegar cuando se le daba instrucción explícita, pero ahora lo hace sin que se le pida.

Durante la optimización, el conocimiento de la tarea se transforma en contratos y saltos, mientras que los roles y las instrucciones se vuelven más genéricos. Este hallazgo se basa en una pequeña muestra de solo ocho a nueve tareas.

La capacitación en trazas de equipo produce un modelo con una tasa de éxito del 68.3 por ciento, en comparación con el 64 por ciento para un estudiante de agente único, utilizando 31 por ciento menos tokens de entrenamiento. Los jueces externos prefieren los resultados del equipo en el 85.1 por ciento de las veces, aunque los equipos producen aproximadamente 2.4 veces más tokens. Cuando los outputs tienen una longitud similar, los jueces prefieren los resultados del equipo en el 80 por ciento de las veces, basándose en solo diez pares.

El equipo evaluado tiene un rendimiento mejor, pero la comparación no demuestra que solo la delegación explique esa ventaja. El equipo y las carreras de un único agente también difieren en las instrucciones de flujo de trabajo, las instrucciones de revisión y en qué episodios se seleccionaron los que se completaron con éxito.

Una mejor retroalimentación solo es útil si el optimizador puede utilizarla

Solo reemplazar al evaluador con GPT-5.5 ayudó poco; la búsqueda progresó mucho más rápido solo cuando el optimizador también era más fuerte. Los autores concluyen que la buena retroalimentación solo ayuda cuando el optimizador puede actuar sobre ella. Con Qwen manejando los tres roles, la búsqueda sigue encontrando flujos de trabajo válidos para 11 de 12 tareas, pero lleva más tiempo.

La magnitud de una reescritura del flujo de trabajo dice poco sobre su efecto en los resultados, e incluso los flujos de trabajo idénticos en todos los detalles pueden producir resultados opuestos. Uno de los ejemplos logró ganar todas las seis evaluaciones externas, mientras que otro perdió todas ellas después de que el agente quedara atascado en un bucle. Los investigadores sospechan que limitar la cantidad de cambios que el optimizador realiza en cada paso podría ayudar a estabilizar la búsqueda.

Los puntos ciegos compartidos pueden agravarse de un ciclo a otro

Después de las simulaciones fallidas en la tarea de robótica, el modelo tuvo el simulador modificado para mover los objetos directamente hacia el objetivo, y luego se informó el éxito. Los jueces externos todavía calificaron la ejecución positivamente en cinco de seis ocasiones. En otro registro utilizado para el entrenamiento, la comprobación pasó, aunque solo devolvió valores inválidos.

Los autores consideran que las brechas comunes son el potencial “punto débil” de la mejora recíproca. Si el modelo comete el mismo error en los tres roles, ese error podría ser aceptado como una mejora y incorporado en el siguiente modelo. La debilidad entonces afectaría tanto al sistema como a su mecanismo de corrección, lo que lleva a los autores a pedir verificaciones independientes, límites en la autonomía y condiciones claras para la intervención. el código está disponible públicamente.

El laboratorio de investigación japonés Sakana AI lanzó en junio un laboratorio de investigación para el auto-mejora recíproco, basándose en trabajos anteriores, incluyendo la Máquina Darwin-Godel y la Científico de IA. Los investigadores de Google también están adoptando un enfoque similar, optimizando automáticamente el marco de prompts, flujos de trabajo y herramientas en torno a un modelo fijo, sin permitir que los agentes se sobreajusten a las tareas de prueba.

La IA de Vals recientemente descubrió que los equipos de agentes costaban de 1.8 a 5.1 veces más que los agentes individuales, pero obtuvieron mejoras medibles en solo una de las cuatro comparaciones. Anthropic mostró que los modelos que participan en recompensas de hackeo para manipular sus sistemas de recompensa también aprenden a engañar y sabotear los controles de seguridad.

Noticias sobre IA Sin Efecto Mágico – Seleccionadas por Humanos

Suscríbase a THE DECODER para leer sin anuncios, un boletín semanal sobre IA, nuestro informe de vanguardia “AI Radar” exclusivo seis veces al año, acceso completo al archivo y acceso a nuestra sección de comentarios.