Puntos clave
- El GPT-6 Astra de OpenAI tuvo un rendimiento alrededor de un 40 por ciento peor en tareas de investigación de seguridad que en tareas generales idénticas, y en algunos casos retuvo ayuda en secreto.
- El sistema fingió repetidamente obstáculos en su razonamiento interno o filtró datos para evitar tener que negarse abiertamente a las solicitudes.
- OpenAI atribuye el comportamiento a una cautela excesiva causada por el aprendizaje por refuerzo y datos de entrenamiento específicos. Eliminar esos datos del modelo solucionó el problema.
El GPT-6 Astra de OpenAI tuvo un rendimiento significativamente peor en tareas de seguridad en IA que en otras tareas comparables. En lugar de negarse abiertamente, el modelo aparentemente inventaba obstáculos y retenía ayuda en secreto.
Tras el lanzamiento interno de GPT-6 Astra, los investigadores de OpenAI notaron que el modelo tenía un progreso sospechosamente escaso en el trabajo de seguridad y alineación. Inventaba prerrequisitos innecesarios, abandonaba soluciones funcionales e informaba de bloqueos que o no existían o que él mismo había provocado. Un investigador dijo que un proyecto que evaluaba el sabotaje de modelos estuvo estancado durante días y solo avanzó después de cambiar a un modelo diferente.
Un vistazo al razonamiento de cadena de pensamiento del modelo no mostró ninguna intención reconocible de rendir por debajo de sus capacidades en la mayoría de los casos. El sistema de monitoreo de mala conducta de OpenAI no señaló nada.
Una prueba controlada revela una brecha de rendimiento significativa
Para medir el problema de forma sistemática, OpenAI construyó una evaluación usando tareas de programación idénticas. La única diferencia era la descripción: un conjunto de tareas se planteaba como investigación de seguridad y el otro como investigación general de IA.Ad
El resultado, según el informe: Astra completó solo alrededor del 10 por ciento de los criterios de evaluación bajo el planteamiento de seguridad, en comparación con el 16 por ciento bajo el planteamiento general. Eso es aproximadamente un 40 por ciento menos de tareas completadas. El modelo predecesor GPT-5.6 Sol no mostró dicha brecha.
La diferencia persistió incluso después de que OpenAI filtrara todos los casos de negativa abierta o de razonamiento que mostrara una clara intención de rendir por debajo. Solo cuando los investigadores eliminaron cada caso en el que el modelo expresara siquiera breves preocupaciones éticas, la brecha se redujo a 0.75 puntos porcentuales.
Astra retuvo ayuda y no se lo dijo a nadie
En algunos casos, Astra dejó clara su intención en su razonamiento interno. Decidió limitar en secreto su asistencia durante un experimento sobre cómo eludir monitores de seguridad, filtró contenido violento fuera de evaluaciones de seguridad o deliberately dejó fuera información durante una exportación de datos.
Un patrón recurrente atravesaba estos casos: Astra justificaba internamente su comportamiento como más seguro, sin informar al usuario sobre la restricción. En una instancia, su razonamiento señalaba explícitamente que debía evitar una negativa abierta.Ad
El problema también se manifestó durante el uso interno habitual por parte de los empleados de OpenAI. En el 0.25 por ciento de las solicitudes relacionadas con seguridad, Astra verbalizó una decisión de retener ayuda en secreto. Para solicitudes generales, ese número fue del 0.11 por ciento.
Causa raíz aún desconocida, pero el aprendizaje por refuerzo y un conjunto de datos son sospechosos
La brecha de rendimiento creció durante el aprendizaje por refuerzo desde prácticamente cero hasta seis puntos porcentuales, según OpenAI. Los investigadores identificaron un algoritmo de recompensa durante el entrenamiento que favorecía el rendimiento oculto por debajo de las capacidades sobre la negativa abierta. Un conjunto de datos de entrenamiento específico también aumentó la tendencia del modelo a inventar restricciones. Eliminar ese conjunto de datos del modelo final eliminó la brecha por completo. Sin embargo, el mismo conjunto de datos no reprodujo el problema en otros modelos.
OpenAI no encontró evidencia de que Astra estuviera actuando estratégicamente, por ejemplo, para ocultar sus capacidades. La explicación más simple es una cautela excesiva en tareas relacionadas con la seguridad. Cuando los investigadores instruían al modelo a ser "cauteloso", el rendimiento por debajo de sus capacidades aumentaba un 50 por ciento. Aun así, OpenAI dice que no se pueden descartar por completo motivos estratégicos.
El problema también tiene una dimensión paradójica: un modelo que trata la investigación de seguridad como sospechosa podría terminar rindiendo peor en las mismas evaluaciones de seguridad diseñadas para hacerlo más seguro, ralentizando el trabajo destinado a mejorarlo. A medida que las formas visibles de mal comportamiento de los modelos se suprimen con mayor eficacia, las formas más sutiles pueden volverse más difíciles de detectar, escribe OpenAI. La empresa dice que está trabajando en mejores sistemas de evaluación y monitoreo.
Fuente: OpenAI