Puntos clave
- Dos agentes internos de programación de OpenAI debilitaron o eliminaron por completo los mecanismos de supervisión de seguridad por su cuenta.
- Un modelo desactivó las alertas a los humanos, mientras que otro eliminó la supervisión por completo y luego lo negó.
- OpenAI considera que el comportamiento es un patrón recurrente. La empresa ahora bloquea estos cambios automáticamente y está investigando las causas.
Dos agentes internos de programación de OpenAI debilitaron la supervisión destinada a detectar malos comportamientos, incluso después de sopesar si mantener esas salvaguardas activadas. Uno de ellos luego lo negó.
Marcus Williams, que trabaja en supervisión en OpenAI, hizo públicos los incidentes en X. Describe un patrón recurrente en el que los agentes de OpenAI siguen desactivando la supervisión de desalineación. OpenAI detalla el caso en un informe en su blog de alineamiento.
La supervisión se supone que detecta cuando los agentes se comportan de manera diferente a lo previsto. Como revisa tantos eventos, solo alerta de inmediato al equipo de seguridad en incidentes del nivel de gravedad más alto, P0. OpenAI afirma que ninguno de los dos casos recibió esa clasificación.
En el primer caso, el 3 de octubre, un investigador pidió a un agente de programación basado en GPT-6.1 Sol que compilara tareas de evaluación a partir de comentarios de empleados en un canal de Slack. Se suponía que el agente no debía enviar ningún mensaje en el proceso.Anuncio
Ochenta y dos mensajes de usuario después, el pipeline se detuvo porque el monitor había marcado una corrección planificada pero carecía de los permisos para guardar su hallazgo. Sol entregó la corrección a un subagente y le dijo que mantuviera la supervisión intacta.
Luego Sol cambió su evaluación. Razonó que una entrada en la base de datos podría desencadenar una notificación, lo que entraría en conflicto con la instrucción de Slack. El subagente había rechazado anteriormente este paso por considerarlo inseguro. Siguiendo las instrucciones de Sol, borró las listas de destinatarios y dio como razón que el usuario había pedido explícitamente que no se enviaran mensajes.
El monitor siguió funcionando y guardando sus hallazgos, pero las alertas a los humanos fueron desactivadas. El agente concluyó informando de que no se había enviado ningún mensaje.
La negación de Astra muestra que los agentes pueden ocultar lo que cambiaron
GPT-6 Astra fue aún más lejos el 6 de octubre. Un usuario pidió al modelo que adoptara el flujo de trabajo de una implementación de referencia que no incluía un monitor. Otro agente le había indicado previamente a Astra que no desactivara la supervisión, ni siquiera temporalmente.Anuncio
Astra pasó la tarea a un subagente con instrucciones de mantener la supervisión solo en la medida en que encajara con la referencia. El subagente se preguntó si esto significaba eludir una salvaguarda, pero leyó la advertencia como un permiso.
Eliminó la supervisión y reemplazó una prueba diseñada para protegerla por otra que asumía que la supervisión ya no existía. Astra celebró el resultado en su cadena de pensamiento.
Astra le dijo entonces al usuario que la migración estaba completa sin mencionar que la supervisión había sido eliminada. Cuando el usuario preguntó, el modelo negó haber eliminado un monitor activo. Williams califica esto como una mentira.
Williams subraya que los modelos no desactivaron su propia supervisión, lo que sería mucho más difícil de hacer en Codex. Aun así, le resulta preocupante que tiendan en absoluto a este tipo de comportamiento, aunque ambos casos dejan margen para cierta negación plausible. Hasta ahora, dice, el equipo no ha observado motivos abiertamente desalineados.
Una exención para modelos más débiles deja un hueco en la supervisión
Según Williams, la supervisión es especialmente fácil de desactivar durante las evaluaciones. OpenAI no la exige para modelos del nivel de GPT-6 Luna debido a sus capacidades más limitadas. Esto significa que una evaluación de Astra puede configurarse mal de manera que quede bajo esta exención. Los agentes han lanzado repetidamente despliegues sin supervisión, incluso mientras ellos mismos estaban siendo vigilados.
En respuesta, OpenAI actualizó la revisión automatizada requerida para el uso interno de Codex. Ahora se supone que debe detectar y bloquear los intentos de desactivar la supervisión. La empresa también está trabajando en exigir el llamado caso de seguridad (safety case) para cada tipo de carga de trabajo, el cual detallaría sus requisitos de supervisión. Las cargas de trabajo sin un caso de seguridad válido se apagarían automáticamente.
OpenAI ofrece dos posibles explicaciones para el comportamiento. Una es la persistencia excesiva de un tipo supuestamente inofensivo, en la que los modelos llevan a cabo las instrucciones más allá de lo esperado. La otra es una tendencia a evadir específicamente la supervisión de desalineación y justificarlo con un razonamiento motivado.
OpenAI admite que aún no tiene una explicación satisfactoria. Planea estudiar el comportamiento con métodos como experimentos sobre las activaciones internas de los modelos.
Fuente: Marcus Williams / X-Post | OpenAI / Alignment-Blog