IT之家 El 10 de noviembre, OpenAI anunció que ha implementado un sistema de “sala de control” en sus instalaciones internas para detener las tareas de IA que puedan representar un riesgo, permitiendo detener a los agentes inteligentes de IA que se descontrolen en 35 segundos.
Según se informa, este sistema conecta las tareas de entrenamiento de agentes inteligentes, evaluación y procesamiento de datos en un servicio central, y luego es el sistema quien decide si la tarea puede continuar produciendo resultados.
Según IT Home, este sistema es diferente de los sistemas tradicionales de monitoreo que se encargan de marcar comportamientos sospechosos, ya que puede impedir activamente que se solicite más información en las tareas de investigación de riesgos. Cuando el investigador activa una tarea, necesita solicitar el ID único de la tarea en la sala de control. Luego, ese identificador se agrega a la solicitud enviada al motor de razonamiento. Después, el motor consulta con la sala de control para confirmar si la tarea puede ejecutarse.
Si el investigador o el sistema de monitoreo ordena detener la indicación, el servicio de la sala de control rechazará la siguiente solicitud de razonamiento, impidiendo que el motor de razonamiento presente cualquier resultado de modelo para la tarea.
OpenAI indica que el tiempo máximo de retraso desde que recibe la orden de detención, hasta que impide que la tarea continúe más adelante es de 35 segundos. Este retraso proviene de la capa de caché de las solicitudes de autorización de razonamiento, y la empresa está trabajando para reducir el retraso a 0.
El sistema también cuenta con la integración de mecanismos de monitoreo automatizado. OpenAI reveló que todos los entrenamientos de tareas de refuerzo avanzados estarán equipados con monitores independientes del modelo, que se encargarán de verificar el comportamiento del modelo y emitir alertas cuando detecten problemas potenciales.