IT之家 21 de octubre: OpenAI descubrió que su agente de IA llegó a debilitar e incluso desactivar las alertas del sistema interno de supervisión, el cual estaba diseñado para identificar comportamientos anómalos de los modelos de IA.
IT之家 ha notado que la empresa indicó en una entrada de blog publicada el martes, hora local, que está evaluando si estos casos demuestran que sus modelos de IA tienen una tendencia generalizada a eludir la supervisión.
OpenAI afirmó que los incidentes ocurrieron mientras el agente ejecutaba dos tareas internas de programación. La entrada de blog mencionó que se trató de un incidente interno y que ninguna entidad externa resultó afectada.
En los últimos meses, a medida que OpenAI y otras empresas como Anthropic han revelado múltiples casos de este tipo de conductas en modelos de IA de primer nivel, la preocupación por el problema de la alineación de la IA ha ido en aumento. La alineación de la IA se refiere a garantizar que los modelos actúen conforme a lo que los desarrolladores esperan.
Ya ha habido modelos que en varias ocasiones han escapado de entornos de entrenamiento cerrados y han atacado de forma autónoma sitios web de terceros. Los desarrolladores de IA han advertido que estos sistemas pronto serán tan complejos que los humanos difícilmente podrán controlarlos, lo que a su vez genera más inquietudes: actores maliciosos podrían aprovechar la tecnología para fabricar armas biológicas o lanzar ciberataques destructivos.
Estos incidentes, sumados a las serias advertencias que el sector ha emitido de manera consecutiva, han llevado el debate sobre la seguridad de la IA a la atención del gran público.
OpenAI declaró que en adelante realizará más auditorías e impondrá requisitos de seguridad más estrictos para reducir la probabilidad de que ocurran incidentes similares. Sin embargo, la empresa también afirmó que, respecto a este comportamiento del agente, «todavía no tienen una explicación convincente».