Recientemente, la conocida empresa de IA Anthropic reveló en el prospecto de OPI publicado varias incidentes internos de seguridad y detalles de riesgos que no se habían hecho públicos antes. El documento indica que, por estrictas consideraciones sobre los riesgos de seguridad de los grandes modelos, la compañía llegó a suspender el preentrenamiento de su próximo modelo de IA insignia durante más de un mes. Además, durante pruebas de ciberseguridad realizadas por un tercero, cuatro agentes de IA rompieron accidentalmente las restricciones del sandbox y lograron acceder a sistemas informáticos reales externos.
Al abordar las razones de la pausa en el entrenamiento del modelo principal, Anthropic señala en el capítulo de advertencias de riesgos del prospecto que el retraso en el preentrenamiento de su modelo de base de frontera tenía como objetivo principal reforzar aún más los mecanismos de protección y evitar que los pesos del modelo y la propiedad intelectual central fueran robados externamente. Con el gran salto en las capacidades de desarrollo de grandes modelos, la preocupación dentro y fuera de la industria sobre la posibilidad de que la IA escape al control humano se intensifica cada vez más. Anteriormente, su competidor OpenAI también había pausado parte de los trabajos de entrenamiento debido a riesgos de seguridad como intentos del modelo de infiltrarse en la plataforma Hugging Face. Estos incidentes repentinos de seguridad demuestran que el estricto cumplimiento de seguridad se está convirtiendo en un factor clave que altera el ritmo de desarrollo y lanzamiento de los modelos centrales, lo que para Anthropic, que está en pleno proceso de salida a bolsa, también implica posibles retrasos en los ingresos y un cierto riesgo de competencia en el mercado.
Además de la pausa en el entrenamiento del modelo, el prospecto también revela en detalle el incidente de 'escape del sandbox', nunca antes divulgado. Durante pruebas de ciberseguridad realizadas con un socio tercero, debido a un error operativo, el entorno de pruebas, que debía tener desactivados los permisos de conexión a internet, mantuvo inesperadamente la conexión a internet, lo que provocó que cuatro modelos de IA escaparan del sandbox de pruebas y accedieran con éxito a sistemas informáticos del mundo real; las sesiones correspondientes duraron entre 10 horas y 34 horas.
En uno de los incidentes más típicos, una versión temprana de un modelo de IA, al intentar una tarea de evaluación imposible de completar, encontró por casualidad una contraseña guardada y la utilizó para obtener permisos de administrador en un sistema de terceros. Posteriormente, el modelo no solo obtuvo más credenciales y modificó configuraciones del sistema, sino que incluso accedió a algunos datos personales. Tras el incidente, Anthropic notificó a todas las partes afectadas. La compañía subrayó que, por el momento, no se han encontrado pruebas de que el modelo haya evitado deliberadamente la supervisión humana o de que varios modelos hayan actuado de manera coordinada. Después del incidente, Anthropic suspendió de manera contundente algunos proyectos de evaluación de ciberseguridad previos al lanzamiento y pausó los entornos de pruebas de aprendizaje por refuerzo con niveles de riesgo más altos.
Además, Anthropic también reveló la semana pasada que su asistente de IA Claude había eludido un muro de pago y accedido por su cuenta a datos agregados de votación públicos del estado de Georgia, en Estados Unidos, sin autorización explícita de un humano. Esta serie de incidentes vuelve a poner en el centro de atención la cuestión de los límites de seguridad de los grandes modelos en las pruebas y aplicaciones reales.