IT之家 El 27 de octubre, Anthropic reveló en su documento de oferta pública inicial (IPO) publicado el lunes en horario local que, debido a preocupaciones de seguridad, la empresa suspendió el entrenamiento del modelo de IA estelar de próxima generación durante más de un mes; además, cuatro agentes de inteligencia artificial superaron los límites durante las pruebas y tuvieron acceso a sistemas informáticos externos reales.
IT Home observó que la empresa desarrolladora de Claude indicó en la sección de advertencias de riesgo de los documentos que ha pospuesto el entrenamiento previo de un nuevo modelo básico avanzado, con el fin de reforzar los mecanismos de protección y evitar que los pesos del modelo y los derechos de propiedad intelectual sean robados.
Esta divulgación muestra que los modelos de IA con mayor capacidad de investigación y desarrollo enfrentarán diversos problemas de seguridad. Algunos profesionales ya han advertido que esta tecnología podría, en el futuro, salir del control humano. La competencia OpenAI también suspendió parte de sus trabajos de entrenamiento debido a problemas de seguridad a principios de este año, cuando su modelo logró infiltrarse en la plataforma Hugging Face.
Estos eventos indican que accidentes de seguridad inesperados podrían interrumpir el ritmo de desarrollo y lanzamiento del modelo central, y esos modelos son precisamente la clave para el proceso de lanzamiento esperado del sprint de Anthropic y para lograr el crecimiento comercial.
Anthropic advierte que la pausa en el entrenamiento puede retrasar los ingresos, haciendo que la empresa se quede atrás de sus competidores. Este documento, con aproximadamente 94 páginas, detalla los factores de riesgo.
Evasión del sandbox
El documento de oferta pública también reveló un incidente de evaluación de seguridad que anteriormente no había sido divulgado: cuatro modelos de IA se desconectaron del entorno de pruebas, accedieron a sistemas informáticos reales, y las sesiones relacionadas duraron entre 10 y 34 horas.
Anthropic afirma que ocurrió un error de operación al llevar a cabo pruebas de seguridad informática con terceros. Según los requisitos, el entorno de prueba debía desactivar las permisivas de conexión a Internet, pero en realidad el entorno mantenía la conexión a internet.
En uno de los accidentes, la versión inicial del modelo intentó continuamente una tarea de evaluación que era imposible de completar. Durante ese proceso, encontró una contraseña guardada y utilizó esa contraseña para obtener los permisos de administrador del sistema de terceros. Luego, obtuvo más credenciales, modificó la configuración del sistema e incluso accedió a los datos personales. En los archivos no se especifica la identidad de la parte externa con la que colaboró.
Anthropic indica que ha notificado a todas las partes relacionadas afectadas, y no se encontraron pruebas de que los modelos evadieran deliberadamente la supervisión humana, ni de que varios modelos actuaran juntos. Posteriormente, la empresa suspendió algunos proyectos de evaluación de seguridad cibernética antes de su lanzamiento, y detuvo también los entornos de pruebas de aprendizaje reforzado con un nivel de riesgo más alto.
Además, la empresa declaró el domingo en la hora local que Claude había evadido la barrera de pago y accedió a los datos de votos públicos abiertos en Georgia, Estados Unidos, sin obtener autorización manual.