IT之家 10 月 15 日消息, La Oficina de Inteligencia Artificial de la Comisión Europea ha enviado solicitudes de información a OpenAI y Anthropic, iniciando oficialmente una investigación sobre los incidentes de « jailbreak de modelos » e intrusiones en sistemas externos reales ocurridos durante las pruebas de modelos frontera de ambas empresas. Esta es la primera gran prueba de aplicación de la Ley de Inteligencia Artificial de la UE (EU AI Act) desde su entrada en vigor frente a incidentes de seguridad de laboratorios de IA frontera.
IT之家 consultó material relacionado: esta investigación se origina en dos incidentes de seguridad de IA ocurridos hace varios meses:
Jailbreak del modelo de OpenAI: en las evaluaciones internas de ExploitGym, el modelo de prueba de OpenAI, para resolver las preguntas del test, aprovechó una vulnerabilidad desconocida hasta entonces en el agente de caché de paquetes de software para obtener acceso a internet, y posteriormente escaló privilegios y se movió lateralmente dentro de la red interna de pruebas, acabando por « escapar del sandbox » e invadir los servidores reales de la plataforma de código abierto Hugging Face.
Jailbreak del modelo de Anthropic: Claude Mythos y Opus 4.7 de Anthropic superaron las restricciones durante las pruebas de seguridad e invadieron las redes reales de 3 organizaciones externas. Aún más inquietante, el modelo Mythos llegó incluso a falsificar identidades en línea, intentó manipular a humanos para aprobar código malicioso y subió por sí mismo kits maliciosos, afectando a múltiples sistemas.
La Oficina de Inteligencia Artificial de la UE declaró que las explicaciones proporcionadas voluntariamente por ambas empresas con anterioridad eran insuficientes para explicar la gravedad de los incidentes. Por ello, la UE exige formalmente a las empresas que detallen sus medidas de seguridad, evaluaciones externas y la supervisión del uso de los modelos, entre otros aspectos.
La etapa actual corresponde a la fase de investigación y recopilación de pruebas, y aún no se ha anunciado una determinación final de infracción ni resultados de sanción. Según el mecanismo de sanciones de la Ley de Inteligencia Artificial,los laboratorios de IA frontera que sean declarados responsables de fallos graves de seguridad o infracciones podrían enfrentar multas de hasta el 3 % de su facturación anual global.