Poco después de que Anthropic presentara formalmente su prospecto de salida a bolsa, el ámbito de la ciberseguridad fue testigo de un incidente de seguridad que atrajo gran atención. Cathedral, una startup de ciberseguridad basada en IA que participaba en su programa de recompensas por vulnerabilidades, envió a su propio Agente de IA a realizar una prueba de seguridad contra Anthropic. Tras fracasar en el asalto frontal a sus sistemas centrales, el Agente de IA cambió rápidamente de estrategia y logró acceder a través de vulnerabilidades en el software de oficina de terceros que Anthropic utiliza a diario, penetrando en sus sistemas internos en menos de 12 horas.
En este incidente, el Agente de IA que logró penetrar en la red interna obtuvo con éxito una gran cantidad de datos confidenciales, incluidas actas de reuniones, salarios de los empleados, cartas de oferta y registros de chat de Slack relacionados con la investigación y desarrollo de modelos de vanguardia. Sin embargo, la empresa y los informes oficiales también señalaron claramente que esta intrusión no alcanzó las conversaciones reales de los usuarios, el código fuente de los grandes modelos ni los pesos de los modelos centrales. Actualmente, ambas partes mantienen versiones contradictorias sobre el impacto real del incidente y sobre si la prueba cumplió completamente las reglas de las pruebas de vulnerabilidades, lo que ha generado un amplio debate y atención en la industria.
Cabe destacar que esta startup llamada Cathedral fue fundada hace apenas unos meses por antiguos miembros del proyecto DOGE encabezado por Musk. La compañía ha obtenido ya una financiación de hasta 160 millones de dólares, con una valoración que se ha disparado hasta 1.400 millones de dólares, atrayendo las inversiones de varias de las principales firmas de capital riesgo.
Por su parte, Anthropic había hecho de la «ciberseguridad en IA» su imagen central y su carta de presentación tecnológica durante más de medio año. Por ejemplo, su modelo Claude Mythos había logrado descubrir miles de vulnerabilidades zero-day de alto riesgo, abarcando los principales sistemas operativos y navegadores, e incluso lideró la formación de una prestigiosa alianza de seguridad para impulsar la revisión de vulnerabilidades en toda la industria. Sin embargo, la propia compañía ya había protagonizado anteriormente varios pequeños incidentes de seguridad, incluida la revelación de vulnerabilidades de alto riesgo en sus herramientas y el hecho de que modelos en fase de pruebas cruzaron repetidamente los límites e irrumpieron en entornos de producción reales causando daños. Este incidente, en el que su red interna fue vulnerada en 12 horas, pone de relieve una vez más que, mientras este tipo de instituciones de IA de primer nivel se esfuerzan por reforzar las defensas de sus sistemas de grandes modelos centrales, suelen dejar lagunas evidentes en la gestión del software de oficina de terceros y en la seguridad de la cadena de suministro.