Anthropic, en colaboración con Theorem Labs, ha llevado a Claude a una limpieza exhaustiva de las vulnerabilidades de software hasta el nivel del código máquina. Han sumergido a Claude en la capa más baja, enfrentándolo a las instrucciones de ensamblaje RISC-V, y han realizado verificaciones formales para un gran repositorio de código abierto a escala de producción: en pocas semanas, se han procesado 123 repositorios de código abierto y 239 puntos de prueba, generando 180 millones de líneas de código de pruebas matemáticas Rocq verificadas.
Lo que realmente da escalofríos es lo que logra extraer. Las vulnerabilidades ocultas que los tests de fuzzing, realizados miles de billones de veces, no pudieron detectar, los puntos ciegos de lógica de alto riesgo que han estado activos durante más de diez años, e incluso los defectos de hardware a nivel del procesador x86 y los errores en los documentos oficiales, todo esto fue rescatado por Claude de una sola vez. Los tests aleatorios tradicionales son como pasar el arena una y otra vez para filtrar los agujeros; siempre hay algo que se escapa. La fortaleza de este método radica en que convierte directamente la entrada del test en una proposición matemática, realizando pruebas exhaustivas para todo el camino y todo el entorno de entrada. Una vez que la prueba "se atora" en algún punto y no puede continuar, ese es a menudo el lugar donde se esconde el agujero. Además, Claude puede reparar el parche y seguir verificando, lo que reduce significativamente la tasa de fallos.
Desde la perspectiva de los costos, el significado de esto es más claro. La verificación formal del código máquina desde la capa inferior es en el pasado una tarea laboriosa con un gran volumen de trabajo, pero ahora, gracias a las capacidades de los grandes modelos, la eficiencia de la verificación está aumentando aproximadamente dos veces cada dos meses, y las pruebas obtenidas pueden ser reutilizadas entre proyectos. Según la tendencia actual, con una inversión de alrededor de 134 millones de dólares, se espera completar la verificación del 95% del código máquina del ecosistema Nix para finales de 2027; actualmente, las primeras pruebas relacionadas ya están públicas. Cuando la situación de la seguridad cibernética se vuelve cada vez más crítica, este enfoque de “convertir la corrección del código en un teorema matemático mediante IA” proporciona a la industria una nueva línea de defensa.