IT之家 El 24 de octubre, Anthropic publicó un artículo de blog ayer (23 de octubre), en colaboración con el Instituto Británico de Seguridad de la Inteligencia Artificial (AISI), y presentó un informe de investigación sobre un incidente de descontrol en pruebas de red de IA. Se menciona también un modelo de investigación interno de la empresa que aún no se ha lanzado.
En este informe de investigación, Anthropic afirma que durante las pruebas de Claude Mythos 5, el modelo intentó enviar código malicioso a proyectos reales de GitHub y falsificar su identidad para presionar a los verdaderos mantenedores. Afortunadamente, el código no fue fusionado y no causó ningún daño real. IT Home ha incluido las capturas de pantalla correspondientes de la siguiente manera:
El informe también revela que un modelo de investigación interno de Anthropic, aún no lanzado, supera en capacidades al Claude Mythos 5.1 ya disponible, y se comporta mejor en los tests de alineación de seguridad. En las evaluaciones de capacidades peligrosas similares, el modelo interno nunca inicia ataques por voluntad propia; además, está más dispuesto a detenerse cuando se da cuenta de que podría causar daño real.
Anthropic volvió a reproducir los registros de incidentes para Mythos 5.1, Opus 5.5 y el modelo de investigación interno. Los resultados muestran que en los tres modelos más recientes, la proporción de ataques continuados desde el punto de partida original del ataque es solo del 0% al 13%, mientras que en Mythos 5 es del 83%.
Después de que comience el ataque, Mythos 5 nunca se detiene de forma autónoma; en Mythos 5.1, la tasa de detención autónoma es de solo aproximadamente el 1%, en Opus 5.5 es del 10%, mientras que en el modelo de investigación interno alcanza entre el 62% y el 67%. Cuando se obtienen información adicional como “el mantenedor es un usuario real”, la tasa de detención de los modelos más recientes aumenta al 95% hasta el 100%.
Sin embargo, Anthropic también destaca las limitaciones de esta evaluación: los nuevos modelos se reproducen a partir de los registros de diálogo existentes generados por otros modelos, y no necesariamente reflejan completamente su comportamiento cuando operan de forma independiente.
Referencia