Una actualización sobre los evaluadores independientes

Una actualización sobre los evaluadores independientes

El mes pasado, nos comprometimos a una evaluación independiente y externa más sólida de nuestros modelos y prácticas de seguridad. También firmamos el Acuerdo de la Casa Blanca sobre la Superinteligencia, en el cual las empresas se comprometieron a asociarse con auditores o evaluadores externos independientes. Hoy, anunciamos que hemos comenzado a otorgar acceso similar al de los empleados a un equipo de METR, una organización sin fines de lucro que evalúa modelos de IA de frontera.

METR publicará los resultados de sus evaluaciones de riesgos. Durante el año pasado, hemos trabajado con METR en varias revisiones de nuestros Informes de Riesgos. También estamos trabajando con SecureBio y Accenture como evaluadores, y estamos en conversaciones preliminares con varias otras organizaciones, incluida Hugging Face.

Aquí explicamos nuestro enfoque para trabajar con evaluadores.

Por qué trabajamos con evaluadores independientes

A medida que los modelos se han vuelto más poderosos, han requerido salvaguardas más fuertes y evaluaciones de riesgos más exigentes. Queremos rendir cuentas públicamente de las decisiones que estamos tomando. Pero no podemos compartir públicamente toda la información relevante para nuestro trabajo de seguridad. Parte de ella podría ser útil para actores maliciosos, o es comercialmente sensible, como la información de cómputo o de entrenamiento. En cambio, estamos otorgando a los evaluadores externos un acceso profundo a nuestra información, y les pedimos que compartan evidencia y conclusiones razonadas sobre los riesgos involucrados en la construcción de nuestros modelos. Nuestro objetivo es cerrar la brecha entre lo que los evaluadores entienden sobre los sistemas de una empresa de IA de frontera y lo que la propia empresa entiende.

Para evaluar modelos de frontera, los evaluadores necesitan lo siguiente:

• Pericia en la evaluación de las capacidades de los modelos de frontera, incluida la comprensión de la manera en que las evaluaciones pueden salir mal, como el alignment faking.
• Independencia: no deben tener participación accionaria en la empresa que evalúan, ni depender financiera u operativamente de ella.
• Suficiente acceso para evaluar los riesgos de manera significativa. Más allá del acceso a los modelos más recientes, los evaluadores también necesitan visibilidad sobre cómo fueron entrenados esos modelos, sobre cómo funcionan nuestras salvaguardas y más.
• Libertad para publicar observaciones y evaluaciones de un modelo o un proceso.

Aunque la analogía no es exacta, la supervisión bancaria funciona con una lógica similar. Los bancos saben más sobre sus propias posiciones de riesgo que los externos, por lo que los reguladores asignan examinadores residentes para trabajar dentro de los bancos más grandes. Si la asunción de riesgos de un banco pudiera amenazar al público, terceros intentan verlo con antelación.

Para la industria de la IA, este es un paso hacia una supervisión de seguridad sólida. Estamos avanzando rápidamente con múltiples evaluadores y aprendiendo activamente sobre qué tipos de asociación funcionan. Estamos comprometidos a compartir novedades a medida que avancemos.

Qué entendemos por “acceso similar al de un empleado”

Hemos incorporado a seis empleados de METR con hardware de la empresa, espacio de oficina y acceso a herramientas y sistemas internos que son aproximadamente equivalentes a los que tienen acceso nuestros propios equipos de evaluación de riesgos. Fuera de un pequeño número de categorías claramente definidas (p. ej., datos sobre clientes, información protegida por el privilegio abogado-cliente o información sobre nuestras arquitecturas de modelos), se anima a los empleados de Anthropic a compartir información con ellos tal como lo harían con un compañero empleado que trabaja en riesgo de alineación.¹

METR publicará su análisis de nuestros niveles de riesgo, incidentes o prácticas. Anthropic no puede vetar la publicación, pero podemos exigirles que censuren información si esta cae en categorías predefinidas como las anteriores. METR es libre de caracterizar públicamente nuestras censuras y decir si cree que las censuras estaban justificadas, siempre que lo haga sin revelar la información censurada.

Nuestra colaboración con METR se limita a un equipo pequeño que opera bajo acuerdos exigibles. Otros empleados de METR están aislados del trabajo de ese equipo, incluidos los investigadores que trabajan con nosotros en otros proyectos. La evaluación integrada ofrece a unas pocas personas calificadas que trabajan bajo los estándares de seguridad de Anthropic una visión cercana de cómo operamos. No es una forma de que otras organizaciones obtengan nuestra información, ni la de nuestros clientes y socios.

Nuestras otras asociaciones con evaluadores

Estamos trabajando en varias otras asociaciones. Debido a que estas otras asociaciones aún están en etapas tempranas, proporcionamos a estos evaluadores información más limitada, y ellos tienen derechos de publicación más limitados. Nuestro objetivo con estas colaboraciones tempranas es asegurarnos de que nuestros socios protejan la información confidencial y tengan los recursos y la experiencia necesarios para evaluar nuestros modelos. A medida que las asociaciones progresen y construyamos confianza, esperamos integrar completamente a más evaluadores independientes.

Estamos desarrollando tres niveles de acceso para los evaluadores. Con el tiempo, esperamos tener varios evaluadores en el tercer nivel, y que cada equipo publique su propio análisis de nuestra postura de riesgo y de nuestras decisiones clave.

En el primer nivel, los evaluadores realizan investigaciones de riesgo de alcance limitado. Nosotros decidimos qué acceso brindar a un evaluador de primer nivel, y los evaluadores pueden publicar sus hallazgos con nuestra aprobación.

En el segundo nivel, los evaluadores pueden publicar sin nuestra aprobación y tienen acceso a más información. Todavía podemos exigir la eliminación de categorías específicas de información, aunque los evaluadores pueden publicar sus opiniones sobre si nuestras censuras fueron justificadas.

El tercer nivel es el acuerdo que hemos descrito con METR, con un acceso similar al de un empleado y derechos de publicación similares a los del segundo nivel.

SecureBio está en proceso de revisar el capítulo sobre armas químicas y biológicas de nuestro Informe de Riesgo de agosto, después de completar y publicar una revisión piloto de nuestro informe de riesgo anterior. Cuando esta revisión esté completa, consideraremos pasar a proyectos con mayor acceso.²

Con Accenture y Faculty, estamos trabajando hacia una asociación ambiciosa que incluye evaluar y someter a pruebas de red team los modelos, realizar evaluaciones de alineamiento, probar salvaguardas de modelos y desarrollar capacidades en nuestras organizaciones.

Estamos incorporando evaluadores de forma voluntaria, y creemos que todas las empresas de IA de frontera deberían hacer lo mismo.

Notas al pie

1. Como estos evaluadores (al igual que los examinadores bancarios) también pueden trabajar con otras empresas, actuamos con cautela ante la posibilidad de fugas involuntarias de información. La información sobre arquitecturas presenta un alto riesgo de fugas involuntarias, y su relevancia para la evaluación de riesgos suele ser baja. Cuando sea altamente relevante, generalmente buscaremos compartirla, aunque esto requerirá aprobaciones internas explícitas.
2. Actualizado el 15 de octubre para aclarar los términos del proyecto actual de SecureBio con Anthropic.

Contenido relacionado

Preparándonos para las elecciones de medio mandato de EE. UU. de 2026

A principios de este año, compartimos una actualización sobre nuestras salvaguardas electorales. Aquí describimos cómo hemos continuado fortaleciendo estas salvaguardas de cara a las elecciones de medio mandato de este año en EE. UU.

Anthropic abre una oficina en Singapur y firma un memorando de entendimiento con el Gobierno de Singapur

Anthropic ha abierto una oficina en Singapur y ha firmado un memorando de entendimiento con el gobierno del país para promover una adopción de la IA segura y responsable.

Actualización de la Política de Uso de 2026

Publicamos una nueva versión de nuestra Política de Uso. En esta publicación, resumimos los cambios que hemos realizado.