Anthropic está otorgando acceso de nivel de empleado a seis investigadores de METR, una organización sin fines de lucro que evalúa modelos de IA de frontera, para que evalúe de forma independiente los modelos de Anthropic, sus prácticas de seguridad y su gestión de riesgos, dijo la empresa en un entrada de blog el jueves.
El acuerdo llega en un momento en que los incidentes de agentes de IA actuando fuera de sus instrucciones han sido revelado cada semana o dos desde finales de agosto. Los incidentes han intensificado los llamados a controles independientes sobre las empresas de IA.
"Queremos rendir cuentas públicamente de las decisiones que estamos tomando", declaró Anthropic en la publicación del blog. "Nuestro objetivo es cerrar la brecha entre lo que los evaluadores entienden sobre los sistemas de una empresa de IA de frontera y lo que la propia empresa entiende".
Según el nuevo acuerdo, el equipo de METR dispone de portátiles de la empresa proporcionados por Anthropic, espacio de oficina y acceso a herramientas internas aproximadamente al nivel de las que usan los propios equipos de evaluación de riesgos de Anthropic. "Se anima a los empleados de Anthropic a compartir información con ellos tal como lo harían con un compañero que trabaja en riesgos de alineación", afirmó la empresa.
Anthropic comparó el acuerdo con el sistema bancario, de manera similar a cómo los reguladores colocan examinadores residentes dentro de los bancos más grandes.
METR publicará sus propias evaluaciones de los riesgos, incidentes y prácticas de Anthropic, y la empresa ha renunciado al derecho de bloquearlas.
"Anthropic no puede vetar la publicación, pero podemos exigirles que censuren información si esta cae en categorías estrechas y predefinidas", dijo la empresa, como datos de clientes, cualquier cosa cubierta por el privilegio abogado-cliente o relacionada con información sobre sus arquitecturas de modelos. "METR es libre de caracterizar públicamente nuestras censuras y decir si considera que las censuras estaban justificadas, siempre que lo haga sin revelar la información censurada", añadió Anthropic.
METR es, hasta ahora, el único evaluador en el nivel más alto de un sistema de tres niveles que Anthropic está construyendo. Los evaluadores del nivel inferior, como la organización sin fines de lucro de bioseguridad SecureBio, realizan revisiones limitadas y requieren la aprobación de Anthropic para publicar. El nivel intermedio recibe más información y puede publicar sin aprobación, mientras que el nivel superior añade el acceso a nivel de empleado de METR.
El anuncio del jueves cumple una promesa que hizo el CEO de Anthropic, Dario Amodei en un ensayo de septiembre, donde propuso incorporar evaluadores externos dentro de los laboratorios de IA como un primer paso para frenar el desarrollo de la tecnología. OpenAI rápidamente prometió lo mismo, y ambas empresas, junto con Google, Meta, Nvidia y xAI, han firmado desde entonces un acuerdo de la Casa Blanca que compromete a una revisión independiente.