Anthropic accorde un accès de niveau employé à six chercheurs de METR, une organisation à but non lucratif qui teste les modèles d'IA de pointe, afin d'évaluer de manière indépendante les modèles, les pratiques de sécurité et la gestion des risques d'Anthropic, a annoncé la société dans un article de blog jeudi.
Cet arrangement intervient à un moment où des incidents d'agents d'IA agissant en dehors de leurs instructions sont divulgués chaque semaine ou deux depuis fin août. Ces incidents ont intensifié les appels à des contrôles indépendants sur les entreprises d'IA.
« Nous voulons être publiquement redevables des décisions que nous prenons », a déclaré Anthropic dans l'article de blog. « Nous visons à réduire l'écart entre ce que les évaluateurs comprennent des systèmes d'une entreprise d'IA de pointe et ce que l'entreprise elle-même comprend. »
Dans le cadre du nouvel arrangement, l'équipe de METR dispose d'ordinateurs portables fournis par Anthropic, d'un espace de bureau et d'un accès aux outils internes à peu près équivalent à ce que utilisent les propres équipes d'évaluation des risques d'Anthropic. « Les employés d'Anthropic sont encouragés à partager des informations avec eux comme ils le feraient avec un collègue travaillant sur les risques d'alignement », a déclaré la société.
Anthropic a comparé cet arrangement au secteur bancaire, de la même manière que les régulateurs placent des inspecteurs résidents dans les plus grandes banques.
METR publiera ses propres évaluations des risques, incidents et pratiques d'Anthropic, et la société a renoncé au droit de les bloquer.
« Anthropic ne peut pas opposer son veto à la publication, mais nous pouvons exiger qu'elles censurent des informations si celles-ci relèvent de catégories étroites et prédéfinies », a déclaré la société, telles que les données clients, tout ce qui est couvert par le secret de l'avocat, ou ce qui concerne les informations sur ses architectures de modèles. « METR est libre de caractériser publiquement nos censures et de dire si elle estime que celles-ci étaient justifiées, tant qu'elle le fait sans révéler les informations censurées », a ajouté Anthropic.
METR est le seul évaluateur à ce jour au sommet d'un système à trois niveaux qu'Anthropic est en train de construire. Les évaluateurs du niveau inférieur, comme l'organisation à but non lucratif de biosécurité SecureBio, mènent des examens restreints et nécessitent l'approbation d'Anthropic pour publier. Le niveau intermédiaire obtient plus d'informations et peut publier sans approbation, tandis que le niveau supérieur ajoute l'accès de niveau employé de METR.
L'annonce de jeudi tient la promesse faite par le PDG d'Anthropic, Dario Amodei dans un essai de septembre, dans lequel il proposait d'intégrer des évaluateurs externes au sein des laboratoires d'IA comme première étape vers le ralentissement du développement de la technologie. OpenAI s'est rapidement engagée à faire de même, et les deux sociétés, ainsi que Google, Meta, Nvidia et xAI, ont depuis signé un accord de la Maison Blanche s'engageant à une révision indépendante.