Une mise à jour concernant les évaluateurs indépendants

Une mise à jour sur les évaluateurs indépendants

Le mois dernier, nous nous sommes engagés à une évaluation indépendante et tierce plus rigoureuse de nos modèles et de nos pratiques de sécurité. Nous avons également signé l'Accord de la Maison-Blanche sur la superintelligence, dans lequel les entreprises se sont engagées à travailler avec des auditeurs ou des évaluateurs externes indépendants. Aujourd'hui, nous annonçons que nous avons commencé à accorder un accès semblable à celui des employés à une équipe de METR, une organisation à but non lucratif qui évalue les modèles d'IA de pointe.

Le METR publiera les résultats de ses évaluations des risques. Au cours de l'année écoulée, nous avons travaillé avec le METR sur plusieurs critiques de nos Risk Reports. Nous travaillons également avec SecureBio et Accenture en tant qu'évaluateurs, et sommes en discussions préliminaires avec plusieurs autres organisations, dont Hugging Face.

Ici, nous expliquons notre approche de la collaboration avec les évaluateurs.

Pourquoi nous travaillons avec des évaluateurs indépendants

À mesure que les modèles sont devenus plus puissants, ils ont nécessité des garanties plus solides et des évaluations des risques plus exigeantes. Nous souhaitons être publiquement redevables des décisions que nous prenons. Mais nous ne pouvons pas partager publiquement toutes les informations relatives à notre travail de sécurité. Certaines pourraient être utiles à des acteurs malveillants, ou sont commercialement sensibles, comme les informations sur la puissance de calcul ou l'entraînement. À la place, nous donnons à des évaluateurs tiers un accès approfondi à nos informations, et leur demandons de partager des preuves et des conclusions motivées sur les risques liés à la construction de nos modèles. Notre objectif est de combler l'écart entre ce que les évaluateurs comprennent des systèmes d'une entreprise d'IA de pointe et ce que l'entreprise elle-même en comprend.

Pour évaluer les modèles de pointe, les évaluateurs ont besoin des éléments suivants :

• Expertise dans l'évaluation des capacités des modèles de pointe, notamment la compréhension de la manière dont les évaluations peuvent mal tourner, comme l'alignement simulé.
• Indépendance: ils ne doivent pas détenir d'actions dans l'entreprise qu'ils évaluent, ni être financièrement ou opérationnellement dépendants d'elle.
• Un accès suffisant pour évaluer meaningfulement les risques. Au-delà de l'accès aux derniers modèles, les évaluateurs ont également besoin d'une visibilité sur la manière dont ces modèles ont été entraînés, sur le fonctionnement de nos dispositifs de protection, et plus encore.
• Liberté de publier observations et évaluations d'un modèle ou d'un processus.

Bien que l'analogie ne soit pas exacte, la supervision bancaire fonctionne selon une logique similaire. Les banques en savent plus sur leurs propres positions de risque que les personnes extérieures, si bien que les régulateurs affectent des inspecteurs résidents au sein des plus grandes banques. Si la prise de risque d'une banque pouvait menacer le public, des tiers s'efforcent de le percevoir à l'avance.

Pour l'industrie de l'IA, c'est un pas vers une supervision robuste de la sécurité. Nous avançons rapidement avec plusieurs évaluateurs et nous apprenons activement quels types de partenariat fonctionnent. Nous nous engageons à partager des informations au fur et à mesure.

Ce que nous entendons par « accès de type employé »

Nous avons intégré six employés de METR avec du matériel d'entreprise, un espace de bureau et un accès aux outils et systèmes internes à peu près équivalent à celui dont disposent nos propres équipes d'évaluation des risques. En dehors d'un petit nombre de catégories clairement définies (par exemple, les données concernant les clients, les informations couvertes par le secret professionnel de l'avocat, ou les informations relatives à l'architecture de nos modèles), les employés d'Anthropic sont encouragés à partager des informations avec eux comme ils le feraient avec un collègue travaillant sur le risque d'alignement.¹

METR publiera son analyse de nos niveaux de risque, incidents ou pratiques. Anthropic ne peut pas s'opposer à la publication, mais nous pouvons exiger qu'ils censurent des informations si celles-ci relèvent de catégories prédéfinies comme celles mentionnées ci-dessus. METR est libre de caractériser publiquement nos censureurs et de dire s'il estime que les censures étaient justifiées, tant qu'il le fait sans révéler les informations censurées.

Notre engagement avec METR se limite à une petite équipe opérant dans le cadre d'accords exécutoires. Les autres employés de METR sont isolés du travail de cette équipe, y compris les chercheurs qui collaborent avec nous sur d'autres projets. L'évaluation intégrée offre à quelques personnes qualifiées travaillant selon les normes de sécurité d'Anthropic une vision rapprochée de notre fonctionnement. Ce n'est pas un moyen pour d'autres organisations d'obtenir nos informations, ni celles de nos clients et partenaires.

Nos autres partenariats d'évaluation

Nous travaillons sur plusieurs autres partenariats. Comme ces autres partenariats en sont encore à leurs débuts, nous fournissons à ces évaluateurs des informations plus limitées, et ils disposent de droits de publication plus restreints. Notre objectif avec ces engagements précoces est de nous assurer que nos partenaires protègent les informations confidentielles et disposent des ressources et de l'expertise nécessaires pour évaluer nos modèles. À mesure que les partenariats progressent et que nous instaurons la confiance, nous espérons intégrer pleinement davantage d'évaluateurs indépendants.

Nous développons trois niveaux d'accès pour les évaluateurs. Avec le temps, nous espérons avoir plusieurs évaluateurs au troisième niveau, chaque équipe publiant sa propre analyse de notre posture de risque et de nos décisions clés.

Au premier niveau, les évaluateurs mènent des enquêtes de risque à portée étroite. Nous décidons de l'accès à accorder à un évaluateur de premier niveau, et les évaluateurs peuvent publier leurs conclusions avec notre approbation.

Au deuxième niveau, les évaluateurs peuvent publier sans notre approbation, et ils ont accès à davantage d'informations. Nous pouvons toujours exiger le retrait de catégories spécifiques d'informations, mais les évaluateurs peuvent publier leur avis sur la justification de nos rédactions.

Le troisième niveau correspond à l'accord que nous avons décrit avec METR, avec un accès semblable à celui des employés et des droits de publication similaires à ceux du deuxième niveau.

SecureBio est en train d'examiner le chapitre sur les armes chimiques et biologiques de notre August Risk Report, après avoir réalisé et publié une revue pilote de notre précédent rapport de risques. Une fois cet examen terminé, nous envisagerons de passer à des projets avec un accès accru.²

Avec Accenture et Faculty, nous travaillons à un partenariat ambitieux qui comprend l'évaluation et le red-teaming de modèles, la réalisation d'analyses d'alignement, le test de protections de modèles et le développement de compétences au sein de nos organisations.

Nous accueillons volontairement des évaluateurs en notre sein, et nous pensons que chaque entreprise d'IA de pointe devrait faire de même.

Notes de bas de page

1. Comme ces évaluateurs (à l'instar des contrôleurs bancaires) peuvent également travailler avec d'autres entreprises, nous faisons preuve de prudence concernant la possibilité de fuites involontaires. Les informations sur les architectures présentent un risque élevé de fuites involontaires, et leur pertinence pour l'évaluation des risques est généralement faible. Lorsqu'elles sont hautement pertinentes, nous chercherons généralement à les partager, bien que cela nécessite des approbations internes explicites.
2. Mis à jour le 15 octobre pour clarifier les conditions du projet en cours entre SecureBio et Anthropic.

Contenus associés

Préparer les élections de mi-mandat américaines de 2026

Plus tôt cette année, nous avons partagé une mise à jour sur nos dispositifs de sauvegarde électoraux. Ici, nous décrivons comment nous avons continué à renforcer ces dispositifs avant les élections de mi-mandat américaines de cette année.

Anthropic ouvre un bureau à Singapour et signe un protocole d'accord avec le Gouvernement de Singapour

Anthropic a ouvert un bureau à Singapour et signé un protocole d'accord avec le gouvernement du pays pour promouvoir une adoption de l'IA sûre et responsable.

Mise à jour 2026 de la politique d'utilisation

Nous publions une nouvelle version de notre politique d'utilisation. Dans cet article, nous résumons les modifications que nous avons apportées.