Ein Update zu unabhängigen Bewertern

Ein Update zu unabhängigen Bewertern

Letzten Monat haben wir uns zu einer stärkeren unabhängigen Bewertung durch Dritte unserer Modelle und Sicherheitspraktiken verpflichtet. Wir haben außerdem das White House Accord on Super Intelligence unterzeichnet, in dem sich Unternehmen verpflichtet haben, mit unabhängigen externen Prüfern oder Bewertern zusammenzuarbeiten. Heute geben wir bekannt, dass wir begonnen haben, einem Team von METR, einer gemeinnützigen Organisation, die KI-Frontier-Modelle bewertet, einen mitarbeiterähnlichen Zugriff zu gewähren.

METR wird die Ergebnisse seiner Risikobewertungen veröffentlichen. Im vergangenen Jahr haben wir mit METR an mehreren Überprüfungen unserer Risikoberichtegearbeitet. Wir arbeiten außerdem mit SecureBio und Accenture als Bewertern zusammen und befinden uns in frühen Gesprächen mit mehreren anderen Organisationen, darunter Hugging Face.

Hier erläutern wir unseren Ansatz für die Zusammenarbeit mit Bewertern.

Warum wir mit unabhängigen Bewertern zusammenarbeiten

Da Modelle leistungsfähiger geworden sind, haben sie stärkere Schutzmaßnahmen und anspruchsvollere Risikobewertungen erfordert. Wir möchten uns öffentlich für die Entscheidungen verantworten, die wir treffen. Aber wir können nicht alle Informationen, die für unsere Sicherheitsarbeit relevant sind, öffentlich teilen. Einige davon könnten für böswillige Akteure nützlich sein oder sind geschäftlich sensibel, etwa Rechenleistung oder Trainingsinformationen. Stattdessen gewähren wir unabhängigen Bewertern tiefgehenden Zugriff auf unsere Informationen und lassen sie Belege und begründete Schlussfolgerungen über die mit dem Aufbau unserer Modelle verbundenen Risiken veröffentlichen. Wir wollen die Lücke zwischen dem, was Bewerter über die Systeme eines KI-Frontier-Unternehmens verstehen, und dem, was das Unternehmen selbst versteht, schließen.

Um Frontier-Modelle zu bewerten, benötigen Bewerter Folgendes:

• Fachkompetenz in der Bewertung der Fähigkeiten von Frontier-Modellen, einschließlich des Verständnisses dafür, wie Bewertungen schiefgehen können, etwa durch Alignment Faking.
• Unabhängigkeit: Sie sollten keine Anteile am Unternehmen halten, das sie bewerten, und nicht finanziell oder operativ von ihm abhängig sein.
• Ausreichenden Zugriff , um Risiken sinnvoll bewerten zu können. Neben dem Zugriff auf die neuesten Modelle benötigen Bewerter auch Einblick darin, wie diese Modelle trainiert wurden, wie unsere Schutzmaßnahmen funktionieren und mehr.
• Freiheit zur Veröffentlichung Beobachtungen und Einschätzungen eines Modells oder eines Prozesses.

Auch wenn die Analogie nicht exakt ist, funktioniert die Bankenaufsicht nach einer ähnlichen Logik. Banken wissen mehr über ihre eigenen Risikopositionen als Außenstehende, daher entsenden die Aufsichtsbehörden ständige Prüfer in die größten Banken. Wenn die Risikofreudigkeit einer Bank die Öffentlichkeit bedrohen könnte, versuchen Dritte, das im Voraus zu erkennen.

Für die KI-Branche ist dies ein Schritt hin zu robuster Sicherheitsaufsicht. Wir gehen mit mehreren Evaluatoren zügig voran und lernen aktiv darüber, welche Arten von Partnerschaften funktionieren. Wir sind bestrebt, unterwegs Updates zu teilen.

Was wir mit „mitarbeiterähnlichem Zugang“ meinen

Wir haben sechs METR-Mitarbeiter mit Firmenhardware, Büroraum und Zugang zu internen Tools und Systemen eingearbeitet, die ungefähr dem entsprechen, worauf unsere eigenen Risikobewertungsteams Zugriff haben. Abgesehen von einer kleinen Anzahl klar definierter Kategorien (z. B. Daten über Kunden, dem Anwaltsgeheimnis unterliegende Informationen oder Informationen über unsere Modellarchitekturen) werden Anthropic-Mitarbeiter ermutigt, Informationen mit ihnen zu teilen, so wie sie es auch mit einem Kollegen tun würden, der an Ausrichtungsrisiken arbeitet.¹

METR wird seine Analyse unserer Risikoniveaus, Vorfälle oder Praktiken veröffentlichen. Anthropic kann die Veröffentlichung nicht vetoieren, aber wir können verlangen, dass Informationen geschwärzt werden, wenn sie in vordefinierte Kategorien wie die oben genannten fallen. METR kann unsere Schwärzungen öffentlich charakterisieren und sagen, ob es der Ansicht ist, dass die Schwärzungen gerechtfertigt waren, solange es dies tut, ohne die geschwärzten Informationen preiszugeben.

Unsere Zusammenarbeit mit METR ist auf ein kleines Team beschränkt, das unter durchsetzbaren Vereinbarungen arbeitet. Andere METR-Mitarbeiter sind von der Arbeit dieses Teams getrennt, darunter auch Forscher, die mit uns an anderen Projekten arbeiten. Eingebettete Evaluierung gibt einigen qualifizierten Personen, die nach Anthropicss Sicherheitsstandards arbeiten, einen genauen Einblick in unsere Arbeitsweise. Sie ist kein Weg für andere Organisationen, an unsere Informationen oder die unserer Kunden und Partner zu gelangen.

Unsere anderen Evaluator-Partnerschaften

Wir arbeiten an mehreren weiteren Partnerschaften. Da diese anderen Partnerschaften noch in einem frühen Stadium sind, stellen wir diesen Evaluatoren begrenztere Informationen zur Verfügung, und sie haben eingeschränktere Veröffentlichungsrechte. Unser Ziel bei diesen frühen Zusammenarbeiten ist es, sicherzustellen, dass unsere Partner vertrauliche Informationen schützen und über die erforderlichen Ressourcen und die nötige Expertise verfügen, um unsere Modelle zu evaluieren. Wenn die Partnerschaften voranschreiten und wir Vertrauen aufbauen, hoffen wir, mehr unabhängige Evaluatoren vollständig einzubinden.

Wir entwickeln drei Zugangsstufen für Evaluatoren. Langfristig hoffen wir, mehrere Evaluatoren auf der dritten Stufe zu haben, wobei jedes Team seine eigene Analyse unserer Risikolage und wichtigen Entscheidungen veröffentlicht.

In der ersten Stufe, Evaluatoren führen eng gefasste Risikountersuchungen durch. Wir entscheiden, welchen Zugriff wir einem Evaluator der ersten Stufe gewähren, und Evaluatoren können ihre Ergebnisse mit unserer Genehmigung veröffentlichen.

In der zweiten Stufe, können Evaluatoren ohne unsere Genehmigung veröffentlichen, und sie haben Zugriff auf mehr Informationen. Wir können weiterhin die Entfernung bestimmter Informationskategorien verlangen, wobei Evaluatoren ihre Ansichten darüber veröffentlichen können, ob unsere Schwärzungen gerechtfertigt waren.

Die dritte Stufe ist die Vereinbarung, die wir mit METR beschrieben haben, mit mitarbeiterähnlichem Zugriff und Veröffentlichungsrechten ähnlich denen der zweiten Stufe.

SecureBio befindet sich gerade in der Überprüfung des Kapitels über chemische und biologische Waffen unseres August-Risikoberichts, nachdem ein Pilot-Review abgeschlossen und veröffentlicht wurde zu unserem vorherigen Risikobericht. Nachdem diese Überprüfung abgeschlossen ist, werden wir in Betracht ziehen, zu Projekten mit erhöhtem Zugriff überzugehen.²

Mit Accenture und Faculty arbeiten wir an einer ehrgeizigen Partnerschaft die die Evaluierung und das Red-Teaming von Modellen, die Durchführung von Alignment-Assessments, das Testen von Modell-Sicherheitsvorkehrungen und den Aufbau von Kompetenzen in unseren Organisationen umfasst.

Wir binden Evaluatoren freiwillig ein, und wir sind der Ansicht, dass jedes KI-Frontier-Unternehmen dies ebenfalls tun sollte.

Fußnoten

1. Da diese Evaluatoren (wie Bankprüfer) möglicherweise auch mit anderen Unternehmen zusammenarbeiten, üben wir Vorsicht hinsichtlich der Möglichkeit versehentlicher Leaks. Informationen über Architekturen bergen ein hohes Risiko versehentlicher Leaks, und ihre Relevanz für die Risikobewertung ist in der Regel gering. Wenn sie hochrelevant ist, werden wir im Allgemeinen versuchen, sie weiterzugeben, wobei dies explizite interne Genehmigungen erfordern wird.
2. Aktualisiert am 15. Oktober, um die aktuellen Projektbedingungen von SecureBio mit Anthropic zu präzisieren.

Verwandte Inhalte

Vorbereitung auf die US-Zwischenwahlen 2026

Anfang dieses Jahres haben wir ein Update zu unseren Schutzmaßnahmen für Wahlen geteilt. Hier erläutern wir, wie wir diese Schutzmaßnahmen im Vorfeld der diesjährigen US-Zwischenwahlen weiter gestärkt haben.

Anthropic eröffnet Büro in Singapur und unterzeichnet MOU mit der Regierung von Singapur

Anthropic hat ein Büro in Singapur eröffnet und mit der Regierung des Landes ein MOU unterzeichnet, um eine sichere und verantwortungsvolle KI-Einführung voranzutreiben.

Update der Nutzungsrichtlinie 2026

Wir veröffentlichen eine neue Version unserer Nutzungsrichtlinie. In diesem Beitrag fassen wir die vorgenommenen Änderungen zusammen.