Anthropic gewährt sechs Forschern von METR, einer gemeinnützigen Organisation, die KI-Grenzenmodelle testet, Zugang auf Mitarbeiterebene, um Anthropics Modelle, Sicherheitspraktiken und Risikomanagement unabhängig zu bewerten, wie das Unternehmen in einem Blogbeitrag am Donnerstag mitteilte.
Die Vereinbarung kommt zu einer Zeit, in der seit Ende August Vorfälle von KI-Agenten, die außerhalb ihrer Anweisungen handeln, alle ein, zwei Wochen gemeldet werden. Die Vorfälle haben die Forderungen nach unabhängigen Kontrollen von KI-Unternehmen verschärft. „Wir wollen für die Entscheidungen, die wir treffen, öffentlich zur Verantwortung gezogen werden „, sagte Anthropic im Blogbeitrag. „Wir wollen die Lücke zwischen dem, was Bewerter über die Systeme eines KI-Grenzenunternehmens verstehen, und dem, was das Unternehmen selbst versteht, schließen. Im Rahmen der neuen Vereinbarung verfügen die METR-Teams über von Anthropic gestellte Firmenlaptops, Büroräume und Zugang zu internen Tools, die etwa dem entsprechen, was Anthropics eigene Risikobewertungsteams nutzen. „Anthropic-Mitarbeiter werden ermutigt, Informationen mit ihnen zu teilen, so wie sie es mit einem Kollegen tun würden, der an Alignment-Risiken arbeitet „, sagte das Unternehmen.
Anthropic verglich die Vereinbarung mit dem Bankwesen, ähnlich wie Aufsichtsbehörden residente Prüfer in die größten Banken entsenden.
METR wird eigene Bewertungen der Risiken, Vorfälle und Praktiken von Anthropic veröffentlichen, und das Unternehmen hat auf das Recht verzichtet, dies zu blockieren.
„Anthropic kann die Veröffentlichung nicht verhindern, aber wir können verlangen, dass sie Informationen schwärzen, wenn diese in schmale, vordefinierte Kategorien fallen
„, sagte das Unternehmen, etwa Kundendaten, alles, was dem anwaltlichen Berufsgeheimnis unterliegt, oder Informationen über seine Modellarchitekturen. „METR kann unsere Schwärzungen öffentlich bewerten und sagen, ob es der Ansicht ist, dass die Schwärzungen gerechtfertigt waren, solange es dies tut, ohne die geschwärzten Informationen preiszugeben
„Anthropic kann die Veröffentlichung nicht vetoieren, aber wir können von ihnen verlangen, dass sie Informationen schwärzen, wenn diese in enge, vordefinierte Kategorien fallen“, erklärte das Unternehmen, wie etwa Kundendaten, alles, was dem Attorney-Client-Privileg unterliegt, oder Informationen zu seinen Modellarchitekturen. „METR kann unsere Schwärzungen öffentlich charakterisieren und sagen, ob es der Ansicht ist, dass die Schwärzungen gerechtfertigt waren, solange es dies tut, ohne die geschwärzten Informationen preiszugeben“, fügte Anthropic hinzu.
METR ist bisher der einzige Bewerter an der Spitze eines dreistufigen Systems, das Anthropic aufbaut. Bewerter in der untersten Stufe, wie die Biosicherheits-Organisation SecureBio, führen schmale Überprüfungen durch und benötigen Anthropics Genehmigung zur Veröffentlichung. Die mittlere Stufe erhält mehr Informationen und kann ohne Genehmigung veröffentlichen, während die oberste Stufe METR den Zugang auf Mitarbeiterebene gewährt.
Die Ankündigung am Donnerstag löst ein Versprechen ein, das Anthropic-CEO Dario Amodei in einem September-Essaygegeben hatte, in dem er vorschlug, externe Bewerter in KI-Labore zu integrieren als ersten Schritt zur Verlangsamung der technologischen Entwicklung. OpenAI hat sich rasch zu demselben Schritt verpflichtet, und beide Unternehmen haben zusammen mit Google, Meta, Nvidia und xAI seitdem eine Vereinbarung des Weißen Hauses unterzeichnet, die sich zur unabhängigen Überprüfung verpflichtet.