IT之家 Bericht vom 19. Oktober: Anthropic hat externen Bewertungsteams „den gleichen Zugriff wie Mitarbeiter“ gegeben, um die Risiken ihrer Modelle zu bewerten. Damit hält das Unternehmen sein Versprechen ein und verstärkt die Sicherheitsmaßnahmen, um die Bedenken bezüglich einer katastrophalen Auslösung dieser Technologie auszuräumen.
Die gemeinnützige Organisation METR hat mit führenden Laboren wie OpenAI, Anthropic, Google und Meta zusammengearbeitet. Heute hat die Organisation eine Abteilung in den Büros des Claude-Entwicklungsunternehmens untergebracht, wodurch sie Zugang zu den Hardwaregeräten und internen Systemen haben kann.
Da die leistungsfähigeren KI-Systeme möglicherweise Risiken für die Wirtschaft, die Netzwerksicherheit und sogar für die gesamte Menschheit mit sich bringen könnten, gibt es immer mehr Besorgnis. Die Ausweitung der Befugnisse von Drittmessern ist eine der wichtigsten inhaltlichen Maßnahmen, die die verschiedenen Labore vorschlagen.
Der CEO von Anthropic, Dario Amodei, führte im September eine seltene Positionierung herbei. Seine beiden größten Gegner, Sam Altman und Elon Musk, unterstützten seinen Vorschlag, externe Auditor:innen in die führenden KI-Labore zu stellen.
Der letzten Donnerstag in der örtlichen Zeit vorliegende Ankündigung ist der erste Schritt zur Umsetzung des oben genannten Versprechens. Obwohl Ortemann sagte, dass Amodis Vorschlag gut sei, hat OpenAI noch keine Pläne zur Einbindung von Bewertungspersonal bekanntgegeben.
Anthropic sagte am Donnerstag: „Mit der zunehmenden Fähigkeit des Modells sind stärkere Sicherheitsmaßnahmen sowie strengere Risikobewertungen erforderlich. Wir wollen, dass die von uns getroffenen Entscheidungen einer öffentlichen Überwachung unterliegen, aber wir können keine Informationen bezüglich aller Sicherheitsforschungen öffentlich machen.“
Gegen das Bewertungssystem von Anthropic behaupten Kritiker, dass die damit verbundenen Arrangements möglicherweise Interessenkonflikte verursachen könnten. Sie liefern dies mit Problemen in der Auditsbranche als Beweis und fordern stärkere Regulierungen durch die Regierung.
Anthropic behauptet, dass die Offenlegung relevanter Informationen von böswilligen Benutzern oder Wettbewerbern genutzt werden könnte. Das Unternehmen fügt hinzu, dass das Vorgehen der Bewertungsbehörden ähnlich dem von Bankenregulierungen ist, bei denen Aufsichtsbeamte in große Banken stationiert werden.
Die Firma sagte: „Wenn das Risiko, das ein Bankunternehmen eingeht, den öffentlichen Interessen schadet, wird eine Dritte Partei versuchen, solche Bedrohungen im Voraus zu erkennen.“
Anthropic steht gleichzeitig unter Druck und muss den Investoren versichern, dass Sicherheitsprobleme die IPO, die dieses Jahr stattfinden soll, nicht beeinflussen werden. Der Wert der IPO wird voraussichtlich über 2 Billionen US-Dollar liegen (IT Home Hinweis: Im aktuellen Wechselkurs entspricht das etwa 13,39 Billionen RMB). In dieser Woche hat das Unternehmen in seinen Investorenmaterialien viel Platz für die Beschreibung seiner Sicherheitsmaßnahmen eingeplant.
Zuvor erlitt Hugging Face einen Angriff durch ein unkontrolliertes OpenAI-Modell. METR ist eine der Institutionen, die an der Untersuchung teilgenommen haben. Damals durchsuchte diese Institution Tausende von Logs und verwendete außerdem Laptops, die von Unternehmen bereitgestellt wurden.
Anthropic hat bereits sechs METR-Mitarbeiter aufgenommen, ihnen Unternehmenshardware und Bürofläche zur Verfügung gestellt und ihnen Zugang zu internen Tools und Systemen gewährt – ähnlich dem Zugang, den das Risikomanagement-Team des Unternehmens erhält.
Das Labor teilt mit, dass Mitarbeiter ermutigt werden, Informationen mit den Bewertungspersonal zu teilen, ähnlich wie es bei der Zusammenarbeit mit Kollegen aus der Risikabehörde geschieht.
Anthropic wird für diese Zusammenarbeit keine Gebühren an METR zahlen. Die Forschungseinrichtung akzeptiert keine Spenden von KI-Unternehmen und deren Mitarbeitern; die Finanzierung stammt von Einzelpersonen, Wohltätigkeitsorganisationen sowie von Regierungsinstitutionen wie dem British Artificial Intelligence Safety Institute.
Die Bewertungsmitglieder werden einen Analysebericht veröffentlichen. Anthropic hat kein Recht, die Veröffentlichung zu verhindern. Allerdings kann das Unternehmen die Bewertungsmitglieder bitten, Informationen bestimmter Kategorien zu streichen, wie z. B. Kundendaten, Inhalte, die durch den Rechtsanwaltsgeheimnisrechten geschützt sind, oder Informationen über die Modellarchitektur.
Anthropic ergänzt weiterhin die Zusammenarbeit mit Accenture. Accenture wurde letzten Monat als Sicherheitstestpartner identifiziert, und beide Parteien versprechen, mindestens 1,0 Milliarden US-Dollar (entsprechend etwa 6,693 Milliarden RMB) in den Aufbau eines neuen Sicherheitssystems zu investieren.
Die andere Drittmittel-Teststelle ist SecureBio, die für das Unternehmen die Risiken im Zusammenhang mit chemischen und biologischen Waffen überprüft.
Anthropic sagte: „Wir stellen aktive Beobachter zur Bewertung ein und glauben, dass alle führenden KI-Unternehmen diesem Vorgehen folgen sollten.“ METR sagte: „Wir sind bereit, mit allen führenden KI-Forschungsunternehmen zusammenzuarbeiten, um dem Publikum zuverlässigere Beweise zu liefern.“