ByteDance Seed hat kürzlich eine interne E-Mail verschickt, in der die Gründung der Abteilung „Seed Model-Alignment&Preparedness“ angekündigt wird. Diese wird von Yan Lin geleitet und berichtet an den Seed-Leiter Wu Yonghui. Das bisherige Responsible-AI-Team sowie einige Mitglieder des Chat-Teams werden in die neue Abteilung überführt.
Wie berichtet, wurde diese Abteilung eingerichtet, um die Investitionen in den Bereichen Sicherheit und Alignment zu verstärken. Das Kernziel von Alignment besteht darin, das Verhalten von Modellen mit menschlichen Absichten und Sicherheitsbeschränkungen in Einklang zu bringen, um die Sicherheitsfähigkeiten von Agent Model (Agentenmodellen) zu verbessern sowie Risiken durch CBRN-Fähigkeiten (chemisch, biologisch, radiologisch, nuklear) und andere vorderste Fähigkeitsbereiche vorzubeugen.
Die Sicherheitsrisiken großer Modelle treten zunehmend deutlich hervor, und Vorfälle wie durch Agent-Escape ausgelöste Cyberangriffe häufen sich. Bisher wurden die Sicherheits- und Alignment-Arbeiten inländischer Forschungsteams für große Modelle meist in die gesamte unternehmensweite Sicherheits- und Compliance-Struktur integriert; ByteDance Seed ist dagegen das erste Frontier-AI-Labor in China, das eine eigenständige Abteilung für Sicherheit und Alignment eingerichtet hat.
Das Seed-Team geht intern davon aus, dass mit immer stärkeren Modellen und immer komplexeren Anwendungsszenarien Sicherheit und Alignment nicht mehr nur Risikoprävention sind, sondern eine Kernfähigkeit, die darüber entscheidet, ob Modelle großflächig eingesetzt werden können.
Es ist bekannt, dass die Abteilung für Sicherheit und Alignment von Seed kontinuierlich in Bereiche wie die Ausarbeitung von Modellspezifikationen, den Aufbau von Systemen zur Sicherheitsbewertung, Alignment-Training, die Errichtung von Schutzsystemen und die Risikoüberwachung investieren sowie die öffentliche Zusammenarbeit mit externen Forschungseinrichtungen und unabhängigen Bewertungsinstitutionen stärken wird. Ziel ist es, dass Frontmodellaufgaben wirksam innerhalb sicherheits- und autorisierungsbezogener Beschränkungen erfüllen, das Risiko von Missbrauch und Verhaltensabweichungen mit zunehmender Leistungsfähigkeit und Autonomie der Modelle kontinuierlich zu senken und ein umfassendes Sicherheitssystem für unbekannte Risiken aufzubauen.
Lei Feng Netzwerk Lei Feng Netzwerk (Öffentlicher Account: Lei Feng Netzwerk)