ByteDance Seed hat kürzlich die Gründung der Abteilung „Seed Model-Alignment & Preparedness“ angekündigt, die von Yan Lin geleitet wird und an den Seed-Leiter Wu Yonghui berichtet. Das bisherige Responsible-AI-Team sowie einige Mitglieder des Chat-Teams werden in die neue Abteilung wechseln, um die Investitionen im Bereich Modellsicherheit und Alignment weiter zu verstärken.
Die neue Abteilung wird sich schwerpunktmäßig auf die Verbesserung der Sicherheitsfähigkeiten von Agentenmodellen (Agent Model) konzentrieren und potenziellen Risiken vorbeugen, die durch Grenzenfähigkeiten wie chemische, biologische, radiologische und nukleare (CBRN) Bedrohungen entstehen. Ihre Arbeit wird die Erstellung von Modellstandards, den Aufbau von Systemen zur Sicherheitsbewertung, Alignment-Training, den Aufbau von Schutzsystemen und die Risikoverfolgung umfassen; zudem wird die Abteilung die offene Zusammenarbeit mit externen Forschungseinrichtungen und unabhängigen Bewertungsinstitutionen verstärken.
Nach verfügbaren Informationen erhalten Sicherheitsfragen wie abweichendes Modellverhalten, Missbrauch durch Agenten und Cyberangriffe mehr Aufmerksamkeit, da die Fähigkeiten und die Autonomie großer Modelle kontinuierlich zunehmen. Zuvor waren Sicherheits- und Alignment-Arbeiten großer Modellteams in China meist in die unternehmensweiten Systeme für Sicherheit und Compliance eingebunden. Diese Neustrukturierung bedeutet, dass Seed Sicherheit und Alignment als eigenständige Funktion aufbaut. Nach entsprechenden Informationen ist ByteDance Seed das erste KI-Grenzenlabor in China, das eine eigene Abteilung für Sicherheit und Alignment einrichtet.
Innerhalb von Seed ist man der Ansicht, dass Sicherheit und Alignment nicht nur mit der Risikovorsorge zusammenhängen, sondern auch darüber entscheiden, ob Modelle in komplexen Szenarien im großen Maßstab eingesetzt werden können. Die neue Abteilung wird sich darauf konzentrieren, sicherzustellen, dass Grenzenmodelle Aufgaben unter Einhaltung von Sicherheitsstandards und Berechtigungsbeschränkungen wirksam ausführen, die Risiken von Modellmissbrauch und Verhaltensabweichungen kontinuierlich senken und ein Sicherheitssystem für unbekannte Risiken ausbauen.