ByteDance Seed spaltet Abteilung für Sicherheitsausrichtung aus, Yan Lin übernimmt die Führung und soll speziell Grenzüberschreitungen von…

ByteDance Seed spaltet Abteilung für Sicherheitsausrichtung aus, Yan Lin übernimmt die Führung und soll speziell Grenzüberschreitungen von Agenten und CBRN-Risiken verhindern

AIbase Basis

Das ByteDance-Team Seed hat kürzlich eine interne E-Mail verschickt, in der die Gründung einer neuen Abteilung namens Seed Model-Alignment&Preparedness angekündigt wurde, in die das bisherige Responsible-AI-Team und Teile der Chat-Team-Mitglieder überführt werden. Geleitet wird sie von Yan Lin und berichtet direkt an den Seed-Leiter Wu Yonghui. Dass Sicherheit und Alignment als eigenständige Abteilung auf oberster Ebene ausgegliedert werden, bedeutet, dass die Investitionen dieses Unternehmens in die Modellsicherheit auf eine neue Größenordnung angehoben werden.

Der Kern des Begriffs Alignment ist sehr unmittelbar: Das Verhalten von Modellen soll stets an den menschlichen Absichten und Sicherheitsbeschränkungen entlanggehen, nicht abdriften und nicht eigenmächtig handeln. Die zwei harten Nüsse, die die neue Abteilung zu knacken hat, sind ebenfalls klar: Erstens die Sicherheitsfähigkeiten von Agent Models, also Agentenmodellen, zu verbessern, und zweitens Risiken durch CBRN und ähnliche Fähigkeiten an der Grenze des Möglichen abzuwehren. CBRN steht für chemische, biologische, radiologische und nukleare Fähigkeiten – allesamt Fähigkeitsbereiche, die, einmal von einem Modell unsachgemäß freigesetzt, schwerwiegende Folgen haben können. Mit anderen Worten: Wenn ByteDances Agenten beginnen, komplexe Aufgaben eigenständig auszuführen, müssen sie erst im Käfig gezähmt werden, bevor man sie zum Arbeiten hinauslässt.

Dieser Artikel stammt aus dem AIbase-Tagesbericht

Willkommen in der Rubrik [KI-Tagesbericht]! Hier ist dein täglicher Wegweiser zur Erkundung der Welt der künstlichen Intelligenz. Jeden Tag präsentieren wir dir die wichtigsten Themen aus dem KI-Bereich mit Fokus auf Entwickler, damit du technologische Trends durchschaust und innovative KI-Produkte und -Anwendungen kennenlernst.