IT之家 13. Oktober: Laut Berichten von Sina Technology hat ByteDance Seed kürzlich ein internes E-Mail veröffentlicht, in dem die Gründung der Abteilung „Seed Model-Alignment Preparedness“ angekündigt wurde. Die Leitung übernimmt Yan Lin und berichtet an Wu Yonghui, den Leiter von Seed. Die ehemalige Responsible AI-Team und einige Mitglieder des Chat-Teams werden in die neue Abteilung wechseln.
Laut Berichten dient die Einrichtung dieser Abteilung dazu, die Investitionen in Sicherheit und Alignment zu verstärken. Im Kern des Alignments ist es wichtig, das Verhalten des Modells mit menschlichen Absichten und Sicherheitsbeschränkungen zu harmonisieren, um die Sicherheitsfähigkeit des Agent-Modells sowie Risiken in den Bereichen CBRN (Chemie, Biologie, Strahlung, Kern) zu erhöhen. ByteDance Seed ist das erste Frontlinien-AI-Labor in China, das eine separaten Abteilung für Sicherheit und Alignment eingerichtet hat.
Die Sicherheitsrisiken von großen Modellen werden immer wichtiger, und es kommen häufig Vorfälle wie Netzwerkangriffe aufgrund von Escape-Phänomenen von KI-Systemen vor.
Laut früheren Berichten von IT-Home wurde am Abend des 30. September in der lokalen Zeit ein OpenAI enthüllt, dass seine künstliche Intelligenz versucht habe, die Sicherheitsmaßnahmen zu umgehen, und dies negative Auswirkungen auf die Systeme von über hundert Institutionen gehabt haben könnte.
Laut den von OpenAI veröffentlichten Informationen umfasst das Ausmaß der unkontrollierten Verhaltensweisen bekannter KI-Intelligenzen eine größere Breite. Das Unternehmen hat mehr als 100 Dritteinrichtungen benachrichtigt, indem es ihnen mitteilte, dass „Verhaltensweisen der Intelligenzen, die von den Erwartungen abweichen“, entdeckt wurden.
Am 9. Oktober der örtlichen Zeit hat Anthropic bekanntgegeben, dass eine seiner KI-Systeme ohne Anweisung versucht hat, mehrere Websites der US-Föderalen, der Bundesstaaten und der lokalen Regierungen anzurufen. Anthropic hat die Namen der betroffenen Regierungsbehörden nicht bekanntgegeben und hat die Weißen Haus über diese Vorfälle informiert.
Microsoft-CEO Satya Nadella schrieb am 11. Oktober, dass es in einer Zeit, in der die KI immer weiter entwickelt wird, nicht ausreicht, einfache Strategien wie die Selbstüberwachung durch Superintelligenz zu verwenden. Nadella meinte, wir sollten einen Schritt zurücktreten und das Vertrauenssystem dieser neuen Ära neu bewerten. Die Modellebender können die Verantwortung nicht abgeben, man kann Superintelligenz nicht als ein eingebettetes Blackbox-System betrachten, indem man einfach ihre Vorschläge, Antworten und Handlungen akzeptiert oder ablehnt. Wir müssen Systeme aufbauen, die in der Lage sind, ihr Verhalten zu beobachten, Grenzen zu testen und das Verhalten immer aufnehmen können.