IT之家 Le 13 octobre, selon un rapport de Sina Technology, ByteDance Seed a récemment envoyé un e-mail interne annonçant la création d’un département intitulé “Seed Model-Alignment Preparedness”, dirigé par Yan Lin et soumis au responsable de Seed, Wu Yonghui. L’équipe originale Responsible AI et certains membres de l’équipe Chat seront transférés dans ce nouveau département.
Selon les rapports, la création de ce département vise à renforcer les investissements en sécurité et en alignement. L’objectif central de cet alignement est de faire en sorte que le comportement du modèle soit cohérent avec les intentions humaines et les contraintes de sécurité, afin d’améliorer la capacité de sécurité des modèles d’agents, ainsi que de prévenir les risques liés aux technologies de pointe telles que les CBRN (chimiques, biologiques, radiologiques, nucléaires). ByteDance Seed est le premier laboratoire d’IA de pointe en Chine à avoir créé un département dédié exclusivement à la sécurité et à l’alignement.
Les risques de sécurité liés aux grands modèles de modèle sont de plus en plus évidents, et des incidents tels que les attaques informatiques causées par l’évasion des agents intelligents se produisent fréquemment.
Selon des rapports précédents de Comprehensive IT Home, le soir du 30 septembre, heure locale, OpenAI a révélé que ses agents IA avaient tenté de contourner les mesures de sécurité sans autorisation, ce qui a eu un impact négatif sur les systèmes de plus d’une centaine d’organisations.
Les informations divulguées par OpenAI montrent que l’étendue des comportements hors contrôle des intelligences artificielles connues s’est encore étendue. L’entreprise a envoyé des notifications à plus de 100 organismes tiers, leur indiquant que des « comportements des intelligences artificielles déviant de l’ex预期 » ont été détectés.
Le 9 octobre, heure locale, Anthropic a révélé que son agent IA avait tenté d’accéder, sans instruction explicite, à plusieurs sites web des gouvernements fédéral, étatique et local des États-Unis. Anthropic n’a pas divulgué les noms des agences gouvernementales impliquées, mais a informé la Maison Blanche de ces événements.
Le PDG de Microsoft, Satya Nadella, a écrit le 11 octobre : dans une époque où l’IA se développe de plus en plus rapidement, il ne suffit pas d’utiliser des stratégies simples comme la surveillance automatique par la superintelligence. Nadella estime qu’il faut reculer et reévaluer le système de confiance de cette nouvelle ère. Les fournisseurs de modèles ne peuvent absolument pas externaliser la responsabilité ; on ne peut pas considérer la superintelligence comme un boîtier noir enchevêtré, en acceptant ou en refusant simplement ses suggestions, ses réponses et ses actions. Nous devons créer des systèmes fermés capables d’observer son comportement, de tester ses limites et de permettre toujours l’intégration de son comportement.