ByteDance Seed a récemment envoyé un courriel interne annonçant la création du département « Seed Model-Alignment&Preparedness », dirigé par Yan Lin, qui rendra compte à Wu Yonghui, responsable de Seed. L'ancienne équipe Responsible AI ainsi que certains membres de l'équipe Chat seront transférés dans le nouveau département.
Selon toute vraisemblance, la création de ce département vise à renforcer les investissements dans les domaines de la sécurité et de l'alignement ; l'alignement consiste essentiellement à faire en sorte que le comportement des modèles reste cohérent avec les intentions humaines et les contraintes de sécurité, afin d'améliorer les capacités de sécurité des Agent Model (modèles d'agents) ainsi que de prévenir les risques liés aux capacités de pointe telles que CBRN (chimique, biologique, radiologique, nucléaire).
Les risques de sécurité liés aux grands modèles deviennent de plus en plus saillants, et des incidents tels que des cyberattaques provoquées par l'évasion d'agents intelligents se produisent fréquemment. Auparavant, les travaux de sécurité et d'alignement des équipes chinoises de recherche sur les grands modèles étaient pour la plupart intégrés dans le système global de conformité de sécurité des entreprises ; ByteDance Seed est quant à elle le premier laboratoire d'IA de pointe en Chine à créer une unité dédiée à la sécurité et à l'alignement.
L'équipe Seed juge en interne qu'avec des modèles de plus en plus performants et des scénarios d'application de plus en plus complexes, la sécurité et l'alignement ne sont plus seulement une prévention des risques, mais une capacité essentielle qui détermine si un modèle peut être déployé à grande échelle.
Selon les informations disponibles, le département Sécurité et Alignement de Seed continuera d'investir dans des domaines tels que l'élaboration des spécifications des modèles, la construction d'un système d'évaluation de la sécurité, l'entraînement à l'alignement, la mise en place de systèmes de protection et la surveillance des risques, tout en renforçant la coopération publique avec les instituts de recherche externes et les organismes d'évaluation tiers, afin de permettre aux modèles de pointe d'accomplir efficacement leurs tâches dans le respect des contraintes de sécurité et d'autorisation, de réduire continuellement les risques d'abus et d'écart de comportement à mesure que les capacités et l'autonomie des modèles augmentent, et d'établir un système de sécurité complet face aux risques inconnus.
Leifeng Wang Leifeng Wang (compte public : Leifeng Wang)