ByteDance Seed a récemment annoncé la création du département « Seed Model-Alignment & Preparedness », dirigé par Yan Lin, qui rendra compte à Wu Yonghui, responsable de Seed. L'ancienne équipe Responsible AI ainsi que certains membres de l'équipe Chat seront transférés dans le nouveau département, afin de renforcer davantage les investissements dans les domaines de la sécurité et de l'alignement des modèles.
Le nouveau département se concentrera sur l'amélioration des capacités de sécurité des modèles agents (Agent Model) et sur la prévention des risques potentiels liés aux capacités de pointe telles que chimiques, biologiques, radiologiques et nucléaires (CBRN). Son travail couvrira l'élaboration des normes des modèles, la construction d'un système d'évaluation de la sécurité, l'entraînement à l'alignement, la mise en place de systèmes de protection ainsi que la surveillance des risques, et il renforcera la coopération publique avec des institutions de recherche externes et des organismes d'évaluation tiers.
Selon les informations disponibles, à mesure que les capacités et l'autonomie des grands modèles ne cessent de croître, les problèmes de sécurité tels que les écarts de comportement des modèles par rapport aux attentes, les abus liés aux agents et les cyberattaques suscitent davantage d'attention. Auparavant, les travaux de sécurité et d'alignement des équipes chinoises de grands modèles étaient pour la plupart intégrés dans le dispositif global de sécurité et de conformité des entreprises. Cet ajustement signifie que Seed construira la sécurité et l'alignement en tant que fonction indépendante. Selon les informations disponibles, ByteDance Seed est le premier laboratoire d'IA de pointe en Chine à créer un département dédié à la sécurité et à l'alignement.
En interne, Seed considère que la sécurité et l'alignement concernent non seulement la prévention des risques, mais aussi la capacité des modèles à être déployés à grande échelle dans des scénarios complexes. Le nouveau département s'efforcera de garantir que les modèles de pointe exécutent efficacement leurs tâches dans le respect des normes de sécurité et des contraintes d'autorisation, de réduire continuellement les risques d'abus des modèles et d'écarts de comportement, et de perfectionner un système de sécurité face aux risques inconnus.