ByteDance Seed sépare un département dédié à la sécurité et à l'alignement, Yan Lin à sa tête pour prévenir les débordements des agents…

ByteDance Seed sépare un département dédié à la sécurité et à l'alignement, Yan Lin à sa tête pour prévenir les débordements des agents intelligents et les risques CBRN

Base AIbase

L'équipe Seed de ByteDance a récemment envoyé un e-mail interne annonçant la création d'un nouveau département nommé Seed Model-Alignment&Preparedness, composé de l'ancienne équipe Responsible AI et de certains membres de l'équipe Chat, dirigé par Yan Lin, qui rendra compte directement au responsable de Seed, Wu Yonghui. Sortir la sécurité et l'alignement pour en faire un département de premier niveau signifie que l'investissement de cette entreprise dans la sécurité des modèles est porté à un nouveau palier.

Le cœur du terme « alignement » est très simple : faire en sorte que le comportement du modèle reste toujours fidèle aux intentions humaines et aux contraintes de sécurité, sans dévier ni agir de sa propre initiative. Les deux chantiers difficiles que le nouveau département devra affronter sont clairs : d'une part, renforcer les capacités de sécurité des Agent Model, c'est-à-dire des modèles agents intelligents, et d'autre part, prévenir les risques liés aux capacités de pointe telles que le CBRN. Le CBRN désigne le chimique, le biologique, le radiologique et le nucléaire, autant de domaines de capacités qui, s'ils étaient libérés de manière inappropriée par un modèle, pourraient avoir de graves conséquences. Autrement dit, lorsque les agents intelligents de ByteDance commencent à accomplir eux-mêmes des tâches complexes, ils doivent d'abord être apprivoisés dans une cage avant d'être lâchés pour travailler.

Cet article provient de la revue quotidienne d'AIbase

Bienvenue dans la rubrique [Revue quotidienne IA] ! C'est votre guide pour explorer chaque jour le monde de l'intelligence artificielle. Chaque jour, nous vous présentons les actualités phares du domaine de l'IA, avec un focus sur les développeurs, pour vous aider à comprendre les tendances technologiques et à découvrir les applications de produits IA innovants.