ByteDance est en train d'attacher une bride plus solide à ses propres grands modèles. Le 13 octobre, son département de modèles IA, Seed, a adressé une notification interne annonçant la création d'un nouveau département distinct, chargé spécifiquement de contrôler les risques de sécurité des grands modèles. Ce nouveau département a un poids considérable — son responsable ne rend plus compte par paliers hiérarchiques, mais rend directement compte, en passant par-dessus les niveaux intermédiaires, à Wu Yonghui lui-même, le « numéro un » des grands modèles de ByteDance, ce qui montre bien le poids de cette affaire en interne dans l'entreprise.
Le nouveau département a été nommé « Seed Model - Alignment & Preparedness » et est dirigé par Yan Lin. Yan Lin est l'un des cadres dirigeants clés de l'équipe Seed de ByteDance, et depuis plusieurs années, il garde la porte de l'« alignement » (Alignment) du grand modèle Doubao. ByteDance a expliqué en externe que la raison d'être de ce département est d'investir davantage dans les axes de la sécurité et de l'alignement. L'« alignement », pour le dire simplement, consiste à faire en sorte que les actes du modèle suivent toujours les véritables intentions humaines et les limites de sécurité, sans dévier de lui-même ; au niveau des produits, on peut le ressentir directement dans la conformité des réponses, la qualité des questions-réponses, et même l'orientation des valeurs de chatbots comme Doubao.
Cette bride ne doit pas seulement retenir les lapsus lors des conversations. ByteDance a inscrit dans les objectifs du département l'amélioration des capacités de sécurité des Agent Models (modèles agents), et a explicitement désigné la prévention des risques CBRN — c'est-à-dire chimiques, biologiques, radiologiques et nucléaires, ces capacités de pointe les plus dangereuses — comme cible de surveillance prioritaire. À mesure que les agents deviennent de plus en plus capables d'appeler des outils par eux-mêmes et d'accomplir seuls des tâches à longues chaînes, leur rayon de destruction potentiel s'amplifie en parallèle ; doter un tel système d'une équipe dédiée de « gardiens de la sécurité », c'est s'assurer de tenir les freins et le volant entre les mains humaines avant que le modèle n'apprenne réellement à agir de manière autonome.