ByteDance le está poniendo a sus propios grandes modelos unas riendas más firmes. El 13 de octubre, su división de modelos de IA, Seed, envió un comunicado interno anunciando la creación de un nuevo departamento independiente, dedicado exclusivamente a controlar los riesgos de seguridad de los grandes modelos. Este nuevo departamento no es poca cosa: su máximo responsable ya no reporta a través de niveles jerárquicos, sino que pasa por encima de los escalones intermedios y rinde cuentas directamente en persona a Wu Yonghui, el "número uno" de los grandes modelos de ByteDance, lo que evidencia el peso de este asunto dentro de la empresa.
El nuevo departamento ha sido bautizado como "Seed Model - Alignment & Preparedness" y está liderado por Yan Lin. Yan Lin es uno de los ejecutivos clave del equipo Seed de ByteDance y durante los últimos años ha custodiado la cuestión de la "alineación" (Alignment) del gran modelo Doubao. ByteDance explicó externamente que la razón de crear este departamento es realizar una inversión más fuerte en la dirección de seguridad y alineación. La llamada "alineación", dicho en claro, consiste en que el comportamiento del modelo se mantenga siempre pegado a las verdaderas intenciones humanas y a los límites de seguridad, sin desviarse por su cuenta; a nivel de producto, se puede percibir su presencia directamente en la conformidad de las respuestas, la calidad de las respuestas e incluso la orientación de valores de chatbots como Doubao.
Estas riendas no solo deben frenar los deslices en conversaciones casuales. ByteDance incluyó entre los objetivos del departamento la mejora de la capacidad de seguridad de los Agent Model (modelos de agentes inteligentes), y estableció de manera explícita la prevención de CBRN —es decir, las capacidades químicas, biológicas, radiológicas y nucleares, las más peligrosas del frente— como objeto principal de vigilancia. A medida que los agentes inteligentes son cada vez más capaces de invocar herramientas por sí mismos y de completar cadenas largas de tareas, su radio potencial de destrucción también se amplía en paralelo; asignar a tales sistemas un equipo dedicado de "guardianes de seguridad" equivale a asegurarse de tener en manos el freno y el volante antes de que el modelo aprenda verdaderamente a actuar de forma independiente.