ByteDance Seed anunció recientemente la creación del departamento “Seed Model-Alignment & Preparedness”, encabezado por Yan Lin, quien reporta al responsable de Seed, Wu Yonghui. El antiguo equipo de Responsible AI y parte de los miembros del equipo de Chat se trasladarán al nuevo departamento, para fortalecer aún más la inversión en el ámbito de la seguridad y la alineación de modelos.
El nuevo departamento se centrará en mejorar las capacidades de seguridad de los modelos de agentes (Agent Model) y en prevenir los riesgos potenciales derivados de capacidades de frontera como las químicas, biológicas, radiológicas y nucleares (CBRN). Su trabajo abarcará la elaboración de especificaciones de modelos, la construcción de un sistema de evaluación de seguridad, el entrenamiento de alineación, el desarrollo de sistemas de protección y la monitorización de riesgos, además de fortalecer la colaboración pública con instituciones de investigación externas y organismos de evaluación de terceros.
Según se sabe, a medida que las capacidades y la autonomía de los grandes modelos aumentan constantemente, los problemas de seguridad como la desviación del comportamiento de los modelos respecto a lo esperado, el uso indebido de agentes y los ciberataques reciben mayor atención. Anteriormente, el trabajo de seguridad y alineación de los equipos de grandes modelos en China se integraba en su mayoría en el sistema general de seguridad y cumplimiento de las empresas. Este ajuste significa que Seed construirá la seguridad y la alineación como una función independiente. Según la información disponible, ByteDance Seed es el primer laboratorio de IA de frontera en China que establece un departamento independiente de seguridad y alineación.
Dentro de Seed se considera que la seguridad y la alineación no solo guardan relación con la prevención de riesgos, sino que también influyen en la capacidad de los modelos para aplicarse a gran escala en escenarios complejos. El nuevo departamento se dedicará a garantizar que los modelos de frontera ejecuten tareas de manera eficaz bajo normas de seguridad y restricciones de autorización, a reducir continuamente los riesgos de uso indebido de los modelos y de desviación del comportamiento, y a perfeccionar un sistema de seguridad orientado a riesgos desconocidos.