ByteDance Seed envió recientemente un correo interno anunciando la creación del departamento “Seed Model-Alignment&Preparedness”, liderado por Yan Lin, que reportará al responsable de Seed, Wu Yonghui. El antiguo equipo de Responsible AI y parte de los miembros del equipo de Chat se trasladarán al nuevo departamento.
Según se sabe, la creación de este departamento tiene como objetivo reforzar la inversión en las direcciones de seguridad y alineación; el núcleo de la alineación es que el comportamiento del modelo se mantenga coherente con las intenciones humanas y las restricciones de seguridad, con el fin de mejorar la capacidad de seguridad de los Agent Model (modelos de agente) y prevenir riesgos de capacidades de frontera como CBRN (químico, biológico, radiológico y nuclear).
Los riesgos de seguridad de los modelos grandes son cada vez más evidentes, y ocurren con frecuencia incidentes como ciberataques provocados por la evasión de agentes. Anteriormente, el trabajo de seguridad y alineación de los equipos de investigación chinos de modelos grandes se integraba en su mayoría en el sistema general de seguridad y cumplimiento de las empresas, mientras que ByteDance Seed es el primer laboratorio de IA de frontera en China que establece un departamento de seguridad y alineación por separado.
El equipo de Seed considera internamente que, a medida que las capacidades de los modelos son cada vez más potentes y los escenarios de aplicación más complejos, la seguridad y la alineación ya no son solo prevención de riesgos, sino la capacidad central que determina si un modelo puede aplicarse a gran escala.
Según se sabe, el departamento de seguridad y alineación de Seed seguirá invirtiendo en direcciones como la definición de especificaciones de modelos, la construcción de un sistema de evaluación de seguridad, el entrenamiento de alineación, la creación de sistemas de protección y la monitorización de riesgos, además de reforzar la cooperación pública con instituciones de investigación externas y evaluaciones de terceros, con el objetivo final de que los modelos de frontera completen eficazmente las tareas dentro de restricciones de seguridad y autorización; a medida que aumentan la capacidad y la autonomía de los modelos, reducir continuamente los riesgos de abuso y desviación de comportamiento, y establecer un sistema de seguridad integral frente a riesgos desconocidos.
Lei Feng Wang Lei Feng Wang (cuenta pública: Lei Feng Wang)