ByteDance Seed escinde un departamento independiente de seguridad y alineación, encabezado por Yan Lin, dedicado a prevenir que los agentes…

ByteDance Seed escinde un departamento independiente de seguridad y alineación, encabezado por Yan Lin, dedicado a prevenir que los agentes inteligentes crucen límites y los riesgos CBRN

AIbase基地

El equipo Seed de ByteDance envió recientemente un correo interno anunciando la creación de un nuevo departamento llamado Seed Model-Alignment&Preparedness, formado por el antiguo equipo Responsible AI y parte de los miembros del equipo Chat, encabezado por Yan Lin, quien reporta directamente al responsable de Seed, Wu Yonghui. Sacar la seguridad y la alineación por separado para crear un departamento de primer nivel significa que la inversión de esta empresa en la seguridad de modelos se eleva a una nueva magnitud.

El núcleo del término alineación es muy directo: que el comportamiento del modelo se mantenga siempre pegado a las intenciones humanas y a las restricciones de seguridad, sin desviarse ni actuar por su cuenta. Los dos grandes retos que el nuevo departamento debe abordar también están claros: primero, mejorar la capacidad de seguridad de los Agent Model, es decir, los modelos de agentes inteligentes; segundo, prevenir riesgos de capacidades frontera como CBRN. CBRN se refiere a químico, biológico, radiológico y nuclear, todos dominios de capacidad que, si un modelo los libera indebidamente, pueden causar consecuencias graves. En otras palabras, cuando los agentes de ByteDance empiecen a realizar tareas complejas por su cuenta, primero deberán ser domesticados en una jaula antes de ser soltados a trabajar.

Este artículo proviene del diario de AIbase

¡Bienvenido a la sección [AI日报]! Aquí tienes tu guía diaria para explorar el mundo de la inteligencia artificial. Cada día te presentamos los temas destacados del ámbito de la IA, con foco en los desarrolladores, para ayudarte a comprender las tendencias tecnológicas y conocer aplicaciones innovadoras de productos de IA.