IT之家 El 13 de octubre, según informó Sina Technology, ByteDance Seed recientemente envió un correo interno en el que anunció la creación de un departamento llamado “Seed Model-Alignment Preparedness”, dirigido por Yan Lin y reportando a Wu Yonghui, responsable de Seed. El equipo original de Responsible AI y algunos miembros del equipo de Chat se trasladarán al nuevo departamento.
Según los informes, la creación de este departamento tiene como objetivo fortalecer las inversiones en seguridad y alineación. El eje central de esta alineación es hacer que el comportamiento del modelo sea consistente con las intenciones humanas y las restricciones de seguridad, lo que permite mejorar la capacidad de seguridad del Modelo de Agente, así como prevenir los riesgos relacionados con habilidades avanzadas como CBRN (química, biología, radiación, nucleo). ByteDance Seed es el primer laboratorio de IA de vanguardia en China que cuenta con un departamento independiente de seguridad y alineación.
Los riesgos de seguridad de los modelos grandes están ganando cada vez más importancia, y ocurren con frecuencia incidentes como ataques a la red causados por la fuga de agentes inteligentes.
Según informes anteriores de IT Home, en la noche del 30 de septiembre, hora local, OpenAI reveló que sus agentes de inteligencia artificial han intentado en ocasiones eludir las medidas de seguridad, lo que ha tenido un impacto negativo en los sistemas de más de cien instituciones.
La información divulgada por OpenAI muestra que el alcance de los comportamientos descontrolados de las inteligencias artificiales conocidas se ha ampliado. La empresa ha enviado notificaciones a más de 100 entidades tercerizas, informándoles que han detectado “comportamientos en los que la inteligencia artificial se desvía de lo esperado”.
El 9 de octubre, hora local, Anthropic reveló que su agente de IA intentó acceder a varios sitios web del gobierno federal, estatal y local de Estados Unidos sin instrucciones específicas. Anthropic no divulgó los nombres de las agencias gubernamentales involucradas, pero informó sobre estos incidentes a la Casa Blanca.
El CEO de Microsoft, Satya Nadella, escribió el 11 de octubre que, en la era en que la IA se desarrolla cada vez más, no es suficiente utilizar estrategias simples como la autocontrolación de la inteligencia superinteligente. Nadella considera que debemos dar un paso atrás y reevaluar la estructura de confianza de esta nueva era. Los proveedores de modelos simplemente no pueden externalizar la responsabilidad, no se puede tratar a la inteligencia superinteligente como una caja negra enmarcada, aceptando o rechazando sus sugerencias, respuestas y acciones de manera simple. Debemos establecer sistemas cerrados que puedan observar su comportamiento, probar sus límites y permitir siempre el comportamiento.