El director ejecutivo de Microsoft, Satya Nadella, publicó un texto largo en plataformas sociales el 10 de octubre, exigiendo públicamente que la industria introduzca un mecanismo de “parada de emergencia” para los modelos avanzados de inteligencia artificial, y evalúe completamente la estructura actual de confianza en la IA.
En respuesta a la rápida evolución de las tecnologías de inteligencia superinteligente actuales, Nadela señaló que la industria ya no puede seguir considerando ciegamente los modelos de caja negra complejos como algo omnisciente y omnipotente, sino que debe partir de la suposición defensiva de que “el modelo ha sido penetrado”, y adoptar una estrategia de gobierno de seguridad más prudente.
En el marco técnico específico, Nadera aboga por separar los modelos de IA subyacentes del marco de control que coordina sus tareas de trabajo, logrando la externalización de las medidas de control y seguridad. Subraya que toda operación significativa del modelo debe ir acompañada de evidencia de ejecución antialteración y legible para humanos, y asegura que los autorizados tengan el poder final de pausar o cerrar el modelo en todo momento durante la ejecución de la tarea. Esta propuesta coincide con el plan de desarrollo cauteloso presentado anteriormente por Dario Amodei, CEO de Anthropic, destacando la alta vigilancia que tienen los líderes tecnológicos líderes frente al riesgo de descontrolar los modelos de IA.
Según los analistas del sector, a medida que aumenta la autonomía de los modelos y su capacidad de agente, establecer estándares industriales transparentes, controlables y con capacidad de intervención externa se ha convertido en una tarea urgente para equilibrar la innovación tecnológica con las líneas de seguridad.