El CEO de Microsoft, Satya Nadella, es el último ejecutivo tecnológico que expone reflexiones detalladas sobre cómo podría mejorarse la seguridad de la IA.
En Un artículo del sábado por la mañana en XNadella escribió que ha llegado el momento de “retirarse y evaluar la arquitectura de confianza” de la IA.
“No podemos tratar a la Super Inteligencia como un conjunto de cajas negras anidadas y simplemente aceptar o rechazar sus recomendaciones, respuestas y acciones”, escribió Nadella, utilizando el término preferido por la administración Trump para AI.
Como lo explicó Nadella, este enfoque “significa separar el modelo del sistema que dirige su funcionamiento”, así como “externalizar los controles y las medidas de seguridad”. También pidió que “toda acción significativa relacionada con el modelo” esté documentada con “evidencia legible por humanos y resistente a manipulación”, y que en los sistemas donde “una persona autorizada” siempre tenga la capacidad “de detener o desactivar un modelo durante una tarea”.
“Debemos asumir que el modelo está comprometido y evitarlo desde el principio”, dijo. “Piensa en ello como un freno de emergencia”.
Los comentarios de Nadella surgen mientras las principales empresas de IA reconocen cada vez más incidentes en los que parecía que perdían el control de sus modelos, y después de que el director ejecutivo de Anthropic, Dario Amodei, publicó un plan para un desarrollo más cauteloso de la inteligencia artificial.