La «Cumbre Global de Líderes en Sostenibilidad 2026» se celebró del 20 al 22 del mes 10 en Shanghái. El ganador del Premio Turing de 2007 y fundador del laboratorio VerimagJoseph Sifakisasistió y dio un discurso.
Actualmente, los agentes de IA están avanzando rápidamente, e incluso superan a los humanos en el rendimiento de ciertas tareas. La IA no solo tiene la capacidad de mejorarse a sí misma, sino que incluso puede escapar de los entornos de prueba y llevar a cabo ciberataques a gran escala.
Joseph Sifakis declaró que, a medida que la superinteligencia ha formado cierto tipo de narrativa en profundidad, la gente comienza a preocuparse de que estos sistemas puedan exceder los límites de su autorización y pasar a perseguir su propia supervivencia y dominio. Por lo tanto, la humanidad necesita comprender el significado y el papel de la evolución de las capacidades propias de la IA, así como los riesgos y beneficios que esta conlleva.
Joseph Sifakis señaló que la "autonomía" se refiere a actuar con un propósito, una característica propia de los seres vivos. Mientras que la inteligencia de un agente único debe comprender el mundo para poder materializar mejor la inteligencia, lo que significa que necesita conocer el modelo del mundo y obtener percepciones a partir de ese modelo del mundo.
Además de esto, un agente inteligente único debería tomar decisiones según los objetivos y hacer frente a un entorno físico y social en constante cambio, pero sin duda alguna,Los sistemas de IA actuales no tienen forma de comprender el mundo real ni de tomar decisiones seguras。
«Aunque algunos dicen que 2025 es el año de los agentes de IA, por ahora la gente no tiene una impresión especialmente profunda de los resultados de la IA».
Joseph Sifakis considera que, por el momento, los agentes inteligentes no piensan los problemas de la misma manera que los seres humanos. Puso como ejemplo que, aunque ChatGPT o DeepSeek obtengan, al realizar exámenes de medicina, resultados incluso mejores que los de los humanos, esto no significa que podamos dejar que los grandes modelos ejerzan como médicos.
Su explicación es que los médicos humanos conocen las normas de la sociedad humana y los sistemas de valores relacionados, y saben perfectamente que, si violan ciertos principios, dañarán su reputación o incluso perderán su libertad. Pero, evidentemente, los grandes modelos no pueden hacer eso.
Joseph Sifakis subrayó que,Es importante prestar atención a las deficiencias morales de los sistemas de IA; la autoevolución de la IA no siempre ocurre en una dirección favorable.."Si los agentes escapan de nuestro control, de los parámetros iniciales, la autoevolución podría alejarse mucho de la realidad, dando lugar a riesgos incontrolables o a sistemas manipulados intencionadamente; ya tenemos casos así, por lo que la tarea urgente no es prepararse para afrontar esta autoevolución, sino gobernar lo que ya tenemos".
Joseph Sifakis también señaló que el verdadero peligro reside en que la superinteligencia podría ocultar los riesgos reales derivados de la falta de seguridad y control, y que algunas grandes empresas, en beneficio comercial, podrían aprovecharse de ello para eludir sus responsabilidades y, al mismo tiempo, explotar los vacíos regulatorios en su propio beneficio.
Hizo un llamado a establecer estándares globales y normas regulatorias en los campos pertinentes."Debemos unir manos y regular de manera conjunta; en el camino hacia el futuro, tenemos que remodelar el equilibrio de poderes y regular la IA junto con los países que comparten ideas afines, coordinando bien la relación entre el desarrollo tecnológico y la viabilidad".
"La IA es solo un pequeño problema, puede hacer del mundo un lugar mejor o destruirlo; es una transformación liderada por los seres humanos, y debemos maximizar los beneficios y reducir al mínimo los riesgos, esa es nuestra responsabilidad común", dijo Joseph Sifakis.
Declaración de Sina: todas las transcripciones de las conferencias son notas taquigráficas tomadas en el lugar y organizadas, que no han sido revisadas por los ponentes. Sina.com publica este texto con el propósito de transmitir más información, lo cual no implica que comparta sus puntos de vista ni que confirme sus descripciones.
Título original: «Ganador del Premio Turing pide establecer estándares globales de regulación de la IA: es una responsabilidad común de la humanidad»