IT之家 Mensaje del 8 de octubre: según informó Business Insider, el investigador Jacob Coxhead, que ha trabajado en Anthropic y OpenAI, advirtió que la IA pronto podrá realizar investigaciones de manera autónoma y que los humanos podrían quedar completamente incapaces de controlar el desarrollo posterior.
El investigador Cox, de 27 años, que trabajaba en investigación de capacidades de modelos en Anthropic, anunció públicamente su renuncia el mes pasado. El día 5, hora local, advirtió a los concejales de la ciudad de Nueva York que la IA podría amenazar la supervivencia humana.
Coxson declaró en una audiencia del Ayuntamiento de la ciudad de Nueva York sobre los riesgos de la IA que el objetivo principal de los laboratorios de IA fronteriza más destacados,es automatizar la investigación en IA。“En mi trabajo anterior, en cierto sentido, yo investigabaCómo hacer que la IA te reemplace. Cuando estaba en OpenAI, fijamos metas provisionales para alrededor de 2027 y 2028 para el investigador de IA automatizado, y el avance del desarrollo está conforme a lo previsto, incluso por encima de lo previsto. Faltan solo unos meses para ese momento, no décadas, ni siquiera cinco años.”
Una vez que la IA pueda llevar a cabo investigaciones por sí misma, el grado de participación e intervención humana en la investigación será mucho menor que el actual, y la situación actual ya no es muy ideal. Según su propia experiencia, la mayoría del código ya está escrito por la IA, y "la gente ya no revisa el código con tanto cuidado".
Coxen testificó ante los legisladores que su experiencia trabajando en Anthropic y OpenAI lo convenció de que ambas compañías carecen de salvaguardas de seguridad adecuadas,pero aún sigue impulsando la investigación y el desarrollo。"La probabilidad de que los humanos perdamos el control y se lo entreguemos a la IA supera el cincuenta por ciento, lo que en última instancia podría provocar la extinción de la humanidad. Según mi experiencia, siendo las consecuencias tan graves, la conducta de ambas empresas es extremadamente imprudente."
Cuando Cox anunció en X su dimisión del cargo en Anthropic, publicó una acusación de que ni Anthropic ni OpenAI estaban actuando de manera responsable,"apostando con la vida de las personas". La publicación se difundió ampliamente después.
En la audiencia, Cox hizo un llamamiento a los laboratorios de IA para que aumentaran la transparencia y ralentizaran el ritmo acelerado del desarrollo tecnológico. "Estas empresas siguen la mentalidad de las startups:"avanzar rápido y arreglar los problemas después". Eso puede hacerse con una aplicación para compartir fotos, pero no con el desarrollo de la tecnología más poderosa de la historia."
Según informes previos de IT之家, en septiembre (9) de este año, Coxson emitió una advertencia al presentar su renuncia: "Las personas que desarrollan IA realmente creen que la IA podría matarnos a todos antes de que termine la década de 2020 (20)."Esto no es un truco de marketing。”
Lecturas relacionadas: