Se informa que OpenAI lanzará al menos un modelo este año, pero su modelo insignia aún necesita trabajo de alineamiento

Se informa que OpenAI lanzará al menos un modelo este año, pero su modelo insignia aún necesita trabajo de alineamiento

OpenAI se apresura a terminar su próximo modelo insignia, que utiliza la misma técnica de transformer en bucle que Astra. El enfoque mejora el rendimiento en matemáticas y programación, pero dificulta la monitorización de seguridad. Los empleados afirman que es probable que se lancen uno o dos modelos nuevos antes de fin de año.

Es probable que OpenAI lance "uno o dos modelos nuevos" antes de fin de año, según empleados, aunque no está claro si "el gran modelo mejorado" en el que la empresa está trabajando actualmente estará entre ellos. Eso es según The Information, citando a personas familiarizadas con los proyectos.

El nuevo modelo insignia aún podría estar lejos. El modelo necesita trabajo de alineamiento para que sus objetivos coincidan con lo que los investigadores y clientes de OpenAI esperan. La empresa también tiene que reforzar la infraestructura de pruebas en torno al modelo antes de poder avanzar.

Una vez que el liderazgo esté satisfecho con las evaluaciones de seguridad, hay otro obstáculo. Bajo una orden ejecutiva del presidente Trump que rige las evaluaciones de sistemas de IA avanzados, OpenAI acordó dar al gobierno de EE. UU. acceso a los nuevos modelos hasta 30 días antes de que vayan a socios externos, y aún más tiempo antes de un lanzamiento público.Ad

Los transformers en bucle impulsan tanto a Astra como al próximo modelo insignia

El nuevo modelo insignia también utiliza transformers en bucle, según una persona familiarizada con la situación. OpenAI ya ejecuta esta técnica en producción, donde se llama "Recurrent Depth". Es central en el funcionamiento de Astra, el actual modelo más avanzado de la empresa. En lugar de pasar un token por las capas del transformer una sola vez, el modelo lo hace pasar por las mismas capas varias veces antes de generar la siguiente palabra. Eso aumenta el rendimiento en matemáticas y programación y reduce los costes, ya que un modelo más pequeño puede rendir por encima de su peso.

Pero el bucle también traslada parte del "razonamiento" del modelo fuera del texto legible y hacia representaciones numéricas internas que los revisores humanos no pueden inspeccionar. Eso socava la monitorización de la cadena de pensamiento, en la que los investigadores de seguridad trazan el razonamiento de un modelo para detectar malos comportamientos. OpenAI limitó deliberadamente cuántos bucles ejecuta Astra para mantener legible su cadena de pensamiento, informa The Information.

Después del incidente de Hugging Face, OpenAI destinó aproximadamente el diez por ciento de su cómputo total al alineamiento y la seguridad, según una persona familiarizada con las cifras. The Information informa que eso equivale a cientos de megavatios de capacidad de centro de datos, aunque no está claro cuánto se asignó a la seguridad antes ni cuál es la distribución actual. A precios de mercado, el cómputo que OpenAI trasladó costaría miles de millones de dólares al año en alquiler. El investigador de IA Noam Brown dijo en un podcast de mediados de septiembre que aproximadamente el diez por ciento de su equipo también trabaja en seguridad y seguridad informática.

Microsoft filtra accidentalmente cómo funciona la inferencia en bucle de OpenAI

Cómo utiliza realmente OpenAI esta técnica salió a la luz a través de un desliz de Microsoft. El gran inversor, que tiene acceso a la propiedad intelectual de OpenAI, publicó un documento técnico sobre GPT-6.1 Sol", una alternativa más económica a Astra que OpenAI lanzó a principios de este mes.Ad"}

En una sección ahora eliminada, Microsoft describía GPT-6.1 Sol como un modelo que usa "inferencia en bucle", donde el modelo trabaja el mismo problema en múltiples "pasadas" antes de producir una respuesta. GPT-6.1 Sol "usa los mismos pesos del modelo base que GPT-6 Sol con dos pasadas de inferencia en lugar de tres", cita The Information de una copia en caché de la página.

Una persona con conocimiento directo confirmó que el texto coincidía con lo que OpenAI le había comunicado a Microsoft en privado. Microsoft retiró la sección después de darse cuenta de que no estaba destinada a ser pública. Los transformadores en bucle siguen siendo una parte sensible del desarrollo de modelos de OpenAI, tanto durante el entrenamiento como en la inferencia, según informa The Information.

El científico jefe de OpenAI, Jakub Pachocki, ya ha reconocido que la monitorización de la cadena de razonamiento se está volviendo "frágil" y "desafortunadamente va en una dirección negativa". También advirtió contra una carrera a nivel industrial hacia modelos sin razonamiento legible.

Noticias de IA sin exageraciones – Curado por Humanos

Suscríbete a THE DECODER para leer sin publicidad, un boletín semanal de IA, nuestro informe exclusivo sobre frontera "AI Radar" seis veces al año, acceso completo al archivo y acceso a nuestra sección de comentarios.