Nuestros últimos avances en modelos aportan capacidades más sólidas para construir y migrar software en lenguajes de programación de bajos recursos como COBOL, Fortran y Visual Basic. Estos lenguajes tienen menos código y documentación disponibles para que los modelos aprendan de ellos que lenguajes como Python y JavaScript, y sin embargo dan soporte a infraestructura crítica y servicios esenciales en todo el mundo. COBOL da soporte(opens in a new window) a más del 40% de los sistemas de banca en línea, el 80% de las transacciones con tarjeta de crédito en persona y el 95% de las transacciones en cajeros automáticos, mientras que Fortran se utiliza en pronóstico del tiempo(opens in a new window) y en análisis de seguridad de reactores nucleares(opens in a new window). Mejorar la capacidad de la IA para trabajar en estos lenguajes podría ayudar a los equipos a mantener y modernizar el software del que dependen los servicios esenciales.
Este trabajo está guiado por comentarios de desarrolladores y clientes empresariales que nos han dicho que los modelos de programación a menudo tienen dificultades con estos lenguajes. Mantener y modernizar este software puede ser difícil: la documentación puede estar incompleta, los desarrolladores originales pueden haber dejado la empresa, y reglas de negocio importantes pueden existir solo en el código. Ya sea que los equipos estén corrigiendo errores o migrando a otro lenguaje, necesitan preservar el comportamiento del que dependen sus sistemas.
Para medir el progreso, desarrollamos dos evaluaciones. MultiLangBench pone a prueba si un modelo puede construir un motor de base de datos compatible con SQLite desde cero en 20 lenguajes de programación diferentes. Nuestra evaluación de migración de COBOL pone a prueba si un modelo puede migrar programas existentes a otro lenguaje preservando su comportamiento. Juntas, ponen a prueba dos habilidades complementarias: construir software nuevo y preservar lo que hace el software existente.
Nuestros últimos modelos muestran mejoras sustanciales en ambas evaluaciones, ofreciendo una precisión mucho mayor a un costo menor.
En MultiLangBench, GPT‑6 Astra alcanza una tasa promedio de aprobación en pruebas de 87.4% en 20 lenguajes de programación, frente al 26.8% de GPT‑5.6 Sol, con mejoras en cada lenguaje probado. GPT‑6 Luna también supera a GPT‑5.6 Sol, llegando a 40.3% con un costo de API estimado aproximadamente 78% menor.
En nuestra evaluación de migración de COBOL, GPT‑6.1 Sol alcanza una precisión de 86.6% con un esfuerzo de razonamiento bajo, en comparación con solo 5.4% para GPT‑5.6 Sol, con un costo 39% menor. Con un esfuerzo de razonamiento mayor, la precisión alcanza 97.9%, casi saturando la evaluación.
En conjunto, estos resultados muestran que nuestros modelos se están volviendo significativamente mejores para trabajar con una amplia gama de lenguajes de programación, a la vez que se vuelven más eficientes en costos.
1. Construir SQLite desde cero (MultiLangBench)
MultiLangBench pide a un modelo construir un motor de base de datos compatible con SQLite en un lenguaje de programación específico. El modelo debe organizar una base de código, gestionar el estado, manejar errores y agregar nuevas funcionalidades preservando la funcionalidad existente.
Para comparar implementaciones entre lenguajes, utilizamos archivos de base de datos como interfaz común. El programa candidato recibe una base de datos inicial y una consulta SQL, y luego produce una base de datos modificada. Usamos la implementación de referencia de SQLite para verificar si la base de datos resultante tiene el contenido esperado. Esto nos permite aplicar las mismas pruebas independientemente del lenguaje utilizado para construir el motor.
Adaptamos pruebas de la suite de pruebas existente de SQLite a este formato. La evaluación mide cuánta funcionalidad operativa puede construir un modelo a lo largo de una sesión de programación extendida, informando tanto la tasa de aprobación en pruebas como el costo de API.
Con el máximo esfuerzo de razonamiento, GPT‑6 Astra alcanza una tasa promedio de aprobación en pruebas de 87.4% en los 20 lenguajes, frente al 26.8% de GPT‑5.6 Sol. Las mejoras se extienden a cada lenguaje probado, incluyendo COBOL (10.9% a 72.1%), OCaml (25.6% a 85.8%), Fortran (21.4% a 83.5%) y Visual Basic (27.5% a 89.4%). Astra obtiene puntuaciones superiores al 83% en 19 de los 20 lenguajes, siendo COBOL el más difícil con un 72%.
GPT‑6 Luna ofrece una opción de menor costo que también mejora a GPT‑5.6 Sol en cada lenguaje probado. Con el máximo esfuerzo de razonamiento, alcanza una tasa promedio de aprobación en pruebas de 40.3%. Las mejoras incluyen COBOL (10.9% a 17.1%), OCaml (25.6% a 34.1%), Fortran (21.4% a 31.4%) y Visual Basic (27.5% a 41.6%). Estas mejoras se logran con un costo promedio de API estimado de $0.77 por muestra, en comparación con $3.48 para GPT‑5.6 Sol, aproximadamente 78% menor.
Estamos publicando la configuración de evaluación de MultiLangBench y la suite de pruebas en GitHub(opens in a new window), junto con los resultados de cada lenguaje. Los desarrolladores pueden inspeccionar qué pruebas incluye la evaluación, revisar el rendimiento en los lenguajes que utilizan e identificar carencias relevantes para su propio trabajo.
2. Migrar una base de código COBOL
Nuestra segunda evaluación pide a los modelos migrar programas COBOL a C++, Java, Kotlin, Python o Rust preservando lo que hace cada programa.
Una migración exitosa requiere comprender tanto la lógica de negocio del programa como el comportamiento específico del lenguaje COBOL. Los programas COBOL a menudo procesan transacciones financieras y registros de negocio, donde detalles como las reglas de redondeo y el manejo de registros faltantes reflejan requisitos del negocio. Por ejemplo, la aritmética de punto fijo de COBOL descarta los dígitos decimales excedentes a menos que se solicite explícitamente el redondeo. Una reescritura que redondee esos valores puede ejecutarse sin errores mientras produce resultados financieros diferentes.
Para comprobar si estos comportamientos se conservan, evaluamos nuestros modelos en pruebas ocultas que exigen paridad byte a byte en las salidas observables. Una migración se considera exitosa solo si todas las pruebas pasan. Capacidades de preservación del comportamiento como estas son útiles para los equipos que mantienen y modernizan sistemas antiguos, aunque aplicarlas a software en producción todavía requiere revisión experta y pruebas contra las reglas de negocio y dependencias del sistema.
En esta evaluación, GPT‑6.1 Sol alcanza una precisión de 86.6% con bajo esfuerzo de razonamiento, en comparación con el 5.4% de GPT‑5.6 Sol con la misma configuración y solo el 61% del costo de API. Con mayor esfuerzo de razonamiento, la precisión llega al 97.9%, acercando la evaluación a la saturación. Estos resultados de evaluación demuestran avances hacia una migración de código más precisa y asequible para los equipos que modernizan el software del que dependen sus negocios.
Avanzando en capacidades para el software empresarial
Estas evaluaciones, junto con la retroalimentación directa de desarrolladores y clientes empresariales, nos ayudan a ver dónde mejoran nuestros modelos y dónde todavía se quedan cortos.
Nuestro objetivo es ayudar a los modelos a aplicar habilidades de ingeniería de software en más lenguajes: comprender repositorios desconocidos, planificar cambios, usar herramientas de compilación, ejecutar pruebas y depurar fallos.
Puede probar nuestros últimos modelos a través de la API en tareas de programación en los lenguajes que usa su equipo. Sus comentarios sobre lo que funciona, dónde tienen dificultades los modelos y en qué lenguajes o flujos de trabajo deberíamos centrarnos a continuación ayudan a dar forma a cómo entrenamos y evaluamos modelos para respaldar mejor el software del que depende.