우리의 최신 모델 발전은 COBOL, Fortran, Visual Basic과 같은 저자원 프로그래밍 언어에서 소프트웨어를 구축하고 마이그레이션하기 위한 더 강력한 기능을 제공합니다. 이러한 언어들은 Python이나 JavaScript 같은 언어보다 모델이 학습할 수 있는 코드와 문서가 적지만, 전 세계의 핵심 인프라와 필수 서비스를 지원합니다. COBOL 지원(새 창에서 열림) 온라인 뱅킹 시스템의 40% 이상, 대면 신용카드 거래의 80%, ATM 거래의 95%를 처리하며, 한편 Fortran은 다음에 사용됩니다 날씨 예보(새 창에서 열림) 그리고 원자로 안전 분석(opens in a new window)AI가 이러한 언어에서 작업하는 능력을 향상시키면 필수 서비스가 의존하는 소프트웨어를 유지하고 현대화하는 데 도움이 될 수 있습니다.
이 작업은 코딩 모델이 이러한 언어에서 종종 어려움을 겪는다고 말해 온 개발자 및 기업 고객들의 피드백을 바탕으로 진행되었습니다. 이러한 소프트웨어를 유지 보수하고 최신화하는 것은 어려울 수 있습니다. 문서가 불완전할 수 있고, 원래 개발자들이 회사를 떠났을 수 있으며, 중요한 비즈니스 규칙이 코드에만 존재할 수도 있습니다. 팀이 버그를 수정하든 다른 언어로 마이그레이션하든, 시스템이 의존하는 동작을 보존해야 합니다.
진전을 측정하기 위해 우리는 두 가지 평가를 개발했습니다. MultiLangBench는 모델이 20가지 서로 다른 프로그래밍 언어로 SQLite 호환 데이터베이스 엔진을 처음부터 구축할 수 있는지 테스트합니다. 우리의 COBOL 마이그레이션 평가는 모델이 기존 프로그램의 동작을 보존하면서 다른 언어로 마이그레이션할 수 있는지 테스트합니다. 이 두 평가는 함께 새로운 소프트웨어를 구축하는 능력과 기존 소프트웨어가 하는 일을 보존하는 능력이라는 상호 보완적인 두 가지 기술을 테스트합니다.
우리의 최신 모델은 두 평가 모두에서 상당한 개선을 보여주며, 더 낮은 비용으로 훨씬 더 높은 정확도를 제공합니다.
MultiLangBench에서 GPT‑6 Astra는 20개 프로그래밍 언어 전반에서 평균 테스트 통과율 87.4%를 달성하여, GPT‑5.6 Sol의 26.8%에서 크게 향상되었으며 테스트된 모든 언어에서 개선을 보였습니다. GPT‑6 Luna 역시 GPT‑5.6 Sol을 능가하며, 약 78% 낮은 추정 API 비용으로 40.3%에 도달했습니다.
COBOL 마이그레이션 평가에서 GPT‑6.1 Sol은 낮은 추론 노력으로 86.6%의 정확도를 달성한 반면, GPT‑5.6 Sol은 5.4%에 그쳤으며 비용은 39% 더 적게 듭니다. 더 높은 추론 노력에서는 정확도가 97.9%에 달해 평가를 거의 포화 상태로 만듭니다.
이러한 결과들은 종합적으로, 우리 모델들이 폭넓은 프로그래밍 언어를 다루는 데 훨씬 더 뛰어해지는 동시에 비용 효율성도 더 높아지고 있음을 보여줍니다.
1. SQLite를 처음부터 구축하기 (MultiLangBench)
MultiLangBench는 모델에게 지정된 프로그래밍 언어로 SQLite 호환 데이터베이스 엔진을 구축하도록 요청합니다. 모델은 코드베이스를 조직하고, 상태를 관리하고, 오류를 처리하며, 기존 기능을 유지하면서 새로운 기능을 추가해야 합니다.
여러 언어로 작성된 구현체를 비교하기 위해, 우리는 데이터베이스 파일을 공유 인터페이스로 사용합니다. 후보 프로그램은 초기 데이터베이스와 SQL 쿼리를 받은 뒤 수정된 데이터베이스를 생성합니다. 그리고 참조 SQLite 구현을 사용하여 결과 데이터베이스가 기대한 내용을 담고 있는지 검사합니다. 이를 통해 엔진을 어떤 언어로 만들었는지와 무관하게 동일한 테스트를 적용할 수 있습니다.
우리는 SQLite의 기존 테스트 스위트에서 테스트를 이 형식에 맞게 변환했습니다. 이 평가는 확장된 코딩 세션 동안 모델이 얼마나 많은 작동하는 기능을 구축할 수 있는지를 측정하며, 테스트 통과율과 API 비용을 함께 보고합니다.
최대 추론 노력으로, GPT‑6 Astra는 20개 언어 전반에서 평균 테스트 통과율 87.4%를 달성했으며, 이는 GPT‑5.6 Sol의 26.8%에서 크게 향상된 수치입니다. 개선은 테스트된 모든 언어로 확대되었는데, 여기에는 COBOL(10.9%에서 72.1%), OCaml(25.6%에서 85.8%), Fortran(21.4%에서 83.5%), Visual Basic(27.5%에서 89.4%)이 포함됩니다. Astra는 20개 언어 중 19개에서 83%를 넘었으며, COBOL이 72%로 여전히 가장 어려운 언어로 남아 있습니다.
GPT‑6 Luna는 더 낮은 비용의 옵션을 제공하면서도 테스트된 모든 언어에서 GPT‑5.6 Sol을 능가합니다. 최대 추론 노력 설정에서 평균 테스트 통과율 40.3%에 도달합니다. 향상 항목에는 COBOL(10.9%에서 17.1%로), OCaml(25.6%에서 34.1%로), Fortran(21.4%에서 31.4%로), Visual Basic(27.5%에서 41.6%로)이 포함됩니다. 이러한 개선은 샘플당 평균 API 비용이 $0.77로 추정되는 것으로 달성되었으며, 이는 GPT‑5.6 Sol의 $3.48와 비교하면 약 78% 낮은 수준입니다.
저희는 MultiLangBench 평가 셋업과 테스트 스위트를 다음에서 공개합니다: GitHub(새 창에서 열립니다)각 언어별 결과와 함께 제공됩니다. 개발자들은 이 평가가 무엇을 검사하는지 살펴보고, 자신이 사용하는 언어에서의 성능을 검토하며, 자신의 작업에 중요한 격차를 파악할 수 있습니다.
2. COBOL 코드베이스 마이그레이션
우리의 두 번째 평가는 모델들이 각 프로그램이 하는 일을 유지하면서 COBOL 프로그램을 C++, Java, Kotlin, Python 또는 Rust로 마이그레이션하는 것을 요구합니다.
성공적인 마이그레이션에는 프로그램의 비즈니스 로직과 COBOL의 특정 언어 동작에 대한 이해가 모두 필요합니다. COBOL 프로그램은 금융 거래와 비즈니스 기록을 처리하는 경우가 많으며, 반올림 규칙이나 누락된 레코드 처리 같은 세부 사항은 비즈니스 요구 사항을 반영합니다. 예를 들어, COBOL의 고정소수점 연산은 반올림이 명시적으로 요청되지 않는 한 초과하는 소수 자릿수를 버립니다. 그 값들을 대신 반올림하도록 재작성하면 오류 없이 실행되면서 서로 다른 금융 결과를 낼 수 있습니다.
이러한 동작이 보존되는지 검증하기 위해, 관찰 가능한 출력에서 바이트 단위 일치를 요구하는 비공개 테스트를 통해 모델을 평가합니다. 모든 테스트를 통과해야만 마이그레이션이 성공한 것으로 간주됩니다. 이와 같은 동작 보존 기능은 오래된 시스템을 유지보수하고 현대화하는 팀에 유용하지만, 프로덕션 소프트웨어에 적용하려면 여전히 전문가의 검토와 시스템의 비즈니스 규칙 및 의존성에 대한 테스트가 필요합니다.
이 평가에서 GPT‑6.1 Sol은 낮은 추론 노력(low reasoning effort) 설정에서 86.6%의 정확도를 달성했는데, 이는 동일한 설정에서 5.4%를 기록한 GPT‑5.6 Sol과 비교되며 API 비용은 61%에 불과합니다. 더 높은 추론 노력에서는 정확도가 97.9%에 도달하여 평가가 포화 상태에 가까워졌습니다. 이러한 평가 결과는 비즈니스가 의존하는 소프트웨어를 현대화하는 팀을 위해 더 정확하고 저렴한 코드 마이그레이션을 향한 진전을 보여줍니다.
엔터프라이즈 소프트웨어를 위한 역량 발전
이러한 평가는 개발자와 엔터프라이즈 고객의 직접적인 피드백과 함께, 우리 모델이 어디에서 개선되고 있고 어디에서 여전히 부족한지 파악하는 데 도움을 줍니다.
우리의 목표는 모델이 더 많은 언어에서 소프트웨어 엔지니어링 기술을 적용하도록 돕는 것입니다. 즉, 낯선 저장소 이해, 변경 계획, 빌드 도구 사용, 테스트 실행, 오류 디버깅 등입니다.
여러분은 API를 통해 팀이 사용하는 언어로 코딩 작업을 수행하며 우리의 최신 모델을 시험해 볼 수 있습니다. 무엇이 잘 작동하는지, 모델이 어디에서 어려움을 겪는지, 그리고 다음으로 어떤 언어나 워크플로우에 집중해야 하는지에 대한 여러분의 피드백은 여러분이 의존하는 소프트웨어를 더 잘 지원하기 위한 모델 학습 및 평가 방식을 형성하는 데 도움이 됩니다.