当社の最新モデルの進化により、COBOL、Fortran、Visual Basicなどの低リソースプログラミング言語でソフトウェアを構築・移行するための、より強力な能力がもたらされました。これらの言語は、PythonやJavaScriptのような言語に比べてモデルが学習できるコードやドキュメントが少ないものの、世界中の重要なインフラと不可欠なサービスを支えています。COBOLは オンラインバンキングシステムの40%以上、対面でのクレジットカード取引の80%、ATM取引の95%を支えており(opens in a new window) オンラインバンキングシステムの40%超、対面でのクレジットカード取引の80%、およびATM取引の95%に使用されている一方で、Fortranは 気象予報(opens in a new window) や 原子炉の安全性分析(opens in a new window)に使用されています。これらの言語におけるAIの能力を向上させることは、不可欠なサービスが依存するソフトウェアの保守と近代化を支援する可能性があります。
この取り組みは、コーディングモデルがこれらの言語でしばしば苦労していると開発者や企業顧客から指摘されていたフィードバックに基づいています。このようなソフトウェアの保守と近代化は困難な場合があります。ドキュメントが不完全な可能性があり、元の開発者が会社を退職している可能性があり、重要なビジネスルールがコードの中にしか存在しない場合もあります。バグの修正や別の言語への移行のいずれであっても、チームはシステムが依存する動作を維持する必要があります。
進捗を測定するために、私たちは2つの評価を開発しました。MultiLangBenchは、モデルが20の異なるプログラミング言語でSQLite互換のデータベースエンジンをゼロから構築できるかをテストします。COBOL移行評価は、モデルが既存のプログラムの動作を維持しながら別の言語へ移行できるかをテストします。この2つは合わせて、新しいソフトウェアの構築と既存ソフトウェアの動作の維持という2つの補完的なスキルをテストします。
当社の最新モデルは両方の評価で大幅な改善を示し、より低いコストではるかに高い精度を実現しています。
MultiLangBenchでは、GPT‑6 Astraが20のプログラミング言語全体で平均テスト合格率87.4%を達成し、GPT‑5.6 Solの26.8%から向上しました。テストされたすべての言語で改善が見られます。GPT‑6 LunaもGPT‑5.6 Solを上回り、推定APIコストを約78%削減しながら40.3%に達しました。
COBOL移行評価では、GPT‑6.1 Solが低い推論労力で86.6%の精度を達成したのに対し、GPT‑5.6 Solはわずか5.4%で、コストは39%削減されました。より高い推論労力では、精度は97.9%に達し、評価をほぼ飽和させました。
これらの結果を合わせると、当社のモデルが幅広いプログラミング言語を扱う能力で大幅に向上すると同時に、よりコスト効率が高くなっていることを示しています。
1. SQLiteをゼロから構築する(MultiLangBench)
MultiLangBenchは、指定されたプログラミング言語でSQLite互換のデータベースエンジンを構築するようモデルに求めます。モデルは、コードベースの整理、状態の管理、エラーの処理を行い、既存の機能を維持しながら新機能を追加しなければなりません。
言語間で実装を比較するために、私たちはデータベースファイルを共通インターフェースとして使用します。候補プログラムは初期データベースとSQLクエリを受け取り、変更されたデータベースを出力します。参照用のSQLite実装を使用して、結果のデータベースが期待される内容を持っているかを確認します。これにより、エンジンの構築に使用された言語にかかわらず、同じテストを適用できます。
私たちはSQLiteの既存のテストスイートからこの形式に適合するようテストを調整しました。この評価は、長時間のコーディングセッションでモデルがどれだけの動作する機能を構築できるかを測定し、テスト合格率とAPIコストの両方を報告します。
最大推論労力において、GPT‑6 Astraは20言語全体で平均テスト合格率87.4%を達成し、GPT‑5.6 Solの26.8%から向上しました。改善はCOBOL(10.9%から72.1%)、OCaml(25.6%から85.8%)、Fortran(21.4%から83.5%)、Visual Basic(27.5%から89.4%)を含むテストされたすべての言語に及んでいます。Astraは20言語中19言語で83%を超えるスコアを記録し、COBOLが72%で最も難しい言語であり続けています。
GPT‑6 Lunaは、テストされたすべての言語でGPT‑5.6 Solを上回る、より低コストの選択肢を提供します。最大推論労力で平均テスト合格率40.3%に達します。改善にはCOBOL(10.9%から17.1%)、OCaml(25.6%から34.1%)、Fortran(21.4%から31.4%)、Visual Basic(27.5%から41.6%)が含まれます。これらの改善は、GPT‑5.6 Solの$3.48に対してサンプルあたり推定平均APIコスト$0.77、約78%の削減で実現されています。
私たちはMultiLangBenchの評価セットアップとテストスイートを GitHub(opens in a new window)で、各言語の結果とともに公開しています。開発者は評価が何をテストしているかを確認し、自分たちが使用する言語でのパフォーマンスをレビューし、自身の仕事にとって重要なギャップを特定することができます。
2. COBOLコードベースの移行
私たちの2つ目の評価は、各プログラムの動作を維持しながら、COBOLプログラムをC++、Java、Kotlin、Python、またはRustに移行するようモデルに求めます。
移行を成功させるには、プログラムのビジネスロジックとCOBOL特有の言語動作の両方を理解する必要があります。COBOLプログラムはしばしば金融取引や業務記録を処理しており、丸め規則や欠落レコードの処理などの詳細はビジネス要件を反映しています。たとえば、COBOLの固定小数点演算は、丸めが明示的に要求されない限り余分な小数桁を切り捨てます。代わりにそれらの値を丸める書き換えは、エラーなく実行できる一方で、異なる金融結果を生み出す可能性があります。
これらの挙動が保たれているかを検証するため、観測可能な出力についてバイト単位で完全に一致することを求める非公開テストを使ってモデルを評価します。移行が成功と見なされるのは、すべてのテストに合格した場合のみです。こうした挙動を保持する能力は、古いシステムの保守と近代化に取り組むチームにとって有用ですが、本番ソフトウェアへの適用には依然として、専門家によるレビューと、システムのビジネスルールや依存関係に対するテストが必要です。
この評価において、GPT‑6.1 Sol は低い推論努力で 86.6% の正解率を達成しました。一方、GPT‑5.6 Sol は同じ設定で 5.4% であり、その際の API コストはわずか 61% です。より高い推論努力では正解率は 97.9% に達し、この評価は飽和点に近づいています。これらの評価結果は、ビジネスが依存するソフトウェアを近代化するチームにとって、より正確で手頃なコード移行に向けた進展を示しています。
エンタープライズソフトウェアのための能力の向上
これらの評価に加え、開発者やエンタープライズ顧客からの直接のフィードバックを通じて、私たちのモデルがどこで向上し、どこで依然として不十分であるかを把握しています。
私たちの目標は、モデルがより多くの言語にわたってソフトウェアエンジニアリングのスキルを適用できるようにすることです。馴染みのないリポジトリの理解、変更の計画、ビルドツールの使用、テストの実行、失敗のデバッグなどです。
お使いのチームが使用している言語でのコーディングタスクについて、API を通じて私たちの最新モデルをお試しいただけます。何がうまく機能し、どこでモデルが苦労するか、また次にどの言語やワークフローに注力すべきかについてのフィードバックは、皆様が依存するソフトウェアをより良く支援できるよう、モデルの訓練と評価の方法を形作る上で役立ちます。