私たちの最新のモデルの進歩により、COBOL、Fortran、Visual Basic といったリソースの少ないプログラミング言語でのソフトウェアの構築および移行のための、より強力な能力が実現しました。これらの言語は、Python や JavaScript などの言語と比べてモデルが学習できるコードやドキュメントが少ないにもかかわらず、世界中の重要なインフラと不可欠なサービスを支えています。COBOL 対応しています(新しいウィンドウで開きます) オンラインバンキングシステムの40%以上、対面でのクレジットカード取引の80%、ATM取引の95%に使用されており、またFortranは 気象予報(新しいウィンドウで開きます) および 原子炉安全解析(新しいウィンドウで開きます)。これらの言語でAIが作業できる能力を向上させることは、不可欠なサービスが依存するソフトウェアの保守と近代化を支援する可能性がある。
この取り組みは、コーディングモデルがこれらの言語でしばしば苦労していると私たちに伝えてくれた開発者やエンタープライズ顧客からのフィードバックに基づいています。このようなソフトウェアの保守やモダン化は困難な場合があります。ドキュメントが不完全だったり、元の開発者がすでに会社を去っていたり、重要なビジネスルールがコードの中にしか存在しなかったりするからです。バグ修正であれ、別の言語への移行であれ、チームはシステムが依存する動作を維持する必要があります。
進捗を測定するために、私たちは2つの評価を開発しました。MultiLangBenchは、モデルが20の異なるプログラミング言語でSQLite互換のデータベースエンジンをゼロから構築できるかを試験します。私たちのCOBOLマイグレーション評価は、モデルが既存のプログラムの動作を保ちながら別の言語へ移行できるかを試験します。この2つを合わせて、新しいソフトウェアの構築と既存ソフトウェアの機能の維持という、相補的な2つのスキルを試験します。
私たちの最新モデルは両方の評価で大幅な改善を示し、より低いコストで大幅に高い精度を実現しています。
MultiLangBenchでは、GPT‑6 Astraが20のプログラミング言語にわたって平均テスト合格率87.4%を達成し、GPT‑5.6 Solの26.8%から上昇しました。テストされたすべての言語で改善が見られました。GPT‑6 LunaもGPT‑5.6 Solを上回り、推定APIコストが約78%低い状態で40.3%に到達しました。
COBOL移行の評価において、GPT‑6.1 Solは低い推論努力で86.6%の正確度を達成し、GPT‑5.6 Solのわずか5.4%と比較して大幅に上回り、しかもコストは39%低く抑えられています。より高い推論 effort では正確度は97.9%に達し、評価はほぼ飽和状態に近づいています。
これらの結果を総合すると、私たちのモデルは幅広いプログラミング言語を扱う能力が大幅に向上すると同時に、コスト効率も高まっていることがわかります。
1. SQLiteをゼロから構築する（MultiLangBench）
MultiLangBenchは、モデルに対して指定されたプログラミング言語でSQLite互換のデータベースエンジンを構築することを求めます。モデルはコードベースを整理し、状態を管理し、エラーを処理し、既存の機能を維持しながら新機能を追加しなければなりません。
言語をまたいだ実装を比較するために、私たちはデータベースファイルを共通のインターフェースとして使用します。候補となるプログラムは初期データベースとSQLクエリを受け取り、変更されたデータベースを出力します。その結果のデータベースが期待どおりの内容になっているかを、リファレンス実装であるSQLiteを使って検証します。これにより、エンジンの構築にどの言語が使われていても、同じテストを適用できます。
私たちはSQLiteの既存のテストスイートからテストをこのフォーマットに適応させました。この評価は、長時間のコーディングセッションにおいてモデルがどれだけの動作する機能を構築できるかを測定し、テストの合格率とAPIコストの両方を報告します。
最大の推論 effort において、GPT‑6 Astra は 20 言語全体で平均テスト合格率 87.4% を達成しました。これは GPT‑5.6 Sol の 26.8% からの大幅な向上です。改善はテストされたすべての言語に及んでおり、COBOL(10.9% から 72.1%)、OCaml(25.6% から 85.8%)、Fortran(21.4% から 83.5%)、Visual Basic(27.5% から 89.4%)などが含まれます。Astra は 20 言語中 19 言語で 83% を超えるスコアを記録し、COBOL が 72% で最も困難な言語であり続けています。
GPT‑6 Lunaは低コストな選択肢であり、テストしたすべての言語でGPT‑5.6 Solを上回ります。最大推論労力において、平均テスト合格率40.3%に達します。向上点にはCOBOL(10.9%から17.1%)、OCaml(25.6%から34.1%)、Fortran(21.4%から31.4%)、Visual Basic(27.5%から41.6%)が含まれます。これらの改善は、サンプルあたり推定平均APIコスト0.77ドルで実現されており、GPT‑5.6 Solの3.48ドルと比較して約78%低くなっています。
私たちはMultiLangBenchの評価セットアップとテストスイートを以下で公開しています GitHub(新しいウィンドウで開きます)各言語の結果とともに提供されます。開発者は評価が何をテストしているかを確認し、自身が使用する言語でのパフォーマンスを確認し、自分の仕事に関係するギャップを特定することができます。
2. COBOL コードベースの移行
2つ目の評価では、各プログラムの動作を維持したまま、COBOLプログラムをC++、Java、Kotlin、Python、またはRustへ移行することをモデルに求めています。
移行を成功させるには、プログラムのビジネスロジックとCOBOL特有の言語挙動の両方を理解する必要があります。COBOLプログラムは金融取引や業務レコードを扱うことが多く、丸めルールや欠落レコードの処理といった細部はビジネス要件を反映しています。たとえば、COBOLの固定小数点演算では、丸めを明示的に指定しない限り、余分な小数桁が切り捨てられます。これらの値を丸めるように書き直すと、エラーなく実行されながら、異なる金額結果を生み出す可能性があります。
これらの振る舞いが保持されているかを検証するため、観測可能な出力におけるバイト単位の一致を必要とする非公開テストを用いてモデルを評価します。すべてのテストに合格した場合のみ、移行は成功とみなされます。このような振る舞いを保持する能力は、古いシステムの保守や近代化に取り組むチームにとって有用ですが、本番ソフトウェアへの適用には依然として、専門家によるレビューと、システムのビジネスルールや依存関係に照らしたテストが必要です。
この評価において、GPT‑6.1 Sol は低い推論 effort で 86.6% の精度を達成します。これは、同じ設定での GPT‑5.6 Sol の 5.4% と比較すると、わずか 61% の API コストで大きく上回る結果です。より高い推論 effort では精度は 97.9% に達し、評価は飽和点に近づいています。これらの評価結果は、ビジネスが依存するソフトウェアを近代化するチームにとって、より正確で手頃なコード移行に向けた進展を示しています。
エンタープライズソフトウェアのための能力の向上
こうした評価と開発者やエンタープライズ顧客からの直接のフィードバックにより、私たちはモデルのどこが向上し、どこがまだ不十分かを把握することができます。
私たちの目標は、モデルがより多くの言語にわたってソフトウェアエンジニアリングのスキルを適用できるよう支援することです。具体的には、見慣れないリポジトリの理解、変更の計画、ビルドツールの使用、テストの実行、障害のデバッグです。
お客様のチームが使用している言語でのコーディングタスクについて、API を通じて私たちの最新モデルをお試しいただけます。うまく機能した点、モデルが苦手な点、次にどの言語やワークフローに注力すべきかに関するフィードバックは、皆様が依存するソフトウェアをより良く支援できるよう、モデルの訓練と評価の方法の改善に役立てられます。