OpenAI、COBOL移行の評価結果を公開 GPT-6.1 Solは高推論で97.9%
OpenAIは10月19日、COBOLなど学習資料の少ないプログラミング言語を対象にした評価結果を公開しました。COBOLのコードを別の言語へ移す課題では、GPT-6.1 Solが高い推論設定で97.9％に達したとしています。ただし、これはOpenAIが設計したテストの結果で、実際の基幹システムを97.9％の確率で移行できるという意味ではありません。
COBOLの移行で測ったこと
この課題はCOBOLのプログラムをC++、Java、Kotlin、Python、Rustのいずれかへ移し、元の動作を保てるかを調べます。出力が隠しテストにすべて一致した場合だけ成功と判定します。例えば固定小数点の桁を切り捨てる処理を丸めに変えてしまえば、プログラムは動いても金額が変わり得ます。
OpenAIの発表値は、低推論設定のGPT-5.6 Solが5.4％、同条件のGPT-6.1 Solが86.6％。GPT-6.1 Solを高い推論設定にすると97.9％です。低推論でのAPI費用は、比較対象のGPT-5.6 Solより39％低いとしています。費用と正答率はOpenAIの評価条件に依存します。
20言語でSQLiteを作る別の評価も
OpenAIは別の「MultiLangBench」で、モデルにSQLite互換のデータベースを20言語で実装させました。最大推論設定のGPT-6 Astraは平均テスト通過率87.4％で、比較対象のGPT-5.6 Solは26.8％。COBOLに限ると72.1％で、20言語のなかでは最も低い結果でした。
こちらの評価用コードとテストはGitHubで公開されています。一方、COBOL移行評価の隠しテストや実際の顧客システムでの成績まで、この発表から独立に確認できるわけではありません。OpenAI自身も、本番の移行には専門家による確認と、業務ルール・依存関係に沿ったテストが必要だとしています。
関連記事
今回の新しさはモデルの発売ではなく、古い業務コードの動作を守れるかを測った具体的な結果です。数値は有望でも、実務では元の仕様を知る人と検証環境が欠かせません。