2026/10/07 07:08
OpenAI、契約業務でAstraを訓練・評価 11課題の平均スコア55％
OpenAIは10月6日、契約管理ソフトのIroncladと組み、AIが承認ルールや契約書の設定を進める研究を公表しました。11件の課題を使った同社の評価では、GPT-6 Astraの評価項目スコアは平均55.0％で、比較対象のGPT-5.6 Solは41.6％でした。実際の顧客業務で55％の契約を完了したという意味ではありません。
承認の例外まで扱う11件の課題
課題には、秘密保持契約の設定、購買時の承認フローの作成、申請者が選ぶ法域に応じた契約条項の更新などが含まれます。例えば、一定額を超える購入だけ財務部門の承認を必須にするには、フォームを作るだけでなく、金額の上下で別の経路に進むことまで確かめる必要があります。
Ironcladの担当者とOpenAI内の利用者が11課題を選び、課題ごとに8～50の評価基準を設定しました。Ironcladは製品の検証環境を提供。OpenAIは、米SECの公開契約書を基にした合成課題で訓練し、非公開の顧客契約書は使っていないと説明しています。
改善は確認、実務の成功率とは別
OpenAIの比較では、AstraはMax、GPT-5.6 SolはHighの推論設定で評価しました。平均スコアは55.0％対41.6％。1回の試行にかかる推定時間も19.2分対37.0分でした。ただし時間はモデルの処理速度から計算したシミュレーション値で、利用者の実測の時間短縮ではありません。
評価対象は11件の研究課題に限られます。平均55％という結果は、業務ルールや例外をまたいで操作する力が伸びた一方で、評価基準の多くはまだ満たせていないことも示します。OpenAIとIroncladは、人の監督が引き続き必要だとしています。
