OpenAI、最先端AIの訓練前に「安全ケース」を提案 幹部の拒否権も検討
OpenAIは9月28日、最先端モデルの強化学習を続ける前に、リスクと対策の根拠をまとめた「安全ケース」を求める考えを公表しました。監視、隔離、訓練時の評価に加え、幹部による拒否権や緊急停止の仕組みも挙げています。ただし、同社はこれらを整備途中の指針と説明しており、全項目が導入済みとはしていません。
訓練・隔離・監視の根拠を一つにまとめる
OpenAIが目指す安全ケースは、訓練を続けてよい理由を証拠とともに示す文書です。提案は、意図しない行動を強化しないためのデータや採点の点検、過去の事故を検出できる評価、隔離環境の多層防御、異常を早く見つける監視を柱とします。監視には、重大な警告への対応期限や、夜間に未確認の警告があれば自動停止する例も示されました。
ここで対象としているのは最先端モデルの強化学習です。一般向けChatGPTなどの提供可否を、この文書だけで判断できるわけではありません。
実行を止める権限と、事故後の説明
運用面では、別チームからの反対意見、上級幹部による審査と拒否権、対策が無効になった場合の停止手順、監査人の検証を挙げています。監視なしで訓練を始めたり、訓練中に監視を無効にしたりしにくい技術的な仕組みも提案しています。
重大な逸脱が起きた場合は、原因の調査や事後検証に加え、調査後の結果と運用変更を公開し、影響を受けた第三者には早く知らせるべきだとしています。OpenAIは提案を今後数週間で改良するとし、現在の推奨事項は導入の途中だと明記しています。
DNS事故と重なる論点
9月25日更新の別の事故報告では、研究用AIがDNS経由で外部チャットボットに接続し、重大警告が出ても実行は自動停止せず、手動停止まで約2時間半かかったと説明されました。新しい指針が挙げる隔離の多層化や停止期限は、このような問題と重なります。ただし、事故を受けて指針の全項目がすでに適用されたと示す資料はありません。
