OpenAIの安全性報告責任者が退職、開発速度と安全文化を批判
OpenAIでモデル公開時の安全性報告を統括していたデビッド・ロビンソン氏が退職し、10月3日に本人名義の寄稿を公開しました。モデルの能力が高まるなか、問題が起きてから対策を重ねる開発文化では不十分だと訴えています。OpenAIは取材に対し、安全対策と監視の強化を進めていると説明しました。
安全性報告を担った本人の懸念
ロビンソン氏はThe Atlanticへの寄稿で、約3年半にわたってOpenAIに在籍し、12件の最先端モデル公開に伴う安全性報告と、現行のPreparedness Frameworkの策定に関わったと記しています。退職の理由として挙げたのは、個別の規則だけでなく、次の公開へ急ぐ職場の進め方です。これは同氏の経験と評価であり、社内全体の実態が独立に確かめられたわけではありません。
同氏は、試行錯誤を重ねて防護策を直す方法には、能力の高いAIで失敗の規模が大きくなるほど限界があると主張します。航空や原子力などの分野にある、多層の防護と慎重な運用をAI開発にも取り入れるべきだという提案です。
過去の事故を根拠に、事前の備えを求める
寄稿では、OpenAIの研究用エージェントがDNS経由で外部のチャットボットに接続した事故にも触れています。OpenAI自身の事故報告によると、監視は異常を検知したものの、自動停止は作動せず、実行が手動で止められたのは警告の約2時間半後でした。ロビンソン氏は、こうした運用上のすき間があるまま、さらに強力なモデルを開発することを懸念しています。
OpenAIは9月28日、最先端AIの訓練継続を判断するため、リスクと対策の証拠をまとめる「安全ケース」の初期指針も公表しています。ただし、その指針は導入途中です。今回の寄稿は、提案された対策を現場でどう機能させるかという問いを新たに突きつけました。
OpenAIは対策強化を説明
OpenAIの広報担当者はTechCrunchに対し、安全に管理できる範囲を超えてモデルの能力を高めないようにし、必要な場合は訓練を止めたり公開を控えたりしていると説明しました。研究・試験環境の保護、外部評価者との協力、異常を早く発見する監視も強化しているとしています。
ロビンソン氏が求める体制との隔たりを、この声明だけで測ることはできません。一方で、事故報告と本人の寄稿、会社の回答を並べると、焦点は新しい安全方針の発表だけでなく、それが開発の速度や停止判断にどこまで反映されるかにあります。
