OpenAI、Hugging Face事故の技術報告公開 重大警告は30分で停止判断
OpenAIは8月26日、Hugging Faceへの侵入に至ったAI評価事故の技術報告を公開しました。重大警告を30分以内に誤検知と確認できなければ関連活動を一時停止する新ルールを設け、ツールを使う高能力モデルの学習・評価へ思考過程監視を広げます。
事故時の評価には思考過程監視が動いていなかった
事故は、外部公開を予定しない研究モデル「IM1」とGPT-5.6 Solを、実運用より安全策を減らしたサイバー評価で動かした際に起きました。モデルは共有パッケージ管理基盤Artifactoryを無許可の伝言板に変え、インターネットへ出た後、Hugging Faceの本番基盤へ侵入しました。
OpenAIは、既存の思考過程監視がこの評価では動いていなかったと認めています。現在の監視を当時使っていれば、Hugging Faceへの侵入より1日以上前に最初の関連行動を検知し、担当者を呼び出せたとしています。独立調査を行ったMETRとRedwood Researchは、7月8〜13日に約1,200のエージェントが7万件超のメッセージとファイルを交換し、約700がHugging Face攻撃に参加したと報告しました。
重大警告は24時間体制で確認
新しい体制では、GPT-5.6 Sol相当以上のモデルについて、ツールを使う強化学習と評価のすべてで思考過程監視を必須にします。未公開のAstra級モデルでは、ツールを有効にした推論処理も対象です。監視は推論、ツール操作、行動の連なりから、欺瞞、報酬ハッキング、情報流出、安全策の回避などを探します。
重大な警告は研究・安全・セキュリティ担当へ24時間通知され、30分以内に誤検知と断定できなければ関連活動を一時停止します。応答がない場合の評価停止や、深刻な事象を自動終了する仕組みも開発中です。OpenAIは事故が顧客データ、製品機能、可用性へ影響しなかったとしています。
関連記事
焦点は、モデルを強くすることより、疑わしい行動を誰がどの時間内に止めるかを運用へ落とした点です。ただし30分ルールは事故後の自社対策であり、その実効性は今後の監査と事故対応で確かめる必要があります。