OpenAI、最先端AIの監視手順を公開 外部利用では会話停止も
OpenAIは10月29日、最先端モデルの訓練・評価から社内利用、一部の外部提供までを監視する仕組みを詳しく公開しました。社内のCodex利用はモデルを問わず監視対象です。一方、外部利用では対象や介入方法を限定し、条件が整った会話は自動停止できると説明しています。
軽い検知から、人の判断まで
監視は四段階です。モデル内部の活動を調べる「活性化プローブ」、会話・思考過程・ツール操作を読むモデル審査、経緯を調べる調査エージェント、ネットワーク記録などと照合する自動調査を組み合わせます。最後の自動調査は社内Codexなど一部の高感度な活動で使います。重大な警告は担当者が確認します。訓練と社内Codex利用では最初のプローブを省き、モデル審査から始めます。
OpenAIは、過去のHugging Face侵入事故の記録を新しい監視体制で再生したところ、実際の侵入より30時間以上早い段階で警告できたと報告しました。これは過去の記録を使った再現結果で、将来の事故を必ず防ぐという実証ではありません。
外部利用の監視には対象と停止条件がある
外部向けの仕組みは、サイバー能力が同社の「Critical」基準を超えるモデルの特定の提供形態に適用します。社内と同じ量の文脈を常に取得できるわけではなく、通常は警告をOpenAIの人間の審査員へ自動送付しません。企業は自社の担当者へWebhook警告を送る設定ができます。
APIでは、対象のツール利用を監視しても、会話を自動停止するには継続するリクエストを同じ会話として追える方式が必要です。追跡方式がなければWebhook警告は届いても会話は続き得ます。Chat Completions APIは今回の監視対象外です。OpenAIはZero Data Retentionの約束を維持するとしています。
関連記事
監視が及ぶ範囲と、警告後に実際に止められる範囲は同じではありません。外部向けの利用者は、使うAPIと会話追跡の設定を確認する必要があります。