- OpenAIが外部4機関と契約し、社内モデルやシステムに深く立ち入る「埋め込み型評価」の第1段階を開始した
- Apollo Research、METR、Transluce、Goodfireがアライメント、セーフガード、監視システム、内部表現の解析をそれぞれ担当する
- 評価者はオンサイト環境で検証し、機密の削除や開示延期の余地を残しつつ、公表の独立性が認められている
埋め込み型評価とは
OpenAIは2026年11月16日、外部の評価機関4社と契約を結び、埋め込み型評価(embedded assessments)の第1段階を始めたと発表しました。埋め込み型評価とは、独立した専門家に対して開発元の社内モデルやシステムへの深いアクセスを与え、一定期間にわたって継続的に検証させる仕組みです。
対象はモデルのチェックポイント、ソースコード、学習データや評価データ、監視システム、技術文書など、各評価に必要な範囲に及びます。担当した研究者やエンジニアとの議論も認められます。従来の外部レッドチーミングが公開前モデルへの限定的なテストにとどまっていたのに対し、開発プロセスそのものを対象にする点が異なります。
OpenAIはこの取り組みを、自社で作成する安全性の根拠(セーフティケース)を置き換えるものではなく補完するものと位置づけています。背景には、第三者評価に関する同社の方針整理のほか、安全管理の独立評価を含む「White House Accord on Super Intelligence」での約束があります。
4機関が担う検証範囲
第1段階のパイロットでは、4機関がそれぞれ異なる領域を担当します。
- Apollo Research: モデルが開発者の意図に反して密かに動く可能性と、その検知可否
- METR: 同社最大規模の強化学習実行におけるミスアライメント挙動と、監視系の評価
- Transluce: 事後学習(post-training)段階のアライメント評価の品質と網羅性
- Goodfire: 解釈可能性研究者が常駐し、モデル内部の表現を解析
Apollo Researchの評価は2段階に分かれ、4つの主張を検証します。学習が裏切り的な行動を促していないこと、強い評価やレッドチーミングでもそうした行動が引き出されないこと、社内利用でモデルが実際に試みていないこと、そして企てた場合の推論が検知可能であることです。第1段階では公開済みと未公開のモデルおよびチェックポイント、学習データ、評価結果、介入記録、監視データ、担当研究者、計算資源へのアクセスが与えられます。
METRは2件を予定しており、1件目はアライメント評価です。既存のテストや監視が見落とした可能性のある失敗も対象に含め、METR自身が優先順位を決めて手法を反復します。2件目の監視システム評価はより広い範囲を想定していますが、範囲の合意は保留中です。同社はすでにOpenAIの内部監視系を深いアクセス付きで評価したパイロットや、ストレステストの実績があります。
Transluceは選定モデル、評価とその結果、挙動データ、セーフティケース文書、研究者へのアクセスを得ます。2027年初頭には約8週間の追加評価が計画され、モデルへのアクセス範囲を広げ、評価結果がリリース判断にどう反映されるかの情報も提供される見込みです。Goodfireの発見はまず社内研究者向けに還元され、協業の進展に応じて学びを公開するとしています。モデルの能力や信頼性を外から横断比較するSO-Arenaのような公開ベンチマークとは、踏み込む深さが大きく異なります。
立ち入りの枠組みと制約
OpenAIは評価者の意見を取り入れて運用手順を整備しました。範囲の調整と反復、機密情報を扱うためのオンサイト環境と同社支給端末の利用、監督と争点の調停、従業員との議論、利益相反の開示とクールオフ期間、公表と責任ある開示の猶予期間が柱です。監督には独立した監督委員会(Safety and Security Committee)が関与します。

一方で制約もあります。図1の流れのうち、モデルの重みやアーキテクチャのように機微な知的財産に直接触れる場合は、OpenAI側の研究者と組ませるなどの代替手段が検討されます。従業員との議論はオフレコ扱いで帰属させられず、評価者の記述に対してOpenAIが裏付けを与えないこともあります。公表時には機密情報の削除や開示の遅延を求める権利も残されています。
第三者監査の実務モデル
評価者は公表における独立性を保つとされており、ここが枠組みの実効性を左右します。OpenAIは、公開レポートによって外部が自社の安全対策を判断する材料が増えるとも説明しています。評価の規範が標準化されていない段階であるため、手順は今後見直される前提です。
同社は第1段階を、より長期で継続的な常駐評価につなげたいとしています。将来的には自社の安全フレームワークへの準拠状況を点検する評価も検討対象に挙げられました。評価・監査の体制を設計する開発者や企業にとっては、アクセス範囲、オンサイトでの隔離、利益相反の扱い、公表時の調整という4点の切り分けが参考になる構成です。