Artificial Analysisが知能指標をv4.2に更新、非公開データ40%へ倍増

Artificial Analysis が Intelligence Index を v4.2 に更新し、非公開テストデータの比重を全体の40%へ引き上げた
知識労働タスクの AA-Briefcase と PDF 読解の GDP.pdf を追加し、スコアが飽和した GPQA Diamond を除外した
更新後の首位は Claude Fable 5.1、次いで GPT-6 Astra が続き、指標の上位帯は僅差で並んでいる

v4.2で何が変わったか

AI モデルの性能を横断比較する調査会社 Artificial Analysis は9月4日、複合指標「Intelligence Index」を v4.2 に更新しました。同社は更新の狙いを、より複雑で現実的なタスクの評価を加え、非公開のテストデータの比重を高めることで指標の「ゲーム化」を防ぐことだと説明しています。ここでいうゲーム化とは、モデル開発側が評価用データの傾向に合わせて調整し、実力以上のスコアを得てしまう状態を指します。

今回の改訂で追加されたのは、知識労働を対象とする AA-Briefcase と、PDF ファイルの読み取り能力を測る GDP.pdf の2つです。一方で GPQA Diamond はスコアが飽和したため、指標本体から外され「Legacy Evaluations」に移されました。上位モデルが軒並み高得点を取る評価は、モデル間の差を説明する力を失うためです。

10個の評価と重み

v4.2 は10個の評価を4つのカテゴリに分けて集計します。エージェント能力とコーディング、汎用能力、科学的推論という区分で、それぞれの重みは次のとおりです。

カテゴリ（合計）	評価	重み
Agents（30%）	AA-Briefcase	15%
Agents（30%）	GDPval-AA v2	10%
Agents（30%）	τ³-Banking	5%
Coding（20%）	Terminal-Bench v2.1	10%
Coding（20%）	SciCode	10%
General（30%）	AA-Omniscience	15%
General（30%）	GDP.pdf	10%
General（30%）	AA-LCR v1.1	5%
Scientific Reasoning（20%）	HLE	10%
Scientific Reasoning（20%）	CritPt	10%

新設の AA-Briefcase が単独で15%と最大級の重みを持ち、数週間規模の知識労働プロジェクトを想定した課題を扱います。GDPval-AA も v2 で採点方式が変わり、単一の判定モデルではなく3つのフロンティア LLM を判定役に使い、人間の専門家の成績を1000とする Elo に紐づける形になりました。

非公開データを倍増した理由

非公開データが指標全体に占める比重は40%となり、v4.1 の2倍に増えました。同社は次期 v5 でこの比率をさらに高める方針も示しています。公開データセットで運用される評価は AA-Omniscience、HLE、CritPt、Terminal-Bench v2.1、SciCode などで、新設の AA-Briefcase は業界の専門家が用意した実データ・拡張データ・合成データを組み合わせており、全体が公開されるわけではありません。

公開ベンチマークは検証しやすい反面、問題文や解答がそのまま学習データに混入する汚染のリスクを抱えます。評価データの一部を手元に残す設計は、この問題への現実的な対処として広がりつつあります。指標全体の95%信頼区間は10回以上の反復に基づき±1%未満と見積もられていますが、個別の評価はこれより幅が広くなる可能性があるとされています。

上位モデルのスコア

更新後のリーダーボードでは Anthropic の Claude Fable 5.1 が首位に立ち、OpenAI の GPT-6 Astra が続きます。ITmedia の報道によれば、GPT-6 Astra は前バージョンから4ポイント上昇し、他のモデルと比べて出力トークンの効率が高いと評価されました。