ProVisEとは？生成ピクセルでAIの空間認知を評価する新枠組み

• 画像生成モデルに領域の塗り分けや深度マップなど「生成ピクセル」で空間問題を答えさせ、VLMと同一指標で公平に比較する評価枠組みProVisEが提案されました
• 14サブタスク470問のSpatialGen-Benchで、テキスト最高のGPT-5.4が61.04%、画像生成最高のGPT Image 2が54.49%と、人間の87.79%に大きく及びません
• 深度や位置関係の可視化は画像生成モデルが優位、構成的な推論はVLMが優位という補完関係が示され、コードとデータが公開されています

研究の背景

AIが空間をどれだけ正しく理解できるかを測る評価は、これまで文字や座標のリストで答えさせる形式が主流でした。しかし、画像を作り出せるモデルにとって、この形式は本来の得意分野とかみ合っていません。

たとえば「どちらの点がカメラに近いか」という問いに対し、人間なら近い側を指差せば済みます。ところが従来のベンチマーク（性能評価用の問題集）は、正確な座標を文字列として書き出すことを求めます。この論文はこれを「答えとインターフェースのミスマッチ」と呼びます。

画像生成モデルは領域を塗ったり、深度（奥行き）を色分けしたりして空間を「見せる」形で表現するのが自然です。しかし、その視覚的な答えは既存の採点システムがそのまま読み取れません。逆にテキスト形式は、正確な座標の書き出しという負担を課してしまいます。この不一致が、生成モデルと理解モデルを同じ土俵で比べることを難しくしていました。

ProVisEの仕組み

研究チームが提案したProVisEは、この不一致を橋渡しする評価枠組みです。画像生成モデルに対して、決められた形式（プロトコル）に沿った視覚的な答えを描かせ、それを構造化された予測値へ変換します。

変換された答えは、元のタスクが使う採点指標でそのまま評価されます。これにより、テキストを出力するVLM（画像と言語を扱うモデル）と画像生成モデルを、まったく同じ意味づけと指標のもとで比較できるようになりました。

プロトコルの作り方には3つの経路が用意されています。既存の検証済み手順を再利用するReuse、登録済み部品からタスク専用の手順を組み立てるBuild、確定的な解析が失敗したときに補助パーサーで拾うFallbackです。答えが読み取れずに評価不能になる事態を、できる限り避ける設計になっています。

さらにProVisEは、ベンチマークを「タスク契約」という共通の形に正規化し、エージェントが各タスクの手順を自動で構築します。生成と解析のペアは適用前に自動検証されます。この仕組みにより、既存の6つのベンチマーク（EmbSpatial、OmniSpatial、Q-Spatial+、RoboSpatial-Home、SAT、RoboAfford）へ手を加えずに適用でき、23のタスク単位で95%という高い簡易検証成功率を達成しました。

SpatialGen-Benchの構成

評価の中心となるのが、専用に設計された診断用ベンチマークSpatialGen-Benchです。470問を、能力の階層に沿って4つの段階に整理しています。

単なる正誤問題だけでなく、正規化座標での点の指定や折れ線での軌跡描画など、答え方の形式も多様です。知覚から実際の操作までを一続きで測れるように組まれている点が特徴です。

実験結果

評価の結果、現在の最先端モデルでも人間には遠く及ばないことが明らかになりました。テキスト回答の最高はGPT-5.4の61.04%、次いでCosmos3-Nanoの60.17%です。一方、人間の基準スコアは87.79%でした。

画像生成モデル側では、GPT Image 2が54.49%で首位、Nano Banana 2が48.63%と続きます。生成ピクセルで答える方式でも一定の実力を示しましたが、いずれも人間との差は大きいままです。

能力段階のなかでは「理解」が最も難しく、上位モデル間でも38.57ポイントもの開きが出ました。特に視点判断、位置関係の検証、心的モデル化が大きな壁として立ちはだかっています。空間を扱うAIが、見た目の把握はできても、その関係を頭の中で組み立てる段階でつまずいている様子がうかがえます。

生成と理解の補完関係

この研究で特に興味深いのが、画像生成モデルとVLMが互いの弱点を補い合う関係にある点です。答えがピクセル上に直接現れるタスクでは、視覚回答が優位に立ちます。深度では18.85ポイント、位置関係では6.74ポイント、視覚回答がテキスト回答を上回りました。

反対に、要素を組み合わせて筋道を立てる構成的な推論では、テキスト回答が強さを見せます。大小比較や実現可能性の判定、状態予測、数え上げはテキスト方式が有利で、推論全体では17.63ポイントの差がつきました。

両者は単純な上下関係ではありません。GPT Image 2は、GPT-5.4が取りこぼした問題の37%を正解しています。視覚での成功はテキストでの成功の一部にとどまらず、別の道筋で解けていることを示しています。空間認知を扱ううえで、テキストとピクセルという2つの経路をどう組み合わせるかが今後の焦点になりそうです。こうした空間理解の観点は、ワールドモデルの研究とも密接に関わっています。

失敗の内訳を調べると、視覚回答の不正解のうち88.03%は「形式は正しいが答えを間違えた」ものでした。プロトコルに従えなかった例は8.46%、パーサーの読み取り失敗は3.45%にとどまります。つまり、視覚で伝える経路自体はおおむね機能しており、技術的な不具合ではなく推論そのものの誤りが主因だと分かります。

まとめと今後の展望

ProVisEとSpatialGen-Benchは、生成と理解という異なる系統のモデルを、公平な同一指標で横断的に評価する道を開きました。テキストに寄りがちだった空間認知の評価を、生成ピクセルという新しい視点で捉え直した点に意義があります。

一方で課題も残ります。視覚回答と比較対象のモデル群や復号経路が異なるため、図で示された比較の多くは厳密な優劣ではなく傾向を示す記述にとどまります。また、最高性能でも人間の水準には届いておらず、空間を頭の中で組み立てる能力の底上げは依然として大きな宿題です。

コードとデータが公開され、既存ベンチマークへ自動適用できるエージェント型のビルダーも備えているため、追試や拡張がしやすい設計になっています。生成モデルと理解モデルの補完関係を踏まえた評価と設計は、今後の空間AI研究の土台になっていくと考えられます。

Show, Don't Tell: Evaluating Spatial Cognition in Generative Pixels Rather Than LLM Text

Abstract page for arXiv paper 2607.21072: Show, Don't Tell: Evaluating Spatial Cognition in Generative Pixels Rather Than LLM Text

arxiv.org