AI-Papers
- KAISTらが、積み木の積み上げ問題1.5万件からなる合成データセットSpatialBlock-15kを公開し、画像を扱う大規模モデルの空間推論を訓練
- 3D構造から2D見え方を予測、視点を変える、2つの構造を合成するという3種類の課題で基礎スキルを分解して学習
- 3BモデルがSB-Benchで29.9%から94.8%へ、実世界の空間ベンチマークMindCubeでも39.1%から49.1%へ改善
研究の背景
Large Vision-Language Model（LVLM、画像と言語を同時に扱う大規模モデル）は、画像の説明や質問応答では高い性能を見せます。しかし2D画像の奥にある3D構造を頭の中で組み立て直す能力、いわゆる空間知能はいまだに弱点として残っています。
この弱点を埋める定番の方法は、実世界のシーンに深度や位置関係の注釈を大量に付けてデータセットを作ることです。ただしこの作業はコストが高く、専用の計測機材や人手の検証が必要になります。
KAISTとAITRICSの研究チームが提案したSpatialBlockは、発想を切り替えて人間の認知発達を参考にしました。子どもが積み木遊びを通じて空間感覚を身につけるように、積み木の積み上げ問題という単純で自動生成しやすいタスクからモデルに基礎能力を獲得させる、という方針です。
図1にあるように、この課題で人間はほぼ満点を取る一方、最先端のLVLMは苦戦します。論文の報告ではGPT-5でも積み木ベンチマークSB-Benchで43.8%にとどまり、人間の約95%と大きな開きがありました。
積み木が測る3つの力
研究チームはまず、積み木問題を解く過程にどんな空間スキルが含まれるかを分解しました。図2に整理されているとおり、隠れた3D構成を推論する力、変換のもとで構造を保つ力、複数の部品を一貫した全体へ統合する力の3つです。
この分析にもとづき、SpatialBlock-15kは3種類の問題を各5,000件ずつ用意しています。舞台は3×3のグリッドで、各マスに1個から4個までの積み木が縦に積まれるという制約つきの世界です。
SpatialBlock-15kの設計
3つの問題タイプは、それぞれ狙う能力が異なります。図3の左側に示された内容をまとめると次のようになります。
- Q1（3D-to-2D投影）: 与えられた3D構造を特定方向から見たときの2Dの見え方を答える。どの積み木が手前の積み木に隠れるかという遮蔽の判断が要る
- Q2（視点変換）: 視点が動いたときに構造の相対位置関係が崩れずに保たれているかを問う
- Q3（構造合成）: 2つの3D構造を組み合わせた結果を推論する。接触面の特定と全体形状の再構成が必要
さらにこのデータセットの特徴が、色の変調を視覚的な手がかりとして組み込んだ点です。Q1では色が奥行きの順序を、Q2では変換をまたいで保たれる部品の役割を、Q3では2つの構造の対応関係を符号化します。
人間が場面を理解するときに特定の物体を基準点として関係を追うのと同じように、モデルにも推論の足がかりを与える狙いです。
学習の進め方
推論能力を伸ばす学習では、強力な教師モデルに推論過程を書かせてから模倣させるcold-start（初期の教師あり学習）がよく使われます。ところが積み木課題では教師役の精度自体が低く、図8のように答えが合っていても途中の構造描写が間違っている例が頻出したため、この工程は採用されませんでした。
代わりに用いられたのがLoRAによるパラメータ効率的な微調整と、GRPO（Group Relative Policy Optimization、複数の出力を相対評価して方策を更新する強化学習手法）の組み合わせです。報酬は正解との一致、出力形式の遵守、50から1024トークンという長さ制約を合わせた多目的設計になっています。全パラメータを更新しないのは、もとの思考連鎖の能力を壊さないためです。
学習後のモデルは、答えを直接出すSpatialBlock-directと、推論過程を書き出すSpatialBlock-reasonの2系統が用意されました。ベースモデルとしてはQwen2.5-VL-3B/7B、Qwen3-VL-4B、InternVL3-2Bが試されています。
実験結果
Qwen2.5-VL-3Bを出発点とした結果は次のとおりです。SB-Benchは積み木課題そのものの評価、MindCubeとMMSI-Bench、SPBenchは実世界画像を使う空間推論ベンチマーク、MMMUは一般的な視覚理解の維持を見るための指標です。
ベンチマーク | ベースライン | direct | reason |
|---|---|---|---|
SB-Bench | 29.9% | 94.8% | 90.2% |
MindCube | 39.1% | 49.1% | 45.3% |
MMSI-Bench | 26.1% | 28.1% | 29.2% |
SPBench | 40.0% | 40.4% | 43.7% |
MMMU | 45.6% | 46.4% | 46.7% |
積み木という合成環境だけで訓練したにもかかわらず、実写画像を使うMindCubeで10ポイント伸びた点が中心的な成果です。MMMUがわずかに上昇していることから、一般的な視覚理解を犠牲にしていないこともうかがえます。ロボット制御にVLMを使うShow-Harnessのような応用でも、こうした基礎的な空間スキルの底上げは前提条件になります。
設計の妥当性を確かめる比較も行われました。3種類の問題のうち1つだけで学習した場合、SB-Benchは40.8%から51.5%程度にとどまり、3つを組み合わせた94.8%には遠く及びません。色の手がかりを外すとMindCubeがdirectで7.9ポイント、reasonで7.3ポイント低下しました。図9の比較では、色を使った学習をしたモデルが「黄色い容器」を基準に複数視点を統合しているのに対し、手がかりなしのモデルは共通の物体を特定できずに失敗しています。
また、相対方向や相対距離といった一般的な空間質問を積み木環境に移植したSynthetic-Realデータセット（図4）や、既存のSpatialLadder-26kで学習した場合と比べても、積み木問題のほうが良い学習信号になっていました。
まとめと今後の展望
SpatialBlockは、実世界の高価な注釈に頼らずに空間知能を鍛えられる可能性を示しました。コードとデータはGitHubで公開されており、追試や拡張がしやすい点も実務上の利点です。
一方で課題も残ります。視点変換は90度単位の標準的な角度では強い反面、図7が示すように視野角が変わると性能は揺らぎます。絶対距離の推定のような数値予測は依然として苦手で、そこはグリッド上の離散的な積み木という設定の限界とも言えるでしょう。
MMSI-BenchやSPBenchの伸びが数ポイント程度にとどまっている点も、合成データからの転移がどこまで届くかを冷静に見る材料になります。単純な合成環境をどこまで複雑化すれば実世界の連続的な空間に届くのか、次の検証課題です。
論文情報: "SpatialBlock: Enhancing Spatial Intelligence in LVLMs via Synthetic Block-Stacking Problem"（Soohyun Ryu, Sohee Kim, Eunho Yang, 2026） arXiv:2609.07064, CC BY 4.0
本記事の図（図1、図2、図3、図9）とサムネイルは上記論文より引用しています（縮小・形式変換あり）。
