AI-Papers
- 汎用の視覚言語モデル（VLM）に意味的なアクション単位のインターフェースを与えるだけでロボット操作を成立させるフレームワーク Show-Harness が提案されました
- Gemini 3.1 Pro によるゼロショット制御と、Qwen3.5-2B を数GPU時間で微調整した軽量モデルの両方が、π0.5 や GR00T といった既存手法を上回りました
- ボトルネックは計画能力ではなく細かな空間グラウンディングにあり、対象の位置を視覚的に示すと成功率が大きく改善しました
研究の背景
ロボットに物を掴ませたり運ばせたりする研究では、視覚と言語と行動を一体で学習する Vision-Language-Action モデル（VLA）が主流になっています。画像と指示文を入力すると、関節角度やアーム先端の移動量といった低レベルな制御信号を直接出力する方式です。
ただしこの方式には、ロボットごとに大量の実機デモを集めて事前学習をやり直す必要があるという負担が付きまといます。アームの構成が変われば出力すべき数値の意味も変わるため、学習済みの方策を別のロボットへ持ち込みにくいのです。
一方で、GPT や Gemini のような基盤 VLM は、画像を見て状況を説明したり手順を組み立てたりする能力をすでに備えています。シンガポール国立大学などの研究チームによる本研究は、足りないのはモデルの容量ではなくインターフェースではないかという問いから出発しました。
提案手法の中身
Show-Harness は、VLM とロボットの間に「意味的なアクション単位」という共通の語彙を挟みます。VLM が出力するのは座標や関節角度ではなく、人間にも読める離散的なコマンドです。
- 並進: MV_FWD、MV_BACK、MV_LEFT、MV_RIGHT、MV_UP、MV_DOWN
- 回転: ROTATE_CW、ROTATE_CCW（各軸まわり）
- グリッパー: GRASP、RELEASE
- 終了判定: DONE
これらは1回あたり小さな変化しか起こさない増分的な指令で、観測を見ながら少しずつ修正していく形で精密な操作を組み立てます。方向はカメラ映像から見た向きを基準に定義されるため、機体に依存しません。実際の関節指令への変換は、ロボットごとに用意された解釈器（インタープリタ）が決定論的に担当します。
図1のように、全体は知覚、推論、行動のループとして構成されています。知覚では複数視点のカメラ画像に加え、グリッパーの高さや接触の有無といった内部状態を文章に変換して渡します。推論では指示を視覚的に確認できる小さな段階へ分解し、目標が見えないうちは判断を保留する仕組みや、移動が続く区間だけ複数コマンドをまとめて発行する仕組みが働きます。行動側では行動履歴を参照して往復運動を防ぎ、空振りの把持を検出して再試行します。
GUMIによるデモ収集
もう一つの構成要素が GUMI です。これは同じアクション語彙をボタンとキー操作として並べた GUI で、人間がマウスとキーボードだけでロボットを動かせるようにしたものです。
専用のテレオペ機材を用意せずにデモンストレーションを集められるうえ、フロンティアモデルのエージェントも人間とまったく同じ操作系を通してデータを自動収集できます。図2はその画面構成を示しています。低レベルな軌跡ではなく意味的なコマンド列として記録されるため、集めたデモは別のロボットへも再利用できます。
実験では実機で164エピソード（約7800ステップ）、シミュレータで230エピソード（約1万3500ステップ）が収集されました。VLA の事前学習で必要とされる規模と比べると、かなり小さいデータ量です。
実験結果と比較
評価は7自由度の Franka アームと、AgileX の双腕ロボットで行われました。ブロック、バナナ、テニスボール、テディベア、チェス駒などを皿やボウルへ移す10種類のタスクが対象です。
ゼロショット設定では Gemini 3.1 Pro を、微調整設定では Qwen3.5-2B を使い、タスク、環境、機体の3水準で汎化性能が測られました。論文によれば、どちらの設定も π0.5 や GR00T といった代表的な VLA を一貫して上回り、シミュレータのデモだけで学習した場合でも実機で動作したのに対し、学習型の VLA ベースラインは失敗しています。汎用エージェントに適切な足場を与えることで専門特化モデルに迫るという構図は、LLM エージェントによる TPU カーネル自動生成など他分野でも報告されている流れです。
個別の条件について本文で報告されている数値をまとめます。
条件 | ゼロショット | 微調整 | π0.5 |
|---|---|---|---|
未学習の90度回転への外挿 | 全角度で頑健 | 70% | 20% |
隠れた物体を探す推論タスク | 85% | 10% | 0% |
同タスク＋サブタスク指示を付与 | ー | 70% | 5% |
動画デモを見せた模倣 | 20/20 | 95% | ー |
回転の外挿は、0度と45度のデモしか学習していない状態で90度を要求する設定です。低レベルな数値を回帰する π0.5 が20%まで落ちるのに対し、意味的なコマンドを介する側は解釈器の設定を変えるだけで対応できています。図3では、グリッパーと物体の衝突や不安定な把持で失敗する π0.5 との違いが視覚的に比較されています。
効率面では、目標が見えているかどうかでコマンドのまとめ方を切り替える適応的な制御により、96%の成功率を平均30ステップで達成しました。まとめる処理を常時オンにするとステップ数は減る一方で成功率は74%まで下がっており、細かい操作の直前では1手ずつ観測を確認する必要があることがわかります。なお、出力の98%以上が正しい形式のアクション単位になっており、指示追従そのものは安定していました。
限界は空間グラウンディング
失敗の分析から見えてきたのは、うまくいかない原因が手順の組み立てではなく、掴む位置や置く位置の細かな見極めに集中しているという事実です。何をすべきかは正しく判断できても、あと数センチをどちらへ寄せるかで誤ります。
実際、対象のバウンディングボックスを画像上に明示すると、ゼロショットは60%から82%へ、微調整モデルは40%から65%へ改善しました。言語だけで空間を記述する方式の限界と、視覚的な手がかりを補う設計の有効性が同時に示された形です。
アブレーションでは、複数視点の提示と内部状態の言語化がとりわけ重要で、サブタスク分解だけを残すと成功率が落ちること、アクション名を任意の記号に置き換えても規約を明示すれば性能が保たれる一方、観測だけから効果を推測させる設定はほぼ機能しないことも報告されています。バックボーンの規模については、2B が精度と応答性のバランスで最も良い結果でした。
まとめと今後の展望
Show-Harness は、専用の VLA を訓練しなくても、インターフェースの設計次第で基盤 VLM から実用的な操作能力を引き出せることを示しました。ゼロショットで動くことに加え、2B 規模のオープンモデルを数GPU時間で適応させるだけで実機制御が成り立つ点は、研究のハードルを下げる要素になります。
もっとも、評価対象は平行二指グリッパーを持つ単腕と双腕に限られており、多指ハンドやヒューマノイドへの拡張は未検証です。触覚や力覚のフィードバックも組み込まれていないため、押し付けやはめ込みのような接触が支配的な作業は今後の課題として残されています。増分的なコマンドを積み重ねる方式である以上、高速な動作や連続的な力制御が必要な場面をどう扱うかも論点になるでしょう。
コードとモデル重み、データセットが公開されており、GUMI によって専用機材なしでデモを集められる点は、追試や派生研究を進めるうえで扱いやすい条件です。
論文情報: "Show-Harness: Just a VLM Agent Can Play Robots"（Yanzhe Chen et al., 2026） arXiv:2609.10522
本記事の図（図1〜図3）は解説のため上記論文より引用しています。
