AI-Papers
- 視覚言語モデルが原子的スキル指令を出し、物理的に妥当な全身動作へ変換することで、運動制御の誤差を取り除き意思決定の能力だけを純粋に測る評価枠組みを提案
- 41シーン・1,218本の長期エゴセントリックエピソードで最先端の9モデルを検証し、最高の成功率でも16.8%にとどまった
- 失敗の多くは知覚や運動制御ではなく、自分の身体の位置を見失う「具身的自己認識」の欠如に集中していることを定量化した
研究の背景
大規模な視覚言語モデル（Vision-Language Model、VLM）は、画像を見て言葉で答える能力を急速に高めてきました。しかし「見て、考えて、身体を動かして環境に働きかける」という一連の行動をどこまでこなせるのかは、意外なほど分かっていません。ロボットや人型エージェントを動かそうとすると、判断の良し悪しと、実際に身体をうまく制御できたかどうかが混ざり合ってしまうためです。
あるエピソードが失敗したとき、それはモデルの判断が間違っていたからなのか、それとも転倒やモーター制御のずれといった実行面の問題だったのか。この2つを切り分けられないと、VLMの「行動する知能」を正しく測ることはできません。
Metaを中心とするチームが発表した本研究「HumanCLAW」は、この切り分けに正面から取り組みます。判断（decision）と低レベルの運動制御（execution）を明確に分離し、運動誤差を計測から取り除くことで、モデルの意思決定の能力だけを純粋に評価しようとする点が新しいところです。近年は視覚と言語と行動を一体で学習するVLA（Vision-Language-Action）モデルの研究が盛んですが、TurboVLAのような手法が「いかに速く正確に動かすか」を追うのに対し、HumanCLAWは「そもそも正しく判断できているのか」という限界の可視化に軸足を置きます。
行動知能をどう測るか
研究チームは行動を、身体性の度合いに沿って3つの領域に整理します。1つ目は身体を持たないチェスのような行動で、盤面の判断がそのまま結果になります。2つ目は歩行のように、判断とバランス制御やモーター制御が分かちがたく結びついた行動です。
HumanCLAWが狙うのは、その中間にあたる3つ目の領域です。身体と世界を1秒未満の速い閉ループでつなぎながら、転倒やモーター追従といった低レベルの制御だけを計測から外します。こうすることで、失敗したエピソードは「バランスを崩した」のではなく「判断を間違えた」と読み替えられるようになります。
HumanCLAWの仕組み
HumanCLAWは、既存のVLMをそのまま組み込める閉ループの枠組みです。エージェントは一人称視点（エゴセントリック）の観測画像を受け取り、VLMがそれを見て「歩く」「横に一歩ずれる」「座る」といった原子的なスキル指令を、パラメータ付きの短いコマンド（例: walk<0.3>）として出力します。
この指令は、スキルに応じた動作生成器によって0.5秒分の全身モーションへ変換されます。生成された動きは物理シミュレータで重力と接触を受けながら実行され、その結果として次の観測画像が返ってきます。VLMは再学習が不要で、新しいスキルを差し込み式（プラグアンドプレイ）で追加できる設計になっています。
VLMから実際の人型制御までをつなぐために、研究チームは「ハーネス」と呼ぶ足場を用意しました。高レベルから中レベル、低レベルへと段階的に推論を導く仕組みで、最後にスキルごとの検証器が、空間的に危険だったり早すぎたりするスキル提案を補正します。
動作生成器の中核は、フローマッチング（サンプルを滑らかに目標へ運ぶ生成手法）で未来のモーションを予測する拡散型モデルです。過去5フレームの姿勢から未来15フレームの動きを生成し、各スキルはControlNetと呼ばれるアダプタとして後付けされます。土台のモデルは凍結したまま、スキルを1つずつ足していける構成です。
半物理シミュレーション
HumanCLAWの評価を支えるのが「半物理（half-physics）」と呼ぶシミュレーション方式です。単なるモーション再生では、生成した動きがそのまま再現されるため、壁をすり抜けて歩いたり、空中で階段を上ったりといった物理的にありえない挙動が起きてしまいます。
半物理では、同じ動きに重力と接触判定を課します。壁は身体をきちんと遮り、階段は身体を支えます。その一方で、バランス崩れやモーター追従の失敗は計測対象から外すため、判断の誤りだけが結果に反映されます。この線引きが、意思決定能力の純粋な評価を可能にしています。
実験結果
研究チームはこの枠組みを使い、41の屋内シーンにまたがる1,218本のエピソードからなるベンチマーク「HumanCLAW-Bench」を構築しました。各エピソードは、対象を探し（find）、そこまで移動し（navigate）、実際に操作する（interact）という長期的なタスクで構成されます。
難易度は3つの幾何的な軸で評価されます。目標までの最短経路の長さを表す「距離」、曲がり角と通過する部屋の数を表す「選択」、経路の1メートル以内にある障害物の平均数を表す「障害物」です。これらを固定のしきい値で易しい・普通・難しいの3段階に分け、バランスの取れた難易度分布を作っています。
この基準で最先端の9つのVLMを検証したところ、ベンチマークを解けたモデルは1つもありませんでした。最も高い成功率でも16.8%にとどまり、多くのモデルはそれを大きく下回っています。対象を認識できるかどうかは制約要因ではなく、モデルは目標そのものはおおむね見えているという結果が示されました。
どこで失敗するのか
失敗がどこで起きるのかを、研究チームは「探索→移動→操作」の3段階のファネルに沿って分析しました。すると失敗は、知覚や運動の実行ではなく、自分の身体をめぐる認識に集中していることが分かりました。
具体的には、目標からまだ遠いのに立ち止まってしまう、到着したことや行き詰まったことに気づかない、何もない空間に座ろうとする、といったパターンが目立ちます。研究チームはこれを「具身的自己認識（embodied self-awareness）」の欠如と呼び、モデルが自分の身体の位置を見失っている状態だと指摘しています。
まとめと今後の展望
HumanCLAWは、VLMの行動知能を運動制御から切り離して測るという発想で、現在のモデルの限界を定量的に浮かび上がらせました。判断と実行を分けたことで、「うまく動かせなかった」ではなく「正しく判断できなかった」という形で弱点を特定できる点に大きな意義があります。
一方で課題も残ります。半物理はあくまで近似であり、完全な物理シミュレーションではありません。評価対象も単一の人型身体に限られ、扱えるスキルの種類も限定的です。それでも、プロジェクトページでベンチマークが公開されており、他の研究者が同じ土俵で再現・比較できる点は今後の発展を後押しするでしょう。
知覚や言語理解が進んだ現在のVLMにとって、次の壁は「自分の身体を正しく把握し続けること」にありそうです。HumanCLAWが示した具身的自己認識という視点は、身体を持つAIの研究に新しい評価軸を加えたと言えます。
