AI-Papers
- 視覚と言語を直接行動へ変換し、大規模言語モデルを中央から外すことでVLAの速度の壁を解消
- わずか0.2BパラメータでLIBERO平均成功率97.7%を維持し、RTX 4090上で32Hz動作を達成
- 推論VRAMは1GB未満、遅延31.2msで消費者向けGPUでのリアルタイム制御を実現しコードも公開
研究の背景
ロボットにカメラの映像と「赤いコップを取って」といった言葉を与え、腕の動きを出力させる仕組みをVLA（Vision-Language-Action、視覚言語行動モデル）と呼びます。近年のVLAは高い汎用性を示していますが、その多くは大規模言語モデル（Large Language Model、LLM）を処理の中心に据えています。
この構成では「映像を言語モデルに入力し、その内部表現から行動を予測する」という直列の流れになります。言語モデルは巨大で計算量が大きいため、1回の推論に時間がかかり、必要とするメモリも膨らみます。ロボット制御では毎秒30回以上の判断が求められる場面が多く、この重さが実用の壁になっていました。
VLAが抱える速度の壁
LLMを中心に置く設計には、主に3つの負担がありました。1つ目は遅延で、トークンを1つずつ順番に生成する方式が高速な制御周期と相性が悪い点です。2つ目はモデルサイズで、数十億規模のパラメータがVRAMを圧迫し、エッジ機器への搭載を難しくします。
3つ目は計算効率で、逐次的な予測が処理のまとめ書きを妨げます。研究チームはここで発想を切り替えました。行動を出すために本当に巨大な言語モデルが必要なのかを問い直し、LLMを経路の中央から取り除くという選択に踏み込んだのです。
LLMを外す新しい設計
TurboVLAは「視覚→LLM→行動」という直列の経路を捨て、「視覚+言語→行動」という直接的な対応づけへと再構成しました。映像と言語の指示をそれぞれ独立した軽量なエンコーダで符号化し、両者の情報を直接やり取りしてから行動へ変換します。
全体は3つの部品で構成されます。画像を処理する視覚エンコーダ、指示文を処理する言語エンコーダ、そして複数ステップの動きをまとめて出力する行動チャンクデコーダです。行動を1手ずつではなく、数手分をひとかたまり（チャンク）で予測することで、滑らかで安定した動作と高速化を両立しています。
双方向で情報を交換する
この手法の要は、視覚と言語をつなぐ相互作用モジュールにあります。ここでは双方向のクロスアテンション（互いの重要部分に注目し合う仕組み）を積み重ね、可能な限り単純な構造に抑えています。
具体的には、言語の意味を反映した視覚特徴と、視覚の状況を反映した言語特徴を同時に生成します。これにより「どの物体をどう扱うか」という文脈を、重い言語モデルを通さずに軽く共有できます。行動を数手まとめて予測する幅（行動ホライズン）を調整する検証も行われ、ある程度の長さを持たせると動作が安定することが確認されています。
実験で示された性能
ロボット操作の標準的な評価基盤であるLIBERO（空間、物体、目標、長期タスクの4系統から成る）で、TurboVLAは平均成功率97.7%を記録しました。この水準は、はるかに大きなVLAと同等かそれ以上でありながら、モデル規模と遅延を大幅に削減しています。
効率面の数値は明確です。パラメータは0.2B（2億）にとどまり、RTX 4090上で推論VRAMは0.9GB、遅延は31.2ms、動作周波数は32Hzに達します。性能を犠牲にせずに軽量化できることを示した点が、この研究の中心的な貢献です。
実機ロボットでの検証
シミュレーションだけでなく、実機のAgileX Piperという単腕ロボットでも評価が行われました。手首視点と第三者視点のRGB-Dカメラを備えた構成で、4種類の操作タスクに取り組んでいます。
比較対象には、より大規模な代表的VLAであるπ0.5が用いられました。TurboVLAはこれらのタスクで競争力のある成功率を示し、シミュレーションから実世界への転移が機能することを裏付けています。単一GPUでロボット向けの世界モデルを高速動作させたNVIDIAのCosmos-H-Dreamsと同様に、限られた計算資源でのリアルタイム動作という流れに位置づけられる成果です。
まとめと今後の展望
TurboVLAは、VLAの高速化にはLLMの巨大さが不可欠だという前提を見直し、視覚と言語を直接行動へ結ぶ軽量な設計で高い成功率と実時間動作を両立しました。コードがGitHubで公開されており、消費者向けGPUで再現できる点は実装のハードルを大きく下げます。
一方で、より複雑で長期的なタスクや、多様な物体を扱う場面での汎化性能は今後の検証課題です。それでも、エッジ環境で動くロボット制御という応用の裾野を広げる基盤として、この極限の軽量化路線は注目に値します。
