AI-Papers
- 世界モデル（VLA-JEPA・LingBot-VA・FastWAM）の統合で、ロボットが行動前に未来を頭の中でシミュレーションできるようになった
- Robometer・TOPRewardという汎用報酬モデルAPIが加わり、人手を介さずに成功/失敗を自動判定できる仕組みが整った
- 6種のシミュレーションベンチマーク統合とデータ読み込み最大2倍高速化により、学習から評価まで1フレームワークで完結する
v0.6.0の概要とリリース背景
HuggingFaceのロボット学習フレームワーク「LeRobot」は2026年7月7日にv0.6.0をリリースしました。今回のアップデートは単なる機能追加にとどまらず、「ロボットが行動前に未来を予測し、その予測を自動評価して学習を改善する」という一連のサイクルを1つのフレームワーク内で閉じることを目指した設計です。
これまでのロボット学習では、モデルの訓練・評価・改善の各フェーズに異なるツールを組み合わせる必要があり、研究者にとって大きな手間でした。v0.6.0はその壁を取り除くため、世界モデル・報酬モデルAPI・統一ベンチマークの3本柱を同時に投入しています。公式ブログはHuggingFaceブログで参照できます。
世界モデル統合：行動前に未来を予測する
v0.6.0の最大の目玉は、3種類の世界モデルポリシーの追加です。世界モデルとは、ロボットが実際に動く前に「この動作をとったら環境はどう変化するか」を内部でシミュレーションするための仕組みです。この考え方はYann LeCun氏が提唱するJEPA（Joint Embedding Predictive Architecture）アーキテクチャとも重なります。
VLA-JEPAは、コンパクトなVLA（Vision-Language-Action）モデルが潜在空間で未来を予測しながら学習し、推論時にはその予測モジュールが不要になる設計です。モデルを軽量に保ちながら、予測による豊かな表現学習を享受できます。LingBot-VAは自己回帰型のビデオ・行動統合モデルで、将来のビデオフレームとアクションを同時に予測します。FastWAMは動画生成の専門家とアクション選択の専門家を1つのネットワーク内に統合した設計です。
3モデルそれぞれがアプローチを変えており、研究者は自分の課題に合った世界モデルを選んで実験できます。なお世界モデルの概念は、LLM誘導の3D軌跡制御と永続オブジェクト記憶を持つ動画世界モデル「WorldDirector」でも議論されており、物理AIへの応用が広がっています。
新規VLAモデル5種の追加
世界モデルとは別に、既存のVLAアーキテクチャも5種類が新たにサポートされました。
- GR00T N1.7: NVIDIAが公開したファウンデーションモデル。Cosmos-Reason2-2Bを基盤とし、ロボット操作の汎用性を重視した設計
- MolmoAct2: Allen Institute for AIによる視覚言語行動モデル。自然な言語指示でロボットを操作できる
- EO-1: Qwen2.5-VL-3Bをバックボーンとした軽量VLA。小型デバイスへの展開を想定
- Multitask DiT: 言語で切り替え可能な4億5000万パラメータの拡散トランスフォーマー。複数タスクを1モデルで扱う
- EVO1: 7.7億パラメータの軽量モデル。推論コストを抑えながら幅広いタスクに対応
産学の複数組織によるモデルが1フレームワークに集約されたことで、研究者は実装を書き直さずに複数モデルを比較できます。
報酬モデルAPI：成功判定を自動化する
ロボット学習における長年の課題の1つが、「タスクが成功したかどうかを誰が判定するか」という問題です。人が手動で確認する方法はスケールせず、環境依存のハードコーディングは汎用性に欠けます。v0.6.0はこの問題に対して2つのAPIを投入しました。
Robometerは汎用目的の報酬モデルAPIです。任意のLeRobotデータセットに対して、ビデオ映像と言語指示を入力として受け取り、タスクの進捗スコアと成功/失敗を自動で判定します。特定の環境やロボットに依存しない汎用設計が特徴です。
TOPRewardは視覚言語モデル（VLM）のトークン確率を活用した完全ゼロショット方式の報酬推定です。追加の学習データや微調整を一切必要とせず、VLMが持つ既存の知識だけで報酬を算出します。新しいタスクへの素早い適用が強みです。
2つのAPIが組み合わさることで、「世界モデルで未来を予測し、報酬モデルで結果を自動評価し、学習を改善する」というループが完全に自動化されます。
6種のベンチマークと高速化
今回のリリースでは、シミュレーション環境としてLIBERO-plusとRoboTwin 2.0が追加されました。これにより既存のRoboCasa365・RoboCerebra・RoboMME・VLABenchと合わせて計6種の標準ベンチマークが統一CLIから実行できます。
RoboCerebra・RoboMME・VLABenchはそれぞれ認知能力評価・マルチモーダル評価・言語指示追従能力の測定に特化しており、モデルの多面的な評価が可能です。
データ読み込み面でも大きな改善があります。複数カメラのフレームを並列デコードすることで最大2倍の高速化を達成しました。また、データセットのサブセット読み込みは従来の275秒から0.06秒へと大幅に短縮されています。これは研究の試行錯誤サイクルを大きく加速します。
その他の主要な変更点
v0.6.0にはさらに多くの実用的な改善が含まれています。lerobot-rollout CLIの追加でDAgger（Dataset Aggregation）に対応した展開が容易になりました。マルチGPU学習はFSDP（Fully Sharded Data Parallel）に対応し、HuggingFace Jobsを経由したクラウド学習も可能です。
ハードウェア側では深度センサーのサポートが加わり、3D認識を要するタスクへの対応が広がりました。データ品質面では、VLMを使った自動言語アノテーション機能が追加され、収集したデータへの言語ラベル付与を自動化できます。インストールの観点では、依存パッケージが約40%削減され、初期セットアップのハードルが下がっています。
