AI-Papers
- ワールドモデルは「次に世界がどうなるか」を予測する AI で、言葉の続きを予測する LLM とは学ぶ対象が根本的に異なります
- 潮流は理解型（V-JEPA 2、Dreamer 4）と生成型（Genie 3、Cosmos）の2つに大別でき、それぞれ得意分野が違います
- 予測を実際のロボット動作につなぐ World-Action Model が登場していますが、推論速度と学習コストが実用化の壁になっています
ワールドモデルとは何か
ワールドモデル（世界モデル）とは、環境が時間とともにどう変化するかを内部で予測する AI モデルのことです。目の前のコップを押したらどちらに倒れるか、ドアを開けた先に何があるか。人間が無意識にやっているこうした予測を、AI に持たせようという発想です。
用語としては 2018 年の David Ha と Jürgen Schmidhuber の論文「World Models」で広く知られるようになりました。当時のアイデアはシンプルで、エージェントに環境の圧縮された内部モデルを持たせ、その「想像の中」で試行錯誤させるというものです。実機を壊さずに何万回も練習できるので、学習効率が上がります。
2026 年に入ってこの言葉の検索需要が急に伸びた背景には、動画生成モデルの品質向上があります。数秒の映像を物理的に破綻なく生成できるようになった結果、「これは世界の内部シミュレータとして使えるのではないか」という期待が一気に高まりました。
LLMとの決定的な違い
Large Language Model（LLM: 大規模言語モデル）は、テキストの次のトークンを予測することで世界の知識を獲得します。膨大な文章を読んだ結果として「ボールを落とせば下に落ちる」と答えられますが、それは物理法則を理解したからではなく、そう書かれた文章を大量に読んだからです。
ワールドモデルは違います。学習対象は言葉ではなく、観測（映像やセンサー値）と行動の系列です。「この状態でこの行動を取ると、次はこの状態になる」という遷移そのものを学びます。言葉を経由しないので、文章化されていない物理的な因果関係も扱えます。
項目 | LLM | ワールドモデル |
|---|---|---|
予測するもの | 次のトークン（単語） | 次の状態（映像・潜在表現） |
主な学習データ | テキストコーパス | 動画・ロボット軌跡 |
行動の扱い | 基本的に持たない | 入力条件として組み込む |
時間の概念 | 文脈の順序として暗黙的 | 状態遷移として明示的 |
得意なこと | 知識検索・推論・文章生成 | 物理予測・行動計画・シミュレーション |
苦手なこと | 未経験の物理的因果 | 抽象的な言語推論 |
両者は競合ではなく補完関係にあります。実際、後述する最新のロボット基盤モデルは、言語理解の部分を LLM 系に任せ、物理予測をワールドモデルに任せるハイブリッド構成へ向かっています。
理解型と生成型の2潮流
ひとくちにワールドモデルと言っても、実装の方向性は大きく2つに分かれます。
理解型（潜在空間で予測する）
ピクセルを直接生成せず、抽象化された潜在表現の上で未来を予測するアプローチです。映像の細部を再現する必要がないため計算が軽く、行動計画に使いやすいという利点があります。
Meta の V-JEPA 2 が代表例です。12 億パラメータのモデルを 100 万時間を超えるインターネット動画と 100 万枚の画像で事前学習し、その後 62 時間未満のラベルなしロボット動画を足すだけで、未知の物体に対するピック・アンド・プレースを 65〜80% の成功率でこなします。数百時間規模のロボットデータを必要としていた従来手法と比べると、必要データ量の桁が違います。
もう一つの代表が Dreamer 系列です。Danijar Hafner、Wilson Yan、Timothy Lillicrap による論文「Training Agents Inside of Scalable World Models」で発表された Dreamer 4 は、世界モデルの内部でエージェントを訓練し、環境と一切対話せずオフラインデータのみで Minecraft のダイヤモンド獲得に到達したと報告しています。同論文はこれを、その条件下で達成した初のエージェントだと位置づけています。生ピクセルから 2 万を超えるマウス・キーボード操作を選び続ける必要があるタスクで、しかも単一 GPU でリアルタイムの対話的推論が動く点が特徴です。
生成型（映像として世界を作る）
こちらは観測そのものを映像として生成します。人間が見て評価できるのが強みで、ゲーム環境やシミュレータの代替として直感的に使えます。
Google DeepMind の Genie 3 は、720p・24 フレーム毎秒で数分間の連続したインタラクションを実時間で生成します。NeRF や Gaussian Splatting のような明示的な 3D 表現を持たず、ユーザーの記述と操作に応じて1フレームずつ世界を作り出す点が従来手法と異なります。約1分前までの映像記憶を保持するため、振り返っても同じ景色が保たれます。テキストで「promptable world events」を指定して環境に介入できるのも特徴的です。
NVIDIA の Cosmos は、フィジカル AI 開発向けの World Foundation Model 群です。最新の Cosmos 3 はテキスト・画像・動画・音声・行動を一つのモデルで扱うオムニモデルで、Mixture-of-Transformers アーキテクチャの上に構築されています。Linux Foundation の OpenMDW 1.1 ライセンスで公開されており、商用開発に組み込みやすい形になっています。
主要モデルを比べる
モデル | 開発元 | タイプ | 特徴 |
|---|---|---|---|
V-JEPA 2 | Meta | 理解型 | 12億パラメータ、潜在空間予測、少量ロボットデータで適応 |
Dreamer 4 | Hafner ら | 理解型 | 想像内学習、オフラインのみで Minecraft 攻略 |
Genie 3 | Google DeepMind | 生成型 | 720p/24fps、数分間の実時間インタラクション |
Cosmos 3 | NVIDIA | 生成型 | オムニモデル、OpenMDW 1.1 で公開 |
選び方の目安としては、ロボットの行動計画や制御ループに組み込むなら理解型、合成データ生成やシミュレーション環境の構築なら生成型が向いています。
予測から行動へつなぐWAM
世界を予測できても、それだけではロボットは動きません。予測と行動をつなぐ仕組みとして注目されているのが World-Action Model（WAM）です。NVIDIA の技術ブログ「Pretrained to Imagine, Fine-Tuned to Act」が、この領域を体系的に整理しています。
従来主流だった Vision-Language-Action（VLA）モデルは、視覚言語モデルを出発点に行動を学習します。これに対し WAM は、動画生成モデルを出発点にする点が違います。動画モデルはすでに「テキストから視覚的変化への対応」を学んでいるため、言語と物理動作の橋渡しが楽になるという期待があります。
同ブログは WAM を3つのパラダイムに分類しています。第一が逆ダイナミクスで、まず未来の映像を生成し、そこから必要な行動を逆算します。第二がジョイント予測で、映像と行動を同時に生成します。第三が表現のみで、推論時には映像生成を省略し、学習で得た内部表現だけを使います。
アーキテクチャも3種類に整理されています。映像予測と行動生成を別モジュールに分ける階層型、単一の Transformer で同時にノイズ除去するモノリシック型、そしてモダリティごとの専門家が共有 attention で情報交換する Mixture-of-Transformers（MoT）型です。MoT は結合の強さと最適化の安定性のバランスが取りやすく、実用面では有力な選択肢とされています。
成果は出始めています。実世界での対戦形式評価ベンチマーク RoboArena の 2026 年 4 月時点スナップショットでは、Wan 2.1-I2V-14B を土台とする DreamZero が 1750 点を記録し、VLA 系の Pi-0.5（1622 点）、Pi-FAST（1592 点）、Pi-0（1475 点）を上回りました。DreamZero が DROID データセットのみで学習され、大規模なクロスエンボディメント事前学習を経ていない点を踏まえると、動画事前学習の効き方は無視できません。
この「想像して、評価して、改善する」という発想は研究段階を越えつつあります。ロボット学習ライブラリ側でも LeRobot v0.6.0 が世界モデルと報酬 API を統合し、実機を動かさずにポリシーを評価する流れが整い始めています。
実用化を阻む3つの壁
期待が大きい一方で、越えるべき課題も明確です。
1つ目は推論速度です。同 NVIDIA ブログが引用する Fast-WAM の報告によれば、映像生成を伴う既定の WAM 構成では行動チャンク1つの生成に 590〜800 ミリ秒かかります。Pi-0.5 の 190 ミリ秒と比べて 3〜4 倍遅く、接触を伴う細かい作業では致命的になり得ます。Fast-WAM が推論時に映像生成を省く「表現のみ」路線を選んだのは、この制約への直接的な回答です。
2つ目は学習コストです。同ブログの下限見積もり（C ≈ 6NT の式による概算）では、DreamZero の行動微調整だけで約 8.6〜9.0 ZFLOP、VLA Foundry の LLM から VLA までの全工程が約 6.9 ZFLOP とされています。さらに動画事前学習まで含めると 22B 級モデルの代理見積もりで約 66 ZFLOP に達します。1 ZFLOP がおよそ H100 で 936 時間相当という換算を踏まえると、動画バックボーンをゼロから作る選択肢を取れる組織は限られます。
3つ目は評価指標の不在です。生成された映像が「もっともらしい」ことと「物理的に正しい」ことは別物ですが、後者を測る標準的な指標はまだ確立していません。シミュレーションで動いたポリシーが実機で失敗する sim-to-real ギャップも解消していません。映像品質がそのままポリシー性能に直結する WAM では、データのフィルタリングやキャプション付けまでが性能を左右する要素になります。
どこへ向かうのか
NVIDIA のブログは今後のシナリオとして、WAM が主流になる場合、VLA が主流のままになる場合、両者が融合する場合、そしてロボティクス専用の基盤モデルが台頭する場合の4つを挙げ、融合が最も可能性が高いと見ています。実際、Physical Intelligence の Pi-0.7 は視覚的サブゴール生成に世界モデル的な要素を取り込んでおり、境界はすでに曖昧になりつつあります。
整理すると、ワールドモデルは LLM を置き換えるものではありません。言語で世界を語る能力と、物理で世界を予測する能力は別々に育ってきた技術であり、いまその2つが接続されようとしている段階です。ロボットや自動運転といったフィジカル AI の領域では、この接続が実用性能を決める分かれ目になります。
入門としてまず触れてみるなら、OpenMDW ライセンスで公開されている Cosmos や、公開実装のある V-JEPA 2 が現実的な出発点になるでしょう。
