AI-Papers
- NVIDIA RTX 5090 一枚で、720p相当・最大16FPSの行動条件付き世界生成を続けられます
- 行動入力から最初のフレームが表示されるまで1.2秒、ピークVRAMは約19.3GiBに収まります
- LongForcing により、1時間から1日規模の長時間ロールアウトでも映像の破綻を抑えています
世界モデルが抱える壁
キーボードを押すと視点が動き、その先の景色が次々と生成される。事前に3Dモデルを作り込むかわりに、映像そのものを予測して仮想世界を再現しようという研究が、ワールドモデル（世界モデル）と呼ばれる分野で進んでいます。ゲーム、シミュレータ、ロボットの学習環境など、応用先は幅広く想定されています。
ただし実用化には2つの壁がありました。1つは計算資源です。高品質なワールドモデルはデータセンター級のGPUを複数枚束ねる前提で設計されており、個人が手元で動かせるものではありませんでした。
もう1つは時間です。自己回帰的に映像を伸ばしていくと誤差が少しずつ蓄積し、色が飽和したり、画面がぼやけたり、同じ模様を繰り返したりして破綻していきます。
Fan Jiang らのチームが公開した ABot-World-0 は、この2つに正面から取り組んだ研究です。コンシューマ向けの NVIDIA RTX 5090 単体で、720p相当の映像を最大16FPSで生成し続けることを実現しました。行動を入力してから最初のフレームが返るまでは1.2秒、ピークVRAMは約19.3GiBです。
データを集める仕組み
学習データの収集基盤が WorldExplorer です。ここでは3種類のデータ源を組み合わせています。AAAタイトルのゲーム、Unreal Engine と 3D Gaussian Splatting（写真から3Dシーンを再構成する手法）で作ったシミュレータ、そしてインターネット上の動画です。
集めたデータをそのまま使うわけではありません。6つの品質軸にわたる14種類の自動チェックに加え、VLM（Vision Language Model、画像と言語を同時に扱うモデル）による意味的な評価を通します。
行動ラベルの付け方はデータ源ごとに異なります。ゲームであればプレイ時の入力をそのまま使い、シミュレータでは軌跡から決定的に逆算し、ネット動画では姿勢推定で疑似ラベルを作ります。さらに、学習結果を見て足りないデータを再収集する閉ループを回している点がこの基盤の特徴です。
教師から生徒への蒸留
学習は段階的に進みます。まず事前学習済みの動画生成モデル Wan2.2 をベースに、行動条件付きの「教師モデル」を作ります。この教師は前後のフレームを同時に見る双方向モデルなので品質は高いものの、リアルタイム生成には向きません。
そこで教師を「生徒モデル」へと変換していきます。Teacher Forcing では正解の過去フレームを条件として与えつつ因果的な注意マスクを導入し、過去だけを見て次を生成する形に作り替えます。続く Causal ODE Distillation で、教師の生成過程を少ないステップ数で近似できるよう蒸留します。
最後の段階が LongForcing です。生徒が自分の出力を条件に長く生成し続けたときのズレを、より長い時間幅を扱える教師の監督によって補正します。学習時に想定した長さを超えても分布が崩れにくくなり、長時間の破綻を抑える効果があります。
キーボード操作で動かす
操作インタフェースはキーボードに統一されています。移動のW/A/S/Dと視点回転のI/J/K/Lを合わせた8次元のマルチホットベクトル（押されているキーを1、それ以外を0で表す表現）として行動を表現します。これを VAE（Variational Autoencoder、映像を低次元の潜在表現へ圧縮し復元するモジュール）の時間方向の圧縮率に合わせ、4フレーム分をまとめて32次元のトークンとして扱います。
もう1つの工夫が reference-character memory です。参照画像を非対称な注意機構で参照させることで、操作対象キャラクターの見た目が生成の途中で変わってしまう問題を抑えています。
単一GPUを支える推論最適化
論文は「リアルタイム対話は少ステップ生成だけでは実現しない」と述べています。生成、復号、メモリ管理、注意計算をまとめて最適化して初めて成立する、という主張です。
学習は1920×1080で行い、推論時は1280×704（約720p相当）まで解像度を落として動かします。注意計算には SageAttention2（注意機構をINT4量子化で高速化する実装）を使い、映像の復号にはフルサイズのデコーダのかわりに LightVAE（VAEのデコーダを軽量化した実装）を用います。
重みの数値表現はFP8（8ビットの浮動小数点形式）を基本とし、速度が必要な箇所ではさらに細かいMXFP6やMXFP4（6ビット、4ビットのブロック単位浮動小数点形式）を使います。KVキャッシュ（自己回帰生成で過去の計算結果を保存して再利用し、計算をやり直さずに済ませる仕組み）は局所的な範囲に区切り、古いものから順に捨てることでメモリ使用量に上限を設けています。位置情報の表現には Fast-RoPE（RoPE、つまり回転で位置を表す埋め込みを注意窓の中で貼り直す高速版）を採用しました。
実験結果と長時間の挙動
評価には WorldRoamBench を使っています。制御の厳密な正確さ、軌跡の追従、美的品質、記憶の一貫性という4項目のスコアは次のとおりです。
モデル | 制御精度 | 軌跡 | 美的品質 | 記憶 |
|---|---|---|---|---|
ABot-World-0 | 0.5266 | 0.6752 | 0.5039 | 0.5041 |
HappyOyster | 0.5317 | 0.7737 | 0.5235 | 0.6309 |
Genie 3 | 0.4700 | 0.6719 | 0.4711 | 0.6073 |
Genie 3 に対しては記憶を除く3項目で上回りましたが、HappyOyster には4項目すべてで及びませんでした。特に記憶の一貫性は0.5041で、他の2手法（0.6309、0.6073）との差が目立ちます。一度通り過ぎた場所に戻ってきたときの再現性には、まだ改善の余地があるということです。
一方、長時間の挙動には見どころがあります。LongForcing を入れた場合と入れない場合を60秒のロールアウトで比べると、後半にいくほど差が開きました。画質評価指標のスコアが高く保たれるだけでなく、色の飽和、ぼやけ、同じ模様の繰り返しといった劣化の指標がいずれも低く抑えられています。定性評価では1時間規模、さらに1日規模の生成でもシーン構造や視点の一貫性が保たれたと報告されています。
物理的な振る舞いも部分的に再現されます。物体との衝突、水面に残る跡、雪の上の足跡、壁による移動の遮断など、明示的な物理演算を持たないにもかかわらず、それらしい反応が映像として生成されています。学習分布の外にある環境やキャラクターに対しても、同じ操作インタフェースで動かせたと報告されています。
まとめと今後の展望
ABot-World-0 の意義は、対話的なワールドモデルを個人の手元に降ろした点にあります。データセンターを借りなくても試せる環境が整えば、ゲーム制作やシミュレータ開発、ロボットの学習環境づくりに関わる人の裾野は広がります。動画ワールドモデルをロボットの方策評価に使うGigaWorld-1のような取り組みとも、目指す方向は重なっています。
課題も明確です。記憶の一貫性のスコアは競合手法に届いておらず、長時間の探索で同じ場所を再訪したときの整合性は今後の焦点になります。また、推論時に解像度を落としている点や、キーボード入力という限られた操作体系に依存している点も、今後の拡張余地として残されています。
それでも、少ステップ生成、注意計算、量子化、メモリ管理を個別にではなく一体で設計するという論文の姿勢は、他の生成モデルをエッジ環境へ持ち込む際にも参考になりそうです。
