AI-Papers
- 永続的な学習可能トークン「世界状態レジスタ」を各生成チャンク後に更新し、複数エージェント間で世界情報を共有する
- Mixture-of-Transformersで状態更新と映像生成の目的衝突を分離し、意味情報のエンコード品質を高めた
- 二エージェントMinecraft動画生成でWorldScore 105.1（ベースライン81.0）、一貫性76.6%を達成した
研究の背景
近年、拡散モデル（ノイズを段階的に除去して映像を作る仕組み）を使った動画生成が急速に発展しています。特に、過去のフレームを条件として次のフレームを逐次生成する自己回帰型のストリーミング生成は、対話的に操作できる世界モデルの基盤として注目されています。
ところが、複数のエージェントが同じ世界で同時に行動する場面では大きな課題が生じます。従来の手法は、直近の観測履歴（過去フレームのKVキャッシュ）だけを手がかりに次のフレームを描くため、視野の外で起きた出来事や、別のプレイヤーが行った変更を保持できません。あるエージェントが建てた建物が、視点が離れて戻ってきたときに消えてしまう、といった不整合が起きやすいのです。
世界モデルの全体像についてはワールドモデル（世界モデル）とは？で解説していますが、今回紹介するWorldWeaver（W²）は、この「共有される世界状態をどう保つか」という問題に正面から取り組んだ研究です。カリフォルニア大学ロサンゼルス校とAdobe Researchのグループが提案しました。
世界状態レジスタの仕組み
提案手法の核心は「世界状態レジスタ」と呼ばれる学習可能なトークン群です。実験では256個のトークンを用意し、これらが世界の隠れた状態を表現します。レジスタには2つの重要な性質があります。1つはエージェントやロールアウト（逐次生成）のステップをまたいで持続すること、もう1つは新しい観測が得られるたびに動的に更新されることです。
具体的には、フレームを1つ生成し終えるたびにレジスタが更新され、その更新済みレジスタが次のフレーム予測の条件として使われます。フレームトークンとレジスタトークンを交互に並べることで、次に描くフレームは直近の観測窓と、1つ前のレジスタの両方に注意を向けられます。これにより、視界の外にある情報も含めた広域の状態が映像生成に反映されます。
レジスタが実際に意味のある情報を蓄えるよう、学習時には3種類の補助的な予測器（デコーダ）で監督します。1つ目は各エージェントの位置や速度、向きを予測するもの、2つ目は真上から見た俯瞰マップ（Bird's-Eye View）の特徴を予測するもの、3つ目はシーンの状況を説明する文章を生成するものです。これらの信号が、レジスタに局所的な動きの整合性、広域の空間配置、そして意味的な状況を書き込ませる役割を果たします。
状態と映像を分けるMoT
ここで問題になるのが、映像のピクセルを描く仕事と、抽象的な世界状態を表現する仕事が、モデル内で衝突してしまう点です。両者は性質が大きく異なるため、同じパラメータで処理すると互いに足を引っ張ります。
WorldWeaverはこれをMixture-of-Transformers（MoT）で解決します。レジスタトークンを処理する状態側の重みと、フレームトークンを処理する映像側の重みを別々に用意し、それでいて注意計算は交互に並んだ系列全体で共有します。つまり、パラメータは分けつつ情報のやり取りは保つ設計です。
この分離の効果は、レジスタに豊かな意味情報を持たせたときに顕著に現れました。シーン文章による監督を加えた場合、通常の共有パラメータ構成ではWorldScoreが91.3にとどまるのに対し、MoTでは103.2まで向上しています。さらに学習後半では映像側の重みを固定してレジスタ側だけを更新する工夫を加え、映像品質を安定させています。
3段階の学習プロセス
WorldWeaverは段階的な学習（カリキュラム学習）で訓練されます。第1段階では、単一エージェント向けの事前学習モデルを起点に、複数エージェントの同期クリップを双方向の注意で学習し、フレーム全体を見渡した状態でクロスエージェントの理解を確立します。
第2段階では、この双方向モデルを逐次生成できる因果的なモデルへ変換しつつ、世界状態レジスタを導入します。ここでフレーム生成の損失とレジスタ監督の損失を同時に最適化します。第3段階のSelf-Forcingでは、モデル自身が生成したフレームと確定させたレジスタを学習に使い、学習時と推論時のずれ（train-testミスマッチ）を減らします。DMDと呼ばれる蒸留手法を組み合わせ、わずか3千から4千ステップで仕上げます。
実験結果と性能比較
評価は二エージェントのMinecraft動画生成で行われました。ベースラインとなるSolarisと比較すると、明快な世界状態モデリングが論理的な一貫性と生成品質の両方を押し上げることが確認されています。主な指標は次のとおりです。
指標 | ベースライン（Solaris） | WorldWeaver |
|---|---|---|
WorldScore | 81.0 | 105.1 |
Grounding精度 | 81.3% | 93.8% |
Consistency精度 | 57.8% | 76.6% |
Building精度 | 9.4% | 28.1% |
平均FID（低いほど良い） | 43.3 | 34.0 |
特に注目したいのが一貫性（Consistency）の改善です。エージェント間で世界の状態が矛盾しないかを測るこの指標が57.8%から76.6%へ大きく伸びており、共有状態の保持という当初の狙いが機能していることを示します。補助監督の切り分け実験では、監督なしのレジスタでもWorldScore 93.8を出せますが、3種類の信号を組み合わせると105.1に達しました。単独ではシーン文章の寄与が最も大きく、103.2を記録しています。
また、ラベル付きクリップ1千件とラベルなしクリップ1万件を使った半教師あり学習では、WorldScoreが63.2から90.3へ向上しました。少量のラベルでレジスタの意味を固定すれば、ラベルなしのロールアウトデータも品質向上に活かせることを示しています。
まとめと今後の展望
WorldWeaverは、観測履歴だけに頼らず、永続的なレジスタで世界状態を明示的に持ち回るという新しい発想を示しました。MoTによる目的の分離と3種類の補助監督を組み合わせることで、多エージェント環境での一貫性を大きく高めた点が評価できます。
一方で、検証はMinecraftという構造化された環境に限られており、俯瞰マップやシーン文章といった監督信号を用意しやすい設定に依存しています。より複雑で多様な現実世界の場面や、エージェント数がさらに増えた場合にどこまでスケールするかは、今後の検証課題として残ります。ゲームAIや身体性を持つエージェントなど、共有世界を扱う世界モデル全般への応用が期待される研究です。
