AI-Papers
- 記憶を外部データベースに頼らず、モデル内部の記憶状態として保持する「メモリ基盤モデル」という新パラダイムを初めて体系化した研究です
- 勾配計算を使わずフォワード計算のみで情報を保存し、重みを凍結したまま推論時に記憶を更新できる「ネイティブ記憶手続き」が核心です
- Qwen3.5をベースに専用データと中間学習で記憶能力を獲得し、外部メモリ手法のTemp-LoRAやdelta-Memを上回る精度を示しました
研究の背景
AIエージェントや対話アシスタントが長期にわたって使われるほど、過去のやり取りをどう覚えておくかが重要になります。これまでの一般的なやり方は、会話履歴を外部のデータベースやベクトル検索に保存し、必要なときに検索して文脈に貼り付けるというものでした。つまり記憶はモデルの「外側」に置かれ、検索、順位付け、文脈への連結という手続きが別途必要でした。
この外部メモリ方式には課題があります。検索と再挿入のたびに処理コストがかかり、文脈が長くなるほど負荷が増えていきます。また、モデル本体は記憶の中身を直接扱えないため、情報の更新や忘却といった操作が扱いにくくなります。会話の途中でユーザーの意図が変化する場面でLLMの性能が落ちやすいことは、別の研究でも指摘されています。
Metisはこの発想を根本から見直します。記憶をモデルの外に置くのではなく、モデル自身の内部に「記憶状態」として組み込み、モデルの計算そのものが記憶の保存と検索を担うという設計です。論文はこれを「メモリ基盤モデル（Memory Foundation Model）」と呼び、記憶能力を最初から備えた基盤モデルという新しい枠組みを提示しました。
ネイティブ記憶という考え方
Metisが提唱する「ネイティブ記憶（Native Memory）」は、2つの要素で定義されます。1つはモデルの中核に持続的に存在し、やり取りのたびに変化していく記憶状態です。もう1つは、その記憶状態への情報の書き込みと読み出しをモデルの計算だけで自律的に行う手続きです。
ここで重要なのは、記憶の更新に勾配計算（バックプロパゲーション）を一切使わない点です。通常のモデル学習では誤差を逆向きに伝えて重みを調整しますが、Metisは推論時のフォワード計算のみで記憶状態を書き換えます。モデルの重みは凍結されたまま、記憶だけが会話の進行に合わせて変化していくのです。
この考え方は、思考の連鎖（Chain-of-Thought）が推論モデルに自然に組み込まれたことと似ています。かつて外部で行っていた推論ステップがモデル内部に取り込まれたように、外部に置いていた記憶をモデル内部へ内在化させるという発想です。
Metisの仕組み
Metisのアーキテクチャは、各層に「ローカルメモリブロック」と「ハイパーメモリブロック」を追加した構造になっています。ローカルメモリブロックは、キーと値の次元を持つ密な行列として記憶を保持し、初期状態はゼロから始まります。新しい情報が入るたびに、割引係数を使った指数移動平均の形で記憶行列が更新されていきます。
情報を書き込むとき、Metisはすべてのトークンを保存するのではなく、重要度スコアに基づいて上位のトークンだけを選ぶ「top-ρ選択」を行います。これにより、長い履歴を固定サイズのコンパクトな記憶にまとめられます。読み出しには「メモリ注意（Memory Attention）」という仕組みを使い、通常のAttentionと重み付きで混ぜ合わせることで、過去の情報を現在の生成に反映させます。
ハイパーメモリブロックには、トークンの重要度を測るベクトルや、記憶用のキー・値・クエリを射影する学習可能なパラメータが含まれます。これらは学習時に調整される静的なパラメータで、記憶の書き込みと読み出しのルールを担います。記憶の利用コストが履歴の数に比例して増えず、記憶状態のサイズに主に依存するため、長い文脈でも一定のコストで扱える点が大きな利点です。
記憶能力の学習方法
Metisは記憶能力を専用の学習で獲得します。学習には約35万件（約4億トークン）の主要データを用意し、27個の公開ベンチマークから4つの操作を合成しました。具体的には「Remember（記憶）」「Update（更新）」「Forget（忘却）」「Reflect（多段推論）」の4種類です。
さらに、複数の事実が混ざったときの混同や、記憶が無関係な応答に漏れ出す「記憶の汚染」といった失敗を防ぐため、約61万件の補助データも追加しました。学習では本体（バックボーン）のパラメータを凍結し、記憶モジュールのみを最適化します。目的関数は、記憶を正確に再現する再構成、記憶操作の習得、頑健性のための正則化という3つで構成されます。
ベースモデルにはQwen3.5の4B、9B、27Bを使い、8基のH100 GPUで学習しました。学習が進むにつれて、単純な保存から難しいシナリオへと徐々に重点を移す設計になっています。
実験結果
記憶操作の評価では、文脈を与えないMetis-27Bが平均24.76%を記録し、外部メモリ手法のTemp-LoRA（9.70%）やdelta-Mem（4.38%）を上回りました。これはモデル内部の記憶だけで解答していることを意味します。Metis自身の学習分布に沿ったテストセットでは平均73.77%に達し、忘却タスクで77.50%、多段推論で93.44%と、文脈をすべて与えたフルコンテキスト方式に迫る性能を示しています。
処理速度の面でも利点が確認されました。Metisは履歴の取り込みと記憶の読み出しを含めても、文脈が長くなるほどフルコンテキスト方式より有利になります。出力トークン数が32個でも128個でも、64Kトークン付近で両者の速度が逆転し、それより長い文脈ではMetisが速くなります。さらにセッションごとの保存容量は固定サイズの行列で済むため、文脈が長くなってもKVキャッシュのように容量が膨らみません。
限界と今後の展望
論文は課題も率直に認めています。固定サイズのパラメータに情報を圧縮するため、非常に長期のタスクでは情報が失われて性能が下がることがあります。また、潜在空間の中で意味が混ざり合い、情報の混同が起きる場合もあります。これらは記憶を内在化させるという設計に伴う本質的なトレードオフです。
論文は将来像として、基盤モデルを「状態を持たない予測器」から「状態を持つ学習器」へ、最終的には継続的に自己進化するモデルへと段階的に発展させるロードマップを描いています。エージェントの個人化、生涯学習、テスト時適応など応用範囲は広く、モデルのチェックポイントも公開されているため再現性が高い点も評価できます。
まとめ
Metisは、記憶を外部モジュールに頼るこれまでの常識を覆し、記憶能力をモデル内部に統合する「メモリ基盤モデル」という新しい方向性を具体的な形で示しました。勾配計算なしのフォワード計算だけで記憶を更新できる設計は、長文脈やエージェントの記憶管理に新たな選択肢を与えます。まだ長期記憶での情報損失などの課題は残るものの、記憶をモデルに内在化させるという発想は、今後の基盤モデル研究の重要な軸になっていく可能性があります。
