Random Attentionとは？KVキャッシュをランダムに捨て推論を32-43%高速化

• Salesforce AI Research などの研究チームが、KVキャッシュの削減にスコア計算を一切使わない「Random Attention」を提案
• プロンプト部分だけを固定し、残りをアテンションヘッドごとに一様ランダムで追い出すだけで、既存の高度な選択手法と同等の精度を維持
• スコア計算のオーバーヘッドが消えるため、vLLM 上で最強ベースライン比 32〜43% 高いスループットを達成

研究の背景

推論特化型の大規模言語モデル（Large Language Model、LLM）は、答えを出すまでに数千から数万トークンの思考過程を書き出します。この過程で生成されたトークンの Key と Value はすべて KVキャッシュ（過去のトークンの計算結果を保持しておく領域）に積み上がり、GPU メモリを圧迫していきます。

そこで研究されてきたのが、キャッシュから不要なトークンを追い出す「eviction（追い出し）」の手法です。SnapKV、R-KV、TriAttention といった手法は、どのトークンが後で必要になるかを推定するスコアを計算し、上位だけを残します。より賢いスコアを設計すればより高い精度が保てる、というのがこの分野の共通前提でした。

今回紹介する論文「Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning」は、この前提そのものを検証し直しています。結論は、選択の信号はほとんど何も貢献していないというものです。

提案手法

Random Attention の仕組みは驚くほど単純です。プロンプト（入力された問題文）に含まれるトークンにはスコア無限大を与えて必ず残し、それ以外の生成済みトークンには 0 から 1 の一様乱数を割り当てます。あとは予算分だけ上位を残して切り捨てるだけで、アテンションの重みを見ることも、クエリとの類似度を測ることもありません。

追い出しの判断は、層ごと・KVヘッドごとに独立して行われます。1 回の追い出しにかかる計算は乱数生成と top-k 選択のみで、既存手法が必要とするスコア算出パスが完全に消えます。この差が後述するスループットの向上に直結します。

図1に示すように、従来手法とRandom Attentionの違いは中間のスコア計算工程の有無に集約されます。推論の高速化では、知識と推論の役割を分離するアプローチのようにモデル構造側から攻める研究もありますが、本研究は推論基盤側の運用コストを削る方向の提案です。

なぜランダムで足りるのか

ランダムな追い出しが成立する理由として、論文は 2 つの要因を挙げています。1 つ目はプロンプトの脆さです。すべての手法に同じプロンプト保護ルールを与えると、Phi-4-reasoning の GPQA-Diamond では SnapKV が最大 22.5 ポイント改善した一方、もともとプロンプトを残しやすかった R-KV の改善は 0.2 ポイントにとどまりました。手法間の性能差の多くは、スコアの賢さではなくプロンプトが偶然生き残ったかどうかで説明できたわけです。

2 つ目は推論トレースの冗長性です。事実を意図的に埋め込む検証実験では、その事実を 1 つのヘッドだけが保持している場合の取り出し成功率は約 3% でしたが、複数のヘッドに残っている場合は 83〜99% に跳ね上がりました。モデルは思考の途中で必要な情報を何度も言い直し、しかも複数のヘッドが同じ内容の写しを持ちます。プロンプトさえ守れば、ランダムな抽選でも必要な写しが十分な確率で残るという構造になっています。

実験結果

評価は Qwen3-4B / 14B / 32B と Phi-4-reasoning の 4 モデル、MATH500、GPQA-Diamond、AIME、HMMT、LiveCodeBench-v6 などの推論タスクで行われました。キャッシュ予算はタスクに応じてヘッドあたり 1024〜4096 トークン、圧縮率にしておよそ 4 倍です。以下は全モデル平均の精度です。

統計的な比較では、ベースラインとの 60 の比較セルのうち 31 で Random Attention が有意に上回り、有意に下回ったのは 1 つだけでした。速度面では、vLLM でのサービング時に全キャッシュ保持と比べて Qwen3-4B で 1.58 倍、Qwen3-14B で 1.97 倍、Phi-4-reasoning で 2.23 倍、Qwen3-32B で 2.67 倍のスループットが得られています。

最も強いベースラインである TriAttention との比較では 32〜43% 高いスループットとなりました。TriAttention は 32k の設定で 1 回の圧縮ごとにバッチ全体で約 15 ミリ秒の待ちが発生するのに対し、Random Attention はスコアパスを走らせないためこの待ちが存在しません。

限界と課題

万能というわけではありません。コード生成タスクでは TriAttention が Qwen3-32B で 3 ポイント上回っています。論文はこれを、コードのプロンプトが平均 557 トークンと長く、予算の最大 50% をプロンプトの固定分が消費してしまうためだと説明しています。プロンプトを必ず残す設計が、逆に選択の余地を狭める場面があるということです。

もう 1 つの弱点は、一度しか言及されない事実の保持です。パスコードを 1 回だけ提示して後で問い直す検証では、R-KV が 83.6% の取り出し成功率を示したのに対し Random Attention は 0% でした。冗長性という前提が成り立たない状況では、ランダムな抽選は情報を取りこぼします。実際の推論トレースではこうした状況はまれだと論文は述べていますが、長文検索のように事実の一度きりの出現が本質となるタスクへそのまま適用するのは避けるべきでしょう。

まとめと今後の展望

Random Attention が示したのは、KVキャッシュ削減の効果の大半がプロンプト保護という単純な要素から来ていて、精緻なスコア設計の寄与は思ったほど大きくないという事実です。これは既存手法の評価方法にも影響します。プロンプト保護の条件を揃えないまま比較していた場合、スコア設計の優劣を正しく測れていなかった可能性があるためです。

実装が単純で追加の計算をほとんど伴わないため、既存の推論基盤へ組み込む障壁は低く、コードは GitHub の Salesforce AI Research リポジトリで公開されています。今後は、プロンプトが長いタスクでの予算配分の工夫や、冗長性が乏しい情報をどう守るかが実用上の焦点になりそうです。

論文情報: "Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning"（Heng Wang et al., 2026） arXiv:2609.03430, CC BY 4.0