Möbius RoPEとは？LLMの長文検索を安定させる反周期的位置エンコーディング

RoPEの周波数を反周期的（θᵢ=π(2i+1)/N）に設計し、系列の両端をメビウス境界条件で結合する新しい位置エンコーディング
ニードル検索の精度が文脈長512で63.3%から90.3%へ、最悪ケースは14%から86%へ改善し、パープレキシティは悪化しない
既存のRoPE系LLMへ周波数表を差し替えるだけで導入でき、乱数シードによる検索性能のばらつきを解消する

研究の背景

大規模言語モデル（Large Language Model、LLM）が長い文章を扱うには、各単語が文中のどの位置にあるかをモデルに伝える仕組みが欠かせません。現在の主流はRoPE（Rotary Positional Encoding、回転位置エンコーディング）で、単語の特徴ベクトルを位置に応じた角度だけ回転させることで、相対的な距離を自然に表現します。LLaMAをはじめとする多くのモデルがこの方式を採用しています。

ところが、長文の中から特定の情報を正確に取り出す能力には、しばしば不安定さが見られます。これを測るのが「ニードル・イン・ヘイスタック」（Needle in a Haystack、干し草の山から針を探すように長文中の一文を探し出させるテスト）です。同じモデル構成でも、学習時の乱数シード（初期値を決める種）を変えるだけで、この検索精度が14%から98%まで大きく振れてしまう現象が知られています。

論文はこれを「シード宝くじ（seed lottery）」と呼びます。実運用では、たまたま良いシードを引けるかどうかに検索の信頼性が左右されるため、運任せになってしまうわけです。この不安定さそのものを設計で解消しようというのが本研究の狙いです。

図1: 乱数シードごとのニードル検索精度。標準RoPEは14〜98%と大きくばらつくのに対し、Möbius系は86〜99%の狭い範囲に集中する

提案手法Möbius RoPE

著者のJi Ho Bae氏が提案するのは、RoPEの回転周波数を「反周期的」に組み替えるというアイデアです。標準のRoPEでは周波数が幾何的に滑らかに減衰しますが、本手法はθᵢ = π(2i+1)/Nという奇数倍の並びを使います。ここでNは訓練時の文脈長です。

この設計の核心はホロノミー-1という性質にあります。ホロノミーとは、一周したときにどれだけ回転がずれるかを表す量です。各回転面が訓練文脈の全体でπの奇数倍だけ進むため、系列の端まで到達すると符号が反転して戻ってきます。ちょうどメビウスの帯を一周すると裏表が入れ替わるのと同じで、この境界条件から手法名が付けられています。

その結果、系列の両端が決定論的に結び付けられ、ディリクレ核と呼ばれる数学的構造による「双極子（dipole）」が生まれます。図2の注意マップを見ると、Möbius版では反対角線の符号が反転しており、文頭と文末が明確に対応づけられているのが分かります。著者は理論式との一致を10⁻⁶程度の精度で数値的に確認しています。

図2: Möbiusと標準の注意マップの比較。Möbius版は反対角線が符号反転したディリクレ核構造（両端をつなぐ双極子）を示す

実装上の利点も見逃せません。この変更は周波数の表を差し替えるだけで済むため、既存のRoPE系LLMへほぼコストなしで組み込めます。論文はこれを「検索のシード宝くじに対するゼロコストの保険」と表現しています。

実験結果

検証には160Mクラスと410Mクラス、合わせて48モデルが用いられ、各モデルはFineWeb-Eduの20億トークンで学習されました。文脈長512でのニードル検索精度は次のとおりで、平均値だけでなく最悪ケースの底上げが顕著です。

手法	平均精度（文脈長512）	最悪ケースのシード
標準RoPE	63.3 ± 31.4%	14%
Möbius（ハイブリッド）	90.3 ± 5.7%	86%

標準RoPEは標準偏差が31.4ポイントと大きく、シードによる当たり外れが激しいのに対し、Möbius版は5.7ポイントに収まっています。しかも言語モデルとしての性能を示すパープレキシティ（予測の難しさを表す指標、低いほど良い）は29.66対29.72とほぼ同じで、検索の安定性を得るために基本性能を犠牲にしていない点が重要です。410Mスケールでもばらつきの縮小は統計的に有意でした（Levene検定 p=0.040）。

図12: 文脈長ごとのニードル検索精度。訓練長の境界内でMöbius系が標準を上回り、境界を超えると両手法とも精度が低下する

メカニズムの検証

著者は効果の原因を丁寧な対照実験で切り分けています。同じ周波数帯域でも単に非周期的にした並びでは検索は改善せず、周期的な並び（ホロノミー+1）では効果が部分的にとどまりました。改善をもたらすのは反周期性そのもの、つまりホロノミー-1という境界条件だと結論づけています。

さらに、Möbiusで学習したモデルの周波数を後から標準RoPEへ戻すと検索性能が崩壊し、特に遠くに置かれた針の取りこぼしが増えました。図10が示すように、訓練長を超えると検索を担う層でニードルへの注意がほぼ消えてしまいます。幾何的な構造を使ってLLMの崩壊を防ぐという発想は、強化学習の探索崩壊をリーマン幾何で抑えるRIPOとも通じるところがあり、モデルの安定化に数理的な制約を持ち込む流れの一つと位置づけられます。