AI-Papers
- RoPEの周波数を反周期的（θᵢ=π(2i+1)/N）に設計し、系列の両端をメビウス境界条件で結合する新しい位置エンコーディング
- ニードル検索の精度が文脈長512で63.3%から90.3%へ、最悪ケースは14%から86%へ改善し、パープレキシティは悪化しない
- 既存のRoPE系LLMへ周波数表を差し替えるだけで導入でき、乱数シードによる検索性能のばらつきを解消する
研究の背景
大規模言語モデル（Large Language Model、LLM）が長い文章を扱うには、各単語が文中のどの位置にあるかをモデルに伝える仕組みが欠かせません。現在の主流はRoPE（Rotary Positional Encoding、回転位置エンコーディング）で、単語の特徴ベクトルを位置に応じた角度だけ回転させることで、相対的な距離を自然に表現します。LLaMAをはじめとする多くのモデルがこの方式を採用しています。
ところが、長文の中から特定の情報を正確に取り出す能力には、しばしば不安定さが見られます。これを測るのが「ニードル・イン・ヘイスタック」（Needle in a Haystack、干し草の山から針を探すように長文中の一文を探し出させるテスト）です。同じモデル構成でも、学習時の乱数シード（初期値を決める種）を変えるだけで、この検索精度が14%から98%まで大きく振れてしまう現象が知られています。
論文はこれを「シード宝くじ（seed lottery）」と呼びます。実運用では、たまたま良いシードを引けるかどうかに検索の信頼性が左右されるため、運任せになってしまうわけです。この不安定さそのものを設計で解消しようというのが本研究の狙いです。
提案手法Möbius RoPE
著者のJi Ho Bae氏が提案するのは、RoPEの回転周波数を「反周期的」に組み替えるというアイデアです。標準のRoPEでは周波数が幾何的に滑らかに減衰しますが、本手法はθᵢ = π(2i+1)/Nという奇数倍の並びを使います。ここでNは訓練時の文脈長です。
この設計の核心はホロノミー-1という性質にあります。ホロノミーとは、一周したときにどれだけ回転がずれるかを表す量です。各回転面が訓練文脈の全体でπの奇数倍だけ進むため、系列の端まで到達すると符号が反転して戻ってきます。ちょうどメビウスの帯を一周すると裏表が入れ替わるのと同じで、この境界条件から手法名が付けられています。
その結果、系列の両端が決定論的に結び付けられ、ディリクレ核と呼ばれる数学的構造による「双極子（dipole）」が生まれます。図2の注意マップを見ると、Möbius版では反対角線の符号が反転しており、文頭と文末が明確に対応づけられているのが分かります。著者は理論式との一致を10⁻⁶程度の精度で数値的に確認しています。
実装上の利点も見逃せません。この変更は周波数の表を差し替えるだけで済むため、既存のRoPE系LLMへほぼコストなしで組み込めます。論文はこれを「検索のシード宝くじに対するゼロコストの保険」と表現しています。
実験結果
検証には160Mクラスと410Mクラス、合わせて48モデルが用いられ、各モデルはFineWeb-Eduの20億トークンで学習されました。文脈長512でのニードル検索精度は次のとおりで、平均値だけでなく最悪ケースの底上げが顕著です。
手法 | 平均精度（文脈長512） | 最悪ケースのシード |
|---|---|---|
標準RoPE | 63.3 ± 31.4% | 14% |
Möbius（ハイブリッド） | 90.3 ± 5.7% | 86% |
標準RoPEは標準偏差が31.4ポイントと大きく、シードによる当たり外れが激しいのに対し、Möbius版は5.7ポイントに収まっています。しかも言語モデルとしての性能を示すパープレキシティ（予測の難しさを表す指標、低いほど良い）は29.66対29.72とほぼ同じで、検索の安定性を得るために基本性能を犠牲にしていない点が重要です。410Mスケールでもばらつきの縮小は統計的に有意でした（Levene検定 p=0.040）。
メカニズムの検証
著者は効果の原因を丁寧な対照実験で切り分けています。同じ周波数帯域でも単に非周期的にした並びでは検索は改善せず、周期的な並び（ホロノミー+1）では効果が部分的にとどまりました。改善をもたらすのは反周期性そのもの、つまりホロノミー-1という境界条件だと結論づけています。
さらに、Möbiusで学習したモデルの周波数を後から標準RoPEへ戻すと検索性能が崩壊し、特に遠くに置かれた針の取りこぼしが増えました。図10が示すように、訓練長を超えると検索を担う層でニードルへの注意がほぼ消えてしまいます。幾何的な構造を使ってLLMの崩壊を防ぐという発想は、強化学習の探索崩壊をリーマン幾何で抑えるRIPOとも通じるところがあり、モデルの安定化に数理的な制約を持ち込む流れの一つと位置づけられます。
限界と今後の展望
本手法の効果には明確な適用範囲があります。改善が確認されたのは訓練時の文脈長の内側で、しかも単一の針を探す検索に限られます。訓練窓を超える外挿や、複数の情報を同時に取り出す設定では未検証です。
比較対象として調べられたNoPE（位置エンコーディングを使わない方式）は、短い文脈では高い信頼性を示す一方で、パープレキシティが13%悪化し外挿性能も劣りました。Möbius RoPEはこのトレードオフを避けつつ安定性を得ている点に価値があります。以下に本手法の要点を整理します。
- 周波数表の差し替えだけで既存モデルに導入できる低コストな改良
- 基本性能を保ったまま検索のばらつきを抑える
- 効果は訓練窓内の単一ニードル検索に限定される
長文脈処理の信頼性は、RAG（検索拡張生成）やエージェント用途でLLMを実用に載せるうえで避けて通れない課題です。周波数設計という手軽な入り口から検索の再現性を高められる本手法は、既存モデルへの後付け改良の選択肢として今後の検証が進むと考えられます。
