RIPOとは？リーマン幾何でPPO-Clipの探索崩壊を防ぐLLM強化学習の新手法

• PPO-Clip の固定幅クリップは方策の差をユークリッド距離で測っており、方策空間が本来持つ幾何と食い違うことが探索崩壊の原因だと理論的に指摘した
• RIPO はクリップ幅を旧方策の出力確率に応じて動的に変える「等長クリップ」を導入し、低確率領域では広く、高確率領域では狭く更新を許す
• Qwen3-8B-Base で7ベンチマーク平均が GRPO の 28.5 から 38.5 に改善。小型の Qwen3-1.7B の AIME24 では GRPO 比で約60%の相対向上を記録した

大規模言語モデル（Large Language Model、LLM）の推論能力を伸ばす手段として、強化学習（Reinforcement Learning、RL）による事後学習が定着しています。その中核にあるのが PPO-Clip、そしてその派生である GRPO（Group Relative Policy Optimization）です。

今回紹介する論文「Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization」は、この PPO-Clip のクリップ処理そのものに幾何学的な誤りがあると主張します。提案手法 RIPO（Riemannian Isometric Policy Optimization）は、その誤りを正すことで学習の安定性と最終性能を同時に高めました。

なお、テーマ名にある「AIME24 で GRPO 比60%向上」は、4種類の検証モデルのうち最小の Qwen3-1.7B-Base における AIME24 単体での相対値です。後述するように、モデルや評価指標によって改善幅は大きく異なります。

探索崩壊という課題

RL で LLM を鍛えるとき、しばしば「探索崩壊」と呼ばれる現象が起こります。学習が進むにつれてモデルの出力が特定の解き方に固まり、方策エントロピー（出力のばらつきの大きさ）がほぼゼロまで落ち込む状態です。

こうなるとモデルは新しい解法を試さなくなり、性能の伸びが早期に頭打ちになります。逆に DAPO のようにクリップ上限を緩めた手法では、今度はエントロピーが制御不能に増大し、学習が発散気味になるという別の問題が生じます。

これまで探索崩壊はハイパーパラメータの調整や報酬設計の問題として扱われてきました。本論文はそこに踏み込み、原因はクリップ条件の数式そのものにあると論じています。

ユークリッドと本来の幾何のズレ

PPO-Clip は、新旧の方策の比率 r(θ) = π_θ(a|s) / π_old(a|s) について |r(θ) - 1| ≤ ε という条件を課し、ε を全トークンで同じ値（例えば 0.2）に固定します。この形は、方策間の距離を単純なユークリッド距離で測っていることに相当します。

ところが、方策同士の本当の近さを表す指標は KL ダイバージェンス（分布間の隔たりを測る量）であり、これはリーマン多様体（各点ごとに距離の測り方が変わる曲がった空間）としての構造を方策空間に与えます。この幾何のもとで2つの方策の距離を近似すると、おおよそ π_old(a|s) × (r(θ) - 1)² に比例することが示されます。

つまり同じ比率のずれでも、旧方策の確率が高いトークンでは実際の移動距離が大きく、確率が低いトークンでは小さくなります。固定幅のクリップはこの重みを無視するため、めったに選ばれないトークンには過度に慎重な更新しか許さず、よく選ばれるトークンには過大な更新を許してしまいます。これが、高確率のトークンをさらに強化し続けて分布を尖らせる、探索崩壊の力学だという説明です。

提案手法RIPO

RIPO の中核は、Riemannian Isometric Clip（RIC）と名付けられたクリップ条件です。固定値 ε の代わりに、旧方策の確率に応じて変化する境界を使います。

具体的には |r(θ) - 1| ≤ √(δ / π_old(a|s)) という形を取ります。確率が低いトークンほど平方根の分母が小さくなり、許される比率変化の幅が広がる仕組みです。この設計により、先ほどの幾何距離 π_old × (r - 1)² はどのトークンでもおおむね δ 一定に揃います。名前にある「等長（Isometric）」は、方策空間上で見たときの一歩の長さが場所によらず一定になることを指しています。

この性質はバイアスと分散の釣り合いにも効きます。各トークンが勾配推定の分散に与える寄与が O(δ) 程度に均されるため、通常の重要度サンプリングや PPO-Clip より安定した更新が得られると論じられています。実装面では、既存の学習パイプラインのクリップ条件を差し替えるだけで済み、追加のモデルや報酬設計は不要です。大規模な事後学習基盤との組み合わせやすさという点では、SLAI T-Rex のような大規模 RL 学習環境にもそのまま載せられる位置づけといえます。

図1の学習ダイナミクスを見ると、違いがはっきりします。GRPO は方策エントロピーがほぼゼロまで低下する一方、DAPO は逆に増大が止まりません。RIPO は中間の水準を保ち、勾配ノルムの振動も小さく推移しました。クリップされるトークンの割合についても、DCPO や GMPO のように少なすぎず、GSPO や DAPO のように多すぎない中庸な値に落ち着いています。

実験結果

学習データには数学問題 17,917 件からなる DAPO-Math-17k が使われ、Qwen3-1.7B/4B/8B-Base と Llama3.2-3B-Instruct の4モデルで検証されました。評価は AIME24、AIME25、AMC23、HMMT25、BRUMO25、CMIMC25、SMT25 という競技レベルの数学ベンチマーク7種です。

Qwen3-8B-Base での結果を全7ベンチマーク分示します（GMPO は比較手法の中で最も成績が良かったもの）。

平均値は7ベンチマークすべての単純平均です。RIPO は GRPO 比で 35.1% の改善となりました。個別に見ると AIME25 では GMPO がわずかに上回っており、全項目で勝っているわけではありません。

冒頭で触れた「約60%」は Qwen3-1.7B-Base の AIME24 で、GRPO の 11.3 に対し RIPO が 18.3 を記録したことによります。ただし AIME 系は問題数が30問程度と少なく、小型モデルのスコア帯では数問の差が相対値を大きく動かします。同モデルの7ベンチマーク平均で見ると 11.2 から 15.4 への改善で、こちらは 37.2% です。

この考え方は GRPO 系だけのものではありません。図3は GSM8k で標準的な PPO に RIC を組み込んだ実験で、PPO-Clip がエントロピー崩壊を起こす条件下でも RIPO-Clip は適度なエントロピーを維持し、勾配の変動も小さく抑えられました。数学以外にも、Eurus-Code を用いたコード生成や Search-R1 による多段階検索タスクへの適用が報告されています。

ハイパーパラメータの挙動

δ の既定値は 0.05 で、0.02 から 0.08 の範囲で追加検証が行われました。RIPO では下側と上側で別々の予算（δ_low と δ_high）を設定することもできます。

図2が示すとおり、対称な設定では報酬が着実に伸びてエントロピーも安定します。一方で δ_high を δ_low より大幅に大きくした非対称な設定では、報酬が崩壊しエントロピーが発散しました。手法自体は簡潔ですが、この予算配分の選び方には注意が必要です。

まとめと今後の展望

RIPO の主張は、探索崩壊を経験則ではなく方策空間の幾何という観点から捉え直した点にあります。クリップ幅を確率の平方根に応じて調整するという変更は小さく、既存の RL パイプラインに組み込みやすい形にまとまっています。

一方で、改善幅はモデル規模やベンチマークによってばらつきがあり、小型モデルでの大きな相対値をそのまま一般化はできません。非対称な δ で学習が崩れる点も含め、適用時にはハイパーパラメータの検証が要ります。

それでも、クリップという広く使われている部品の理論的な前提を問い直した意義は小さくないでしょう。今後は数学以外のタスクや、より大きなモデルでの追試が焦点になりそうです。

論文情報: "Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization"（Zhicheng Cai et al., 2026） arXiv:2607.10169, CC BY 4.0

本記事の図（図1〜図3）とサムネイルは上記論文より引用しています（縮小・形式変換あり）。