AI-Papers
- LLMの強化学習では訓練エンジンと推論エンジンが別々に動作し、訓練ポリシーの改善が推論ポリシーの向上を保証しないという「目標不一致」問題を初めて体系的に提起
- 推論ポリシーの単調改善を真の目標とするMIPI原則と、サンプラー参照更新・推論ギャップ検証の2ステップで実現するアルゴリズムMIPUを提案
- FP8量子化ロールアウト環境でQwen3-4Bの平均スコアが64.42%から66.71%に向上し、PPO・GRPOなど主流手法で生じる訓練途中の性能崩壊を防止
研究の背景
LLM（大規模言語モデル）の能力を高める手法として、強化学習（Reinforcement Learning）が広く使われています。ChatGPTの品質改善に使われたPPO（Proximal Policy Optimization）や、DeepSeek-R1で採用されたGRPO（Group Relative Policy Optimization）はその代表例です。
これらの手法はいずれも、「訓練中に更新されるポリシー（方策）を改善すれば、実際のモデルも良くなる」という前提に立っています。しかし本論文は、その前提自体に根本的な落とし穴があることを指摘します。
現代のLLMシステムでは、学習に使う訓練エンジンと、実際に文章を生成する推論エンジンが別々に動作するのが一般的です。FP8（8ビット浮動小数点）量子化、フラッシュアテンション、投機的デコーディングなど、推論時の高速化技術は訓練時のそれと異なります。このため、同じモデルパラメータを持っていても、訓練エンジンと推論エンジンが出力する確率分布は一致しません。
目標不一致とは何か
訓練エンジンが扱うポリシーをπ（パイ）、推論エンジンが扱うポリシーをμ（ミュー）とします。従来のRL手法が最適化する目標は「πを改善すること」です。しかし実際のサービスで使われるのはμなので、本当に最適化すべきは「μを改善すること」のはずです。
著者たちはこのずれを「目標不一致（Objective Misalignment）」と名付けました。πが改善されても、μが同時に改善されるとは限りません。極端な場合、πが向上した直後にμが崩壊する事態さえ起こり得ます。FP8量子化ロールアウトのように訓練と推論の差が大きい環境では、この問題が特に顕著に現れます。
医療VQAのような高精度が求められる応用でも、訓練中に安定しているように見えても実際の推論ポリシーが劣化しているという「見えない崩壊」が潜在する危険性があります。この問題はこれまで体系的に定式化されておらず、PPO・GRPOを含む主流RL手法の根本的な設計上の盲点として存在していました。
MIPI原則とMIPUアルゴリズム
著者たちはまず、推論ポリシーμの単調改善を保証するための枠組みとしてMIPI（Monotonic Inference Policy Improvement）原則を提唱します。推論ポリシーの改善量を3つの項に分解することで、どこに問題があるかを明確にします。
3項の意味をわかりやすく言えば次の通りです。Term①は更新後の「推論エンジンと訓練エンジンのズレ」、Term②は訓練エンジン内部での純粋な改善量、Term③は更新前の「推論エンジンと訓練エンジンのズレ」です。従来手法はTerm②のみを最適化しており、推論側のズレであるTerm①・③を無視していました。
このMIPI原則を実装したアルゴリズムがMIPU（Monotonic Inference Policy Update）です。MIPUは2段階で動作します。
ステップ1では「サンプラー参照更新」を行います。標準的なGRPOでは、確率比の計算に訓練ポリシーπを基準にします。MIPUはこれを実際のサンプル生成源である推論ポリシーμを基準に修正し、Term②とTerm③をまとめて改善します。確率比の重みは最大値2で切り詰めることで、分散と偏りのバランスを保ちます。
ステップ2では「推論ギャップ対応の受け入れ判定」を行います。更新候補を推論エンジンで実際に検証し、Term①にあたる推論ギャップの代理指標T̂_postを計測します。この値が許容パラメータcを下回る場合、更新を棄却して前のチェックポイントにロールバックします。つまり、訓練ポリシーが向上していても推論ポリシーが悪化しそうなら更新を見送るという仕組みです。
実験結果
著者たちはFP8量子化ロールアウト環境（訓練と推論の不一致が大きい条件）でMIPUを評価しました。ベースモデルはQwen3-4BとQwen3-1.7Bで、数学的推論ベンチマークのMATH-500・AIME24・OlympiadBenchで測定しています。
Qwen3-4Bの実験では、MIPUの平均スコアが66.71%となり、ベースライン手法の64.42%を約2.3ポイント上回りました。個別のベンチマークでも、MATH-500で91.15%（ベースライン89.34%）、AIME24で43.56%（ベースライン42.00%）、OlympiadBenchで67.86%（ベースライン64.89%）と一貫した改善を示しています。Qwen3-1.7Bでも平均53.97%と、ベースライン50.86%を上回りました。
スコアの向上以上に重要なのは訓練の安定性です。ベースライン手法は訓練の中盤で競争力のある性能に達するものの、その後に急激な性能崩壊が起きることが確認されました。MIPUはステップ2のロールバック機構によって、この崩壊を防ぎスコア軌跡を安定させています。
アブレーション実験では、ステップ1のみで+0.94ポイント、ステップ2のみでは-1.61ポイント（単独では逆効果）、両ステップを組み合わせると+2.29ポイントという結果が得られ、2つのステップが相補的に機能することが示されています。
まとめと今後の展望
本研究の核心的なメッセージは、「LLMのRLで最適化すべきは訓練ポリシーではなく推論ポリシーである」という視点の転換です。この問題はFP8量子化だけでなく、投機的デコーディングや異なるバッチサイズなど、推論時に使われる様々な技術が訓練環境と異なる場合に広く発生します。
PPOやGRPOを使ったRL実装は既に産業界でも広く普及していますが、本論文が指摘するように、推論エンジンとの不一致を考慮せず訓練ポリシーだけを最適化する設計は目標がずれている可能性があります。MIPUは既存のGRPOベースのパイプラインに比較的追加しやすい形で設計されており、実用上の障壁も低いと言えます。
今後の課題としては、推論ギャップの代理指標T̂_postの精度向上や、より多様な量子化方式・推論最適化技術への適用検証が挙げられます。LLMの実用化においてRLが中心的な役割を担い続けるなか、訓練と推論の橋渡しという視点はこれからのRL設計で欠かせない考え方になるでしょう。
