Negative Self-Distillationとは？誤答から遠ざかり推論を伸ばす新手法

正解を模倣する On-Policy Self-Distillation が複雑推論を劣化させる原因を、不確実性の表明と自己修正の抑圧として特定した研究です
モデル自身に「不注意な推論者」として振る舞わせた負の教師を作り、その分布から遠ざかる方向に学習させます。正解ラベルは不要です
Qwen3-4B を MATH で学習し、AIME などの 7 ベンチマークで平均 +7.5% を記録。OPSD の +1.0%、Intuitor の +1.3% を上回りました

研究の背景

大規模言語モデル（Large Language Model、LLM）の自己改善手法として、On-Policy Self-Distillation（OPSD）が広く使われています。モデル自身が生成した解答のうち、良質なものを教師として蒸留し、その分布に近づけていく枠組みです。

ところが本論文は、この「正解を模倣する」学習が複雑な推論では逆効果になりうると指摘します。優れた解答だけを追いかけると、モデルは自信ありげに一直線で答えるようになり、「ここは怪しい」と不確実性を表明したり、途中で立ち止まって検算したりする振る舞いが消えていくというのです。

簡単な問題ではこの性質は害になりません。しかし AIME のような難問では、途中で自分の誤りに気づいて戻る力がそのまま正答率に効きます。著者らは、模倣ではなく「誤った推論から遠ざかる」という逆向きの目的関数を提案しました。これが Negative Self-Distillation（NSD）です。

図1: 同じベースモデルから負の教師を作り、生徒モデルの分布をその教師から遠ざける NSD の全体像（論文 Figure 1）

NSDの仕組み

図1に示すように、NSD は外部の強い教師モデルを使いません。学習対象の生徒モデル自身に負の条件を与えて「劣化版の自分」を作り、そこから距離を取る方向に更新します。

手順はこうです。まず生徒モデルが問題に対する解答を一度生成し、次にその問題に固有の「誤りを誘発する指示」を自ら書きます。たとえば計算を飛ばす、条件を読み違える、といった不注意な推論者としての条件付けです。正解ラベルも検証器も必要としない点が、多数決を使う TTRL やラベルを前提とする OPSD との違いになります。

この負の条件を与えた状態のモデルが負の教師として働き、通常のプロンプトを与えた参照モデルとトークンごとの確率分布を比較します。ラベルなしで自己ブートストラップする学習という点では、強化学習ベースの後処理基盤を扱ったMiles v0.1 の記事で紹介したような方向性とも問題意識が重なります。

トークンの選別が鍵

単純に負の教師の出力全体を罰すると、句読点や助詞といった言語の土台まで壊れてしまいます。NSD はここに動的ゲーティングを入れました。

図2: 通常文脈と負の文脈でトークン確率を比較し、負の条件によって不自然に押し上げられたトークンだけを抑制する流れ（論文 Figure 2）

図2の中央部分がその判定です。負の条件を与えたときの確率が、通常の文脈での確率を明確に上回ったトークンだけをゲートが通します。逆に、どちらの文脈でも同じように出てくる一般的な言語トークンは対象から外れ、KL ダイバージェンス（2つの確率分布の隔たりを測る指標）による正則化だけを受けます。これにより、罰則が当たるのは推論の振る舞いに関わるトークンに絞られます。

もう一つの工夫が、罰則の強さをシグモイド関数で抑えた Gated Unlikelihood（GU）損失です。素朴な unlikelihood 損失は確率が高いトークンほど巨大な勾配を生み、学習が暴走しやすくなります。GU ではこの効果を抑え、確率が中程度から低めのトークンに重みを寄せます。

図7: 確率に対する勾配の挙動の比較。OPSD は高確率トークンに大きな勾配を与えるのに対し、GU は高確率側の勾配を抑えている（論文 Figure 7）

図7が示すとおり、OPSD は高確率トークンに大きな勾配を割り当てるため、モデルが急激な更新を受けやすくなります。GU はその領域の勾配をさらに押さえ込み、更新の対象を意味のある箇所へ振り向けています。

実験結果

実験には Qwen3 の 1.7B、4B、8B を使い、MATH データセットで 2 エポック学習しています。評価は AIME 2024 / 2025 / 2026、HMMT 2025、AMC 2023、OlympiadBench、MATH-500 の 7 種類です。

Qwen3-4B での主な結果は次のとおりです。

手法	AIME 2024	7ベンチ平均の伸び
ベースモデル	23.8%	基準
OPSD	25.4%	+1.0%
Intuitor	24.6%	+1.3%
NSD（提案手法）	35.8%	+7.5%

平均の伸びはモデルサイズ別に 1.7B で +2.3%、4B で +7.5%、8B で +6.0% でした。最小モデルで効果が薄いのは、意味のある負の対比を自力で作り出す能力が足りないためと説明されています。

振る舞いの分析も添えられています。1 応答あたりの反省トークン（「待って」「確認すると」といった見直しを示す表現）の出現数は、OPSD の 2.2 に対して NSD では 7.5 でした。模倣学習が削り落としていた自己修正が、逆向きの学習では残っていることを示す結果です。

計算コストの面では、1 サンプルあたりのロールアウトが 1 回で済み、順伝播を並列化できるため、負の教師を余分に動かしても OPSD より学習は速かったと報告されています。また、問題文のみを使う負の条件や、無関係な Wikipedia 文を使う条件でも約 +7.3% と同等の改善が得られており、オンライン生成に頼らないオフライン版でも成立する余地があります。

課題と今後

限界も明示されています。生徒モデル自身が負の対比を作る設計上、小規模モデルでは効果が出にくく、1.7B の +2.3% はその表れです。オンラインでの負条件生成には追加の計算が伴い、オフライン版での代替が検討されています。

評価が数学系の推論ベンチマークに集中している点も残る課題です。コード生成や科学的推論など、誤りの形が異なる領域で同じゲーティングが働くかは、今後の検証を待つことになります。

とはいえ、正解ラベルも外部の強い教師も使わずに Qwen3-4B の AIME 2024 を 23.8% から 35.8% へ引き上げた点は実用的です。コードとモデルが GitHub と Hugging Face で公開されており、1.7B から 8B という手元の GPU でも扱える規模のため、追試のハードルは比較的低いと言えます。

論文情報: "Negative Self-Distillation: Learning to Reason by Avoiding Flaws"（Rongcan Pei et al., 2026） arXiv:2609.11699, CC BY-SA 4.0

本記事の図（図1、図2、図7）とサムネイルは上記論文より引用しています（縮小・形式変換あり）。