AI-Papers
- NVIDIAの研究チームがNemotron 3 UltraをSFTと強化学習で追加学習し、IMO 2026で42点満点中30点（金メダル基準は29点）を獲得しました
- 形式証明器や外部ツールを一切使わず、自然言語のまま証明を生成・検証・改良する反復探索パイプラインで達成しています
- 学習済みチェックポイント2種、学習データ、学習・推論コード、提出解答、新規200問のNemotron-IMO-Benchがすべて公開されました
研究の背景
国際数学オリンピック（International Mathematical Olympiad、IMO）レベルの問題を解くAIは、ここ数年で急速に進歩しました。ただし金メダル水準の成果を報告してきたのは主にクローズドなモデルで、どのような学習データを使い、推論時にどれだけの計算を投じたのかは外部から検証できない状態が続いていました。
もう1つの論点が、証明をどの形式で扱うかです。Lean などの形式証明器を使えば正しさを機械的に確認できますが、問題を形式言語に翻訳する手間がかかり、扱える問題の範囲も狭まります。一方で自然言語のまま証明を書かせる方式は人間の答案に近い代わりに、正誤の判定そのものが難しいという問題を抱えます。
NVIDIAのIvan Moshkov氏らによる論文「An Open Recipe for IMO Gold: Training Nemotron for Olympiad Mathematics」は、この2つの課題に同時に取り組んだ研究です。自然言語だけで完結する推論パイプラインを設計し、そのレシピ全体を再現可能な形で公開しました。
学習レシピの中身
出発点は同社の汎用モデルであるNemotron-3-Ultra-GAです。ここに教師ありファインチューニング（SFT）を施し、続いて強化学習（RL）を適用することで、オリンピアド数学に特化した2つのチェックポイントを作っています。
SFTに使われたのは、15,818問から生成した414,890件の学習例です。内訳は証明生成のトレースが58,543件、証明を書き直す改良トレースが67,971件、そして証明の正しさを判定する検証トレースが236,360件と、検証データが全体の半分以上を占めています。さらに検証結果自体を再検証するメタ検証トレースが52,016件加わります。「解く能力」だけでなく「採点する能力」を重点的に学習させている点が、このレシピの特徴です。学習は512基のGB200 GPUで行われ、最大425,984トークンという長い文脈に対応させています。
RLの段階では、元のモデルが4回中1〜3回だけ正解できた9,597問を選んでいます。簡単すぎる問題も難しすぎる問題も学習信号としては薄いため、ちょうど手が届くかどうかの境界にある問題に絞る狙いです。学習は非同期RLで、トレーナー128ノード、推論128ノード、判定用16ノードという構成を取り、最大160のプロンプトグループを同時に走らせています。こうした大規模RL基盤の整備はMiles v0.1のようなオープンなRLポストトレーニング基盤とも共通する流れといえます。
推論時の探索の仕組み
本番の解答生成は、大きく2つの段階に分かれます。前半が高計算量の探索フェーズです。3つのNemotron-3-Ultraチェックポイントが、1ラウンドあたり8種類のプロンプトで合計384通りの証明を書き起こします。
生成された証明は検証パネルにかけられます。パネルはRL版とSFT版の2つのチェックポイントで構成され、それぞれが8回ずつ判定を下し、合計16の判定がすべて満点だった証明だけを「合格」とします。合格しなかった候補は改良フェーズに回され、最大8ラウンドまで生成と検証のループが繰り返される仕組みです。
後半が最終選抜です。残った候補それぞれに対して、3つのチェックポイントがIMOの採点基準を模したプロンプトで16回ずつ、合計48回の採点を行い、平均点で順位付けして提出答案を決めます。形式証明器も外部ツールもインターネットも使わず、すべてモデル自身の自然言語による判断だけで探索を制御している点が、この設計の核心です。
IMO 2026での結果
本番のIMO 2026では、4.5時間×2日という実際の競技時間の制約内で解答を生成しました。結果は次のとおりです。
問題 | 獲得点（満点7点） |
|---|---|
第1問 | 7 |
第2問 | 7 |
第3問 | 1 |
第4問 | 7 |
第5問 | 7 |
第6問 | 1 |
合計 | 30 / 42 |
金メダルの基準点は29点だったため、それをわずかに上回る形で金メダル水準に到達しました。競技時間内に6問分の提出答案を作るまでに消費した計算量は、およそ7億700万トークン、GPU時間にして1,464時間です。制限時間を過ぎてからラウンド8まで探索を続けた場合には、さらに12億6000万トークンと2,136 GPU時間が追加で必要になったと報告されています。
テスト時計算のスケーリングについては、興味深い結果が出ています。1つのチェックポイントで試行回数を倍に増やしても、開発セットのスコアはほとんど伸びませんでした。ところが合計256試行という同じ試行数を、RL版とSFT版の2つのチェックポイントに分けて割り当てると、ジャッジ採点によるスコアは135点から159点へ改善しています。単純に同じモデルを何度も回すより、性質の異なるチェックポイントを組み合わせるほうが探索の多様性を稼げるということです。
検証器の精度と限界
自然言語のみで探索を回す以上、証明の合否を判定する検証器の精度が全体の性能を左右します。論文の分析によれば、元のNemotron-3-Ultra-GAは候補の約半数を受理し、誤って合格させる率が31.6%と高すぎました。SFT版は誤受理率4.5%と厳しい代わりに、正しい証明を却下してしまう率が69.1%に達します。
2つのモデルの全会一致を条件にしたパネルでは、誤受理率が1.1%まで下がりました。ただし正しい証明の却下率は81.3%へ上昇しており、安全側に倒した設計であることがわかります。大量の候補を生成できる前提があって初めて成立するトレードオフです。
この検証器の弱点は本番でも表れました。1点にとどまった第3問と第6問では、内部の検証器も独立した判定モデルも証明の品質を実際の採点より高く見積もっていました。制限時間後に得られた第6問の証明を人間が非公式に再採点したところ7点中4点で、モデルベースの検証には特定の問題領域で共通した盲点があることを示しています。
公開されたリソース
この研究の実用面での価値は、成果物がまとめて公開されている点にあります。公開されたのは以下のとおりです。
- ポストトレーニング済みの特化チェックポイント2種
- SFTおよびRLに使用した学習データ
- 学習コードと推論パイプラインのコード
- IMO 2026に提出した解答そのもの
- 新規作成のベンチマークNemotron-IMO-Bench（200問）
Nemotron-IMO-Benchは、オリンピアド問題の専門家であるTitu Andreescu氏と共同で作成した新作問題で構成されています。既存の公開問題を学習で見てしまっている可能性を排除できるため、汚染のない評価が可能です。開発用のサブセットは代数・組合せ・幾何・整数論にまたがる30問で、うち10問はモデルが解けなかった問題として位置づけられています。
まとめと今後の展望
この研究は、オープンなモデルと公開可能な手順だけでIMO金メダル水準に届くことを実証しました。鍵となったのは特別なアーキテクチャではなく、検証データを厚く積んだポストトレーニングと、生成・検証・改良を繰り返すテスト時の探索設計です。
一方で課題も明確です。金メダル基準を1点差で上回った結果であり、難問である第3問と第6問はほぼ手つかずでした。検証器がモデル自身である以上、モデルが理解しきれていない領域では過大評価が起こります。また競技時間内の1回の走行で1,464 GPU時間という計算コストは、日常的な用途からはかけ離れています。
それでも、これまで結果だけが示されてきた領域の内部が丸ごと開示された意味は小さくありません。検証器の精度改善やテスト時計算の効率化といった次の課題に、外部の研究者が同じ土俵で取り組めるようになりました。
論文情報: "An Open Recipe for IMO Gold: Training Nemotron for Olympiad Mathematics"（Ivan Moshkov et al., 2026） arXiv:2609.10712, CC BY 4.0
本記事のサムネイルは上記論文より引用しています（縮小・形式変換あり）。
