AI-Papers
- 隠れ状態を積量子化して離散的な「概念語彙」を作り、次トークン予測と次概念予測を同時に学習する事前学習手法
- 8.9Bモデルを Dolma-3 の5.73Tトークンで訓練し、OLMo-3-7B の最終事前学習損失に51.3%のトークン量で到達
- 下流ベンチマークのマクロ平均で+2.45ポイント、GSM8K で+5.99ポイントの改善を計算量85%で達成
研究の背景
大規模言語モデル（Large Language Model、LLM）の事前学習は、ほぼ例外なく次トークン予測（Next Token Prediction、NTP）という単一の目的関数に支えられてきました。文章を単語より細かい単位に分割し、直前までの並びから次の1個を当てる、という繰り返しです。単純でスケールしやすい一方、モデルが学ぶ信号はあくまで局所的で、数トークン先にある意味のまとまりを明示的に捉える仕組みはありません。
この制約は、算術推論や多段の論理をたどるタスクで特に効いてきます。人間が文章を書くときには先に言いたい内容の塊があり、それを言葉に落としていきますが、NTP だけで訓練されたモデルにはその「塊」に相当する中間表現を持つ理由がないからです。
高品質な学習データの増加ペースが鈍る中、同じトークン数からより多くを学ぶ設計が求められています。The Intern-NCP Team が公開した技術報告「NCP-ArchPreview」は、この課題に対して次概念予測（Next Concept Prediction、NCP）という第2の目的関数を事前学習に組み込むアプローチを提示しました。
概念を離散化する仕組み
NCP の鍵は、「概念」を人手で定義せず、モデル自身の内部表現から自動的に取り出す点にあります。具体的には、Transformer の隠れ状態（各層でモデルが保持している数値ベクトル）を積量子化（ベクトルを複数の部分空間に分割し、それぞれを小さなコードブックの符号で近似する圧縮手法）にかけ、離散的なコードの組み合わせへ変換します。このコード集合が、トークン語彙とは別に存在する「概念語彙」として機能します。
変換を担う Concept Module は約17Mパラメータと、本体の8.9Bに比べてごくわずかな規模に収まっています。モデルはこの概念語彙の上で、複数トークンにまたがる次の概念を予測するよう学習します。予測された概念はそのまま捨てられるのではなく、トークンレベルの予測に戻されて生成を方向づける役割を担います。
図1に示すように、概念の抽出から予測、トークン側への還流までが一本の流れとしてつながっています。量子化モジュールを別工程で事前に学習させるのではなく、NTP と NCP の両方をエンドツーエンドで同時に最適化する点が設計上の特徴です。概念語彙が学習の進行とともにモデル本体の表現と歩調を合わせて更新されるため、両者のずれが生じにくくなります。
実験結果
検証には8.9Bパラメータのモデルが用いられ、オープンな事前学習コーパスである Dolma-3 の5.73Tトークンで訓練されました。比較対象は同系統のオープンモデルである OLMo-3-7B です。主な結果を下表にまとめます。
評価項目 | NCP-ArchPreview の結果 |
|---|---|
OLMo-3-7B の最終事前学習損失に到達するトークン量 | 51.3% |
下流ベンチマークのマクロ平均 | +2.45ポイント |
GSM8K（小学校レベルの算数推論） | +5.99ポイント |
学習時の計算量（パラメータ数を揃えたベースライン比） | 85% |
投機的デコードの平均受理長 | +4.17% |
同じ損失水準に半分程度のトークン量で到達している点は、データ効率の観点で意味があります。さらに、追加のモジュールを持ちながら計算量が標準構成の85%に収まっているのは、概念予測が複数トークンをまとめて扱うぶん、学習全体の効率が上がったためと説明されています。
下流タスクの伸びは一様ではなく、GSM8K での+5.99ポイントが全体平均の+2.45ポイントを大きく上回りました。複数ステップにわたる推論を要するタスクほど、トークンより粗い粒度の予測目標が効いているという解釈が成り立ちます。
潜在空間の応用
学習された概念空間は、事前学習の効率化以外にも使い道があります。17Mパラメータの軽量な量子化モジュールだけを差し替えることで、本体を再学習せずにドメイン適応を行える点が示されました。特定分野のデータに合わせて概念語彙を組み替える、という運用が現実的なコストで可能になります。
もう1つが推論の高速化です。次にどの概念が来るかを先読みできるため、投機的デコード（小さなモデルが候補を先に出し、大きなモデルが一括で検証する高速化手法）において平均受理長が4.17%伸びたと報告されています。ドラフトモデルを使わずに推論を速めるUno のようなアプローチと同様、追加の計算負荷を抑えたまま生成速度を稼ぐ方向性に位置づけられます。
まとめと今後の展望
NCP-ArchPreview は、NTP 一本槍だった事前学習に離散的な概念予測を並走させることで、データ効率と推論性能の両方を押し上げられることを大規模な設定で示しました。複数段階のチェックポイントが Hugging Face で公開されており、学習過程をたどれる点も検証のしやすさにつながります。
一方で、留意すべき点もあります。比較対象は OLMo-3-7B を中心とした限られた範囲であり、より大きなモデルや異なるコーパスで同じ効果が再現するかは未検証です。積量子化のコードブックサイズや概念がまたぐトークン数といった設計値に結果がどれだけ依存するのかも、追試が必要な部分でしょう。技術報告という位置づけである以上、現時点では有望な方向性の提示と捉えるのが妥当です。
それでも、モデル内部の表現を離散化して学習目標そのものに組み込む発想は、トークン列の外側に学習信号を求める研究群の中で具体的な数値を伴う事例となりました。潜在空間で思考する言語モデルという構想に、実装可能な一つの形が与えられたと言えます。
論文情報: "NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction"（Intern-NCP Team et al., 2026） arXiv:2609.10715
