全注意LLMに内在する疎性を活用して数百ステップの軽量学習で疎注意モデルへ変換するRTPurboを解説します。100万トークンのプリフィルで最大9.36倍の高速化を達成しながら精度をほぼ維持します。
NVIDIAが提案するGated DeltaNet-2は、線形注意の消去ゲートと書き込みゲートをチャネル単位で独立させ、1.3BモデルでMamba-2・KDAを複数ベンチマークで上回る性能を実現しました。
階層型再帰モデル（HRM）を採用した新事前学習フレームワーク「HRM-Text」が提案されました。1Bモデルを約1,500ドルで学習し、MMLU 60.7%・GSM8K 84.5%を達成。2〜7Bクラスと同等の性能を最大432倍少ない計算量で実現します。
KVキャッシュ量子化の根本課題「Token Norm Imbalance（TNI）」を定義・解決する軽量フレームワーク「OScaR」を解説。INT2量子化でBF16比3倍高速・5.3倍省メモリを実現し、KIVI等の既存手法を精度で上回ります。
訓練不要の進化的モデルマージフレームワーク「Darwin Family」が、GPQA Diamondで86.9%（1252モデル中6位）を達成。14次元ゲノムとMRI-Trust Fusionで複数LLMを重み空間で交配させ、追加学習なしに推論性能を高める革新的手法を解説します。
30Bパラメータ（3B active）のMoEモデル「SU-01」がIMO 2025・USAMO 2026で金メダルラインを達成。逆パープレキシティカリキュラムSFTから二段階RL・テスト時スケーリングへの統一レシピとその成果を解説します。
LLMのバックボーンを凍結したまま8×8の連想記憶行列をDelta則で学習させる新手法「δ-mem」を解説。MemoryAgentBenchで1.31倍、LoCoMoで1.20倍の性能向上を達成しました。
Flow Matchingを言語生成に初めて本格適用した拡散言語モデル「ELF」を解説します。最終ステップまで連続埋め込み空間にとどまる設計でCFGが自然に転用可能となり、少ないトレーニングで既存DLMを上回る性能を達成しました。
Test-Time Scaling戦略の設計を自動化するAutoTTSをGoogleが提案しました。LLMエージェントがオフラインリプレイ環境で反復的に戦略を探索・評価し、わずか$39.9・160分で手動設計を上回る推論戦略を発見します。
Google DeepMindが開発した数学研究支援エージェント「AI Co-Mathematician」を解説します。非同期マルチエージェントで仮説立案から定理証明まで一貫支援し、FrontierMath Tier 4で全AIシステム中最高の48%を達成しました。
埋め込みモデルとベクトル検索を使わず、grepやシェルで生コーパスを直接探索するDCI（Direct Corpus Interaction）がBRIGHTとBEIRで既存手法を大幅に上回ることを示した論文を解説します。
Text VAE・ブロック因果DiT・条件付きデコードの3段階で構成されるCola DLMを解説します。連続潜在拡散によって自己回帰パラダイムとは異なるアプローチを提案し、約2Bパラメータで8ベンチマークにわたる強いスケーリング特性を示しました。
AI-Papers
