ルーティングインデックスをクロスレイヤーで共有するCLSAが、128Kコンテキストでスループット17.1倍・デコーディング7.6倍を実現。精度劣化はほぼゼロで長文脈LLMに広く適用可能な新手法を解説します。
自律的にMLアルゴリズムを発見する新フレームワーク「MLEvolve」を解説。12時間の予算でMLE-Benchにて65.3%のメダル率を達成し、AlphaEvolveを上回る汎用性を示しました。
強化学習で学んだ推論チェーンの冗長なステップを内省的に特定し、マスク付き選好最適化で圧縮する新手法「ThoughtFold」。DeepSeek-R1-Distill-Qwen-7Bでトークン使用量を約56%削減しながら最先端の精度を維持します。
0.6B・1.7Bの小型モデルで自身の2〜6倍サイズの汎用LLMと同等以上の性能を達成したOCC-RAGを解説します。325万件の合成データで訓練し、逐語引用による構造化推論と回答不能時の棄権機能を備えた忠実性重視の設計が特徴です。
人間の睡眠中の記憶統合を着想源に、LLM向け「Sleep」パラダイムを提案。Knowledge SeedingとDreamingの2段階で壊滅的忘却を抑制し、数学推論・長文脈理解など複数タスクで既存手法を上回ることを実証した。
投機的デコーディングの新手法「Domino」を解説します。並列ドラフト生成と軽量な因果補正の2段構成で、Qwen3-8BのLLM推論を最大5.8倍高速化しました。
標準的な次トークン予測（NTP）に浅い層の表現を自己教師信号とした連続監督を追加するNITPが提案されました。0.5B〜9BパラメータのLLMでMMLP-Proに5.7%・C3に6.4%の精度向上を実現しながら推論コストはゼロです。
知識グラフのランダムウォークと検索軌跡を訓練データとするRL手法「LongTraceRL」が提案されました。ルーブリック報酬で推論の質を直接最適化し、4B〜30Bモデルで5つの長文脈ベンチマークを上回る性能を達成しています。
テキスト・テーブル・知識グラフを各形式のまま横断検索する「OmniRetrieval」を解説します。13データセット・309知識ベースで検証し、既存RAGの均質化問題を解決した新フレームワークです。
AgentDoG 1.5は、コード実行エージェントの安全性を評価する軽量フレームワークです。影響関数ベースのデータ浄化で、0.8B〜8Bの小型モデルがGPT-5.4と同等の安全判定精度を達成しました。
Metaが発表したMobileMoEは、モバイル向けMixture-of-Experts（MoE）アーキテクチャのスケーリング則を体系化した研究です。密モデル比2〜4倍少ない推論FLOPsを実現し、実機で最大3.8倍の高速デコードを達成した手法と成果を解説します。
229.9Bパラメータのうちトークンあたり9.8B（約4.3%）のみ起動する超疎MoEモデルMiniMax-M2を解説します。AIME 2026で94.2%、GPQA-Diamondで89.8%を達成し、大幅に少ない計算量でフロンティアAIと同等の性能を実現しました。
AI-Papers
