0.6B・1.7Bの小型モデルで自身の2〜6倍サイズの汎用LLMと同等以上の性能を達成したOCC-RAGを解説します。325万件の合成データで訓練し、逐語引用による構造化推論と回答不能時の棄権機能を備えた忠実性重視の設計が特徴です。
人間の睡眠中の記憶統合を着想源に、LLM向け「Sleep」パラダイムを提案。Knowledge SeedingとDreamingの2段階で壊滅的忘却を抑制し、数学推論・長文脈理解など複数タスクで既存手法を上回ることを実証した。
投機的デコーディングの新手法「Domino」を解説します。並列ドラフト生成と軽量な因果補正の2段構成で、Qwen3-8BのLLM推論を最大5.8倍高速化しました。
標準的な次トークン予測（NTP）に浅い層の表現を自己教師信号とした連続監督を追加するNITPが提案されました。0.5B〜9BパラメータのLLMでMMLP-Proに5.7%・C3に6.4%の精度向上を実現しながら推論コストはゼロです。
知識グラフのランダムウォークと検索軌跡を訓練データとするRL手法「LongTraceRL」が提案されました。ルーブリック報酬で推論の質を直接最適化し、4B〜30Bモデルで5つの長文脈ベンチマークを上回る性能を達成しています。
テキスト・テーブル・知識グラフを各形式のまま横断検索する「OmniRetrieval」を解説します。13データセット・309知識ベースで検証し、既存RAGの均質化問題を解決した新フレームワークです。
AgentDoG 1.5は、コード実行エージェントの安全性を評価する軽量フレームワークです。影響関数ベースのデータ浄化で、0.8B〜8Bの小型モデルがGPT-5.4と同等の安全判定精度を達成しました。
Metaが発表したMobileMoEは、モバイル向けMixture-of-Experts（MoE）アーキテクチャのスケーリング則を体系化した研究です。密モデル比2〜4倍少ない推論FLOPsを実現し、実機で最大3.8倍の高速デコードを達成した手法と成果を解説します。
229.9Bパラメータのうちトークンあたり9.8B（約4.3%）のみ起動する超疎MoEモデルMiniMax-M2を解説します。AIME 2026で94.2%、GPQA-Diamondで89.8%を達成し、大幅に少ない計算量でフロンティアAIと同等の性能を実現しました。
全注意LLMに内在する疎性を活用して数百ステップの軽量学習で疎注意モデルへ変換するRTPurboを解説します。100万トークンのプリフィルで最大9.36倍の高速化を達成しながら精度をほぼ維持します。
NVIDIAが提案するGated DeltaNet-2は、線形注意の消去ゲートと書き込みゲートをチャネル単位で独立させ、1.3BモデルでMamba-2・KDAを複数ベンチマークで上回る性能を実現しました。
階層型再帰モデル（HRM）を採用した新事前学習フレームワーク「HRM-Text」が提案されました。1Bモデルを約1,500ドルで学習し、MMLU 60.7%・GSM8K 84.5%を達成。2〜7Bクラスと同等の性能を最大432倍少ない計算量で実現します。
Agents-A1とは？35Bモデルで1兆パラメータ超の性能を達成するエージェント水平スケーリング
Mage-Flowとは？4Bで1024px画像を0.59秒生成する基盤モデル
プロンプトエンジニアリングとは？主要手法の仕組みと使い方
LLMはなぜ日本文化に偏る？ 欧州研究が明かすAIの隠れた文化バイアス
PP-OCRv6: わずか34Mパラメータで235B超の大規模VLMを超えた軽量OCRシステム
AI-Papers
