MoEモデルのルーター設計に数学的根拠を与えるManifold Power Iteration（MPI）を解説。エキスパート行列の主特異方向への整合で損失を改善し、下流タスク性能も向上させる新手法を紹介します。
CoT微調整がハイブリッドLLMの長文書検索性能を67%から9%へ激減させる「Attention Amnesia」問題と、追加学習不要の修復法QK-Restoreを解説します。
タスク固有の教師データなしでLLMエージェントがスキルを自己構築する「OpenSkill」を解説。SkillsBenchで43.6%のパス率を達成し、モデル間のスキル転移も実証しました。
Goedel-ArchitectはLean 4形式証明エージェント。補題の依存グラフを生成・洗練し、IMO 2025の6問中4問・MiniF2F-testで99.2%を達成。類似システムより最大500倍コスト効率に優れます。
ハイパーネットワークがリポジトリ固有のLoRAアダプターを自動生成する「Code2LoRA」を解説。推論時のトークンオーバーヘッドなしに+5.2ポイントの改善を達成した仕組みと、604リポジトリのベンチマーク「RepoPeftBench」を紹介します。
ルーティングインデックスをクロスレイヤーで共有するCLSAが、128Kコンテキストでスループット17.1倍・デコーディング7.6倍を実現。精度劣化はほぼゼロで長文脈LLMに広く適用可能な新手法を解説します。
自律的にMLアルゴリズムを発見する新フレームワーク「MLEvolve」を解説。12時間の予算でMLE-Benchにて65.3%のメダル率を達成し、AlphaEvolveを上回る汎用性を示しました。
強化学習で学んだ推論チェーンの冗長なステップを内省的に特定し、マスク付き選好最適化で圧縮する新手法「ThoughtFold」。DeepSeek-R1-Distill-Qwen-7Bでトークン使用量を約56%削減しながら最先端の精度を維持します。
0.6B・1.7Bの小型モデルで自身の2〜6倍サイズの汎用LLMと同等以上の性能を達成したOCC-RAGを解説します。325万件の合成データで訓練し、逐語引用による構造化推論と回答不能時の棄権機能を備えた忠実性重視の設計が特徴です。
人間の睡眠中の記憶統合を着想源に、LLM向け「Sleep」パラダイムを提案。Knowledge SeedingとDreamingの2段階で壊滅的忘却を抑制し、数学推論・長文脈理解など複数タスクで既存手法を上回ることを実証した。
投機的デコーディングの新手法「Domino」を解説します。並列ドラフト生成と軽量な因果補正の2段構成で、Qwen3-8BのLLM推論を最大5.8倍高速化しました。
標準的な次トークン予測（NTP）に浅い層の表現を自己教師信号とした連続監督を追加するNITPが提案されました。0.5B〜9BパラメータのLLMでMMLP-Proに5.7%・C3に6.4%の精度向上を実現しながら推論コストはゼロです。
LLMはなぜ日本文化に偏る？ 欧州研究が明かすAIの隠れた文化バイアス
MolmoAct2とは？GPT-5・Gemini Roboticsを超えたオープンVLAモデルを解説
GitHub Copilot がトークン課金制へ移行、一部ユーザーで月額29ドルが750ドルに急騰
arXiv、AI任せ論文の著者を1年間投稿禁止へ — 学術AI利用規制が本格化
Absolicsのガラス基板とは？AIチップ性能を10倍高密度化する次世代パッケージング
AI-Papers
