MoE層の出力をスパースオートエンコーダで分解し、各エキスパートの貢献を厳密に特定する手法を解説。Qwen3-30B-A3Bの分析で、JavaとWebコードのように粗いドメイン以下の専門化が判明しました。
解説動画から実作業の軌跡を採掘し、二重ループで自己改善するコンピュータ操作エージェント CUA-Master を解説します。27B モデルで OSWorld Verified 80.2 を達成した手法と限界を整理します。
履歴の要約でKVキャッシュが無効化される問題に対し、エージェント自身がキャッシュをdrop/reposで操作する「キャッシュエンジニアリング」とサービングエンジンAKVを解説します。コスト27.7%削減、精度1.7pt向上の成果を紹介。
16体のAI研究エージェントが線形Attention構造を自律探索し、GDN2を上回るCFDNを発見。1.3Bで全評価カテゴリ最良、検索性能も改善した手法と組織設計の効果を解説します。
ループ型LLMの第k反復をk手後の状態に揃えるPARを解説。Qwen2.5-0.5Bを32手で訓練し512手（16倍）で95.5%、RLT 55.7%を大きく上回った手法と限界を紹介します。
小型LLMのパラメータの大半を占める埋め込み層を、PCA符号から作る16MBの凍結テーブルに置き換えた研究を解説します。学習パラメータは1/2.6、三値版は46MBでCPU 615〜740 tok/sを達成しました。
長期タスクのAIエージェントの文脈を再利用可能なタスクオブジェクトとして保持する手法CarryOnを解説。OSWorld 2.0で部分スコア+5.8ポイント、トークン51.9%削減を同時に達成した仕組みを紹介します。
コンピュータ操作エージェントの完全オープンスタック「OpenGCUA」を解説。コード実行を中核に据え、OSWorld-v2で8モデル全てのスコアを平均19.6点向上、手数を53%削減した設計と限界を紹介します。
確信度の高い判断は即答し、不確実なケースだけ推論を起動するAutoThink設計の意思決定モデルStartLux-Decisionを解説。推論長を最大65%削減する強化学習手法RLCD²と0.8B〜27Bの公開内容も紹介します。
事前計算したn-gramカウントをホストCPUメモリに置き、学習パラメータを増やさずに1B LLMの検証損失を計算量57%増相当まで改善する手法COUNTを解説します。訓練不要のドメイン適応も可能です。
選択肢の順序で判定が変わる問題をアーキテクチャから解消したSystem Oneモデル「Jeva」を解説します。null検出AUROC 98.66%、順序入れ替えでの反転ゼロ、キャッシュで約28倍高速化という成果を紹介します。
トークン単位でLLMを切り替えるルーティングを高速化する推論サービングシステム「TokenRouter」を解説。サブサーバの非同期実行と遅延バッチングでデコードスループットを最大64.15倍に改善した仕組みと実験結果を紹介します。
AI-Papers
