Moonshot AIが総2.8兆パラメータのMoEモデル「Kimi K3」をオープン重みで公開。Kimi Delta AttentionとStable LatentMoEでK2比約2.5倍の学習効率を実現し、1M文脈と視覚対応を備えた新モデルを解説します。
会話の途中でユーザーの意図が明かされ・修正され・方向転換すると、静的評価では高性能なLLMも性能が急落する。Microsoft Researchらが検証した対話AIの盲点をわかりやすく解説します。
RoPEの周波数を反周期的に設計し系列の両端をメビウス境界条件で結ぶ新手法Möbius RoPEを解説。ニードル検索の精度を文脈長512で63.3%から90.3%へ高め、乱数シードによる性能のばらつきを解消します。
複数条件を満たす答えを探すディープリサーチ向けに、調査ループと自己改善ループを交互に回すエージェントAREXが登場。4Bと122B-A10Bの2モデルでBrowseComp 82.5%を達成した仕組みを解説します。
Huawei Ascend NPUクラスタで兆パラメータMoE「DeepSeek-V4」の全パラメータ事後学習を実現したSLAI T-Rexを解説。MFU 34.22%達成の階層的最適化とOR課題での性能向上を紹介します。
コーディングエージェント自身の隠れ状態から不要な行を判定するSWE-Pruner Proを解説します。最大39%のトークン削減とSWE-Bench Verified解決率+3.8%を両立した仕組みと実験結果をまとめました。
Tencent HY Teamが提案するHiLS-Attentionは、LM損失でチャンク選択を学習するスパース注意機構です。訓練長8Kから512K（64倍超）への外挿で90%超の検索精度を維持し、推論速度は全注意比最大15.7倍になります。
スコアリングトークンのlogit分布から連続スコアを算出し、検証を第三のスケーリング軸とする汎用フレームワーク。SWE-Bench Verified 78.2%・RoboRewardBench 87.4%など複数領域でSOTAを達成します。
LLMエージェントの長期タスクでコンテキストが肥大化する問題に対し、3層の有界メモリと型付き検索で解決するAgenticSTSを解説します。Slay the Spire 2上のベンチマークでエージェントの勝率を3/10から6/10に改善しました。
LLMエージェントのメモリ管理を「学習可能な認知スキル」として定式化したAutoMemフレームワークを解説します。スキャフォールド最適化と習熟度トレーニングの2段階で、Qwen2.5-32BモデルがClaude Opus 4.5と同等水準に達しました。
ByteDance Seedが提案するFlashMorphは、既存のフルAttention Transformerをゼロから再学習せずMamba/線形Attentionとのハイブリッドへ変換します。層選択をHALOの7.3分の1のGPU時間で完了し、256Kトークンでのプリフィルを2.81倍高速化します。
自然言語の処理仕様を4BコンパイラがLoRAアダプタに変換し、凍結した0.6Bモデル上で実行するProgram-as-Weightsを解説。Qwen3-32B相当の精度を推論メモリ約50分の1・MacBook M3で毎秒31トークンで実現します。
AI-Papers
