Transformer・Mamba等52のアーキテクチャを対象に、長文脈LLMが効率性・コンパクト性・想起能力の3条件を同時に実現できないことを情報理論で証明した基礎研究を解説します。
上海交通大学の学術チームによるOpenSeeker-v2は、SFTのみで4ベンチマークSoTAを達成。CPT+SFT+RLを使うTongyi DeepResearchを全指標で上回った「データ品質が鍵」という逆説的な知見を解説します。
異なるモデルファミリーの実行者と評価者が相互批評する敵対的マルチエージェント設計で、ML研究ワークフローを自律実行するオープンソースフレームワーク「ARIS」を解説します。
清華大学提案のWeightFormerは、Attention機構を動的パラメータMLPとして再定式化し、線形時間でグローバル視覚モデリングを実現。高解像度入力でDeiT比7.7倍の速度を達成した新手法を解説します。
清華大学らが提案するCtx2Skillは、3つのLLMエージェントによるSelf-Playでコンテキスト固有スキルを人間監督なしに自動精錬するフレームワーク。CL-benchで既存手法を一貫して上回る性能向上を達成しました。
パイプライン並列化の「weight binding問題」を解消する新手法RoundPipeを解説します。GPUをステートレスなワーカープールとして扱うラウンドロビン方式で8×RTX 4090でのLLMファインチューニングを最大2.16倍高速化し、単一コンシューマーサーバーでQwen3-235BのLoRAチューニングを実現します。
推論ステップに64種の抽象トークンを使う「Abstract CoT」を解説。Qwen3-8BでMATH-500精度90.8%を保ちながら推論コストを最大11.6倍削減する後学習手法です。
ByteDance Seedが発表したAgent-Worldは、MCPを活用して1,978の実世界環境を自律合成し、自己進化型の強化学習ループで23ベンチマークでGPT-4oなど商用モデルを上回る性能を実現しました。
「SFTは暗記、RLは一般化」という通説を再考。長いCoTによる推論SFTでも最適化・データ品質・モデル能力の3条件が揃えばドメイン横断的な一般化が可能であることを解説します。
スパース注意機構で文脈長を1億トークンまで線形拡張するMSAを解説。同一バックボーンのRAGを4ベンチマーク平均16%上回り、2枚のGPUで実用推論を実現した新手法です。
成功したタスク解決を実行可能なPythonコードとして蓄積・再利用するLLMエージェントフレームワーク「AgentFactory」の仕組みと実験結果を解説します。
事前学習済みモデルの重みの近傍には、タスク固有の専門家解が高密度に存在するという「Neural Thicket」現象を報告したMIT発の研究。ランダムサンプリングとアンサンブルのみでPPO・GRPOと同等性能を実現します。
AI-Papers
