清華大学提案のWeightFormerは、Attention機構を動的パラメータMLPとして再定式化し、線形時間でグローバル視覚モデリングを実現。高解像度入力でDeiT比7.7倍の速度を達成した新手法を解説します。
清華大学らが提案するCtx2Skillは、3つのLLMエージェントによるSelf-Playでコンテキスト固有スキルを人間監督なしに自動精錬するフレームワーク。CL-benchで既存手法を一貫して上回る性能向上を達成しました。
パイプライン並列化の「weight binding問題」を解消する新手法RoundPipeを解説します。GPUをステートレスなワーカープールとして扱うラウンドロビン方式で8×RTX 4090でのLLMファインチューニングを最大2.16倍高速化し、単一コンシューマーサーバーでQwen3-235BのLoRAチューニングを実現します。
推論ステップに64種の抽象トークンを使う「Abstract CoT」を解説。Qwen3-8BでMATH-500精度90.8%を保ちながら推論コストを最大11.6倍削減する後学習手法です。
ByteDance Seedが発表したAgent-Worldは、MCPを活用して1,978の実世界環境を自律合成し、自己進化型の強化学習ループで23ベンチマークでGPT-4oなど商用モデルを上回る性能を実現しました。
「SFTは暗記、RLは一般化」という通説を再考。長いCoTによる推論SFTでも最適化・データ品質・モデル能力の3条件が揃えばドメイン横断的な一般化が可能であることを解説します。
スパース注意機構で文脈長を1億トークンまで線形拡張するMSAを解説。同一バックボーンのRAGを4ベンチマーク平均16%上回り、2枚のGPUで実用推論を実現した新手法です。
成功したタスク解決を実行可能なPythonコードとして蓄積・再利用するLLMエージェントフレームワーク「AgentFactory」の仕組みと実験結果を解説します。
事前学習済みモデルの重みの近傍には、タスク固有の専門家解が高密度に存在するという「Neural Thicket」現象を報告したMIT発の研究。ランダムサンプリングとアンサンブルのみでPPO・GRPOと同等性能を実現します。
FlashPrefillは動的スパースアテンションでLLMのプリフィリングを高速化するフレームワークです。256Kトークンで27.78倍、4Kでも1.71倍の高速化を実現し、既存手法の弱点だった短文脈での性能劣化も解消しています。
NVIDIA Blackwell GPUの非対称ハードウェアスケーリングに対応したFlashAttention-4が登場。完全非同期MMA・softmax最適化・CuTe-DSL Python実装により、cuDNN比1.3倍・Triton比2.7倍の高速化を実現した仕組みを解説します。
推論候補解を粒子として扱い、PRM（プロセス報酬モデル）のスコアで逐次洗練するアルゴリズム「PRISM」を解説します。gpt-oss-20bでAIME25 90.0%・GPQA Diamond 71.4%を達成し、6倍大きなモデルと同等の性能を計算効率よく実現。
Agents-A1とは？35Bモデルで1兆パラメータ超の性能を達成するエージェント水平スケーリング
Mage-Flowとは？4Bで1024px画像を0.59秒生成する基盤モデル
プロンプトエンジニアリングとは？主要手法の仕組みと使い方
LLMはなぜ日本文化に偏る？ 欧州研究が明かすAIの隠れた文化バイアス
PP-OCRv6: わずか34Mパラメータで235B超の大規模VLMを超えた軽量OCRシステム
AI-Papers
