拡散言語モデル（DLM）が並列デコードを謳いながら自己回帰的に収束する根本原因を特定。訓練データの逐次的構造が問題と診断し、独立推論軌跡を使うNAP手法でGSM8Kの256ステップ精度を14.4ポイント改善しました。
LLMの強化学習訓練で問題となるポリシー陳腐化に対処するVESPOを解説します。変分定式化と分散削減を統合した閉形式カーネルにより、gbs/mbs=64という極端な条件でもGRPOを14ポイント上回る安定訓練を実現します。
大規模推論モデルの「overthinking」問題を解決するBFS-POを解説。最大エントロピーノードでバックトラッキングし、最短正解パスを探索することでDAPO比1.37倍の高速化と精度向上を同時に達成した強化学習手法を紹介します。
Qwenチームが開発した初の大規模オープンWebシミュレータ「WebWorld」を解説。106万件のWeb操作データで訓練され、WebArenaで+9.2%改善しGPT-4o相当の性能を達成した仕組みと成果を紹介します。
StepFun社のオープンモデル「Step 3.5 Flash」を解説。110億の活動パラメータのみでGPT-5.2やGemini 3.0 Proに匹敵する性能を達成。スパースMoE設計と強化学習の革新に迫ります。
ユーザーの好みに合わせてLLMの出力を調整する新手法TPOを提案 テスト時にユーザーのフィードバックを活用し、損失関数を用いた出力の最適化 TPOは再トレーニング不要でコスト削減を実現しながら競争力を持つ性能 論文：Te […]
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 この論文では、Mixture-of-Experts (MoE) モデルの学習における「Load-balancing […]
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 この論文では、より高度なLLM（大規模言語モデル）の推論能力を育成するための新たなアプローチとして「Mind Ev […]
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 本論文では、大規模な基盤モデル「MiniMax-01」シリーズを紹介し、特にTransformerベースのアテンシ […]
Transformerの注意機構を再設計する新手法「Tensor Product Attention（TPA）」を解説。テンソル分解によりKVキャッシュのメモリ使用量を大幅削減し、モデルの軽量化を実現する仕組みを紹介します。
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 本論文は、LLMの応答を安全かつ説得力ある形で制御する新手法としてGuardReasonerを提案している。この手 […]
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 この論文では、LLM（大規模言語モデル）のパーソナライゼーション性能を向上させるための手法「Personalize […]
Agents-A1とは？35Bモデルで1兆パラメータ超の性能を達成するエージェント水平スケーリング
Mage-Flowとは？4Bで1024px画像を0.59秒生成する基盤モデル
プロンプトエンジニアリングとは？主要手法の仕組みと使い方
LLMはなぜ日本文化に偏る？ 欧州研究が明かすAIの隠れた文化バイアス
PP-OCRv6: わずか34Mパラメータで235B超の大規模VLMを超えた軽量OCRシステム
AI-Papers
