大規模推論モデルの「overthinking」問題を解決するBFS-POを解説。最大エントロピーノードでバックトラッキングし、最短正解パスを探索することでDAPO比1.37倍の高速化と精度向上を同時に達成した強化学習手法を紹介します。
Qwenチームが開発した初の大規模オープンWebシミュレータ「WebWorld」を解説。106万件のWeb操作データで訓練され、WebArenaで+9.2%改善しGPT-4o相当の性能を達成した仕組みと成果を紹介します。
StepFun社のオープンモデル「Step 3.5 Flash」を解説。110億の活動パラメータのみでGPT-5.2やGemini 3.0 Proに匹敵する性能を達成。スパースMoE設計と強化学習の革新に迫ります。
ユーザーの好みに合わせてLLMの出力を調整する新手法TPOを提案 テスト時にユーザーのフィードバックを活用し、損失関数を用いた出力の最適化 TPOは再トレーニング不要でコスト削減を実現しながら競争力を持つ性能 論文：Te […]
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 この論文では、Mixture-of-Experts (MoE) モデルの学習における「Load-balancing […]
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 この論文では、より高度なLLM（大規模言語モデル）の推論能力を育成するための新たなアプローチとして「Mind Ev […]
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 本論文では、大規模な基盤モデル「MiniMax-01」シリーズを紹介し、特にTransformerベースのアテンシ […]
Transformerの注意機構を再設計する新手法「Tensor Product Attention（TPA）」を解説。テンソル分解によりKVキャッシュのメモリ使用量を大幅削減し、モデルの軽量化を実現する仕組みを紹介します。
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 本論文は、LLMの応答を安全かつ説得力ある形で制御する新手法としてGuardReasonerを提案している。この手 […]
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 この論文では、LLM（大規模言語モデル）のパーソナライゼーション性能を向上させるための手法「Personalize […]
AIモデルの推論を「System-1（直感的回答生成）」と「System-2（論理的チェック）」に分けて統合するフレームワークを解説。柔軟な推論制御で回答の精度と効率を両立する仕組みを紹介します。
本記事で使用している画像は論文中の図表、またはそれを参考に作成した画像を使用しております。 本論文の概要 本論文では、LLM（Large Language Models）に基づく多言語埋め込み手法を改善するため、新しいア […]
AI-Papers
