小型LLM

言語・LLM

【rStar-Math】小型LLMの数学力を向上!モンテカルロ木探索を使って最適解を選択

小型LLMの数学的思考を向上させる新フレームワーク「rStar-Math」を提案。モンテカルロ木探索と自己進化型深層思考を組み合わせることで、計算コストを抑えつつ高い性能を実現した実験結果が報告されました。
言語・LLM

【MobileLLM】スマホ上でも高性能に動作する小型の言語モデル!

この論文では、モバイルデバイス向けに最適化された小型の大規模言語モデル「MobileLLM」を提案しています。従来の大規模モデルの高コストと遅延を克服し、低リソース環境でも高い精度を維持できる設計が可能となりました。