言語・LLM 専門家負荷均等化で効率改善:LBLの提案 新しいLoad-balancing Loss(LBL)を導入し、Mixture-of-Expertsモデルの専門家間の負荷を均等化。LBLにより、トークンの利用が均等となり、性能とリソース分配が改善され、効率的な学習プロセスに貢献。 2025.03.31 言語・LLM論文解説