言語・LLM ユーザー適応型LLM:新手法TPOで再学習不要
ユーザーの好みに合わせてLLMの出力を調整する新手法TPOを提案テスト時にユーザーのフィードバックを活用し、損失関数を用いた出力の最適化TPOは再トレーニング不要でコスト削減を実現しながら競争力を持つ性能論文：Test-Time Prefe...
言語・LLM
言語・LLM 
言語・LLM 専門家負荷均等化で効率改善：LBLの提案
新しいLoad-balancing Loss（LBL）を導入し、Mixture-of-Expertsモデルの専門家間の負荷を均等化。LBLにより、トークンの利用が均等となり、性能とリソース分配が改善され、効率的な学習プロセスに貢献。
言語・LLM 進化的アルゴリズムでLLMの能力向上を図る方法
進化的アルゴリズムを用いた「Mind Evolution」でLLMの問題解決能力を向上！島型モデルを採用し、解の生成と進化で成功率と効率性を実証。複雑なタスクでの性能向上が期待されます。
言語・LLM Transformer高速化「Lightning Attention」導入
新しいTransformerアプローチ「Lightning Attention」により計算効率が大幅向上。MiniMax-01シリーズは膨大なトークンを処理し、RLHF学習によりモデルの応答品質と一貫性が向上することが判明。
言語・LLM メモリ効率を向上するアテンション機構「TPA」でTransformer軽量化
テンソル積を用いた効率的な注意メカニズムTPAを提案。従来のTransformerとの統合が簡単で、メモリ効率や計算負荷を改善し、資源節約に貢献。計算資源が限られる環境での利点を強調。
言語・LLM 【GuardReasoner】LLM応答の安全を制御！出力の有害性を検出
LLMの応答を安全に制御する新手法「GuardReasoner」を提案。合成データを用いた教師あり学習で推論精度を向上し、多様なベンチマークで高い安全性と説得力を実証。
言語・LLM 【PGraphRAG】ユーザーの履歴情報をグラフ化しLLMの応答を最適化
ユーザーの履歴情報を活用し、応答を最適化する手法「PGraphRAG」を紹介。12のタスクで高パフォーマンスを確認。アブレーションスタディでリトリーバル範囲とデータ量の影響も分析。モデルの可能性が広がる。
言語・LLM LLMの推論を回答生成役とチェック役に分けて柔軟に回答を生成
AIモデルの推論をSystem-1とSystem-2に分け、タスク適応と理由づけを統合する新たな枠組みを提案。実験で高精度かつ柔軟な回答生成を確認し、多領域への適用可能性を示しました。
言語・LLM 多言語埋め込みを強化するLUSIFER！低リソース言語にも強い適応性
新手LUSIFERを提案し、多言語埋め込みを強化。ファインチューニングとアライメントで効果的な多言語学習を実現し、低リソース言語にも高い適応性とコスト効率を発揮。
言語・LLM 【rStar-Math】小型LLMの数学力を向上！モンテカルロ木探索を使って最適解を選択
小型LLMの数学的思考を向上させる新フレームワーク「rStar-Math」を提案。モンテカルロ木探索と自己進化型深層思考を組み合わせることで、計算コストを抑えつつ高い性能を実現した実験結果が報告されました。