言語・LLM Transformer高速化「Lightning Attention」導入
新しいTransformerアプローチ「Lightning Attention」により計算効率が大幅向上。MiniMax-01シリーズは膨大なトークンを処理し、RLHF学習によりモデルの応答品質と一貫性が向上することが判明。
論文解説
言語・LLM 
言語・LLM メモリ効率を向上するアテンション機構「TPA」でTransformer軽量化
テンソル積を用いた効率的な注意メカニズムTPAを提案。従来のTransformerとの統合が簡単で、メモリ効率や計算負荷を改善し、資源節約に貢献。計算資源が限られる環境での利点を強調。
マルチモーダル 【Baichuan-Omni-1.5】画像・音声・テキストを統合するマルチモーダルモデル
Baichuan-Omni-1.5は画像・音声・テキストを統合的に扱うマルチモーダルモデル。Visual BranchとAudio Branchを活用し、多様なデータを高精度に処理。実験では従来モデルを上回る性能を多数のベンチマークで示した。
言語・LLM 【GuardReasoner】LLM応答の安全を制御！出力の有害性を検出
LLMの応答を安全に制御する新手法「GuardReasoner」を提案。合成データを用いた教師あり学習で推論精度を向上し、多様なベンチマークで高い安全性と説得力を実証。
データセット 【METAGENE-1】ウイルス検出や感染症の監視を強化するTransformer
新しいTransformerモデル「METAGENE-1」を提案し、ウイルス検出や感染症監視を強化。独自のトークン化と7億パラメータで効率的な遺伝子データ分析を実現、他モデルを上回る精度で未知の病原体も検出可能。
言語・LLM 【PGraphRAG】ユーザーの履歴情報をグラフ化しLLMの応答を最適化
ユーザーの履歴情報を活用し、応答を最適化する手法「PGraphRAG」を紹介。12のタスクで高パフォーマンスを確認。アブレーションスタディでリトリーバル範囲とデータ量の影響も分析。モデルの可能性が広がる。
マルチモーダル 【Dispider】動画とLLMを統合してリアルタイム対話を実現するフレームワーク
動画とLLMを統合した新フレームワーク「Dispider」が登場！動画解析と応答生成を非同期で並行処理し、効率的にリアルタイム対話を実現。実験で既存モデルより高い正確さと処理速度を確認。
言語・LLM LLMの推論を回答生成役とチェック役に分けて柔軟に回答を生成
AIモデルの推論をSystem-1とSystem-2に分け、タスク適応と理由づけを統合する新たな枠組みを提案。実験で高精度かつ柔軟な回答生成を確認し、多領域への適用可能性を示しました。
データセット 【BoostStep】LLMの数学的な推論能力を大幅向上させる手法
数学推論能力を向上させる新手法「BoostStep」を提案。推論プロセスを細かく分解し、各ステップで適切な例を示す学習法を採用。複数の数学ベンチマークで実証済みの性能と誤り率低下を確認。
強化学習 エージェント支援の科学実験フレームワーク「Boxing Gym」
科学実験支援フレームワーク「Boxing Gym」を提案。エージェントが実験設計、結果解釈、新たな仮説を学びつつ、言語モデルで科学データの解釈をサポート。エージェントの限界も報告。