言語・LLM 埋め込み技術で強化されたロシア語LLMの新成果
ロシア語特化大規模言語モデルの改良法「学習型埋め込み伝播」を提案。埋め込み空間の整合性向上で未学習領域でも高性能を実現。複数ロシア語ベンチマークで優れた結果を確認。
言語・LLM
言語・LLM 
言語・LLM LLM高速化へ新手法Dynasorで効率と精度向上
この論文では、LLMの推論効率を高めるために「Certainties」という概念を導入し、それに基づくリソース配分手法「Dynasor」を提案しています。Dynasorは計算効率と応答精度の両方を向上させることに成功しています。
言語・LLM LLMは痛みや快楽の強度に応じて行動を変える？Googleの研究より
この論文では、LLMが快感と苦痛の状態を理解し、それらを基に意思決定できるかを検証しています。実験では、ポイント獲得と苦痛・快感のトレードオフを評価し、一部のLLMが人間のような合理的な判断を示すことが分かりました。
言語・LLM 本当に重要な情報に注意を向けてパラメータ数を35%削減した「Differential Transformer」
この論文では、従来のTransformerが不要な文脈に過剰に注意を向けてしまう問題を解決する「Differential Transformer」を提案しています。2つの異なる注意マップの差分を取ることでノイズを相殺し、重要な情報により注意...
オープンソース 【CORAL】会話における複数回のやり取りデータを含むRAGのベンチマーク
この論文では、多数の会話を含む新しいベンチマーク「CORAL」を提案し、RAGシステムの性能を評価しています。Wikipediaの階層構造を活用して自動的に会話データを生成し、複数ターンの対話における検索・生成・引用の精度を測定できるようになりました。
言語・LLM 【WACK】LLMのハルシネーションを2種類に区別する手法！幻覚の種類に応じた対処が可能に
LLMのハルシネーションを「知識不足による誤り」と「知識があるのに誤る場合」の2つに分類し区別して検出する手法WACKを提案。モデルの内部状態を分析することで2種類のハルシネーションが異なる形で表現されていることを実証し、モデル固有のデータセットを使用することでハルシネーション検出の精度が向上。
言語・LLM 自己蒸留を用いたLLM高速化手法「SDTT」により32トークン同時生成！
この論文では、自己蒸留を用いた新しい言語モデルの高速化手法「Self-Distillation Through Time (SDTT)」を提案しています。従来の自己回帰型モデルと異なり、32トークンを同時に生成できるため、KVキャッシュを使用する従来手法と比べて最大8倍の高速化を実現。さらに、テキスト品質も向上し、自然言語理解のベンチマークでも優れた性能を示しました。
言語・LLM GPT-4oの異なる音声入力に対する性能を多様な国のデータを用いて評価
GPT-4oというモデルの能力と安全性について評価。異なる音声入力に対するモデルの一貫性や、多様な国のデータを用いた評価が行われています。テキストと音声による説得力も比べられ、特定の条件でモデルが人間と同等かそれ以上の影響力を持つことが示されました。
言語・LLM 【AgentStore】特定タスクに対する最適なエージェントの組み合わせを自動選択
この論文では、多様なエージェントを動的に統合する柔軟なプラットフォーム「AgentStore」について説明しています。これにより、複雑なタスクをより効率的に遂行できるようになりました。この技術は、システム全体の協力能力を高め、特定の問題に対してより適切なアプローチを可能にします。
言語・LLM ポーランド語専用のLLM「Bielik 7B v0.1」が公開！
この論文は、ポーランド語専用の大規模言語モデル「Bielik 7B v0.1」の開発と評価について述べています。このモデルは13億のパラメータを持ち、ポーランド語の理解と生成に最適化されています。主なポイントは、高品質なポーランド語テキストの生成を可能にし、教育や自動翻訳、対話システムなど多様なアプリケーションでの利用が期待されています。