言語・LLM 【jina-embeddings-v3】LoRAアダプターを導入し最大8192トークン処理可能に！
多言語対応のテキスト埋め込みモデル「jina-embeddings-v3」を提案。特定のタスクに最適化されたLoRAアダプターを導入し、効率的に高品質な埋め込みを生成できるようになり、多言語データや長文検索タスクでのパフォーマンスが向上し、実用的な利用が可能となっています。
言語・LLM
言語・LLM 
言語・LLM TransformerにCoTを導入することで全ての推論問題を解決できる！
この論文では、Transformerに「Chain of Thought（CoT）」を導入することで、従来の並列処理が得意なTransformerに複雑な計算能力を持たせる方法を提案しています。この手法によって、複雑な問題の解決が可能となり...
言語・LLM 小規模データから十分な知識獲得が可能な継続事前学習がスタンフォード大より提案される
この論文は、小規模データから効果的に知識を学ぶための新しい手法「合成継続事前学習」を提案しています。限られたデータでも多様な知識をモデルに学習させ、高精度な質問応答や命令追従が可能になりました。論文：Synthetic continued ...
言語・LLM 【MobileLLM】スマホ上でも高性能に動作する小型の言語モデル！
この論文では、モバイルデバイス向けに最適化された小型の大規模言語モデル「MobileLLM」を提案しています。従来の大規模モデルの高コストと遅延を克服し、低リソース環境でも高い精度を維持できる設計が可能となりました。
言語・LLM LLMには科学研究のアイデアを生み出す能力がある？研究者は無くなるのか
本記事で解説する論文の内容は、「LLMに新しいアイデアを生む能力があるのか」を検証したもの。