大規模言語モデル

言語・LLM

小規模データから十分な知識獲得が可能な継続事前学習がスタンフォード大より提案される

この論文は、小規模データから効果的に知識を学ぶための新しい手法「合成継続事前学習」を提案しています。限られたデータでも多様な知識をモデルに学習させ、高精度な質問応答や命令追従が可能になりました。論文:Synthetic continued ...
論文解説

【EzAudio】1次元の波形データとDiTで効率かつ高品質な音声を生成!

この論文では、テキストから音声を生成する「EzAudio」という新しいモデルを提案。従来のモデルが抱えていた品質や計算コストの課題を克服するため、1次元の波形データを利用した効率的なTransformerモデルを開発し、計算コストを削減して高品質な音声生成が可能となりました。
言語・LLM

【MobileLLM】スマホ上でも高性能に動作する小型の言語モデル!

この論文では、モバイルデバイス向けに最適化された小型の大規模言語モデル「MobileLLM」を提案しています。従来の大規模モデルの高コストと遅延を克服し、低リソース環境でも高い精度を維持できる設計が可能となりました。
言語・LLM

LLMには科学研究のアイデアを生み出す能力がある?研究者は無くなるのか

本記事で解説する論文の内容は、「LLMに新しいアイデアを生む能力があるのか」を検証したもの。