計算資源

ニュース

Sakana AI、小規模高性能日本語モデル発表！

Sakana AIが小規模日本語言語モデル「TinySwallow-1.5B」を発表！最新の知識蒸留技術「TAID」を活用し、同規模モデル中で最高性能を達成。スマホやPCでも使用可能で、オフライン対応版も提供中！
2025.02.11
ニュース
言語・LLM

メモリ効率を向上するアテンション機構「TPA」でTransformer軽量化

テンソル積を用いた効率的な注意メカニズムTPAを提案。従来のTransformerとの統合が簡単で、メモリ効率や計算負荷を改善し、資源節約に貢献。計算資源が限られる環境での利点を強調。
2025.02.03
言語・LLM論文解説