知識蒸留

Sakana AI、小規模高性能日本語モデル発表！

Sakana AIが小規模日本語言語モデル「TinySwallow-1.5B」を発表！最新の知識蒸留技術「TAID」を活用し、同規模モデル中で最高性能を達成。スマホやPCでも使用可能で、オフライン対応版も提供中！

長い思考指示と知識蒸留で視覚タスク性能を向上したMLLM「Virgo」の提案

視覚推論力を向上させるMLLM「Virgo」が登場！長い思考指示と知識蒸留の2アプローチで性能向上を実証。データの質が結果に及ぼす影響も重要と確認。

マルチモーダル論文解説