ニュース Sakana AIの新技術、PyTorch高速化に疑問噴出
Sakana AIの新技術「AI CUDA Engineer」が議論の的に。PyTorch処理を「100倍高速化」との発表も、ユーザーからは「3倍遅い」との声。修正を施すも改善なく、計測方法に疑問の声。
高速化
ニュース 
ニュース AIによるコード生成の性能向上と課題を探る
データサイエンティストのマックス・ウルフ氏が、AIに「もっといいコードを書いて」と繰り返し要求し、コードの性能を測定。最終的に100倍の高速化を達成も、バグ増加。人間の介入が必要と指摘。
言語・LLM 自己蒸留を用いたLLM高速化手法「SDTT」により32トークン同時生成！
この論文では、自己蒸留を用いた新しい言語モデルの高速化手法「Self-Distillation Through Time (SDTT)」を提案しています。従来の自己回帰型モデルと異なり、32トークンを同時に生成できるため、KVキャッシュを使用する従来手法と比べて最大8倍の高速化を実現。さらに、テキスト品質も向上し、自然言語理解のベンチマークでも優れた性能を示しました。