AI-Papers
- Sakana AIが「CycleQD」で特化型AI開発を実現
- 「CycleQD」は進化的計算で多様なモデル生成を可能とする
- 特化型モデル群でAI開発の効率化と持続性を向上
※ AIによる要約
Sakana AIは、AI技術の新たな地平を開く「CycleQD」を開発。
この技術は、生物学の「生態的地位（ニッチ）」の概念をAIに応用し、各エージェントを特定のタスクに特化させることで、複雑なタスクの効率的な解決を実現。
Introducing CycleQD: A population-based model merging via Quality Diversityhttps://t.co/De4P1BM03F
CycleQD builds on our model merging research, advancing two fronts: evolving a swarm of specialized agents to complement one another, and laying the groundwork for life-long… pic.twitter.com/lIYCTH89ng— Sakana AI (@SakanaAILabs) December 3, 2024
CycleQDは「Quality Diversity（QD）」という進化的計算手法を基盤としています。モデルマージを交叉、特異値分解（SVD）を突然変異とする手法により、多様なスキルを持つ小規模なモデル群を生成。この結果、各モデルが特化しながらも、言語能力全般を維持することが可能です。
従来のLLMファインチューニングでは、データバランスの調整や複数スキルの最適化が課題でした。しかし、CycleQDでは最適化の焦点を周期的に切り替える仕組みを採用することで、各スキルが順に強化され、バランスの良いモデル開発を実現しました。
実験では、Llama3-8B-Instructモデルを使い、コーディング、データベース操作、OS操作の3タスクで性能を検証。その結果、CycleQDは従来の手法を上回り、特にコンピュータサイエンス分野で高い性能を発揮するエージェント群の構築に成功。
大規模モデルの計算コストが課題となる現代のAI開発において、CycleQDは持続可能な開発手法として注目されています。さらに、この技術は画像認識など言語以外の分野にも応用可能で、AIの進化を大きく加速させる可能性を秘めているとのこと。
本研究は「Generative AI Accelerator Challenge（GENIAC）」の一環として実施され、Sakana AIはCycleQDを通じ、日本のAI研究競争力の向上に貢献しています。
