AI-Papers
- 総2.8兆パラメータ・活性104億のMoE構成で、896個のエキスパートから16個を選び推論コストを抑えつつ大規模化を実現しています
- 新機構Kimi Delta AttentionとStable LatentMoEにより、前世代K2比で約2.5倍の学習スケーリング効率を達成しました
- 1Mトークンの長文脈とネイティブ視覚対応を備え、完全な重みが公開されたオープンフロンティアモデルとして注目されています
研究の背景
大規模言語モデル（Large Language Model、LLM）の最前線では、Claude や GPT といったプロプライエタリ（非公開）モデルが性能をリードしてきました。こうした最上位モデルは重みが公開されていないため、研究者が内部を検証したり、自分の用途に合わせて改良したりすることは困難です。
中国の Moonshot AI が公開した Kimi K3 は、この状況に一石を投じるモデルです。前世代の Kimi K2 を大きく上回る規模と効率を持ちながら、モデルの重みを完全に公開しました。誰でもダウンロードして再現・応用できるオープン重みでありながら、フロンティア級の性能を目指した点が特徴です。
モデルの巨大化には、学習コストと推論コストの増大という壁が常につきまといます。Kimi K3 は、この壁を乗り越えるためにアーキテクチャそのものを見直しました。
Kimi K3の全体構成
Kimi K3 は Mixture-of-Experts（MoE、混合エキスパート）と呼ばれる仕組みを採用しています。これは、モデル内部に多数の専門家（エキスパート）を用意しておき、入力ごとに一部だけを働かせる方式です。全体の総パラメータは2.8兆に達しますが、1つのトークンを処理する際に実際に動くのは104億パラメータだけに抑えられています。
この「使うときだけ必要な部分を呼び出す」設計により、モデルは巨大でも計算量は現実的な範囲に収まります。加えて Kimi K3 は最大1Mトークン（100万トークン）という長大なコンテキスト（一度に読み込める文脈）を扱え、テキストだけでなく画像も直接理解できるネイティブな視覚対応を備えています。
2つの新機構
Kimi K3 の効率を支えているのが、2つの新しい機構です。1つ目は Kimi Delta Attention と呼ばれる注意機構（Attention、入力のどこに注目するかを決める仕組み）です。これはトークンの並び（系列長）方向とモデルの深さ方向の両方で情報がスムーズに流れるよう改良されており、Attention Residuals（残差接続）という仕組みと組み合わせることで、深いモデルでも情報が途中で失われにくくなっています。
2つ目は Stable LatentMoE です。従来の MoE ではエキスパートの選び方が不安定になり学習が崩れやすいという課題がありましたが、この機構は896個のエキスパートから各トークンごとに16個を安定して選び出します。多数の専門家を効率よく使い分けながら、学習を破綻させずに大規模化を進められる点が要になっています。
学習効率の2.5倍向上
これらの機構を統合した結果、Kimi K3 は前世代の Kimi K2 と比べて、全体の学習スケーリング効率でおよそ2.5倍の改善を達成したと報告されています。同じ計算資源からより多くの性能を引き出せるということであり、巨大モデルを現実的なコストで学習させるうえで重要な進歩です。
学習後には、一般的なタスク、エージェント（自律的に道具を使って作業を進める使い方）、コーディングの各領域にわたって強化学習が施されました。これにより、長い手順を要する作業を最後までやり遂げる長期実行の能力が鍛えられています。
性能と位置づけ
Kimi K3 は、評価に用いた他の多くのオープンモデルおよびプロプライエタリモデルを一貫して上回る性能を示しました。特に長期にわたるコーディングやエージェント的な推論といった、実務に近い難しいタスクでフロンティア級の実力を発揮しています。
一方で論文自身も、総合的な性能では最上位のプロプライエタリモデルである Claude Fable 5 と GPT-5.6 Sol にはまだ及ばないと率直に認めています。オープン重みモデルが最上位の非公開モデルにどこまで迫れるかという観点で、現時点の到達点を正直に示している点は評価できます。
なお、こうした中国発のオープン重みフロンティアモデルをめぐっては、技術的評価とは別に規制の是非を問う議論も起きており、米政府による規制検討と業界の反対書簡といった動きにもつながっています。
まとめと今後の展望
Kimi K3 は、総2.8兆パラメータという規模と、Kimi Delta Attention や Stable LatentMoE による効率化を両立させたオープン重みモデルです。1Mトークンの長文脈と視覚対応を備え、重みが完全公開されているため、研究者や開発者が自由に検証・改良できます。
最上位のプロプライエタリモデルとの差は残るものの、その差を縮めながらオープンな形で提供された意義は小さくありません。今後は、公開された重みを土台にした派生モデルや、長期実行能力を活かしたエージェント応用の広がりが期待されます。
