Kimi K3とは？Moonshot AIが公開した2.8兆パラメータのオープン重みLLM

総2.8兆パラメータ・活性104億のMoE構成で、896個のエキスパートから16個を選び推論コストを抑えつつ大規模化を実現しています
新機構Kimi Delta AttentionとStable LatentMoEにより、前世代K2比で約2.5倍の学習スケーリング効率を達成しました
1Mトークンの長文脈とネイティブ視覚対応を備え、完全な重みが公開されたオープンフロンティアモデルとして注目されています

研究の背景

大規模言語モデル（Large Language Model、LLM）の最前線では、Claude や GPT といったプロプライエタリ（非公開）モデルが性能をリードしてきました。こうした最上位モデルは重みが公開されていないため、研究者が内部を検証したり、自分の用途に合わせて改良したりすることは困難です。

中国の Moonshot AI が公開した Kimi K3 は、この状況に一石を投じるモデルです。前世代の Kimi K2 を大きく上回る規模と効率を持ちながら、モデルの重みを完全に公開しました。誰でもダウンロードして再現・応用できるオープン重みでありながら、フロンティア級の性能を目指した点が特徴です。

モデルの巨大化には、学習コストと推論コストの増大という壁が常につきまといます。Kimi K3 は、この壁を乗り越えるためにアーキテクチャそのものを見直しました。

Kimi K3の全体構成

Kimi K3 は Mixture-of-Experts（MoE、混合エキスパート）と呼ばれる仕組みを採用しています。これは、モデル内部に多数の専門家（エキスパート）を用意しておき、入力ごとに一部だけを働かせる方式です。全体の総パラメータは2.8兆に達しますが、1つのトークンを処理する際に実際に動くのは104億パラメータだけに抑えられています。

この「使うときだけ必要な部分を呼び出す」設計により、モデルは巨大でも計算量は現実的な範囲に収まります。加えて Kimi K3 は最大1Mトークン（100万トークン）という長大なコンテキスト（一度に読み込める文脈）を扱え、テキストだけでなく画像も直接理解できるネイティブな視覚対応を備えています。

2つの新機構

Kimi K3 の効率を支えているのが、2つの新しい機構です。1つ目は Kimi Delta Attention と呼ばれる注意機構（Attention、入力のどこに注目するかを決める仕組み）です。これはトークンの並び（系列長）方向とモデルの深さ方向の両方で情報がスムーズに流れるよう改良されており、Attention Residuals（残差接続）という仕組みと組み合わせることで、深いモデルでも情報が途中で失われにくくなっています。

2つ目は Stable LatentMoE です。従来の MoE ではエキスパートの選び方が不安定になり学習が崩れやすいという課題がありましたが、この機構は896個のエキスパートから各トークンごとに16個を安定して選び出します。多数の専門家を効率よく使い分けながら、学習を破綻させずに大規模化を進められる点が要になっています。