AI-Papers
- 文書内のトークンが同一の専門家プールを共有するという制約を設けることで、健康・医療やニュース報道などのドメイン特化が学習データから自然発生する
- 全専門家の12.5%（16専門家）のみ使用しても性能低下は約3%に留まり、従来のMoEと比較してデプロイコストの大幅削減が可能になる
- 学習コードとインタラクティブな可視化ツールがオープンソースで公開されており、誰でも専門家クラスタの形成過程を確認できる
EMOの概要と背景
Allen AIは2026年5月8日、Emergent Modularity for MoE（EMO）と名付けた新しいMixture-of-Experts（MoE、入力ごとに一部の専門家ネットワークだけを動かす構成）モデルを発表しました。総パラメータ数14B（アクティブ1B）、128専門家中8専門家を同時使用する構成で、1兆トークンを用いて事前学習されています。
従来のMoEモデルでは専門家の分業が自然発生するとされてきました。ところが実際に分析すると、「前置詞」「定冠詞」「固有名詞」など表面的な言語特性による分類にとどまっていたのです。
医療記事であっても、従来型MoEでは「the」などの機能語によって専門家が決まります。そのため、同一記事のトークンが複数の無関係な専門家に散在する状況が生じていました。
EMOはこの課題を解決するために、文書の境界を弱い教師信号として活用します。人手によるドメインラベルや事前定義された分類基準は一切使わず、学習データの構造だけから意味的なモジュール性を引き出す点が最大の特徴です。
文書単位共有プールの仕組み
EMOの核心は、同一文書内のすべてのトークンが同じ専門家プールから専門家を選ぶという制約にあります。具体的な処理は次のように進みます。
まずルーター（各トークンをどの専門家に送るかを決める部分）が、文書内のすべてのトークンにわたって専門家への選好を平均します。次にその平均スコアが高い専門家群を「この文書の共有プール」として確定し、各トークンはそのプールの中からのみ専門家を選択できます。
文書ごとに異なるプールを使用できるので、医療文書は医療系専門家を、ニュース文書はニュース系専門家を自然に引き寄せます。こうした構造が学習中に生まれるわけです。
また、学習時に使用するプールのサイズをランダムにサンプリングする設計も欠かせません。固定サイズに過学習することを防ぎ、推論時に任意のサイズのサブセットをサポートできるようになります。
負荷分散はミニバッチ単位ではなく、多数の文書をまたぐグローバル設定で行われます。これにより、モジュール性と専門家の均等利用という二つの目標が矛盾なく両立できます。
専門家12.5%で性能低下3%以内
EMOの最も実用的な成果は、専門家数を大幅に削減しても性能を維持できる点です。使用する専門家の数と、全ベンチマークにわたる平均の性能低下は次のとおりです。
使用する専門家 | 全体に占める割合 | 性能低下（平均） |
|---|---|---|
16専門家 | 12.5% | 約3% |
32専門家 | 25% | 約1% |
一方、同じ条件で従来型のMoEを評価すると性能の急落が観察されます。最小構成ではランダム回答レベルまで落ちることも確認されており、EMOとの差ははっきりしています。
さらに、適切な専門家サブセットを特定するために大規模なバリデーションセットは要りません。数ショットのデモンストレーションを含む例が1件あれば、タスクに適したモジュールを見つけられることが示されています。既存の枝刈り手法（Easy-EPなど）との組み合わせも可能です。
自然発生するドメイン特化の実態
EMOの専門家クラスタを事前学習文書の最初の100トークンで分析すると、健康・医療、ニュース報道、米国政治・選挙、映画・音楽といった意味的なドメインが形成されていることが確認されています。
医療記事を例にとると、EMOではトークンの約95%が「Health, Medical & Wellness」クラスタに集中します。対して従来型MoEのトップクラスタは「所有格と定冠詞」であり、内容とは無関係な語彙特性でグルーピングされています。
この違いは単なる学術的な観察にとどまらず、MoEモデルの分布ドリフト問題への新たな視点を提供します。EMOでは一つのモデルが汎用的な全能力を保ちながら、特定ドメイン向けのスリム化構成にも柔軟に切り替えられます。エッジデバイスへのデプロイやコスト最適化において、実践的な選択肢になるでしょう。
公開されているリソース
Allen AIは今回の発表に合わせて、次のリソースをオープンソース公開しています。
- HuggingFaceのコレクション: EMO本体と比較用の標準MoEベースライン
- GitHub: 学習コード
- 可視化ツール: 専門家クラスタの形成過程をブラウザ上でインタラクティブに探索できる
これらにより、研究者だけでなく実務者も容易に挙動を確認できます。
今後の課題として著者らは、より良い専門家サブセット選択・合成手法の開発、全体性能を損なわないモジュール更新の方法、そして解釈可能性向上への応用を挙げています。大規模モデルへのスケーリング検証もまだ残っています。
