SLAI T-Rexとは？Ascend NPUで兆パラメータMoEを事後学習しMFU2.93倍

Huawei Ascend NPUで構成したSuperPOD上で兆パラメータ級MoEの全パラメータ事後学習を成立させ、MFU 34.22%（公開ベースライン比2.93倍）を達成しました
モデル並列、計算と通信の重ね合わせ、カーネル実行という3階層で最適化し、メモリ逼迫と通信待ちのボトルネックを解消しています
派生モデルDeepSeek-V4-Flashはオペレーションズリサーチ課題でゼロショットPass@1 71.81%を記録し、GPT-5.4-Miniを3.98ポイント上回りました

研究の背景

大規模言語モデルの学習インフラは、長らくNVIDIA製GPUを前提に組み立てられてきました。分散学習フレームワークも集団通信ライブラリも、GPU向けに磨き込まれた実装が事実上の標準になっています。

そのため、別系統のアクセラレータで同じ規模の学習を回そうとすると、性能が出ないという問題が現れます。SLAI T-Rexは、Huawei Ascend NPUで構成されたSuperPOD上でDeepSeek-V4系モデルの全パラメータ事後学習をやり切った実証報告です。LoRAのように一部の追加パラメータだけを更新する方式と違い、モデル全体の重みを更新するため、必要なメモリ量も通信量も桁違いに大きくなります。

論文が挙げる壁は3つあります。専門家ネットワークを多数抱えるMoE（Mixture of Experts、入力ごとに一部の専門家だけを動かす仕組み）特有の深刻なメモリ逼迫、計算と重ね合わせられずに待ち時間になってしまう通信、そしてハードウェアを使い切れないカーネル実行です。著者65名による73ページ、22図、20表という大部の報告で、2026年7月22日にcs.CLおよびcs.AIカテゴリへ投稿されました。

階層的な最適化の設計

提案されているのは、単一の工夫ではなく階層的な最適化フレームワークです。抽象度の異なる3つの層それぞれにボトルネックがあり、どこか1つを直しても全体の効率は上がらないという前提に立っています。

モデル層は、並列化の切り方と専門家の配置でメモリ圧力を下げる
実行層は、計算と通信を重ね合わせて通信待ちを隠す
カーネル層は、NPU上での演算実行そのものを効率化する

ここで指標になるのがMFU（Model FLOPs Utilization、モデルの計算に実際に使えたハードウェア性能の割合）です。理論ピーク性能に対して、どれだけ無駄なく計算に充てられたかを示します。

MFU 34.22%が示すもの

最適化を積み上げた結果、報告されたMFUは34.22%です。公開されているベースライン実装と比べて2.93倍の改善にあたります。

兆パラメータ級のMoEでは、専門家間のルーティングに伴う通信が支配的になりやすく、MFUが1桁台にとどまることも珍しくありません。3割を超える水準に到達したという報告は、Ascend環境でも大規模学習が実務的な速度で回せることを意味します。

OR課題向けのデータ構築

本論文はシステム最適化だけで終わりません。オペレーションズリサーチ（限られた資源の配分などを数理最適化で解く分野、以下OR）を対象に、CPT（継続事前学習）とSFT（教師ありファインチューニング）のワークフローも構築しています。

SFTデータは1万件の高品質サンプルで、4種類のタスクカテゴリと3種類の問題表現を含みます。同じ最適化問題でも、自然言語での記述、数式としての定式化、コードとしての表現では求められる能力が変わるため、複数の表現を混ぜて学習させる設計です。データ構築手順が公開されている点は、再現や応用を考える上で価値があります。

実験結果

評価には派生モデルのDeepSeek-V4-Flashが使われました。OR課題における平均ゼロショットPass@1は71.81%で、GPT-5.4-Miniを3.98ポイント、事後学習前のベースモデルを11.27ポイント上回っています。

モデル	ゼロショットPass@1
DeepSeek-V4-Flash（本手法）	71.81%
GPT-5.4-Mini	約67.83%（論文の差分から算出）
事後学習前のベースモデル	約60.54%（論文の差分から算出）

ベースモデルからの11.27ポイントという伸びは、ドメイン特化の事後学習が効いたことを示しています。全パラメータを更新できる環境を整えたこと自体が、この改善幅を支えていると読み取れます。

意義と残された課題

この研究の産業的な意味は、学習インフラの選択肢が広がる点にあります。推論用の代替チップは各社から出ていますが、兆パラメータ級モデルの学習まで担える構成の実証例は多くありません。SambaNovaのような専用チップ企業への大型投資が続く背景にも、同じ問題意識があります。

一方で、留意すべき点もあります。性能評価はOR課題が中心で、汎用的な言語能力や他ドメインへの影響は本報告の範囲外です。MFUの数値もハードウェア構成や測定条件に左右されるため、GPUクラスタでの報告値と単純に並べて比べることはできません。再現にはAscend SuperPODという特定の環境が必要で、手元で確かめられる読者は限られます。