Miles v0.1とは？744B LLMを64GPUでRL学習するオープン基盤

RadixArkが公開したMiles v0.1は、フロンティア規模の強化学習post-trainingを一式でまかなうオープンソース基盤で、Apache 2.0ライセンスで全公開されている
SGLangによる生成エンジン、Megatron-LMとPyTorch FSDPの2バックエンド、3種類の重み同期経路という構成で、全パラメータRLからLoRA RL、蒸留、拡散モデルまでを同じ枠組みで扱う
GLM-5.2 744B-A40Bをターミナル操作のコーディングタスクで学習させ、NVIDIA GB300を64台使って1ステップ中央値263秒という実測を報告している

研究の背景

大規模言語モデル（Large Language Model、LLM）の性能を押し上げる主戦場は、事前学習からpost-training（事前学習の後に行う追加学習）へ移ってきました。なかでも強化学習（Reinforcement Learning、RL）を使った学習は、推論力やコーディングエージェントとしての振る舞いを鍛える手段として定着しています。

ところが、数千億パラメータ級のモデルでRLを回すのは、アルゴリズムの問題である以上にシステムの問題です。モデル自身に大量のテキストや行動を生成させ（ロールアウト）、その結果に報酬を付け、勾配を計算して重みを更新し、更新後の重みを推論エンジン側へ配り直す。この輪を数百GPUの上で滞りなく回し続けなければなりません。

こうした基盤は各社が内製しており、フロンティア規模で実際に動いた構成が外部に出ることは多くありませんでした。RadixArkが公開したMiles v0.1は、その一式を丸ごとオープンソースにした技術レポートです。設計はslimeという既存のRLフレームワークの構成を引き継ぎ、「各要素は検証済みで、素直で、手を入れられるものにする」という原則を全段階に通しています。掲げる目標は精度、効率、信頼性、スケーラビリティの4つです。

システムの全体構成

Milesは大きく3つのブロックからできています。生成を担当するロールアウトエンジンはSGLangの上に構築され、学習を担当するトレーナーはNVIDIA Megatron-LMとPyTorch FSDPのどちらかを選べます。そして両者をつなぐのが、更新された重みを推論側へ届ける重み同期の経路です。

重み同期には3種類の方式が用意されており、学習と生成を同じGPUに同居させるか、別のノード群に分けて置くかといった配置の違いに応じて選択します。分離配置ではP2P RDMA（GPU間で直接メモリを転送する通信方式）を使った高速な重み更新に対応しており、生成と学習を完全に非同期で走らせながら、重みの受け渡しが全体の足を引っ張らないようにしています。

図1に示すように、生成と学習は独立したワーカーとして動き、重み同期だけが両者を結びます。実装面ではトークンをそのまま受け渡すtoken-in-token-out方式や、SGLangのエンジンが落ちた際の自動復旧といった、長時間運転を前提にした仕組みも組み込まれています。

対応する学習の型

Milesが扱うのは全パラメータを更新するRLだけではありません。同じアーキテクチャの上で、次のような学習形態をまとめて提供しています。

全パラメータを更新するfull-parameter RL
LoRA（Low-Rank Adaptation）を用いたLoRA RL、および複数アダプタの併用
教師モデルの出力を生徒モデルに写すon-policy distillation（オンポリシー蒸留）
教師ありファインチューニング（Supervised Fine-Tuning、SFT）
生成と学習の分布を厳密に一致させるtrue-on-policyな整合
同じ構成を拡散モデル（diffusion model）へ拡張した学習

RLのアルゴリズムとしてはGRPO、GSPO、PPO、REINFORCE++などが実装されています。エージェントの運用ログを学習データに変えるNeoHorse-1のような手法側の研究が増えるなかで、それを実際に大規模で回すための土台が揃った形です。

2つのバックエンドの使い分け

トレーナーのバックエンドが2つ用意されているのは、規模と手軽さのどちらを取るかが場面によって変わるためです。Megatron-LMはテンソル並列やパイプライン並列を備え、最大規模のモデルを回すときの推奨とされています。一方のPyTorch FSDP2は、Hugging Faceの実装をそのまま持ち込んで試したいときに向きます。

加えて、MXFP8やNVFP4、FP8、INT4量子化学習といった低精度での学習にも対応しており、実行環境もNVIDIAのGB300やH100系に加えてAMDのMI300X系まで含まれます。特定のベンダーや特定の精度に縛られない作りになっている点は、自前でRLを回したい組織にとって現実的な選択肢を広げます。

744Bモデルでの実測

レポートの締めくくりは、実際にフロンティア規模のモデルを動かしたケーススタディです。設定と結果は次のとおりです。

項目	内容
対象モデル	GLM-5.2 744B-A40B
タスク	ターミナル操作を伴うコーディング
学習方式	完全非同期のエージェント型RL
ハードウェア	NVIDIA GB300 × 64台
ステップ時間	中央値263秒（計測した最初の30ステップ）

744B-A40Bという表記は、総パラメータ744Bのうち推論時に約40Bが働くMoE型の構成を示す命名です。この規模のモデルに対して、ツールを叩きながら長い手順をこなすエージェント型のタスクでRLを回し、1ステップあたり4分半ほどで進んだことになります。64台という台数は、この規模のRLとしては控えめな構成です。

意義と残る課題

Milesの価値は、新しいアルゴリズムを提案した点ではなく、これまで各社の内部にとどまっていた大規模RLの実運用構成を、動く形で外に出した点にあります。34ページの技術レポートと合わせてコードがApache 2.0で公開されているため、構成を読んで自分の環境に合わせて組み替えられます。

一方で、示された数値の読み方には注意が必要です。263秒という値は最初の30ステップの中央値であり、数千ステップにわたる長期運転での安定性や、学習を通じてモデルの性能がどこまで伸びたかという結果までは、この報告からは読み取れません。他のRLフレームワークとの横並びの速度比較も提示されていないため、この構成がどれだけ効率的なのかを相対評価することは現時点では難しいでしょう。

また、GB300を64台用意できる環境が前提になっている点も、そのまま誰もが再現できるわけではないことを意味します。バージョンがv0.1である以上、今後の更新でインターフェースが変わる可能性も想定しておくべきです。それでも、フロンティア規模のRLを自前で回すための出発点として、参照できる実装が公開された意味は小さくありません。

論文情報: "Miles v0.1: Production-Level Post-Training"（RadixArk et al., 2026） arXiv:2609.08368