NeoHorse-1とは？ルーティング機構で運用ログを学習データ化する自己改善手法

大小さまざまなモデルを束ねるルーティング機構の運用ログを、そのまま事後学習のデータに変換する枠組み「NeoHorse-1」が公開されました
対話を「サブシーン」単位に切り分け、6つの観点で品質を評価してからカリキュラム学習に流し込む設計が特徴です
エージェントやコーディングなど11のベンチマーク平均で、4Bが58.94から64.87、9Bが65.60から69.04に改善しました

研究の背景

大規模言語モデル（Large Language Model、LLM）の事後学習は、人手で作ったデータや強いモデルからの蒸留に頼るのが一般的です。しかしこの方式は、データを用意した時点で改善が止まります。モデルを実際に運用して得られる大量の対話ログは、多くの場合そのまま捨てられてきました。

NeoHorse-1 の研究チームが着目したのは、複数モデルを束ねて運用する「ルーティング」の副産物です。ユーザーの要求ごとにどのモデルへ振り分けたか、その判断と結果は、モデル自身の能力を測った記録にほかなりません。ここを学習信号として閉じれば、運用と学習が同じループに乗ります。

論文はこれを再帰的自己改善（Recursive Self-Improvement、RSI）への第一歩と位置づけています。ベースモデルには Qwen3.5-4B と Qwen3.5-9B が使われ、GitHub と Hugging Face で実装と重みが公開されました。

ルーティングハーネスの役割

中核となるのが「ルーティングハーネス」と呼ばれる仕組みです。ルーターは現在の要求だけでなく、直近の対話履歴、過去のルーティング判断、実行中の状態を見て、そのターンに必要な能力の水準を推定します。推定結果は C0 から C3 の4つのサービス層に対応づけられ、C0 は影響範囲の限られた軽い要求、C1 は汎用の既定値、C2 は複数ステップの推論と実行、C3 は最大限の能力や信頼性が必要な場面を担当します。

リスクや文脈の逼迫、サービス側の制約に応じて割り当てを調整するポリシー制御も併せて働きます。この振り分けの記録が、後段で学習データを組み立てる際の骨格になります。難しい要求ほど上位層に流れるため、ログ自体が難易度のラベルを兼ねるという発想です。

ログを学習データに変える

収集された軌跡は10万から100万件のオーダーに達します。これをそのまま学習に使うわけではなく、まず形式が壊れていないかの構造検証を通し、次に意味的な品質評価にかけます。評価は単一のスコアに圧縮せず、次の6つの観点それぞれに PASS、WARN、FAIL、NOT_EVALUATED の判定を付ける方式です。

目標達成（goal attainment）
指示への追従（instruction adherence）
ツール利用（tool use）
根拠の一貫性（evidence consistency）
誤りからの復帰（error recovery）
終了判断（termination）

観点を分けて残すことで、どの側面が弱い軌跡なのかが後から追えます。ツール利用は正しいのに終了判断だけ失敗した例を、単純に不良データとして捨てずに済むわけです。

もう1つの工夫が、対話を「サブシーン」に区切る単位設計です。軌跡をユーザーの発話とモデル呼び出しが並ぶ時系列とみなし、局所的な目的を共有する隣接ターンをひとまとまりにします。図3にあるとおり、切り出したサブシーンはシーン、ゴール、結果という3つの視点から特徴づけられます。

図3: 軌跡をサブシーン単位に切り出し、シーン・ゴール・結果の3つの視点から特徴づける（論文 Figure 3）

会話全体を1つの塊として扱うと、成功と失敗が混ざって学習信号が濁ります。サブシーン単位なら、うまくいった区間だけを取り出したり、失敗の型ごとに分類したりできます。同じくエージェントの行動ログから学習用の素材を作る方向性としては、Terminal-Universe による実行環境の合成とも問題意識が重なります。

学習は3段階のカリキュラムとして進みます。ルーティングのスコアが低い、つまり平易な例から始めて、段階的に難しい例へ移る構成です。さらに、生徒モデルが自分で生成した応答に対して教師モデルが監督を与えるオンポリシー蒸留を組み合わせ、生徒が実際に踏む経路の上で修正が効くようにしています。

実験結果

評価は11のベンチマークで行われました。エージェント能力については QwenClawBench、WorkBuddy Bench、PinchBench、VitaBench、BFCL V4、τ²-Bench、コード生成は HumanEval と LiveCodeBench v6、指示追従は IFEval と IFBench が使われています。ベースモデルとの平均スコア比較は次のとおりです。

モデル	ベース	NeoHorse-1	差分
4B	58.94	64.87	+5.93
9B	65.60	69.04	+3.44

4B の伸びが大きく、事後学習後の 4B はベースの 9B（65.60）に迫る水準まで到達しました。小さいモデルほどベースの状態で取りこぼしていた部分が多く、運用ログからの補正が効きやすかったと読み取れます。9B の伸び幅が小さいのは、元の性能が高いぶん改善余地が限られるためでしょう。

定性的な差として、論文はモデルが生成した五目並べのWebページを同じ26回のクリック操作で再生した比較を挙げています。図8の左側、ベースの Qwen3.5-9B が作ったページは盤面が空のままですが、右側の NeoHorse-1-9B では黒13個と白13個の石が正しく並び、対局が進んだ局面が表示されています。状態管理を含む実装の正しさに差が出た例です。