AI-Papers
- 正解から逆向きに探索して中間手がかりを復元し、各ステップに密な報酬を与えるAnswer-Backtracked Credit Assignment（ABC）を提案
- Qwen3.5-4Bをわずか8,500例で訓練し、BrowseComp 37.3%（文脈管理併用で55.3%）を達成して約30Bのモデルに匹敵
- 損失を再重み付けするSFT版と報酬として使うGRPO版の両実装を用意し、小規模モデルでの高い実装可能性を示した
研究の背景
Web検索エージェントは、ユーザーの複雑な質問に答えるために検索、閲覧、推論を何度も繰り返します。1つの答えにたどり着くまでに20回近い操作を行うこともあり、こうした長い手順を要するタスクは長期ホライズン（long-horizon）と呼ばれます。問題は、その長い手順のうち本当に答えに寄与したステップはほんの数個しかないという点にあります。
従来の訓練方法は、最終的な答えが正解か不正解かという1つの結果だけを頼りに学習していました。これは報酬がまばら（スパース）な状態で、途中のどの操作が良くてどの操作が無駄だったのかを区別できません。教師あり微調整（Supervised Fine-Tuning、以下SFT）でも強化学習（Reinforcement Learning、以下RL）でも、全ステップを一律に扱ってしまい、有効な行動と誤った冗長な行動が同じ重みで学習されてしまうのです。
どの行動が成功に貢献したかを見極める問題は、強化学習でクレジット割り当て（credit assignment）と呼ばれます。ABSeekerは、この長期検索エージェント特有のクレジット割り当てを、正解からの逆探索という発想で解こうとした研究です。関連する話題としてGradCuitとは？勾配クレジット割当でLLMのテスト時推論を強化する新手法も参考になります。
提案手法
ABSeekerの中核はAnswer-Backtracked Credit Assignment（ABC）という枠組みで、2つの段階から構成されます。第1段階が正解逆探索による手がかり復元（Answer-Backtracked Clue Recovery）、第2段階が手がかり基準のステップ採点（Clue-Anchored Step Scoring）です。
第1段階では、質問文と検証済みの正解の両方を手元に置いた状態で、答えから逆向きにたどって「その答えに至るために必要だった中間的な証拠」を復元します。たとえば多くの制約条件を含む質問に対しては、答えを支える6個ほどの手がかりが取り出され、それらが質問と正解をつなぐ1本の証拠の連鎖を形作ります。あらかじめ正解が分かっているからこそ、後知恵で正しい探索経路を再構成できるという点が発想の要です。
第2段階では、実際にエージェントがたどった1回1回のステップを、復元した手がかりの集合に照らし合わせて採点します。手がかりに一致する有用な証拠を取ってきたステップ、答えに近づいたステップは高く評価され、冗長だったり誤った方向に進んだステップは低く評価されます。こうして、正解か不正解かというまばらな信号が、各ステップに対する細かく密な報酬へと変換されます。
この密な報酬は2通りの方法で学習に組み込まれます。1つはABC-SFTで、ステップごとのスコアに応じて各ターンの損失を再重み付けします。もう1つはABC-GRPOで、ステップスコアをそのままGRPO（Group Relative Policy Optimization）という強化学習手法の報酬として利用します。SFTとRLの両方に同じ考え方を差し込める柔軟さが特徴です。
密な報酬が示す傾向
訓練に用いた8,500件の軌跡を分析すると、報酬の分布には分かりやすい傾向が現れます。成功した軌跡では高評価のステップが多く含まれ、失敗した軌跡では低評価のステップが目立ちます。単なる成否ではなく、途中経過の質そのものを捉えられていることが確認できます。
この仕組みにより、価値のある行動と誤った行動をエージェント自身が区別しながら学べるようになります。結果として、限られたデータでも長期ホライズンの検索エージェントを効率よく訓練できる点が、ABSeekerの実用上の強みです。
実験結果
ベースモデルにはQwen3.5-4Bを用い、わずか8,500例で訓練しました。難関の検索ベンチマークであるBrowseCompで37.3%、中国語版のBrowseComp-ZHで39.1%の正答率を達成しています。さらに文脈管理（context management）を併用すると、それぞれ55.3%と52.9%まで大きく伸びました。
比較の観点で見ると、ABSeekerの4Bモデルは同じ4B規模のエージェントを明確に上回り、パラメータ数が約30Bと桁違いに大きいモデルにも肩を並べます。文脈管理は、長い探索の過程で蓄積される情報のうち不要な部分を整理し、判断の邪魔になる文脈を抑える仕組みだと考えられます。文脈の量を変えた実験でも、この管理を入れることで安定して性能が向上する傾向が示されました。
ベンチマーク | 基本 | 文脈管理あり |
|---|---|---|
BrowseComp | 37.3% | 55.3% |
BrowseComp-ZH | 39.1% | 52.9% |
まとめと今後の展望
ABSeekerは、正解から逆向きに手がかりをたどるという単純明快な発想で、長期検索エージェントのクレジット割り当て問題に取り組みました。まばらな結果報酬を各ステップの密な報酬へ変換することで、4Bという小さなモデルを8,500例だけの訓練で30B級の性能まで引き上げた点は、実装の敷居の低さという意味でも意義があります。
一方で課題も残ります。手がかりの復元は検証済みの正解が前提となるため、正解が明確に定義しにくいタスクへどう広げるかは検討が必要です。高い性能の一部は文脈管理に依存しており、この仕組み自体の詳細な検証や、検索以外のエージェントへの一般化も今後の論点になるでしょう。とはいえ、小規模モデルでも設計次第で大規模モデルに迫れることを示した本研究は、効率的なエージェント訓練の実用的な選択肢を提示しています。
