AREXとは？自己改善ループでBrowseComp 82.5%を達成するリサーチAI

• 答えを見つけるのは難しいが、答えを検証するのは易しいという非対称性に着目した調査エージェント
• 証拠を集める内側ループと、条件ごとに答えを点検する外側ループを交互に回す二重構造
• 4Bと122B-A10Bの2モデルを公開し、BrowseCompで82.5%、DeepSearchQAで89.9%を記録

研究の背景

ディープリサーチ（AIが自分でWeb検索を繰り返しながら調べ物をこなす仕組み）に求められる仕事は、単一の事実を引き当てることではありません。「1990年代に設立され」「本社が特定の地域にあり」「創業者が特定の分野の出身」といった複数の条件を同時に満たす対象を探し当てる、といった作業が中心になります。

条件が増えるほど候補の広がりは急速に大きくなり、探索の難易度は跳ね上がります。ところが、候補が1つ手元にある状態で「この会社は本当に1990年代設立か」を確かめる作業は、条件ごとに分解すればはるかに扱いやすくなります。

AREX の著者らはこの性質を発見と検証の非対称性と呼び、調査エージェントがすべきことは「もっと長く探すこと」ではないと主張します。手元の暫定的な答えを検証し、部分的に確認が取れた状態を手がかりに次の調査の的を絞る。この再帰的な改善こそが鍵だという考え方です。

二重の自己改善構造

AREX の中核は、性質の異なる2つのループを交互に回す設計にあります。

内側の調査ループでは、モデルが思考しながら検索（search）とページ閲覧（visit）のツールを呼び出し、証拠を積み上げていきます。区切りのタイミングで、モデルは調査の途中経過を内部に抱え込むのではなく、暫定回答と根拠となる証拠、そして0から100の確信度スコアという形で外に書き出します。

外側の自己改善ループは、この書き出された内容を受け取って3つの判断を下します。確信度が閾値以上なら「そのまま受理」、閾値を下回っていても軌跡が立て直せる状態なら「未検証の条件に絞って追加調査」、軌跡そのものが破綻していると判断されれば「やり直し」です。闇雲に探索を続けるのではなく、どこが確かでどこが未確認かを明示したうえで、次にどこへ労力を振り向けるかを決める構造になっています。

推論時の予算は、内側のループが最大300ターン、外側の自己改善操作が最大5回に設定されています。長時間の調査を前提としながらも、上限を設けて暴走を防ぐ設計です。

文脈圧縮と学習手法

300ターンもの調査を続けると、対話履歴はすぐに文脈長の限界を超えてしまいます。AREX はこれに対して、エージェント自身が呼び出すupdate_contextという文脈更新ツールを用意しました。単純に古い履歴を切り捨てるのではなく、確認済みの知見と出典の識別子、現在の候補、そして未解決のまま残っている条件を保持する形に圧縮します。いつ圧縮を行うかもモデル自身の判断に委ねられており、この呼び出し方自体が学習の対象になっています。

学習は2段階です。まずエージェント向けの中間学習として、閲覧中心のタスクでツールの使い方を身につけ、推論中心のタスクで長い思考を鍛え、決定的な役割を果たすステップに重点を置いた教師データで仕上げ、最後に全能力を統合します。その後、長期的な強化学習（試行錯誤の結果に報酬を与えて行動方針を改善する学習法）で調整します。

強化学習には step-aware group policy optimization という手法を採用しました。調査の成否は最後にしか分からないため報酬が非常に疎になりますが、証拠を掴んだ瞬間や誤った方向を捨てて方針転換した瞬間といった重要なステップに重みを置くことで、この問題を緩和しています。LLMの強化学習では探索の幅が縮んでしまう現象が課題として知られており、RIPOのような手法も同じ問題に別角度から取り組んでいます。

実験結果

著者らは2種類のモデルを構築しました。4Bの密結合モデル「AREX-Turbo」と、総パラメータ122B・推論時に10Bだけを動かす MoE（Mixture-of-Experts、入力ごとに一部の専門家ネットワークだけを使う方式）モデル「AREX-Base」です。

AREX-Base は、総パラメータが3.8倍にあたる Qwen3.5-397B に対して BrowseComp で7.1ポイント、GAIA で3.8ポイント上回りました。DeepSearchQA では MiroThinker-H1 を9.3ポイント引き離しています。4B の AREX-Turbo も、GAIA で81.6と桁違いに大きなモデルに並ぶ水準に届いており、規模だけでは説明できない差が出ています。

何が性能に効いたか

要素を外した比較実験の結果は明快でした。BrowseComp において、文脈更新ツールと外側の自己改善ループを両方とも取り除くと59.6%まで落ち込みます。片方だけを戻すとそれぞれ71.4%、69.8%となり、両方を揃えて初めて82.5%に到達しました。2つの仕組みは足し算ではなく、互いを支え合う関係にあることが読み取れます。長い履歴を整理して未解決の条件を明示できるからこそ、外側のループが的確な判断を下せるという構図です。

学習面では、重要ステップへの重点付けをランダムなステップに置き換えたときの低下が8.4ポイントと最も大きく、多段階の中間学習を混合学習に置き換えると5.0ポイント、step-aware な強化学習を標準的なGRPO（同じ問題への複数の解答をグループ内で相対比較して学習する手法）に戻すと3.1ポイントの低下でした。

ステップごとの損失を見ると、通常のステップが0.232なのに対し、証拠を発見する場面で0.277、誤った経路を捨てて方向転換する場面で0.298、文脈更新の場面で0.300と高くなっています。これらが学習の難所であり、同時に成否を分ける局面でもあることを裏付ける結果です。

まとめと今後の展望

AREX は、探索時間を延ばす方向ではなく、途中の答えを検証して次の一手を絞り込む方向で性能を伸ばした点に特徴があります。確信度を外に書き出すという設計は、外側のループに判断材料を与えるだけでなく、エージェントの内部状態を人間が追える形にする副次的な効果も持ちます。

ただし課題も残ります。確信度の分布を見ると正解の大半は高いスコアに集中する一方、誤答の一部は高い確信度を持ったまま残っており、外側のループがそれを素通りする可能性があります。最大300ターンの調査に外側の操作を重ねる構成は計算コストも大きく、学習データも検証しにくい問題を除外するフィルタリングに依存しています。中間段階のエージェントが生成した軌跡を使う自己蒸留は4.8ポイントの改善を示したものの、本体には統合されておらず今後の課題として残されました。

それでも、検証を学習可能な行動として組み込むという発想は、調査以外のエージェント設計にも応用が利きそうです。長時間の作業をこなすAIをどう設計するかを考えるうえで、参照する価値のある一本と言えます。

AREX: Towards a Recursively Self-Improving Agent for Deep Research

Abstract page for arXiv paper 2607.21461: AREX: Towards a Recursively Self-Improving Agent for Deep Research

arxiv.org