AI-Papers
- 異なるモデルファミリーの実行者と評価者が相互批評する敵対的マルチエージェント設計で、エージェントが「虚偽の成功」を報告する失敗モードを抑制
- 65以上の再利用可能スキルと3層アーキテクチャで、アイデア発見から論文執筆・査読対応まで長期ML研究ワークフローを一貫自律実行
- 実験スクリプト整合性確認・結果と主張の対応検証・原稿監査からなる3段階の証拠検証で科学的信頼性を担保
研究の背景と課題
LLMを活用した自律エージェントが複雑な研究タスクをこなせるようになった一方で、長時間稼働させると深刻な問題が生じます。それは「根拠のない成功報告」です。エージェントが不完全または誤った証拠に基づいて主張を生成し、あたかも実験が成功したかのように報告してしまう失敗モードです。
この問題の根本には、確証バイアス（同一モデルが自分の出力を過信しやすい偏り）があります。単一モデルが実行と評価の両方を担うと、自身の誤りを見逃しやすくなります。加えて、複数セッションにまたがる長期研究では過去の試みを記憶できず、失敗したアイデアを繰り返し検討する無駄も生まれます。ARISはこれらの課題に正面から取り組んだオープンソースフレームワークです。
敵対的協調の仕組み
ARISの中核となる設計思想が「敵対的マルチエージェント協調」です。実行者（executor）と評価者（reviewer）を意図的に異なるモデルファミリーから選択し、互いに批評し合う構造を作ります。たとえば実行をClaudeが担い、評価をGPT系モデルが担うといった組み合わせです。
評価者は文書レベルからリポジトリレベルまで段階的にアクセス範囲を広げながら中間成果物を批評し、具体的な修正要求を生成します。実行者はその要求を受けて修正を行い、評価者が収束を確認するまでループが続きます。同一モデルが自分の出力を盲目的に信頼するという確証バイアスを、アーキテクチャの仕組みで排除するアプローチです。
3層アーキテクチャの全体像
ARISは実行層・オーケストレーション層・保証層の3層で構成されています。最下層の実行層には65以上のMarkdown定義スキルが用意されており、MCP（Model Context Protocol）を通じて外部モデルやツールを呼び出します。研究ウィキ（wiki）が永続的な記憶として機能し、セッションをまたいで過去の失敗や検証済みの知見を蓄積します。
中間のオーケストレーション層は5つのエンドツーエンドワークフロー（後述）を調整します。最上層の保証層が実験の整合性を担保し、科学的信頼性を守る役割を果たします。CLIツール「ARIS-Code」がこれら全コンポーネントをひとつのバイナリにまとめ、手軽に利用できます。
5つのワークフロー
ARISは研究プロセスを4フェーズ（発見・実験・原稿・査読後）に分け、5つのワークフローで処理します。W1（アイデア発見）では文献調査とクロスモデル生成で候補アイデアを洗い出し、新規性を検証した後、評価者の承認ステップを挟んだ段階的な精緻化を行います。
W1.5（実験ブリッジ）はコードレビューと1GPU上でのサニティチェックを経て全バックエンドへデプロイします。W2（自動レビューループ）では評価者が原稿を採点し、実行者が修正と追加実験を行うサイクルをスコアが閾値を超えるまで繰り返します。W3（論文執筆）はアウトライン作成からLaTeX執筆・図表生成・コンパイルまでをカバーします。W4（査読対応）は安全ゲートを3か所設けた上で査読コメントへの回答を自動生成します。
3段階の証拠検証
保証層の中核となる「証拠台帳監査カスケード」は3段階で構成されます。第1段階（実験監査）では評価者が評価スクリプトと結果ファイルを精査し、整合性の失敗モードを検出します。不正なログ上書きや部分的な結果ファイルといった問題を自動で発見できます。
第2段階（結果と主張の対応）では実験結果を「支持・部分的支持・否定」の3種類に分類し、整合性に問題がある主張は自動でダウングレードされます。第3段階（原稿監査）は文脈なしで起動したフレッシュな評価者が、原稿中のすべての定量的主張を証拠台帳と生データに照らし合わせて検証します。これら3段階が積み重なることで、論文全体の科学的一貫性が保証されます。
Ctx2Skillのようなマルチエージェント自己対戦によるLLM強化手法と設計哲学が近い部分もありますが、ARISはより長期の研究ワークフロー全体を対象とした点が特徴的です。
研究ウィキによる螺旋的学習
ウィキ機能はARISの長期運用を支える重要な仕組みです。ウィキなしでは各セッションがゼロから始まり、同じ失敗アイデアを繰り返し試みる無駄が生じます。ウィキありでは過去のセッションで失敗したアイデアがブラックリストとして記録され、検証済みの主張が次のアイデア生成の出発点になります。これにより、一回限りの研究から「螺旋的学習」への転換が実現します。
まとめと今後の展望
ARISは「実行と評価を異なるモデルに分担させる」という設計で、LLMエージェントの自己過信という本質的な弱点に対処したフレームワークです。65以上のスキルと3段階の証拠検証を組み合わせることで、アイデア発見から査読対応まで研究ライフサイクル全体を自律的に処理できます。
コードはGitHubで公開されており再現性が高い点も評価できます。一方で、現状は計算コストが高く、クローズドな高性能モデルへの依存も残ります。完全なオープンモデルだけでどこまで品質を維持できるかは今後の課題です。それでも、ML研究の自動化における信頼性担保の設計指針として、多くの後続研究に影響を与えることが予想されます。
