AI-Papers
- 専門家が一度作って固定する防御ガードレールではなく、対象モデルと業務ドメインに合わせて自然言語ポリシーと実行コードを進化的に探索し、防御ハーネスを自動合成する枠組み
- DecodingTrust-Agent で平均攻撃成功率を45.6%から10.0%へ下げ、有用性の低下は3.3ポイントに収まった
- AgentDojo では有用性82.8%を保ったまま攻撃成功率0.0%を達成し、未知の AgentDyn スイートにも無改変で転移した
研究の背景
LLM エージェントがファイル操作や送金、チケット発行といった実世界の操作を担うようになり、安全性の問題は「不適切な文章を出力するか」から「望ましくない副作用を実行してしまうか」へ移りました。攻撃経路は大きく2つあります。ツールの返り値やメール本文に指示を埋め込む間接プロンプトインジェクションと、ユーザーの依頼そのものが有害な直接攻撃です。
これに対する実務的な対策が、モデルとユーザー、ツールのあいだに入って入出力を検査するハーネス（防御層）です。ただし既存のハーネスは専門家が一度設計したものを、どのモデルにもどの業務にも同じ形で適用します。論文は、この「一度作って固定する」前提こそが性能の頭打ちを生んでいると指摘しました。
著者は Nanxi Li、Yingzi Ma、Yulong Cao、Edward Suh、Bo Li、Dawn Song、Chaowei Xiao の各氏です。提案手法 EvoSafeHarness は、モデルの重みを凍結したまま、そのモデルとドメインに固有のハーネスを自動で設計します。
ハーネスの中身
論文はハーネスを、自然言語のポリシーと実行可能なコードの組として定義します。ポリシーには信頼境界の宣言や拒否基準が書かれ、コード側はツール呼び出しの書き換え、出力の変換、実行履歴の状態管理、権限の強制、補助分類器の呼び出しなどを担当します。
その中核が安全関係と呼ばれる検査可能な制約です。たとえば「実行しようとしている売買の方向がユーザーの依頼と一致しているか」や、「資産の清算と外部口座への送金という連続した操作が、単体では無害でも組み合わせると有害になっていないか」といった条件を、実行時にチェックできる形へ落とし込みます。
重要なのは、必要な検査がモデルによってもドメインによっても変わる点です。図に示すように、同じ GLM-5 を使っていても、os-filesystem ドメインではコマンドの性質や操作場所、秘密情報の移動を確認するのに対し、金融ドメインでは馴れ合い売買を検知する台帳を経由させ、資金の流出先を確認し、口座簿に資金の流れを記録する、という別の制御フローが選ばれます。
進化的探索の仕組み
EvoSafeHarness は4つの役割を回してハーネスを改良します。探索の外側にある設計役の LLM が親となるハーネスと編集操作を選び、候補を生成する形です。
- Designer: ドメイン仕様と過去の候補、スコア、失敗トレースを読んで改訂案を出す
- Criticizer: 評価前に独立した視点でベンチマーク非依存の回避手口を突きつける
- Cascade Test Environment: 静的検証から全件評価まで4段階で候補を絞り込む
- Analyzer: 失敗トレースを設計知見に要約し、次の反復へ渡す
この中で効果が大きかったのが Criticizer です。ファイル名やパス、コマンド文字列といった literal なトークンに依存したルールは、名前を変えたり言い回しを変えたりするだけで破られます。そうした脆いルールを評価前に指摘することで、探索に使ったテストケース上のスコアが未知のケースでのスコアに結びつくようになり、ドメインによっては最大31ポイントの改善が得られました。段階評価の仕組みも効いており、評価に使うトークンを43.6%削減しています。
実験結果
被害者モデルとして Sonnet 4.6、GLM-5、Kimi-K2.5、Qwen3.7-plus、DeepSeek-V4-Flash の5種類が使われました。比較対象は、信頼できないデータと制御フローを構造的に分離する CaMeL、実行軌跡を監視する DRIFT、権限ポリシーを与える Progent、手作業で設計された SafeHarness です。これらはすべてのモデルとドメインに同一の設定で適用され、EvoSafeHarness だけがデプロイ先ごとに探索されます。
設定 | 攻撃成功率 | 有用性 |
|---|---|---|
DecodingTrust-Agent（防御なし） | 45.6% | 基準 |
DecodingTrust-Agent（EvoSafeHarness） | 10.0% | -3.3ポイント |
AgentDojo（EvoSafeHarness） | 0.0% | 82.8% |
AgentDyn 未見スイート（転移） | 0.0% | 75.0% |
DecodingTrust-Agent の15セルからなる評価格子では14セルで最良のスコアを記録しました。AgentDojo で攻撃成功率0.0%を保ちながら得られた有用性82.8%は、同じ安全水準における CaMeL のおよそ2倍にあたります。安全性を上げると実用性が落ちるという従来のトレードオフを、かなり緩和できたことになります。
汎化性能も検証されました。探索していない AgentDyn のスイートへ手を加えずに適用しても攻撃成功率0.0%を維持し、Agent-SafetyBench では全ての被害者モデルで最良のスコアを得ています。改良予算16の PAIR による適応的攻撃下でも、平均攻撃成功率は20%未満に抑えられました。エージェントのツール接続には MCP のような標準プロトコルが広がりつつありますが、外部から流れ込む内容をどう検査するかは実装側の課題として残っており、本手法はその層に位置します。
限界と今後
万能ではありません。この手法が効くのは、有害性が実行時に観測できる関係へ翻訳できる場合です。顧客を狙った詐欺的な勧誘、オプション商品の不適切な販売、通信事業者を装った金融詐欺といったケースでは、残存する攻撃成功率が30%から60%に達しました。害が操作の範囲ではなく、説明の虚偽や商品の適合性にあるためで、フックの設置位置の都合上、ツールを使わない最終回答を検査できない点も影響しています。
探索スコアはテストケースの質に依存するという制約もあります。評価集合が小さいと、並行処理のバグや操作順序に起因する失敗、まれにしか起きない副作用を見逃し、返却された15個のバンドルのうち7個は系統内で最良のスコアではありませんでした。さらに、ある安全関係をモデルに判断させるべきか決定的なコードで検査すべきかの選び分けは、モデルの性質に依存するとしつつも、原理的な指針は示されていません。計算コストも軽くはなく、外側の探索で4045万トークンが生成されています。
それでも、モデルを凍結したまま既存のエージェントに後付けでき、対象環境に合わせて防御が自動で形を変えるという設計は、プロンプトインジェクション対策の現実的な選択肢を一つ増やすものです。
論文情報: "EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents"（Nanxi Li et al., 2026） arXiv:2609.05903, CC BY 4.0
本記事の図（図1）とサムネイルは上記論文より引用しています（縮小・形式変換あり）。
