AI-Papers
- 5つの専門エージェントが協調し、意図解析から品質検証まで役割分担。アーキテクチャ変更なしで既存手法を最大39ポイント上回る性能を達成
- 科学図表生成の標準ベンチマークCraftBenchを公開。279サンプルで3図表タイプと4入力条件を網羅し、汎用的な評価基盤を提供
- ラスター画像を編集可能なSVGに変換するCraftEditorは全ベースラインを超えるスコア8.04/10を達成し、図表の再利用性を向上
研究の背景と課題
科学論文における図表は、複雑な実験結果や概念を読者に伝える手段です。しかし研究者が高品質な図表を作成するには、デザインツールの習熟と多大な時間が必要で、これが研究コミュニケーションの障壁になっています。
近年の画像生成モデルの進歩により、テキストから図表を自動生成する試みが増えています。ところが既存のシステムには大きな制約がありました。特定の図表タイプにしか対応していなかったり、テキスト・スケッチ・参照画像といった複数の入力形式を統合的に扱えなかったりします。
また、生成した図表を後から編集できる形式で出力する仕組みも欠けていました。SVGやHTMLコードを中間表現として活用するアプローチも研究されていますが、科学図表に特化した汎用的な評価基準そのものも存在しない状況でした。
Crafterの全体設計
「Crafter」は、ハーネス（harness）と呼ばれる統合レイヤーを採用した多エージェント型フレームワークです。個々の画像生成モデル（バックボーン）の内部構造を一切変えることなく、複数の専門エージェントが役割分担して図表生成を行います。この設計により、バックボーンを差し替えるだけで異なる生成モデルにも対応できます。
Crafterが図表を「離散的な意味コンポーネントの構造的な組み合わせ」として捉える点が特徴です。凡例、軸ラベル、データビジュアライゼーションといった各要素を独立して管理することで、学術図・ポスター・インフォグラフィックなど複数の図表タイプに柔軟に対応できます。
5つのエージェントの役割
Crafterは6つの役割を担うエージェントで構成されています。それぞれが特定の処理を受け持ち、共有される「図表仕様書（𝒮）」を中心に反復的に協調します。
- Intent Reasoner（意図推論）：入力テキストや文脈から図表の目的と必要な視覚要素を分析し、初期仕様𝒮₀を生成する
- Plan Generator（計画生成）：多様性を重視したK個の視覚フレーミング候補を並列生成する（K=3で最適性能）
- Image-Gen Backend（画像生成）：各候補計画をもとに実際の図表をレンダリングする
- Critic（評論）：内容正確性・レイアウト一貫性・テキスト判読性など6軸で評価し、具体的な修正指示を出す
- Specification Refiner（仕様精緻化）：評論結果を「型付き編集」に変換し、仕様書を矛盾なく更新する
- Convergence Judge（収束判定）：受理・継続精緻化・最良状態への復帰を判断する
アブレーション実験では、計画候補探索を省略すると-8.56ポイント、仕様精緻化レイヤーを省略すると-8.90ポイントの低下が確認されました。「自由文の修正を積み重ねると矛盾が生じて忠実性が暗黙的に下がる」という問題を型付き編集で解消した点が、性能向上の主要因といえます。
CraftEditorの仕組み
Crafterが生成したラスター画像（PNG等）を編集可能なSVGに変換するのが「CraftEditor」です。研究者が図表を後から修正・再利用できるようにする目的で開発されました。
CraftEditorは同じハーネスパターンを3フェーズで適用します。まず「抽出」フェーズでVLM（視覚言語モデル）が不要な要素を特定し、キャンバスを最大3ラウンドで整理します。次の「処理」フェーズでは各視覚要素にキャプションを付け、ベクター形式またはラスター形式に分類します。
最後の「構成」フェーズでSVGの骨格を生成し、VLMとプログラム的チェッカーを組み合わせたハイブリッド評論で最大4ラウンドの精緻化を行います。反復的な構成処理を省略した場合、スコアが-2.15ポイント低下することもアブレーションで確認されました。
CraftBenchと実験結果
科学図表生成の標準的な評価指標として「CraftBench」も同時公開されました。279サンプルを収録し、学術図・ポスター・インフォグラフィックの3図表タイプと、テキスト→画像・マスク補完・キー要素構成・スケッチ条件付けの4入力条件を網羅しています。
実験結果を比較対象とともにまとめると、次の表のようになります。
評価軸 | Crafter / CraftEditor | 比較対象 |
|---|---|---|
CraftBench | 52.30% | PaperBanana 29.00% |
PaperBanana-Bench | 50.34% | 単体の生成モデル 11.13% |
編集タスク平均スコア | 8.04/10 | AutoFigure-Edit 6.91 / Edit-Banana 3.69 |
CraftBench上では同じバックボーンを使用したPaperBananaを22.20ポイント上回り、PaperBanana-Bench上では39.21ポイントの大幅な改善を示しました。CraftEditorも比較対象の編集手法を大きく引き離しています。
まとめと今後の展望
Crafterは、既存の生成モデルをそのまま活用しながら多エージェントのハーネス設計で品質を向上させることを実証しました。アーキテクチャ変更不要という特徴は、将来の高性能バックボーンへの移行も容易にします。
論文内では失敗ケースも公開されており、複数パネルの欠落やスケッチの文字通りの解釈、要素の不一致といった課題が残っています。複雑な多パネル構成への対応や抽象的なスケッチ解釈の向上が今後の研究課題でしょう。コードとCraftBenchはいずれも公開済みで、AI for Scienceの基盤として広く活用できます。
論文情報: "Crafter: A Multi-Agent Harness for Editable Scientific Figure Generation from Diverse Inputs"（Haozhe Zhao et al., 2026） arXiv:2605.30611
本記事の図（図1〜図3）は解説のため上記論文より引用しています。
