ToolArtistとは？検索と推論と生成を統合するエージェント型画像生成AI

• 推論、ツールによる検索、画像生成を1つのモデルの方策に統合した新しいエージェント型画像生成の枠組みです
• 統合マルチモーダルモデルEmu3.5を基盤に、RAD-GRPOという強化学習で学習過程全体を最適化します
• 知識検証ベンチWISEで0.79、人文知識のWorldGenBench-HumanitiesではQwen-Imageなど既存オープンモデルを上回りました

研究の背景

画像生成AIは写真のような画像を作れるようになりましたが、世界の知識を正しく反映した画像を作ることは今も苦手です。たとえば「特定の国の伝統的な祭りの様子」や「ある化学反応が起きた瞬間」を描くには、モデルがその事実を知っている必要があります。学習データに含まれない知識や最新の情報が求められると、もっともらしいけれど間違った画像が生まれてしまいます。

この弱点を補うために近年注目されているのが、エージェント型の画像生成です。これは、まず検索でテキストや参考画像を集め、次にその情報をもとに画像を生成するという手順を踏む方法です。ただし従来のエージェント型手法は、推論するモデル、検索を担うツール、画像を作るモデルがそれぞれ別々に用意され、あらかじめ決められた手順（固定ワークフロー）に沿って動いていました。

この分業には限界があります。いつ検索すべきか、いつ画像を生成すべきかを状況に応じて柔軟に判断できず、複数のモデルをつなぎ合わせる部分で情報が失われやすいのです。今回紹介するToolArtistは、こうした課題を1つのモデルにまとめることで解決しようとした研究です。

提案手法ToolArtist

ToolArtistの核心は、推論、ツールの呼び出し、画像生成という3つの役割を、1つのモデルの方策（policy、どう行動するかを決める仕組み）に統合した点にあります。基盤となるのはEmu3.5という統合マルチモーダルモデル（Unified Multimodal Model、以下UMM）です。UMMはテキストも画像もすべてトークンとして扱い、1本の連続した系列の中で次のトークンを予測しながら生成します。この性質のおかげで、文章による推論と画像の生成を同じ仕組みで扱えます。

ToolArtistは対話を進めながら、まず頭の中で考え（推論）、次に「テキスト検索」「画像検索」「画像生成」のどれを実行するかを自分で決めます。検索した結果を取り込んで再び考え、最終的に必要な画像を自ら生成します。ここで重要なのは、画像を外部の別モデルに任せるのではなく、モデル自身がネイティブな視覚トークンとして画像を描き出す点です。ツールを呼ぶかどうかも、画像を生成するかどうかも、すべてモデル自身が決めるという一貫した設計になっています。

2段階の学習方法

ToolArtistは2段階で学習します。1段階目は教師あり微調整（SFT）です。まず教師となるエージェントに、テキスト検索、画像検索、画像生成を使いながら複数回のやり取りを行わせ、その一連の行動履歴（軌跡）を集めます。集めた軌跡は、外部で行っていた画像生成をモデル自身の視覚トークン生成に置き換えることで、UMMがそのまま学べる形式へ変換されます。フィルタリングを経て残った7,132件の高品質な軌跡を使い、推論から生成までの流れをひとまとめに学習させます。

2段階目が、この研究の目玉であるRAD-GRPO（Reason-Act-Draw GRPO）という強化学習です。これはエージェントの行動全体をオンラインで最適化する手法で、2種類の報酬を組み合わせます。1つは「意図の報酬」で、生成しようとする画像の説明文がどれだけ的確かを評価します。もう1つは「品質の報酬」で、最終的に出来上がった画像が指示にどれだけ忠実かを評価します。さらに、出力形式が正しいか、描画の合図を適切に出しているか、応答が長すぎないか、生成が単調に崩れていないかといった補助的な報酬も加え、学習を安定させています。

実験結果

知識を正しく反映できるかを測るWISEベンチマークでは、ToolArtistは全体スコア0.79を記録しました。分野別では物理が0.81、化学が0.79と自然科学系で強さを見せ、知識が問われるタスクで独自モデル（企業が非公開で持つモデル）に迫る性能を示しています。

人文知識を扱うWorldGenBench-Humanitiesでは、公開モデルの中で最も高い平均知識チェックリストスコア22.10を達成しました。以下の表のとおり、Qwen-Imageをはじめとする既存のオープンモデルを上回っています。特にアフリカ、南極、アジアといった地域に関する項目で高いスコアを出しました。画像生成の品質と知識の反映を両立させる工夫については、画像生成のプロンプトにスケーリング則を発見した研究とあわせて読むと理解が深まります。

まとめと今後の展望

ToolArtistは、推論、検索、生成をバラバラのモデルに分けるのではなく、1つの方策にまとめることで、状況に応じて柔軟に動くエージェント型画像生成を実現しました。7,000件を超えるSFT用の軌跡データと事後学習の基盤を公開しており、再現性が高い点も研究として意義があります。話題のエージェントAIと画像生成を結ぶ実用的な方向性を示したと言えるでしょう。

一方で課題も残ります。検索と生成を繰り返すため、1枚の画像を作るまでに複数回のやり取りが必要となり、応答までの時間や計算コストは単純な生成モデルより増えます。また報酬設計が複雑で、細かな調整が性能を左右しやすい点も、実運用に向けては検討が必要でしょう。それでも、モデル自身が知識を集めて考えながら描くという枠組みは、今後の画像生成の1つの形を提示しています。

Paper page - ToolArtist: Tool-Using Unified Multimodal Models for Agentic Image Generation

Join the discussion on this paper page

huggingface.co