AI-Papers- Proposer・Solver・Generatorの3役割が循環し、人間アノテーションも外部報酬モデルも不要な自己一貫性信号だけで統合マルチモーダルモデルを自律改善するフレームワーク（ASG）を提案
- 一貫性信号だけでは難易度推定が不安定な場面を補うため、モデルの予測不確実性をリアルタイムで測るSolver Token Entropy（STE）を独自に設計
- BAGEL・BLIP3o・VARGPTの3アーキテクチャで汎用動作を確認し、MMMUで+3.5ポイント・GenEvalで82%→85%の改善を達成。コードも公開済み
研究の背景
画像を理解する能力と画像を生成する能力を1つのモデルに統合する研究が近年活発です。こうした統合型の大規模マルチモーダルモデル（LMM）は、テキスト指示に応じて画像を描いたり、与えられた画像について質問に答えたりする多目的なシステムです。
しかしこれらのモデルを高品質に育てるには、大量のアノテーション済みデータが不可欠でした。人手でラベルを付ける作業はコストが高く、特定のドメインへのスケールが難しいという問題があります。また、強化学習で用いる報酬モデルを別途訓練するアプローチも、追加コストと設計の複雑さを伴います。
本論文が問いかけるのは「ラベルなし画像だけを使い、モデルが自律的に自分を改善できるか」という点です。その回答として、Ask, Solve, Generate（ASG）と名付けたフレームワークが提案されています。
3役割が循環するフレームワーク
ASGの核心は、1つのモデルが内部で3つの役割を担い、それらが循環することで学習信号を自己生成する仕組みです。
Proposer（質問生成役）は入力画像から多様な視覚的質問を自動生成します。次にSolver（解答役）がその質問に複数の回答を生成し、内部でどの回答が整合的かを評価します。そしてGenerator（画像生成役）が、得られた回答の内容をもとに新しい画像を合成します。
重要なのは「生成した画像を再度Solverで評価し、元の質問・回答との一貫性を確かめる」という循環ループです。モデル自身が問題を出し、解き、答えを可視化し、その整合性を採点するため、外部の人間アノテーターも別途訓練した報酬モデルも必要ありません。
STEで難易度を自動検出する
自己一貫性信号には弱点があります。複数の回答が偶然に一致してしまう場面では、一貫性が高くても学習に有益な信号にならないことがあります。モデルが安易に同じ回答を繰り返す状況がその典型です。
この問題に対応するために導入されたのがSolver Token Entropy（STE）です。STEはSolverが回答トークンを生成する際の予測確率分布の「ばらつき」を測る指標です。モデルが迷っているほどエントロピーが高く、確信を持って回答しているほど低くなります。
一貫性スコアだけでは難易度を正しく推定できない場面で、STEが補完的な難易度シグナルとして機能します。難しい問題を難しいと認識することで、モデルは弱点を重点的に学習できるようになります。
実験で確認された改善効果
ASGフレームワークは、構造が異なる3つのアーキテクチャ（BAGEL・BLIP3o・VARGPT）で評価されており、特定のモデル設計に依存しない汎用性が確認されています。
視覚理解の総合ベンチマークMMMUでは、BAGELベースのモデルが+3.5ポイントの絶対的改善を達成しました。画像生成品質の評価指標GenEvalでは、82%から85%へと向上しています。MMBench・TextVQA・SeedBenchなどの複数ベンチマークでも一貫した改善が報告されています。
生成品質の評価基準は多角的に捉える必要がありますが、DiffusionBenchの研究が21モデルを横断分析して明らかにしたように、指標ごとに異なる側面を測るため複数の視点で評価することが重要です。ASGが採用するGenEvalはテキスト指示への忠実度を問う指標であり、生成品質の多面的な把握に貢献します。
データ収集コストの観点では、ラベルなし画像から自律的に学習信号を生成できることは、医療画像・衛星画像などの専門ドメインへの応用で特に効果的です。アノテーション費用が高い領域でも継続的な改善が可能になります。
まとめ
ASGは、統合マルチモーダルモデルの学習における「ラベルコスト問題」に、モデル内部の自己一貫性を報酬信号として活用するシンプルな発想で取り組んでいます。Proposer・Solver・Generatorの循環と、STEによる難易度補完を組み合わせることで、視覚理解と画像生成を両立するモデルを人手介入なしで改善できることが示されました。
コードが公開されており再現性が高い点は、研究コミュニティにとっても実務者にとっても価値があります。今後はラベルなしデータが豊富に存在する専門分野での応用や、より大規模なモデルへの展開が期待されます。
