Qwen-UI-Agentとは？実機100台超で鍛えるGUI統合エージェント

実機Android100台超と150以上のアプリで学習し、従来のシミュレーション環境の限界を超えた基盤GUIエージェントです
GUI操作とbash CLI、API呼び出しを単一の軌跡で組み合わせる統合アクション空間を採用しています
MobileWorld-Realで92.2%を記録し、シミュレーションのMobileWorldではOpus 4.8を14.6ポイント上回りました

研究の背景

スマートフォンやパソコンの画面を見て自動で操作するAIは、GUIエージェントと呼ばれます。GUIとはGraphical User Interface（画面上のボタンやアイコンで操作する仕組み）のことで、人間が使う画面をそのままAIに触らせる技術です。近年この分野は急速に進んでいますが、多くの研究は仮想的なシミュレーション環境の中だけで学習を進めてきました。

ところが実際のスマートフォンには、通知の遅延やアプリのログイン状態、広告の割り込みなど、シミュレーションでは再現しきれない要素が数多く存在します。そのため仮想環境で強くても、現実の端末ではうまく動かないという課題がありました。Alibabaの MAI-UI チームが公開した技術報告「Qwen-UI-Agent」は、この現実とのギャップを正面から埋めることを狙った基盤エージェントです。

実機100台超で鍛える基盤

Qwen-UI-Agentの最大の特徴は、100台を超える実機Android端末と150以上のアプリを使って学習と評価を行う点にあります。仮想環境ではなく本物の端末を大量に動かすことで、現実世界で起きる予期せぬ状況にも対応できる能力を身につけています。

これだけの数の端末を効率よく回すために、端末の状態を監視して割り当てを最適化するスケジューラや、1台の端末で複数の作業を同時に進める仮想ディスプレイの仕組みが導入されています。これらの工夫により、最大で約1万個の環境を同時に走らせ、学習データの収集を高速化しているとのことです。対象はモバイルにとどまらず、パソコン操作、Webブラウジング、そして深い情報探索を行うDeepSearchまで横断します。

GUIとCLIを束ねる操作空間

もう一つの新規性は、複数種類の操作を1本の作業の流れ（軌跡）の中で自由に組み合わせられる統合アクション空間です。画面をタップしたりドラッグしたりするGUI操作に加えて、bashコマンドを実行するCLI（コマンドで操作する黒い画面）、決まった形式でサービスを呼び出すAPI操作、ユーザーへの質問や作業終了といった制御操作を、状況に応じて切り替えられます。

たとえばファイルの一括処理のように、画面をひとつずつ触るより命令文を打ち込んだ方が速い作業では、CLIを使うことで効率が大きく向上します。さらに複数の操作を1回の応答でまとめて出すバッチ処理にも対応しており、パソコン操作では出力の40%以上がまとめて実行される形になっているとされています。画面操作を状態管理の観点から整理するStateActのようなPC操作エージェントとも通じる、実用性を重視した設計です。

データフライホイールと学習

優れたエージェントを育てるには大量の質の高い学習データが欠かせません。Qwen-UI-Agentでは、エージェント自身がデータ作成に関わる「データフライホイール」と呼ばれる自動化された循環を回します。タスクの生成、環境の設定、正誤を判定するverifier（検証役）の作成までを自動で行い、失敗の分析結果を次のデータ作りに還元していく仕組みです。

学習は大きく2段階に分かれます。まずモバイル、デスクトップ、Webそれぞれに特化した専門モデルを教師あり学習（正解例を見せて学ばせる方法）で育て、それらを統合して1つのモデルにまとめます。次に強化学習（試行錯誤から良い行動を学ぶ方法）で仕上げますが、ここでは100手を超える長い作業の流れをverifierが導くオンライン学習を採用しています。得意になった課題は外し、成功率が中間くらいの難しすぎず簡単すぎない課題を優先する学習カリキュラムにより、効率よく能力を伸ばしている点が特徴です。

突出した実験結果

実験では複数のベンチマークで高い成績を示しています。実機を使うMobileWorld-Realでは92.2%の成功率を達成し、比較対象のSeed 2.1 Proの88.7%を3.5ポイント上回りました。日常操作を測るAndroidDailyでも97.5%という高い値を記録しています。

シミュレーション環境のMobileWorld（GUI操作のみ）では82.1%で、Claude Opus 4.8を14.6ポイント上回りました。パソコン操作のOSWorld-Verifiedでも79.5%で全体2位に入り、Webブラウジングを測るWebArenaでは73.6%を示しています。主な数値を下の表にまとめます。

ベンチマーク	内容	成功率
MobileWorld-Real	実機モバイル操作	92.2%
AndroidDaily	日常のモバイル操作	97.5%
MobileWorld	シミュレーション（GUIのみ）	82.1%
OSWorld-Verified	パソコン操作	79.5%
WebArena	Webブラウジング	73.6%

モデルには27B（270億パラメータ）版と、1トークンあたり3Bだけを使う35B-A3B版が用意されています。より小さな構成でも、はるかに大きなクローズドソースのモデルに匹敵する性能を出している点は注目に値します。

まとめと今後の展望

Qwen-UI-Agentは、仮想環境に頼らず実機で鍛えるという方針と、GUI・CLI・APIを1つの流れで扱う統合アクション空間によって、現実世界で使えるGUIエージェントの水準を引き上げました。モバイルからパソコン、Web、情報探索までを横断できる汎用性の高さも実用面で大きな価値を持ちます。

一方で、実機を100台超そろえて運用する基盤は誰もが簡単に再現できるものではなく、コストや保守の負担は無視できません。またOSWorld-v2の完全達成率が13.9%にとどまるように、長く複雑な作業を最後までやり切る難しさも残っています。それでも、現実の端末を学習の中心に据えるという考え方は、今後の実用的なAIエージェント開発に向けた有力な指針になりそうです。