3D世界を実行可能なコードとして集めた3DCodeVerse-2Mを解説。269,597件のプログラムと約203万行のデータ、検証を自動化するマルチエージェントHarnessが人間評価90%勝率を達成した仕組みを紹介します。
コーディングエージェントがAIエージェントを構築・編集・最適化できるかを25タスクで測るベンチマークAgentSWEを解説。開発ケースで90点超でも非公開ケースでは平均9.9点という乖離と3つの失敗モードを紹介します。
事前知識では解けない反直感的ルールのテキストゲーム20種でLLMエージェントの学習力を測るLearn2Play Benchを解説。経験の生ログ保持やハーネス変更で性能とコストが改善した知見を紹介します。
推論を伴う画像編集を測るベンチマークRISEBench++を解説します。6推論次元1000問で58手法を評価し、最高はGPT-Image-2.5 Sunburstの56.6%。学習不要のRISE-Agentも紹介します。
実在するAIコンパニオンとの10関係・27,218メッセージを最長120日分収録したベンチマークRealCompanionを解説。記憶参照が必要な発言は3.4%、31倍のコスト差でもF1は同等という知見を紹介します。
実ファイルの関係を証拠グラフ化してエージェント訓練データを合成するGraphForgeを解説。2,169件のSFTでGDPValを65.7ポイント、SpreadsheetBench IIを13.7ポイント改善した手法と課題を紹介します。
実OSを動かさず画像生成モデルで次の画面を描き、GUIエージェントの操作軌跡7.9万件を合成するAutoGUIWorldを解説。OSWorld 33.0→40.8%の改善と残る課題を紹介します。
KAISTらが積み木の合成データ1.5万件でLVLMの空間推論を訓練するSpatialBlockを公開。3B規模モデルが積み木ベンチで29.9%から94.8%、実写のMindCubeでも10ポイント改善した手法を解説します。
エージェントの行動履歴からファイル操作を再生し実行可能なターミナル環境を3.73万件合成する新手法Terminal-Universeを解説。Qwen3.5-27BでTerminal-Bench 2.1が+11.9ポイント向上しました。
戦争や災害のAI生成フェイク動画に特化した検出ベンチマーク「RA-Bench」を解説します。実動画と生成動画あわせて1.8万本で各種検出器を検証し、精度がほぼ偶然並みに低下し、SNS拡散でさらに悪化する実態を明らかにしました。
画像生成モデルとVLMの空間認知を、テキストではなく生成ピクセルで答えさせ同一指標で比較する新枠組みProVisEを解説。14サブタスク470問のベンチマークで、人間88%に対しGPT-5.4は61%にとどまる実態を紹介します。
コードエージェントにLLM学習用のデータ処理をDAGとして組ませるDataFlow-Harnessを解説します。12タスクで成功率93.3%、コスト72.5%削減・遅延49.9%削減を達成した仕組みと課題を紹介します。
AI-Papers
