1タスク約32枚の参照画像と20以上の制約から1枚の整合画像を作らせる長文脈マルチリファレンス画像生成の新ベンチマークLongBananaを解説。4,670項目の採点設計とエージェント手法の成果を紹介します。
ベンチマークの一部だけでスコアを推定する圧縮手法の誤差分布が長い裾を持つことを理論的に示し、高誤差リスクを50.2%削減するBestRandを解説します。70ベンチマークでの検証結果も紹介します。
職業的意図から情報サポートグラフを作り、プローブ実行で情報欠落を修復して業務タスクを自動合成するWorkFactoryを解説。612職種11万件のデータでQwenを微調整したWorkPilotはGDPval Eloを879から1565へ改善しました。
3D世界を実行可能なコードとして集めた3DCodeVerse-2Mを解説。269,597件のプログラムと約203万行のデータ、検証を自動化するマルチエージェントHarnessが人間評価90%勝率を達成した仕組みを紹介します。
コーディングエージェントがAIエージェントを構築・編集・最適化できるかを25タスクで測るベンチマークAgentSWEを解説。開発ケースで90点超でも非公開ケースでは平均9.9点という乖離と3つの失敗モードを紹介します。
事前知識では解けない反直感的ルールのテキストゲーム20種でLLMエージェントの学習力を測るLearn2Play Benchを解説。経験の生ログ保持やハーネス変更で性能とコストが改善した知見を紹介します。
推論を伴う画像編集を測るベンチマークRISEBench++を解説します。6推論次元1000問で58手法を評価し、最高はGPT-Image-2.5 Sunburstの56.6%。学習不要のRISE-Agentも紹介します。
実在するAIコンパニオンとの10関係・27,218メッセージを最長120日分収録したベンチマークRealCompanionを解説。記憶参照が必要な発言は3.4%、31倍のコスト差でもF1は同等という知見を紹介します。
実ファイルの関係を証拠グラフ化してエージェント訓練データを合成するGraphForgeを解説。2,169件のSFTでGDPValを65.7ポイント、SpreadsheetBench IIを13.7ポイント改善した手法と課題を紹介します。
実OSを動かさず画像生成モデルで次の画面を描き、GUIエージェントの操作軌跡7.9万件を合成するAutoGUIWorldを解説。OSWorld 33.0→40.8%の改善と残る課題を紹介します。
KAISTらが積み木の合成データ1.5万件でLVLMの空間推論を訓練するSpatialBlockを公開。3B規模モデルが積み木ベンチで29.9%から94.8%、実写のMindCubeでも10ポイント改善した手法を解説します。
エージェントの行動履歴からファイル操作を再生し実行可能なターミナル環境を3.73万件合成する新手法Terminal-Universeを解説。Qwen3.5-27BでTerminal-Bench 2.1が+11.9ポイント向上しました。
AI-Papers
