ByteDanceが開発した環境不要なコード検証フレームワーク「Dockerless」を紹介します。SWE-bench Verifiedで62.0%の解決率を実現しました。
「エージェントが適切に諦められるか」を3環境・28,000件超タスクで検証。大規模化でも棄権タイミングは改善されにくい実態と、ファインチューニング不要でAbsRec@1を2倍超に高めるCONVOLVEを紹介します。
35Bパラメータのモデルが平均45Kトークンの長期軌跡を学習する「エージェント水平スケーリング」により、Kimi-K2.6など1兆パラメータ超のモデルを複数ベンチマークで超えたAgents-A1を解説します。
67モデル・21プロバイダの実験から、全LLMが同時に失敗する確率βが組み合わせシステムの性能上限を決定することが判明。ペアワイズ相関はこの上限を2.5倍過小評価していました。
LLM推論を高速化する投機的デコーディングの根本的な限界を克服した「JetFlow」が登場。ツリー因果注意マスクにより、MATH-500で最大9.64倍の高速化を達成しています。
RoPE（回転位置エンコーディング）の数学的構造を活かしKVキャッシュをブロック単位で量子化するBlock-GTQを解説。MAE（平均絶対誤差）を32〜80%削減し、fp16比3.24倍の圧縮と1.34倍の高速化を両立します。
ByteDance Seedが開発したiLLaDA 8Bは、完全双方向Attentionと12兆トークン学習でLLaDAをBBH+21.6点で大幅に上回り、自己回帰型Qwen2.5 7Bと競合水準を達成した拡散型言語モデルです。
静的な埋め込みモデルの限界を超え、逐次更新される潜在メモリで文脈に応じた動的ベクトルを生成する「EvoEmbedding」を解説。Qwen3-Embedding-8Bなど大規模モデルを凌ぎ、RAGやエージェント記憶に直接応用できます。
Uniform Diffusion LMを7Bパラメータ・1.5兆トークンでフルスクラッチ訓練し、知識・推論・コーディングで自己回帰モデルと同等性能を実証した初の大規模研究を紹介します。
7BパラメータのループTransformer「LoopCoder-v2」が2ループ動作でSWE-bench Verified 64.4点を達成しました。ループ3回以上で性能が逆に低下する非単調効果の仕組みを解説します。
トランスフォーマーの均一幅設計を問い直す「>＜former」を解説。×字型アーキテクチャとパラメータ不要の残差リサイジングにより、FLOPs 22%・KVキャッシュ 15%削減を達成します。
フル再計算のレイテンシが文脈長とともに最大17.6倍に膨らむのに対し、KVEraserはわずか24%の増加のみで同等精度を実現する局所消去手法です。ICML 2026 Workshop Oral採択。
AI-Papers
