ByteDance Seedが開発したiLLaDA 8Bは、完全双方向Attentionと12兆トークン学習でLLaDAをBBH+21.6点で大幅に上回り、自己回帰型Qwen2.5 7Bと競合水準を達成した拡散型言語モデルです。
静的な埋め込みモデルの限界を超え、逐次更新される潜在メモリで文脈に応じた動的ベクトルを生成する「EvoEmbedding」を解説。Qwen3-Embedding-8Bなど大規模モデルを凌ぎ、RAGやエージェント記憶に直接応用できます。
Uniform Diffusion LMを7Bパラメータ・1.5兆トークンでフルスクラッチ訓練し、知識・推論・コーディングで自己回帰モデルと同等性能を実証した初の大規模研究を紹介します。
7BパラメータのループTransformer「LoopCoder-v2」が2ループ動作でSWE-bench Verified 64.4点を達成しました。ループ3回以上で性能が逆に低下する非単調効果の仕組みを解説します。
トランスフォーマーの均一幅設計を問い直す「>＜former」を解説。×字型アーキテクチャとパラメータ不要の残差リサイジングにより、FLOPs 22%・KVキャッシュ 15%削減を達成します。
フル再計算のレイテンシが文脈長とともに最大17.6倍に膨らむのに対し、KVEraserはわずか24%の増加のみで同等精度を実現する局所消去手法です。ICML 2026 Workshop Oral採択。
NVIDIAが公開したMoE×Mambaハイブリッドの大規模言語モデル「Nemotron 3 Ultra」を解説。550億パラメータながら推論スループットが最大6倍に向上した仕組みを詳しく紹介します。
LLMエージェントの長期記憶を「検索」から「能動的な再構成」へ転換するMRAgentを解説します。Cue-Tag-ContentグラフとLLMによる多段階推論で、LoCoMoで23.3%、LongMemEvalで約32.8%の精度改善とトークン削減を同時に達成しました。
ICML 2026採択。軽量な予測ネットワークがLLMの各レイヤーをスキップ・反復する「Program-of-Layers（PoLar）」を動的生成し、訓練不要で数学推論の精度と計算効率を同時に改善する手法を解説します。
動的に変化する環境でLLMエージェントを評価するベンチマークEvoArenaと、記憶の更新履歴をパッチ形式で管理するEvoMemを解説します。最先端エージェントでも平均正解率39.6%という厳しい現実と改善策を紹介。
MiniMaxが開発した数学証明AI「MaxProof」の仕組みを解説。証明生成・検証・修復を統合したM3モデルが、IMO 2025で35/42問、USAMO 2026で36/42問を解き、いずれも金メダル基準を超えました。
MiniMax社のスパースAttention手法「MSA」を解説。1Mトークン時の注意計算量を28.4倍削減し、H800 GPUでプリフィル14.2倍・デコード7.6倍を達成しながら標準GQAと同等の精度を維持します。
LLMはなぜ日本文化に偏る？ 欧州研究が明かすAIの隠れた文化バイアス
Qwen-AgentWorldとは？LLMを環境シミュレーターに変換するエージェント向け言語世界モデル
PP-OCRv6: わずか34Mパラメータで235B超の大規模VLMを超えた軽量OCRシステム
Agents-A1とは？35Bモデルで1兆パラメータ超の性能を達成するエージェント水平スケーリング
AIのイエスマン化が人間に悪影響、スタンフォード・CMU研究が実証
AI-Papers
