言語・LLM

STEPQuantとは？線形アテンションの再帰状態を4bit量子化しメモリ68.7%削減

線形アテンションの再帰状態を4bit量子化する新手法STEPQuantを解説。誤差の寿命と位置に応じた精度配分で、Qwenの長文精度80.51%を維持しつつ総サービングメモリを68.7%削減しました。

凍結したLLMの内部表現から検索クエリを作り、コーパス検索と長文脈推論を1モデルで扱うUNREALを解説。追加50万パラメータ未満でHotpotQA再現率を49.1%から73.2%へ改善しました。

ALoDLMは、トークンごとの予測難易度に応じて計算量を配る拡散言語モデルです。1.7Bと8Bの両規模で11ベンチマーク平均がQwen3を上回り、GSM8Kで約2.7倍の処理量を実現した仕組みと限界を解説します。

タンパク質構造から検証可能な問題を自動生成する FoldingCorpus と、離散回答と3D幾何の二系統で後訓練する Fold2Reason を解説。10の推論ベンチマークで平均3.23ポイント向上した転移の中身を紹介します。

連続潜在を生成の主状態に据えた階層型拡散言語モデルHC-DLMを解説。並列デコードでトークン依存が壊れる課題を単一の降ノイズ過程で解決し、Countdownで37.52%、LM1Bで生成パープレキシティ75.5を達成しました。

事前学習済みTransformerは文脈内の参照を1.4〜3.6行しか辿れないという欠陥を特定し、全重み凍結のままrank-8 LoRAを浅い層に1枚挿すだけでQwen3-8Bの24行連鎖精度を15.5%から99%へ改善した研究を解説します。

On-Policy蒸留の新手法RIDEを解説。強化学習が生んだ隠れ表現の残差を方向として外挿し、4組のモデルペアすべてで生徒がRL教師に匹敵または超過した仕組みと限界を紹介します。

7Bの密モデルZGCM-1が、エージェント検索でQwen3-235B-A22Bを上回り、数学では同規模帯を超えました。4.2倍の学習高速化の内訳と、全データレシピ公開の中身を解説します。

正解ラベル不要でLLMの推論力を高める新手法Negative Self-Distillationを解説。モデル自身に誤った推論を生成させて遠ざかる学習で、Qwen3-4BがAIME 2024を23.8%から35.8%へ改善しました。

LLMエージェントの防御層を進化的探索で自動設計する EvoSafeHarness を解説します。DecodingTrust-Agent で攻撃成功率を45.6%から10.0%へ下げ、AgentDojo では有用性82.8%と攻撃成功率0.0%を両立しました。

NVIDIAがNemotron 3 UltraをSFTと強化学習で鍛え、IMO 2026で30/42点の金メダル水準を達成。形式証明器を使わない自然言語のみの探索パイプラインと、完全公開されたレシピの中身を解説します。

隠れ状態を積量子化した「概念語彙」で次概念予測を行う8.9BモデルNCP-ArchPreviewを解説します。OLMo-3-7Bの事前学習損失に51.3%のトークン量で到達し、GSM8Kで+5.99ポイントを達成した仕組みを紹介します。