AI-Papers
- Liquid AIが2026年7月28日に軽量エンコーダLFM2.5-Encoders（230M/350M）を公開。GPU不要のCPU上で最大8192トークンの長文を処理できます
- 8192トークンの入力でModernBERT-base比約3.7倍の高速化を達成し、1分半超の処理を約28秒に短縮しました
- 350MモデルはGLUE等の評価で14モデル中4位。分類やルーティング、PII検出などCPUで常時回る実務タスクに向きます
軽量エンコーダを公開
2026年7月28日、Liquid AIは軽量な文章理解モデル群「LFM2.5-Encoders」をHugging Face上で公開しました。パラメータ数は2億3000万（230M）と3億5000万（350M）の2種類で、いずれもオープンウェイトとして配布されています。
大規模言語モデル（Large Language Model、LLM）が文章の「生成」に強みを持つのに対し、今回のモデルはテキストの分類や意図の振り分けといった「理解」に特化したエンコーダです。GPUを使わないCPU上での動作を前提に設計されており、最大8192トークンの長い入力を扱える点が特徴となります。
なぜエンコーダが必要か
Liquid AIは、分類器や意図ルーター、安全性フィルタといった処理が本番環境で終日、しかも多くの場合CPU上で動き続けている点に着目しました。こうした処理はますます長い入力を相手にする一方、生成能力そのものは必要としません。
同社は「用途に合わせて微調整したエンコーダは、生成用のLLMよりも小さく、速く、はるかに安く動かせる。しかも手元にあるCPUに収まる」と述べています。文章を生成する巨大モデルを常時稼働させるのはコストが重く、理解タスクにはより軽い専用モデルが合理的だという主張です。CPU中心で機械学習モデルを動かす流れはローカルLLMの始め方でも広がりつつあり、今回の公開はその選択肢を実務側から補強するものといえます。
3.7倍高速化の仕組み
LFM2.5-Encodersは、同社の生成モデルLFM2.5のデコーダ部分を土台に、双方向で文章を読めるエンコーダへ作り替えたものです。変換にあたっては3つの改良が加えられています。
- 各トークンが前後両方向の文脈を参照できる双方向アテンション
- 左右対称のパディングで隣接トークンを混ぜる非因果的な畳み込み層
- 学習時に30%のトークンを隠して予測させるマスク言語モデル学習
学習は2段階で進められました。まず1024トークンの長さでWebコーパスを用いた基礎学習を行い、次に8192トークンまで文脈長を拡張して、事実・法務・多言語の理解力を強化しています。畳み込みとアテンションを組み合わせた構造が、長文処理での計算効率と精度の両立に寄与しています。
この設計により、CPU上での長文処理が大きく高速化しました。8192トークンの入力に対し、比較対象のModernBERT-baseが1回の処理に1分半を超える時間を要する一方、LFM2.5-Encoder-230Mは約28秒で処理を終えます。Liquid AIはこれを約3.7倍の高速化と説明しています。なおModernBERTは、Answer.AIが開発した高速なエンコーダ型モデルで、この分野の代表的な比較基準となっています。
精度とベンチマーク結果
速度だけでなく精度面でも高い水準を示しています。英語の言語理解評価であるGLUEやSuperGLUE、および多言語タスクを横断した比較で、LFM2.5-Encoder-350Mは14モデル中4位に入りました。上位3モデルはいずれもより大きなモデルで、そのうち1つは35億パラメータ規模だといいます。
より小さいLFM2.5-Encoder-230Mも、ModernBERT-baseや評価に用いたEuroBERTの各種モデルを上回りました。サイズを抑えながら競合を上回る精度を出している点が、コスト効率を重視する開発者にとっての実用的な魅力となります。
想定される活用シーン
Liquid AIは、テキスト分類や意図ルーティング、ポリシー違反のチェック、個人情報（PII）検出などを主な用途として挙げています。PII検出は16言語で40種類の項目に対応するとしています。
同社は「開発者にとっては、契約書や書き起こし、長いサポート対応スレッド全体を、ノートPCのCPU上で30秒未満で走査・分類できることを意味する」と説明します。クラウドAPIを介さず同じ環境内で安全チェックを走らせられるため、遅延とAPI費用を抑えたいエージェント運用にも適します。あわせて多言語検索向けの姉妹モデルLFM2.5-Retrieversも公開されており、用途に応じた使い分けが可能です。
