OmniPackとは？学習不要でオムニモーダルLLMを高速化する2段階トークン圧縮

音声・映像・テキストを扱うオムニモーダルLLMの計算量を、学習不要のまま2段階のトークン圧縮で削減する新手法OmniPackを提案
LLM前段で構造的な冗長性を除去し、LLM内部でテキストと音声映像の連携により意味的に精緻化する協調設計を採用
Qwen2.5-Omni-7BでFLOPsを16.7%に抑えつつ元性能の98.0%を維持、6.8%まで削っても92.9%を保つ

研究の背景

音声、映像、テキストを同時に扱えるオムニモーダル大規模言語モデル（Omni-modal LLM、複数の入力形式をまとめて処理できる言語モデル）が急速に発展しています。これらのモデルは動画に含まれる映像フレームと音声波形を長いトークン列（モデルが処理する最小単位の並び）に変換して入力しますが、この列がきわめて長くなる点が大きな課題です。

特に映像と音声は、隣り合うフレーム同士や連続する音の区間に似た情報が多く含まれ、冗長性が高くなります。トークン列が長いほど計算量（FLOPs、モデルが行う演算の総量）は急増するため、推論が遅く高コストになります。

この問題への対処として、LLMに入力する前にトークンを間引く手法が数多く提案されてきました。しかし従来手法の多くは、トークンの削減率を大きくすると急激に性能が落ちてしまう欠点を抱えていました。さらに、テキストの問い合わせ内容に応じた圧縮や、音声と映像が互いに補い合う関係を十分に活用できていない点も課題として残っていました。

提案手法

本研究が提案するOmniPackは、追加の学習を一切必要としない（training-free）トークン圧縮フレームワークです。学習不要であるため、既存の学習済みモデルにそのまま適用できる点が実用面での大きな利点になります。

OmniPackの核心は、圧縮を1回で済ませるのではなく、性質の異なる2つの段階に分けて協調させる設計にあります。1つ目はLLMに入力する前に行う構造的な圧縮、2つ目はLLM内部で行う意味的な精緻化です。全体像は次の図に示されています。

図1: OmniPackの全体像。LLM前段でモダリティ別の重要度選択、被覆選択、類似度に基づくマージを行い、LLM内部ではl番目のブロックの後でクエリ条件付き圧縮を適用する

前段の構造的圧縮では、3つの工夫を組み合わせます。1つ目はモダリティ別の重要度選択で、映像トークンは空間的な重要度、音声トークンは時間的な重要度という具合に、形式ごとの特性に合わせて評価します。2つ目は全体を見渡す被覆選択で、局所的な重要度だけでなく、入力全体の多様な情報が偏りなく残るように配慮します。3つ目は類似度に基づくトークンのマージで、よく似たトークン同士を統合して数を減らしつつ意味の欠落を防ぎます。

ここで特徴的なのが、選ばれたトークンを保持プール（retention pool）に、選ばれなかったトークンを再利用プール（recycle pool）に分けて管理する仕組みです。単純に捨てるのではなく再利用の余地を残すことで、後段での取りこぼしを抑えます。こうした音声や映像を含むマルチモーダル処理の効率化は、音声生成モデルSwanTaleのような領域とも問題意識を共有しています。

後段の意味的な精緻化は、LLM内部のl番目のTransformerブロックを通過した後に適用されます。ここではLLMが生成したクエリ（問い合わせを表す内部表現）に応じて動的に圧縮を行う点が新しい部分です。テキストの指示内容が、どのモダリティのどの情報を残すべきかを導き、さらに音声と映像が互いの圧縮判断に影響を与え合う協調が働きます。前段が形式ごとの冗長性を機械的に除くのに対し、後段はタスクに本当に必要な情報を意味的に選び直す役割を担います。

図2: 前段（Pre-LLM）と内部（Inner-LLM）でトークンが段階的に圧縮されていく過程の可視化

実験結果

評価にはオムニモーダルLLMの代表格であるQwen2.5-Omni-7Bを主なバックボーンとして用い、音声認識や視覚理解、マルチモーダル推論を測る5つのベンチマークで検証しています。3種類のバックボーンを対象とした実験でも一貫した効果が確認されました。

結果は実用性の高い水準に達しています。計算量を元の16.7%まで削減しても、元モデルの性能の98.0%を維持しました。さらに積極的に圧縮し、FLOPsをわずか6.8%まで落とした場合でも92.9%の性能を保っています。トークンの残存率を25%、15%、7.5%へと下げていく比較でも、OmniPackは他手法が急落する領域で優位を示しました。

図3: Qwen2.5-Omni-7Bにおける5つのベンチマークでの性能比較。トークンを15%から7.5%へ削っていく領域でもOmniPackが総合的に最良の性能を示す

下の表は、代表的な圧縮水準における性能維持率と計算量の関係を整理したものです。少ない計算量で高い性能を保てている点が読み取れます。

計算量（FLOPs比）	性能維持率
16.7%	98.0%
6.8%	92.9%

アブレーション（構成要素を1つずつ外して寄与を測る実験）では、重要度選択、類似度マージ、クエリ条件付き圧縮のそれぞれが性能に意味のある貢献をしていることが示されました。特に低い残存率の条件では、前段だけでは重要なトークンを取りこぼして誤答するケースがあり、後段の意味的精緻化が正答を支える様子が定性的にも確認されています。