AI-Papers
- Nunchaku は重みと活性化の双方を4ビット化する推論エンジンで、Diffusers に正式統合され追加のパイプラインなしで使えるようになりました
- RTX PRO 6000 の1024px 生成では VRAM が31.1GBから20.6GB、遅延が3.00秒から2.27秒に下がり、torch.compile 併用で1.68秒まで短縮されます
- NVFP4 は Blackwell 世代、INT4 は Turing から Ada 世代の GPU に対応し、Volta と Hopper は現時点で対象外です
4ビット推論がDiffusersに
Hugging Face は2026年7月23日、画像生成向けの推論エンジン Nunchaku を Diffusers に正式統合したと公式ブログで発表しました。Nunchaku は SVDQuant という量子化手法（モデルの数値を低いビット幅に置き換えて軽くする技術）を実装したもので、これまでは専用の推論エンジンやカスタムパイプラインを用意する必要がありました。
今回追加された Nunchaku Lite は、量子化済みチェックポイントを from_pretrained() で読み込むだけで動作します。内部では nn.Linear 層が実行時に SVDQ/AWQ 用の線形層へ置き換えられ、必要な CUDA カーネルは kernels パッケージ経由で Hugging Face Hub から取得されます。利用者側でのローカルコンパイルは不要です。
SVDQuantの仕組み
一般的な量子化は重みだけを低ビット化しますが、SVDQuant は活性化（層を流れる中間出力）も4ビットにします。ただし活性化には値が極端に大きい外れ値が混じり、そのまま4ビットに丸めると画質が崩れてしまいます。
SVDQuant はこの問題を三段階で処理します。まず活性化側の外れ値を重み側へ移し、扱いにくくなった重み行列の成分を16ビットの低ランク分枝という小さな追加モジュールで表現します。残った残差部分だけを4ビットに量子化する構成です。
分枝を足したぶん演算が増えそうですが、カーネル融合によって低ランクの縮小射影を量子化処理と、拡大射影を4ビット演算とまとめることで、メモリアクセスの往復を減らしています。実装されるカーネルは、注意機構と MLP 向けの svdq_w4a4、正規化や変調層向けの awq_w4a16 の2系統です。
数値で見る削減効果
ブログでは NVIDIA RTX PRO 6000（Blackwell）で ERNIE-Image-Turbo を1024x1024 生成した測定結果が示されています。
- BF16 の基準構成: 3.00秒 / ピーク VRAM 31.1GB
- Nunchaku Lite の NVFP4: 2.27秒 / 20.6GB（1.35倍）
- torch.compile 併用: 1.68秒 / 20.6GB（1.8倍）
- テキストエンコーダも NF4 量子化: 2.29秒 / 16.0GB
VRAM は基準比でおよそ3割減、テキストエンコーダまで量子化すると約半分まで下がります。画質については同じシードと設定で比較して BF16 の元モデルに近く、目に見える差はわずかだと説明されています。
使い方と対応GPU
導入は pip install -U diffusers transformers accelerate kernels bitsandbytes で済み、あとは量子化済みチェックポイントの ID を指定してパイプラインを読み込むだけです。LoRA の適用、enable_model_cpu_offload() によるオフロード、スケジューラの差し替えはいずれもそのまま動作します。
対応 GPU は精度によって分かれます。NVFP4 版の svdq_w4a4 は RTX 50 シリーズや RTX PRO 6000、B200 といった Blackwell 世代向けで、INT4 版は RTX 30/40 シリーズ、A100、L40S など Turing から Ada 世代が対象です。Volta と Hopper は現時点で未対応と明記されています。
自前モデルも量子化できる
公開済みチェックポイントを使うだけでなく、手元のモデルを量子化する手順も用意されています。diffuse-compressor というツールキットで設定を確認し、精度とランクを指定して量子化を実行、その後 Diffusers のパイプライン形式へ変換して Hub に公開する流れです。
ただし、Q・K・V の射影をまとめる QKV 融合や GELU と MLP の融合といった追加の高速化は、モデルごとの構造書き換えが前提になります。汎用の変換パスは構造を変えずに量子化するため、最大限の速度を狙う場合は個別対応が必要です。
ローカル生成環境への影響
これまで4ビット量子化を試すには、専用エンジンの導入やカーネルのビルドといった手間が壁になっていました。標準ライブラリ側に組み込まれたことで、既存のコードをほとんど変えずに VRAM と生成時間の両方を削れるようになります。
単一 GPU で高速に画像を生成する流れは、Mage-Flowとは？4Bで1024px画像を0.59秒生成する基盤モデルのようなモデル設計側からも進んでいます。推論側の量子化と組み合わせれば、24GB クラスのコンシューマ GPU でも扱える構成の幅は広がるでしょう。実装の詳細は Diffusers の量子化ドキュメントと SVDQuant の論文で公開されています。
