AI-Papers
- 複数の時間区間の平均速度を1回の順伝播でまとめて予測する新しい蒸留法「PDD」をNVIDIAが提案
- ヤコビアン積や敵対的損失を使わず、単純なMSE損失だけで学習でき、実装と安定性の両面で扱いやすい
- ImageNet-256でFID2.69（NFE=1）、動画のWan2.1 14BでVBench84.92（NFE=4）を達成し、多様性でもDMD2を上回る
研究の背景
拡散モデルやフローマッチングをベースにした生成モデルは、画像や動画で高い品質を実現してきました。しかし1枚の画像や1本の動画を生成するのに、モデルを数十回から数百回も繰り返し呼び出す必要があり、生成に時間がかかる点が実用面での大きな壁になっていました。
この呼び出し回数はNFE（Number of Function Evaluations、モデルの評価回数）と呼ばれ、NFEを減らせば減らすほど生成は速くなります。そこで、時間をかけて動く高品質なモデル（教師）の振る舞いを、少ない回数で動く軽いモデル（生徒）に教え込む「蒸留」という技術が研究されてきました。
ただし既存の蒸留法には課題がありました。DMD2に代表される分布ベースの手法は、生成物の分布を教師に近づけますが、学習に敵対的損失（2つのネットワークを競わせる学習）を使うため不安定になりやすく、生成結果が似通ってしまう「多様性の低下」も起こりがちです。NVIDIAの研究チームは、こうした問題を避けつつ数ステップ生成を実現する新しい枠組みとして、並列デコード蒸留（Parallel Decoding Distillation、PDD）を提案しました。
並列デコード蒸留とは
PDDの発想の起点は、生成の過程を1本の道筋（軌跡）として捉える点にあります。ノイズから最終的な画像や動画へと変化していく道のりを、まずN個の細かい区間に区切り、それをさらに大きさLの「ブロック」というまとまりにグループ化します。
従来の手法は、この区間を1つずつ順番にたどっていました。これに対してPDDは、1つのブロックに含まれる複数区間の「平均速度」を、モデル1回の評価でまとめて予測します。速度とは、ある地点から次の地点へどの向きにどれだけ進むかを表す量で、これを一気に複数区間ぶん出力するため、少ない評価回数で長い距離を進めるのです。この「まとめて予測する」仕組みが、並列デコードという名前の由来になっています。
この考え方は、少ないステップで生成を高速化する近年の研究群と方向性を共有しています。1ステップ生成を追求したTBSM（三体散乱に着想した1ステップ生成）のように、教師モデルの品質を保ちながら評価回数をどこまで削れるかは、この分野の中心的なテーマになっています。
平均速度をまとめて予測
PDDの学習は驚くほど素直です。生徒モデルは、あるブロック内の各区間の平均速度をまとめて出力します。その速度に従って進むと、ブロック内の複数の中間状態が得られます。
次に、それらの状態の中から1つをランダムに選び、教師モデルがその区間で示す平均速度と、生徒の出力速度を比べます。両者のずれをMSE損失（予測と正解の差の二乗を測る基本的な誤差）で小さくするだけで学習が進みます。
ここが従来手法との大きな違いです。多くの蒸留法では、教師の速度の微分情報を得るためにヤコビアン積（複雑な勾配計算）や有限差分近似を使ったり、生成物を本物らしく見せるための敵対的損失を導入したりしていました。PDDはそのどれも必要とせず、教師の評価も生徒の1回の更新あたり1回から2回で済みます。敵対的学習に伴うモード崩壊（生成結果が一部に偏る現象）も避けられます。
平均速度を近似する際の内部計算には、シンプルなオイラー法と、より精度の高い中点法（Midpoint法）の2通りが用意されています。実験では中点法が安定して高い品質を出す傾向が示されました。学習中にNFEを変えられる柔軟さもあり、用途に応じて速度と品質のバランスを調整できます。
主要な実験結果
PDDは画像と動画の両方で評価されました。画像ではImageNet-256の学習にSiT-XL+REPAを教師として使い、動画ではWan2.1やLTX-2.3、テキストからの画像生成ではQwen-Imageといった大規模モデルに適用しています。
ImageNet-256では、わずか1回の評価（NFE=1）でFID2.69を記録しました。FIDは生成画像と本物の画像の分布の近さを測る指標で、値が小さいほど高品質です。この結果は競合するPi-Flowの2.85を上回っています。動画のWan2.1 14BではNFE=4でVBench総合84.92を達成し、生成の多様性を表すV-JEPAコサイン指標でも0.0791と、DMD2など既存手法より高い多様性と動きの豊かさを示しました。
モデル / タスク | NFE | 主な指標 |
|---|---|---|
ImageNet-256（画像） | 1 | FID 2.69 |
Wan2.1 14B（動画） | 4 | VBench総合 84.92 |
Qwen-Image（T2I） | 8 | DPG-Bench 88.46 / GenEval 0.85 |
実用性の高さも見どころです。22Bパラメータという大規模なLTX-2.3でも、学習データにアクセスせずに約250反復という短い学習だけで、8NFEでの高品質な動画生成を実現しました。公式の蒸留版に匹敵する結果を、これだけ軽い学習で得られる点は、大規模モデルを扱う現場にとって大きな利点になります。
まとめと今後の展望
PDDは、複数区間の平均速度を並列に予測するという素直な発想を、MSE損失だけで学習できる形に落とし込んだ蒸留法です。ヤコビアン積や敵対的損失を避けたことで、学習の安定性と実装の手軽さを両立し、画像と動画の双方、さらに20Bを超える大規模モデルにも適用できることを示しました。
一方で、報告されている結果の一部ではNFEを8まで増やすとわずかに品質が下がる場面も見られ、区間の分割数やブロックの大きさをどう設計するかは今後の調整余地として残ります。また、教師モデルの品質に生徒が縛られるという蒸留の本質的な制約もあります。
それでも、敵対的学習に頼らずに多様性を保ったまま数ステップ生成を実現した点は、動画生成の高速化を求める研究と実務の双方にとって参考になる方向性です。HuggingFaceで多くの支持を集めていることからも、今後この枠組みを土台にした派生手法が広がっていく可能性があります。
