AI-Papers
- NVIDIAのSANA-Video 2.0は、計算量が二乗で増えるソフトマックスアテンションを3対1の比率でゲート付き線形アテンションに置き換え、25%を「アンカー層」として厳密なトークン相互作用を保つハイブリッド設計を採用しました
- ブロックアテンション残差（AttnRes）で完了したブロックの特徴を後段へ伝え、深層の実効ランクを約12%回復させて品質低下を抑えています
- VBench Total 84.30を維持しつつ720pのDiT前向き計算を3.2倍高速化し、5Bモデルで単一のH100 GPUを使い13.2秒での動画生成を実現しました
研究の背景
高品質な動画を生成する拡散モデル（ノイズから徐々にデータを作り出すモデル）は、Transformer構造のアテンション機構（入力の重要な部分に注目する仕組み）を核としています。ところがこのソフトマックスアテンションは、扱うトークン（画像や動画を区切った最小単位）の数が増えると計算量が二乗で膨らむという弱点を抱えています。
動画は画像と違って時間方向にも情報が広がるため、720pの高解像度で数秒分を生成しようとすると、トークン数が数万規模に達します。その結果、生成には大量のGPUメモリと長い計算時間が必要になり、個人や小規模なチームには手が届きにくいものでした。
この計算コストを下げる有力な候補が線形アテンションです。計算量をトークン数に比例するO(N)まで抑えられますが、状態を固定サイズに圧縮するため、厳密なトークン間のやり取りを一部犠牲にし、生成品質が落ちやすいという課題がありました。SANA-Video 2.0は、この速度と品質のトレードオフに正面から取り組んだNVIDIAの研究です。
ハイブリッド線形アテンション
提案手法の核心は、線形アテンションとソフトマックスアテンションを混ぜ合わせるハイブリッド設計にあります。全体の75%をゲート付き線形アテンションで構成し、残り25%を4層ごとに配置したソフトマックスの「アンカー層」に割り当てます。この3対1の比率が、速度と品質の折り合いをつける鍵です。
ゲート付き線形アテンションは、固定サイズの状態行列に情報を書き込む量をゲートで調整しながら、O(N)の計算量で長い系列を効率よく処理します。一方で、定期的に挟まれるアンカー層は、線形アテンションだけでは表現できない厳密なトークン相互作用を回復させる役割を担います。純粋な線形アテンションが失うランク制約の少ない情報のやり取りを、25%のアンカー層が周期的に補うという発想です。
この配置により、ほとんどの層では線形アテンションの高速性を享受しつつ、一定の間隔で全体を見渡すソフトマックスの表現力を取り戻せます。720pの長尺設定ではトークン数が約19,000に達しますが、ハイブリッド構成なら計算量の増加を大きく抑えられます。
ブロックアテンション残差
線形アテンションを多用すると、モデルが深くなるにつれて情報の多様性を示す実効ランクが下がりやすくなります。実効ランクが低下すると、層を重ねても新しい表現を生み出しにくくなり、生成品質の頭打ちにつながります。この問題に対処するのがブロックアテンション残差（AttnRes）です。
AttnResは、連続する8層を1つのブロックとしてまとめ、各ブロックが計算し終えた特徴の要約を、後続の線形層へ直接ルーティングします。通常の残差接続では各層が特徴を再導出する必要がありますが、AttnResは完了済みブロックの特徴を再利用することで、深い層でも豊かな情報を保てるようにします。
ルーティングには、深さ方向で共有する射影を持つ「共有クエリルーター」を用い、層ごとに個別の設計を持つ場合と比べてメモリの追加コストを4分の1に抑えています。同一チェックポイントでの検証では、AttnResを有効にすると深層の状態の実効ランクが約12%回復し、24層中22層でランクが減少しなかったことが確認されています。
学習とデータの流れ
SANA-Video 2.0の5Bモデルは、段階的な学習パイプラインで訓練されています。まず約3000万本のクリップを使い、480p解像度・5秒の動画で事前学習を行います。ここでは動きや品質に応じてサンプリングを振り分ける工夫や、自己蒸留による効率化が組み込まれています。
続く継続学習では約1000万本のクリップを用い、解像度を480pから720pへ、尺を5秒から8秒へと徐々に引き上げます。その後、約1万本の厳選クリップで720p・24fps・8秒の教師ありファインチューニング（SFT）を実施し、仕上げに人間の好みに沿わせる後処理を加えます。
後処理では、Geminiによるランク付けを使った選好最適化（Diffusion-DPO）に続き、HPSv3++、DeQA-Score、UniPerceptといった複数の報酬信号を組み合わせたオンライン強化学習（ReFL）を適用します。これにより、見た目の品質と指示への忠実さの両方を高めています。効率化と品質のバランスを重視する姿勢は、単一GPUで720p生成を実現するABot-World-0のような近年の動画・世界生成モデルとも通じるものがあります。
実験結果と高速化
品質評価の指標であるVBenchでは、5Bモデルが480×832×81の設定でTotal 84.30を記録しました。品質項目のQualityは85.61で、比較対象の中で最高値です。フレーム数を増やした構成でもTotal 85.29（121フレーム）、84.48（193フレーム）と安定した性能を示しています。
これは14BパラメータのWan 2.2-A14Bが記録したTotal 84.23や、16BのCosmos-3 Nanoの83.13と比べても遜色ない、あるいは上回る水準です。より小さいモデルサイズで同等以上の品質を達成している点が、この研究の効率性を裏付けています。
速度面では、720p設定でDiTの前向き計算がフルソフトマックス版と比べて3.2倍高速になりました。単一のH100 GPUで40ステップの480p構成なら、生成全体が13.2秒で完了します。さらにカーネル融合や拡散キャッシュ、スパースアテンションをまとめたSol-Engineを組み合わせると、720pの生成でエンドツーエンド3.58倍の追加高速化が得られ、実用的な生成時間に収まります。
モデル | パラメータ | VBench Total |
|---|---|---|
SANA-Video 2.0 | 5B | 84.30 |
Wan 2.2-A14B | 14B | 84.23 |
Cosmos-3 Nano | 16B | 83.13 |
Physical AIでの評価
SANA-Video 2.0は、実世界のロボット制御を扱うPhysical AIの領域でも検証されています。5000時間分の実ロボット映像や一人称視点映像でファインチューニングしたところ、物理的にもっともらしいロボット操作の動画を生成できることが示されました。
同じ4B規模のCosmos3-Edgeを上回るだけでなく、16BのCosmos3-Nanoや30BのLingbot-Videoといった大規模モデルとも競争できる結果でした。ロボット学習のシミュレーションなど、動画生成を現場で応用する用途への広がりが期待できます。
まとめと今後の展望
SANA-Video 2.0は、ハイブリッド線形アテンションとブロックアテンション残差という2つの工夫によって、動画生成の計算コストを大きく削減しながら品質を保つことに成功しました。VBench Total 84.30を維持したまま720pのDiT前向き計算を3.2倍高速化し、単一GPUでの高解像度動画生成を現実的なものにしています。
一方で、著者らは限界も率直に述べています。アーキテクチャの選択は256pという低解像度での短いプロキシ研究に基づいており、フルスケールでの検証には至っていません。学習の尺は最長8秒にとどまり、分単位への拡張は今後の課題です。またSol-Engineのキャッシュやスパースアテンションは高速化のために近似を導入している点、量子化学習（QAT）の効果が5.8%のレイテンシ改善と控えめにとどまる点も示されています。
それでも、より小さいモデルで大規模モデルに匹敵する品質を、身近なハードウェアで実現した意義は小さくありません。SANAシリーズはこれまでコードを公開してきた実績があり、動画生成の計算コスト削減という現場の課題に直結する研究として、今後の実装や応用の広がりが注目されます。
