Vidu S2とは？720pリアルタイム動画生成と実時間編集の仕組みを解説

• Vidu S2は対話型デジタルヒューマン生成のVidu S2-Avatarと実時間ストリーム編集のVidu S2-Editingを1つの枠組みに統合し、720pのリアルタイム生成を25〜42FPSで達成しました
• 双方向学習から因果構造への適応、Self-Replay Forcingによる蒸留、量子化やスパースAttentionを組み合わせて遅延を削減しています
• アバース評価のStreamAV-Bench、編集評価のSparkle-Benchで既存手法を上回り、単眼動画から左右眼の視点を作る空間動画生成にも踏み込みました

研究の背景

動画生成モデルは数秒の映像を高品質に作れるようになりましたが、多くは「プロンプトを投げて数十秒待つ」オフライン生成です。配信やバーチャル接客、ゲーム内キャラクターのように、ユーザーの音声や指示にその場で反応してほしい用途では、生成が終わるまで待つ方式は使えません。

Shengshu（生数科技）のJun Zhu、Fan Baoらの研究チームは、前世代のVidu S1でリアルタイム対話動画生成に取り組んでいました。ただしS1は540pであり、参照画像を途中で差し替えることもできず、複雑な動作指示への追従にも限界がありました。

今回発表されたVidu S2は、この制約を解きつつ、対話型アバター生成と実時間ビデオ編集、さらに立体視のための空間動画生成までを同じ技術基盤の上に載せた統合システムです。

図1が示すように、システムは音声と映像を同時に扱う基盤モデルを軸に、アバター生成と編集という2つの応用へ枝分かれし、どちらからも空間動画を出力できる構成になっています。

ストリーミング生成の仕組み

中核となるのは、参照画像と音声を条件に映像と音声を一緒に生成する音声映像統合Diffusion Transformerです。拡散モデル（ノイズを徐々に除去して画像や動画を作る仕組み）をそのまま使うと未来のフレームを参照してしまうため、リアルタイム化には向きません。

そこでVidu S2は、まず双方向Attentionで事前学習して表現力を確保し、その後にブロック単位の因果Attention（未来の情報を見ないように制限した注目機構）へ適応させる二段構えを採ります。学習時にはTeacher ForcingとDiffusion Forcingを混ぜ、生成が進むにつれて自分の出力の誤差が積み上がる問題を抑えます。

蒸留（大きなモデルの挙動を小さく速いモデルに移す手法）ではSelf-Replay Forcing（SRF）という工夫が導入されました。生徒モデルに長い自己回帰生成をさせた後、その軌跡全体に改めてノイズを加え、勾配を通した1回の因果パスで再生し直します。元の生成過程を逆伝播せずにブロック間の勾配のつながりを保てるため、学習効率と品質が同時に改善したと報告されています。

推論側の最適化も細かく積み上げられています。層ごとの感度に応じてSageAttention、SpargeAttention、Sparse-Linear Attentionを使い分け、線形層はブロック単位のW8A8量子化で計算し、Triton/CUDAの自作カーネルとCUDA Graphで起動コストを削ります。加えてVAEエンコーダ、バックボーン、超解像リファイナ、デコーダを複数GPUに分散させ、潜在空間での1ステップ超解像で540pから720pへ引き上げています。

学習データの作り方

リアルタイム生成の品質は、素材となる動画の選別に大きく左右されます。Vidu S2のデータパイプラインは、クリップ分割、多次元フィルタリング、音声処理、時間方向の詳細キャプション付与という流れで構成されます。

図2の左側にあたるアバター用データでは、被写体、画面の清潔さ、画質、安全性、安定性、対話性の6つの観点でふるい分けを行います。さらに解像度やフレームレート、コーデック、ビット深度などから高精細なクリップを選び、カメラが動くダンス映像には幾何変換推定による背景安定化をかけています。キャプションは一定間隔ではなく出来事の切り替わり点に合わせて付与され、指示追従の学習に効いています。

図2の右側が編集用データです。編集は「元の映像」と「編集後の映像」の対応ペアが必要ですが、現実にはそんな素材は集まりません。そこで法線マップを条件にした再構成ベースのVideo-to-Video学習と、参照画像を使った合成によって疑似ペアを作り、複数のベースラインモデルの出力を比較して良いものだけを残す方式をとっています。

エージェントによる指示解釈

ユーザーの指示をそのままモデルに渡すだけでは、「さっきまで持っていたカップ」のような文脈が失われます。Vidu S2-Avatarは、VLM（視覚と言語を扱うモデル）のエージェントを前段に置き、指示と画像を読んでプロンプトを書き起こす役割を担わせています。

図3のとおり、エージェントは同一性、表情、姿勢、手に持った物などを分けて記述し、生成されたフレームを見て意図した動作になっているかを確認します。うまくいっていなければ次のプロンプトを修正するため、指示を重ねても状態が壊れにくくなります。

S2で加わった動的リファレンスは、この仕組みと組み合わせて力を発揮します。図4のように、途中で青いマグカップの参照画像を渡せば物体を出現させたり置き換えたりでき、キャラクターを別の背景へ移動させたり、帽子を脱いでまた被せたりといった操作も生成を止めずに行えます。

実時間ビデオ編集

Vidu S2-Editingは、入力された映像ストリームをその場で書き換えます。対応するのは大きく4種類で、水彩や工筆といった画風への変換、衣装の差し替え、登場人物の置換、背景の置換です。

図7の水彩変換の例では、人物の姿勢や表情の動きを保ちながら筆致だけが変わっています。空間動画については2通りの運用が用意されており、単眼のまま編集してから立体化する方法と、左右が並んだ立体映像を横長動画として編集し出力を分割する方法のどちらも使えます。

空間動画への拡張

空間動画生成は二段構成です。まず単眼の映像を生成し、次に深度を推定して水平方向の視差に基づいて左右の視点へワープさせます。遮蔽が外れて生じる穴には軽量な穴埋めを施し、深度の時間的なゆらぎを抑えることでちらつきを減らしています。

ここでは映像の中の奥行きをどう捉えるかが要点であり、近年はSpatialBlockのようにモデルの空間推論能力自体を鍛える研究も進んでいます。著者らは、実用的な立体視には通常のリアルタイム単眼生成よりも高い解像度と低い遅延が求められると率直に述べており、この部分はまだ発展途上の位置づけです。

実験結果

評価は自動指標と人間の好み比較の両方で行われました。アバター生成はStreamAV-Bench、編集はSparkle-Bench、バーチャル試着はViViDのテストセットが使われています。

編集では指示追従、画質、動き、背景のすべての項目で最高値を記録しました。人間による比較評価では、デジタルヒューマンの各品質軸でRunway、PixVerse、HeyGenに対して85.7〜100%の選好率を得ており、90秒までの長さでも品質の落ち込みが小さいと報告されています。編集についてもDecart-Lucy2.5やXMax-X2.0に対し、総合品質と時間的一貫性で優位でした。

ただし、これらの数値の多くは著者らが用意したベンチマークと評価プロトコルによるものです。同期誤差の指標定義や比較対象のバージョン、商用サービス側の設定条件によって結果が変わる余地はあり、第三者による再評価が待たれるところでしょう。

まとめと今後の展望

Vidu S2の意義は、個別に研究されてきた対話型アバター生成、実時間編集、立体動画生成を1つのストリーミング基盤にまとめ、720pという実用的な解像度で動かしたことにあります。学習側のSelf-Replay Forcingと推論側の量子化・スパース化という両面からの最適化が、それを支えています。

著者らは次の方向として、視点が固定された空間動画から全天球の空間動画へ進み、ユーザーが頭を動かして自由にシーンを見回せるようにすることを挙げています。一方で、立体視に必要な解像度と遅延の要求は現状の水準より厳しく、生成品質と計算コストのバランスをどう取るかは残された課題です。

システムはvidu.com/vidu-streamで試せる形で公開されており、論文の主張を自分の入力で確かめられます。配信やバーチャル接客、映像制作の現場でどこまで使えるかは、実際に触ってみる価値があるでしょう。

論文情報: "Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation"（Jintao Zhang et al., 2026） arXiv:2609.11638, CC BY 4.0

本記事の図（図1、図2、図3、図4、図7）とサムネイルは上記論文より引用しています（縮小・形式変換あり）。