OmniVAEとは？音声と動画を単一VAEで統合し同時生成を実現する新手法

音声と動画を単一のVAEで符号化し、クロスモーダル整合の取れた統一潜在空間を学習する全モダリティ基盤技術です
セグメント単位の対照学習で時間的な意味対応を捉え、事前学習済みエンコーダからの特徴蒸留でモダリティ固有情報を保持します
統一表現により下流のtext-to-audio-video生成で、生成品質と音声映像の同期精度が一貫して向上しました

研究の背景

近年の生成モデルは、無音の動画や音声単体の合成から、音声と映像を同時に生成する方向へと進んでいます。動画に合った効果音や声を映像とぴったり合わせて作り出せれば、コンテンツ制作の幅は大きく広がります。しかし音声と映像は構造がまったく異なるため、細かい部分まで対応の取れた同時生成は依然として難しい課題です。

この難しさの一因は、これまでの手法の作り方にあります。多くの手法は音声用のVAE（Variational Auto-Encoder、データを圧縮した潜在表現に変換して再構成する仕組み）と動画用のVAEを別々に学習させていました。その結果、2つの潜在空間（データを圧縮して表現する内部の空間）はたがいに関係づけられておらず、あとに続く生成モデルが音声と映像の同期をゼロから学ばなければなりませんでした。

動画生成そのものを効率化するSANA-Video 2.0のような研究は進む一方で、音声と映像をひとつの表現として扱う土台はまだ十分に整っていませんでした。OmniVAEはこの土台の部分に正面から取り組んだ研究です。

提案手法OmniVAE

OmniVAEは、音声と動画を単一のVAEでまとめて学習する手法です。従来のように2つのVAEを個別に用意するのではなく、ひとつのモデルの中で両モダリティの潜在表現を同時に扱い、両者の間に細かい意味的な対応づけを作ります。

特徴は、単なる再構成にとどまらない点にあります。VAEは通常、入力を圧縮してから元に戻す再構成の精度だけを追求しますが、OmniVAEはそこに音声と映像を結びつける仕組みを加えました。これにより、統一された潜在空間が下流の生成モデルにとって扱いやすい表現になります。

図1に示すように、従来手法では音声と動画の潜在空間が切り離されているのに対し、OmniVAEは両者を整合の取れたひとつの空間として学習します。この違いが、同期の取れた同時生成を後押しします。

2つの学習目的

OmniVAEの中心となるのが、再構成に加えて導入された2つの学習目的です。ひとつはセグメント単位の対照学習（contrastive learning、対応するもの同士を近づけ、対応しないもの同士を遠ざける学習）です。動画を短い区間（セグメント）に区切り、同じ時間帯の音声と映像を近づけ、ずれた組み合わせを遠ざけることで、時間的な意味の対応を潜在空間に埋め込みます。

もうひとつは特徴蒸留（feature distillation、学習済みモデルの知識を別のモデルへ移す手法）です。音声と映像それぞれについて、あらかじめ大規模に学習された意味エンコーダの特徴をVAEの内部へ移し込みます。これにより各モダリティ固有の情報が保たれ、下流の生成モデルが潜在空間を学習しやすくなります。

この2つは役割が異なります。対照学習が音声と映像の時間的な結びつきを担うのに対し、特徴蒸留は各モダリティの中身の豊かさを守ります。図2のように両者を組み合わせることで、整合が取れつつ情報量も保たれた潜在空間が得られます。

実験と評価

比較の基準となるのは、音声VAEと動画VAEを別々に学習させてから組み合わせる従来型のアプローチです。論文では合計6つの表にわたって、再構成品質、下流のtext-to-audio-video生成の品質、そして音声と映像の同期精度が幅広く検証されています。

評価には、動画の生成品質を測るFVD（Fréchet Video Distance、実際の動画との分布のずれを表し小さいほど良い指標）、音声品質を測るFAD（Fréchet Audio Distance）、音声と映像のずれを測る同期スコアといった、この分野で標準的に用いられる指標が使われています。結果として、対照学習と特徴蒸留のどちらの学習目的も潜在空間の学習しやすさを一貫して高め、分離学習の従来手法と比べて生成品質と同期精度の双方を改善しました。

アブレーション（構成要素を1つずつ外して効果を確かめる検証）では、2つの目的を個別に加えるだけでも改善が見られ、両方を組み合わせたときに最も良い結果になることが示されています。一方で、具体的な数値は論文本体の表を参照する必要があり、モデル規模や対象データによって効果の大きさが変わる点には注意が必要です。

まとめと今後の展望

OmniVAEは、音声と動画を別々に扱ってきた常識を見直し、単一のVAEで統一された潜在表現を学習する枠組みを示しました。対照学習で時間的な対応を取り、特徴蒸留でモダリティ固有の情報を守るという2本立ての設計が、生成品質と同期精度の両立につながっています。

この研究が示すのは、統一表現の学習が全モダリティ（omnimodal、あらゆる種類のデータを扱うこと）モデリングの土台になり得るという点です。音声と映像にとどまらず、より多くのモダリティを同じ潜在空間で扱えるようになれば、応用の幅はさらに広がるでしょう。もっとも、大規模なデータや長い動画への対応、実時間での生成といった課題は残されており、今後の発展が期待される研究テーマです。