GraphVidとは？相互作用グラフで多物体の動きを制御する動画生成の新手法

物体間の関係を表す相互作用グラフを制御入力とし、テキストや軌跡に頼らず多物体の動きを精密に操作できる画像から動画生成の新手法です
Motion-I2V比でFIDを最大39.9%、FVDを37.6%削減し、PSNRは9.87から15.98、SSIMは0.38から0.61へ改善しました
関係アノテーション付きデータセットGraphVid-Benchを公開し、少ない学習データとパラメータで高い制御性と再現性を両立しています

研究の背景

画像から動画を生成する技術は近年急速に進歩し、1枚の静止画に動きを与えるだけで自然な映像を作り出せるようになりました。しかし、複数の物体が絡み合う複雑な場面を思いどおりに制御するのは、依然として難しい課題として残っています。

従来の手法は主に2つの制御方法に頼ってきました。1つはテキストプロンプトによる指示で、もう1つは物体の動く経路を線で描く軌跡アノテーションです。ところが、テキストは「手がボールをつかむ」といった細かな位置関係を正確に伝えきれず、軌跡描画も物体が重なったり隠れたりする場面では曖昧になりがちでした。

GraphVidは、こうした制約を乗り越えるために提案された新しいアプローチです。物体どうしの関係を構造化したグラフとして与えることで、多数の物体が関わる相互作用を柔軟かつ精密に指定できる点に特徴があります。

相互作用グラフとは

相互作用グラフとは、映像に登場する物体とその関係を、点と線で表した構造データのことです。人間が場面を「誰が何にどう働きかけているか」という関係で理解するのと同じ発想に基づいています。

具体的には、各物体をノード（点）として配置し、物体どうしの関係をエッジ（線）で結びます。例えば「手」と「ボール」というノードを「つかむ」という関係のエッジでつなげば、手がボールをつかむ動作を明確に表現できるでしょう。押す、衝突する、支えるといった多様な関係をラベルとして付与できるため、複数物体が同時に絡む場面でも動きの意図が一意に伝わりやすくなります。

この方式の利点は、オクルージョン（物体が別の物体に隠れる状態）への強さにあります。軌跡を線で描く方法では隠れた部分の経路が追えなくなりますが、関係そのものを指定するグラフなら、見え方によらず物体間のつながりを保てると考えられます。

GraphVidの仕組み

GraphVidの処理は、入力の受け取り、グラフの符号化、動画の生成という3つの段階で構成されています。出発点となるのは、動きの起点である1枚の入力画像と、制御情報にあたる相互作用グラフの2つです。

グラフエンコーダは、相互作用グラフを数値的な特徴表現へと変換する役割を担います。ここで物体のノードと関係のエッジが持つ情報が圧縮され、生成モデルが扱える形の条件データへと整えられていくのです。

最後に、拡散モデル（ノイズから徐々に画像を復元する生成方式）をベースとした動画生成器が、入力画像とグラフ条件をもとに一連のフレームを作り出します。グラフを書き換えれば生成される動きも連動して変わるため、ユーザーは関係を編集しながら結果を対話的に調整できるわけです。この対話性こそが、GraphVidを従来の一方向的な生成手法から区別する核心的な特徴だと言えるでしょう。

実験結果

GraphVidの性能は、代表的な画像から動画生成モデルであるMotion-I2Vとの比較で評価されました。その結果、画質と動きの自然さを測る複数の指標で明確な改善が確認されています。

画像の品質を測るFID（Frechet Inception Distance、低いほど良い）は最大39.9%低減し、動画の時間的な一貫性を測るFVD（Frechet Video Distance）も37.6%削減されました。さらに、生成フレームと正解の一致度を示すPSNRは9.87から15.98へ、構造の類似度を示すSSIMは0.38から0.61へと大きく向上しています。

指標	Motion-I2V	GraphVid
FID（低いほど良い）	基準	最大39.9%低減
FVD（低いほど良い）	基準	37.6%低減
PSNR（高いほど良い）	9.87	15.98
SSIM（高いほど良い）	0.38	0.61

特に見逃せないのは、これらの成果がより少ない学習データとパラメータで達成された点でしょう。制御性を高めながら効率も両立している点は、実用面での価値が高いと考えられます。加えて、関係アノテーションを付与した新データセットGraphVid-Benchが公開されており、研究の再現や後続の発展にもつながりやすい構成となっています。