AI-Papers
- コーディングエージェントがBlenderの実行可能プログラムを書き、物理シミュレーションで動画の下書きを作る二段構えの手法「VideoCoCo」を提案
- コードを思考の連鎖（Code-as-CoT）として使うことで、テキストからの直接生成が苦手だった物理的な一貫性を明示的に扱えるようにした
- VBench-2.0の妥当性を52.18%から77.88%へ25.70ポイント改善し、PhyGenBenchでも従来手法を上回るスコアを達成
研究の背景
テキストから動画を生成するモデルは、この数年で見た目の品質を大きく向上させてきました。しかし、氷が昇華する、真空でものが潰れる、衝撃で物体が砕けるといった物理的な過程を正しく描くことは、いまだに苦手な領域として残っています。
その原因は、モデルが時間的な変化を圧縮されたテキストから暗黙のうちに推論しなければならない点にあります。「氷が溶ける」という短い指示の裏側には、熱の伝わり方や体積の変化といった多くの物理法則が隠れていますが、そうした過程を文章だけから正確に再構成するのは困難です。
この論文「VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System」は、動画生成に足りていなかったのは見た目の綺麗さではなく、過程そのものを明示的に推論する仕組みだと捉え直しました。そこで着目したのが、実行可能なコードを思考の連鎖として使うという発想です。
従来のCoTとの違い
大規模言語モデル（Large Language Model、LLM）の分野では、思考の連鎖（Chain-of-Thought、CoT）によって推論の途中経過を言葉にすることで性能を高める手法が広く使われています。動画生成でも似たアプローチが試みられてきましたが、そこには限界がありました。
論文は既存の手法を3種類に整理しています。1つ目は推論をテキストの計画やキーフレーム、レイアウトとして外部化するもの、2つ目は複数の候補動画を生成して選び直すもの、3つ目は生成動画の中で中間的な視覚状態を経由するものです。いずれも途中経過が疎らであったり、実際に実行して検証できない中間表現にとどまっていました。
これに対しVideoCoCoは、コードエージェントが実行可能なプログラムを書き、それをサンドボックス上で決定論的に実行して下書き動画を作ります。生成される途中経過は、人間が中身を確認でき、かつ再現できる形で残ります。ここが「検査可能な過程レベルの思考の連鎖」という表現につながる部分です。
提案手法
VideoCoCoは、役割の異なる2つのエンジンを組み合わせた二段構えの枠組みです。前半で物理的な過程を担い、後半で写実的な見た目を担うことで、それぞれの得意分野を分離しています。
第1段階は実行可能シミュレーションエンジンです。ユーザーの指示を受けたコーディングエージェントが、シーンとその時間変化を記述した自己完結型のBlenderプログラムを作成します。Blenderは3Dグラフィックスの制作ソフトで、物理シミュレーションの機能も備えています。このコードをサンドボックスで実行すると、低い解像度ながら物理的に整合した時空間の下書き動画が得られます。
第2段階は生成的動画エンジンです。第1段階のプロンプトと下書き動画を入力として、指示エージェントが編集指示を組み立てます。その指示と下書きを動画編集モデルに渡すことで、下書きの動きを保ちながら写実的な質感を持つ最終動画へと仕上げます。
下書きが動画全体の「動き」を供給し、編集モデルが「見た目」を供給するという分担になっています。コードで組み立てた物理挙動を土台にするため、氷が溶ける速度や物体が落下する軌道といった時間的な整合性が崩れにくくなる点がこの手法の核心です。
この分業は、ロボット制御の分野で見た目の理解と運動制御を分けて評価する動きとも通じる考え方であり、映像の中でも動画生成の統合的なアプローチとは異なる方向から品質の底上げを狙っています。
データセットの整備
第2段階の下書き条件付き編集を学習させるため、研究チームは専用のデータセット「VideoCoCo-3K」を構築しました。これは下書き、編集指示、目標動画の3つを1組とした三つ組を3,000件集めたものです。
低忠実度の下書きから高忠実度の動画へ変換する対応関係を、モデルに具体的に学ばせるための土台になります。物理的な整合性を保ったまま写実化するという特殊なタスクは既存の学習データでは補いにくく、専用データの用意が手法を成り立たせる要素の1つになっています。
実験結果
評価には、動画生成の妥当性を測るVBench-2.0と、物理法則の再現性に焦点を当てたPhyGenBenchという2つのベンチマークが使われました。いずれも従来手法と比べて明確な改善が確認されています。
ベンチマーク | 従来手法（OmniWeaving） | VideoCoCo |
|---|---|---|
VBench-2.0（妥当性） | 52.18 | 77.88 |
PhyGenBench | 0.475 | 0.558 |
VBench-2.0では妥当性のスコアが52.18%から77.88%へと25.70ポイント伸びました。PhyGenBenchでも0.475から0.558へ向上し、両ベンチマークで最高の平均スコアを記録しています。この結果は、実行可能なコードが物理的一貫性のある動画生成の中間表現として有効に働くことを示しています。
質的な比較では、従来手法のOmniWeavingが見た目としては自然でも要求された物理挙動を外してしまう場面が見られました。一方VideoCoCoは、実行可能な下書きに従うことで、昇華や真空による崩壊、衝撃による破砕、浮力といった過程をより正しく保っています。論文では特に熱や材質に関わる物理挙動で強みが出るとされています。
まとめと今後の展望
VideoCoCoは、コードを思考の連鎖として扱うことで、動画生成が抱えていた物理的一貫性の問題に正面から取り組んだ手法です。コーディングエージェントが物理過程を明示的にプログラムし、動画編集モデルが写実化を担うという役割分担が、性能改善の鍵になっています。
一方で、下書きをBlenderで表現できる範囲に手法の適用範囲が縛られる点や、コード生成と編集の2段階を経ることによる処理コストは、実運用に向けて検討すべき課題として残ります。複雑な流体や柔らかい物体の変形など、シミュレーションの記述が難しい現象への拡張も今後の焦点になりそうです。
それでも、エージェントによるコード生成と物理シミュレーション、そして生成的動画編集を組み合わせるという設計は、テキストから直接動画を作る流れとは別の道筋を示しています。過程を検証できる中間表現を挟むという考え方は、動画に限らず物理的な整合性が求められる生成タスク全般へ応用できる可能性を持っています。
