動画 「STAR」映像超解像フレームワークで過去のフレームとの調和を実現
新フレームワーク「STAR」を提案し、T2Vモデルを活用して映像超解像を改善！リアルなテクスチャと時間的一貫性を強化。
動画
動画 
動画 動画の細粒度認識のための半教師あり学習手法「SeFAR」
動画データに基づく細粒度動作認識のための新しい半教師あり学習フレームワーク「SeFAR」を提案。ラベル付きとラベルなしデータを活用し、高精度な擬似ラベル生成で性能向上を実現。実験で最先端手法を超え、計算コストやモデルサイズも低減を達成。
動画 リアルタイム高品質動画生成モデル「LTX-Video」
LTX-Videoモデルは、Video-VAEを用いた潜在空間への圧縮で計算コストを抑えつつ、リアルタイムで高品質な動画生成を実現します。視覚品質と効率性を両立し、ハードウェア効率化も考慮した設計です。
動画 3Dオブジェクトからリアルタイム4Dシーンの生成
3Dオブジェクトを動きのある4Dオブジェクトに変換する新手法を提案しました。この手法は動きを抽出し、4Dシーンをリアルタイムで生成する最適なプロセスを活用。視覚的な品質と動的な表現のバランスが優れており、その優位性を実証しました。
動画 【AdaCache】動画の内容に応じて必要な計算量を自動調整する生成モデル
動画生成AIの処理速度を向上させる新手法「AdaCache」を提案。動画の内容に応じて必要な計算量を動的に調整し、キャッシュを活用することで、画質を維持したまま最大4.7倍の高速化を実現しました。
動画 【Movie Gen】30Bパラメータと時空間圧縮を組み合わせた1080pHD動画生成モデル
MetaのMovie Genは、テキストから高品質な1080p HDビデオを生成できる画期的なAIモデルです。30Bパラメータの大規模モデルを採用し、最長16秒のビデオ生成が可能です。特筆すべきは、映像生成だけでなく、音声生成や動画編集、人...