マルチモーダル

VFlashとは？視覚プリミティブの一括生成でロボット計画を25倍高速化

NVIDIA らが提案した VFlash は、点・ボックス・軌跡などの視覚プリミティブを1回の推論で一括生成し、密な点運動予測で約25倍の高速化と MolmoSpaces 平均成功率70.2%を達成しました。その仕組みと限界を解説します。

視覚エンコーダを使わずピクセルを直接トークン化するロボット制御モデルNEO-VLAを解説。LIBERO平均97.4%、LIBERO-Plus 89.7を達成した設計と層別プロービングの知見を紹介します。

統合マルチモーダルモデルの推論を連続的な隠れ状態の上で行うLARCを解説します。GenEvalで0.88を記録しBAGELを7ポイント上回り、best-of-Nより約10分の1の時間でテスト時スケーリングを実現しました。

拡散VLMは入力の9割を占める視覚トークンを毎ステップ再処理していました。LOWNは画像なし予測との一致を証明書として扱い、学習不要でLLaDA-Vの性能99.6%を35.3%のFLOPsで維持します。

オムニモーダルGUIエージェントの誤り累積「Sequential Distraction」を定義し、凍結モデルに軽量アダプタを足すFocusGUIがExact Matchを約3倍にした研究を解説します。

脳活動予測に初めてLoRAを本格導入したBrainLoRAを解説。6100万パラメータの学習で104Bモデルを適応させ、特徴抽出コストを350分の1に削減してAlgonauts 2025首位を達成した手法を紹介します。

視覚トークンを8個のコードブックで表す完全離散の拡散言語モデル「Intern Lumina U2」を解説します。画像・動画・3Dを単一バックボーンで扱い、画像生成を4.45倍高速化した仕組みと実験結果を紹介します。

4BパラメータのグラウンディングモデルGroundingPIが34ベンチマーク平均73.68%でGPT-6 Astraを上回り、ロボット操作と自動運転にも転移。手法と限界を解説します。

マルチモーダルLLMの内部に水平・垂直・奥行きの座標を線形に持つ部分空間「S-Space」が発見されました。因果介入で空間回答だけを書き換えられることや、弱点が知覚ではなく視点変換にある点を解説します。

NVIDIAらのLong-WAMは、ロボット制御の視覚履歴を19.2秒まで拡張しRoboCasa GR-1で63.3%から78.7%へ改善。RTX 5090で107.4msの実時間制御を実現した手法を解説します。

音声と動画を同時生成する拡散モデルを多報酬強化学習で最適化する Adaptive Reward Routing を解説します。層ごとの勾配配分と報酬衝突の補正でDeSyncを約13%改善した仕組みと限界を紹介します。

ストリーミング動画対話の知覚・記憶・能動応答を統一したOneStreamerを解説。映像を文字記録化して文脈トークンを93.1%削減し、4Bモデルで8ベンチマーク全てで最高性能を達成した仕組みを紹介します。