マルチモーダル

WildDet3D とは？テキスト・点・ボックスプロンプトで動く単眼3D物体検出の仕組み

Allen Institute for AI が発表した WildDet3D は、単一RGB画像からオープンワールドの3D物体検出を行うフレームワークです。テキスト・点・ボックスの3種プロンプトに対応し、複数ベンチマークで最高精度を達成しました。

Tencent Hunyuanが発表したロボット専用VLM「HY-Embodied-0.5」を解説します。MoTアーキテクチャの仕組みから22ベンチマーク中16項目での最優秀達成、実ロボット操作の検証結果まで詳しく紹介します。

単視点3D生成で問題だった裏面の「確率的生成」を解決するKnow3Dを解説。Qwen2.5-VLのMMDiT中間層hidden statesを3D生成モデルへ注入し、HY3D-BenchでSOTA超えを達成した手法を紹介します。

InternLMが発表したIntern-S1-Proは、MoEアーキテクチャで1兆パラメータを実現したオープンソース初の科学マルチモーダル基盤モデルです。化学・材料科学・生命科学など100以上の専門タスクでプロプライエタリモデルを上回る性能を達成しました。

Qwen研究チーム提案の「HopChain」は、複数の推論ステップが論理的に連鎖するマルチホップデータを自動合成してVLMを訓練する4段階パイプライン。24ベンチマーク中20個で性能改善を実現し、超長CoT領域では50ポイント超の向上を達成します。

動画生成モデルが時間的整合性のある映像を生成するために習得した暗黙的な3D構造知識を、明示的な3D監督なしでMLLMへ注入するVEGA-3Dを解説します。複数のシーン理解ベンチマークで既存手法を上回る性能を達成しました。

事前学習済みビデオ拡散モデルを決定論的な深度回帰器に変換する世界初フレームワーク「DVD」を解説します。識別モデル比163倍少ないデータでNYUv2・KITTIなど複数ベンチマークのゼロショットSOTAを達成した3つの核心設計を紹介します。

Tencent AILabが提案するPenguin-VLは、CLIPなどの対比学習エンコーダを廃しLLM初期化のビジョンエンコーダを採用。DocVQAやChartQAなど文書・OCR系ベンチマークでQwen3-VLを上回る性能を2B規模で実現します。

テキスト・画像・動画の3種類のマルチモーダル指示からLottie形式のベクターアニメーションを自動生成するフレームワーク「OmniLottie」を解説します。専用トークナイザーと200万件データセットMMLottie-2Mによる仕組みを詳しく紹介します。

オムニモーダルLLMの推論能力を訓練なしで向上させるフレームワーク「ThinkOmni」を解説します。LRM-as-a-Guide機構とStepwise Contrastive Scalingにより、MathVistaで70.2、MMAUで75.5を達成しました。

DPEは、LMMの弱点をマルチエージェントで診断・標的データ生成・強化学習のループで自律的に改善するフレームワークです。Qwen3-VLで11ベンチマーク全てで継続的な性能向上を達成しています。

エッジデバイス向け統合マルチモーダルモデル「Mobile-O」が発表されました。新設計のMobile Conditioning Projector（MCP）でiPhone上での画像生成を約3秒で実現し、GenEvalで74%のスコアを達成します。