AI-Papers
- 物体検出・OCR・セグメンテーション・深度推定など8種のコンピュータビジョンタスクを、テキストと画像の生成空間に統一的に再定式化して単一モデルで解く「SenseNova-Vision」を提案
- 5000万サンプルの独自コーパスSN-VCを構築し、タスク専用アーキテクチャなしで専門化モデルに匹敵する精度（深度推定δ₁ 98.1、参照セグメンテーションcIoU 80.3）を達成
- モデルとコーパスが公開されており、CVとマルチモーダル生成を融合した新しいパラダイムの実用性を実証
研究の背景
コンピュータビジョン（画像や映像からコンピュータが情報を読み取る技術分野）では、物体検出・セグメンテーション・深度推定・OCR（光学文字認識）といったタスクごとに、専用のアーキテクチャやタスクヘッド（出力を生成する専用モジュール）が設計されてきました。こうした専門化モデルは高い精度を発揮しますが、複数のタスクをこなすためには複数のモデルを組み合わせる必要があり、管理やシステム統合が複雑になる問題があります。
近年、テキストと画像を一体的に扱えるマルチモーダル生成モデルが急速に発展しています。本研究はこの流れを受け、「コンピュータビジョンのあらゆるタスクを、テキストや画像の生成問題として統一的に定式化できるのではないか」という問いに取り組んだものです。
提案手法: SenseNova-Vision
「SenseNova-Vision」は、コンピュータビジョンの多様なタスクを単一の統一マルチモーダルモデル（UMM）で解く手法です。ベースモデルにはBagel-7B-MoTという既存の統一マルチモーダルモデルを採用し、タスク専用の予測ヘッドや構造変更を一切加えずに学習します。タスクの種類は自然言語の命令で指定でき、出力は以下の3形式のいずれかに変換されます。
- テキスト出力: 物体検出やOCRでは、正規化座標や認識文字を自然言語風のテキストとして生成。
<bbox>・<point>などの軽量マーカーで区切られます - 画像出力: 深度推定（シーンの奥行きを数値化するタスク）や表面法線推定などの密な予測は、グレースケールや色付き画像としてVAE（変分オートエンコーダ）の潜在空間にエンコードして生成します
- 混合出力: セグメンテーション（画像の各領域を分類する処理）では、テキストで領域の説明や色凡例を記述しつつ、カラーコード付きのマスク画像を同時生成します
カメラ姿勢推定（カメラがどの位置・向きで撮影されたかを推定するタスク）では、回転成分をクォータニオン（三次元回転を数値4つで表す手法）で、移動成分を単位方向ベクトルとスケールで表現し、2,001個の専用トークンで量子化エンコードします。こうしてあらゆる出力をモデル本来の生成空間に落とし込む点が、この手法の核心です。
SN-VCコーパス
学習には「SenseNova-Vision Corpus（SN-VC）」と呼ばれる大規模データセットが使われています。このコーパスは、物体検出・パノプティックマスク（画像の全ピクセルをどの物体・背景領域に属するかラベル付けした情報）・深度推定・表面法線予測・キーポイント推定・カメラ姿勢推定など多様なアノテーションを、命令応答形式に変換したものです。
公開されているSN-VC-50Mには5000万サンプルが収録されており、構造化視覚理解・密な幾何予測・セグメンテーション・マルチビュー視覚幾何の4領域をカバーします。データエンジンを活用して大規模かつ高品質な空間アノテーションを自動生成しており、学習はBagel-7Bをベースに5万ステップの教師あり微調整で実施されました。
実験結果
単一の統一モデルでありながら、SenseNova-Visionは各タスクで専門化モデルに匹敵する精度を記録しています。主な数値は以下の通りです。
- 物体検出（COCOデータセット）: AP（物体検出の標準精度指標）56.6
- OCR定位（HierTextデータセット）: F1スコア 62.9
- GUIグラウンディング（ScreenSpot-V2）: 49.5
- 深度推定（NYUv2）: δ₁（予測深度が正解の1.25倍以内に収まる割合。高いほど精度が高い）98.1、相対誤差 4.0
- 表面法線推定: 平均角度誤差 12.8°
- 参照セグメンテーション（RefCOCOg）: cIoU（領域の一致度を示すセグメンテーション精度指標）80.3
- 推論セグメンテーション: gIoU 63.2
- インタラクティブセグメンテーション: mIoU 73.9
音声分野でNVIDIAが複数タスクを単一モデルに統合したAudexと同様に、本研究はコンピュータビジョン分野でも統一生成アプローチが実用的な精度を達成できることを示しています。
まとめと今後の展望
SenseNova-Visionは、タスク専用のヘッドや構造を持たずに多様なコンピュータビジョンタスクを解ける点で、従来の専門化モデル中心の設計に新たな選択肢を提示しています。5000万サンプルの学習データとモデル重みが公開されており、再現性も高い研究といえます。
現時点では、密なインスタンスセグメンテーションや色指定を伴う複雑なシーンでは課題も残っており、生成テキストの内容がマスク精度に影響する点は論文自体も認めています。テキストと画像の相互依存をより精密に制御する研究が今後の発展の鍵になりそうです。CVとマルチモーダル生成の融合というパラダイムとして、研究コミュニティでの関心がさらに高まることが期待されます。
