AI-Papers
- NVIDIAが手術ロボット向けのリアルタイム世界モデル「Cosmos-H-Dreams」を発表し、単一のRTX PRO 6000 GPUで約160fpsの生成シミュレーションを実現した
- 教師微調整・因果ウォームアップ・自己強制蒸留の3段階で、大型モデルを高速な生徒モデルに蒸留し、従来の約10fpsから16倍に高速化した
- da Vinci手術キットの縫合作業を対象に、方策評価や合成データ生成に使える。実機ロボットを動かさずに検証できる点が実用価値となる
Cosmos-H-Dreamsとは
NVIDIAは、手術ロボット向けのリアルタイム生成シミュレーター「Cosmos-H-Dreams」を公開しました。これは、ロボットの動作に応じて手術映像を生成する世界モデル（world model）です。世界モデルとは、環境の視覚的な変化を学習し、次に何が起きるかを予測する生成AIを指します。
この技術の核心は、手作業で物理法則を組み立てるのではなく、実際の手術映像とロボットの動作データから視覚的な変化を直接学習する点にあります。従来のシミュレーターでは、変形する組織や器具の細かい接触、鏡面反射、煙、遮蔽といった複雑な現象を人間が一つずつプログラムする必要がありました。
Cosmos-H-Dreamsは、NVIDIAの世界基盤モデル群「Cosmos」の一部である「Cosmos-H-Surgical-Simulator」を基盤としています。この土台となるシミュレーターは、初期シーンとロボットの動作系列から未来の手術映像を生成する行動条件付きモデルで、Cosmos-Predict2.5-2Bという20億パラメータのモデルの上に構築されました。
従来手法の限界
手術シミュレーションには、大きく2つの壁がありました。1つは物理シミュレーションの構築コスト、もう1つは実機検証の負担です。
臓器のように柔らかく変形する組織や、糸を縫うときの繊細な器具操作を物理エンジンで再現するのは容易ではありません。手で書き起こすアプローチには限界があり、現実の手術映像が持つ質感を再現しきれないという課題を抱えていました。一方、実機の手術ロボットは運用コストが高く、検証に時間がかかり、破損のリスクも伴います。
Cosmos-H-Dreamsは、これらの課題を生成AIで解決しようとします。実際の同期された映像とロボットの運動学データから学習するため、理想的な結果だけでなく、失敗の結果も再現できる点が特徴です。学習データには成功例に加えて、針の落下、投げ損ね、結び目の失敗といった失敗例や想定外のケースも含まれています。
3段階の蒸留パイプライン
Cosmos-H-Dreamsの技術的な新規性は、大型の教師モデルを高速な生徒モデルに変換する手法にあります。この蒸留（distillation）は3段階で構成されます。蒸留とは、大きなモデルの知識を小さく高速なモデルに移す手法です。
第1段階は手術教師の微調整です。双方向の教師モデルをCosmos-H-Surgical-Simulatorから出発させ、JHU（ジョンズ・ホプキンス大学）のdVRK卓上データで微調整します。学習の予測範囲は12フレームから72フレームへ段階的に拡大していきます。
第2段階は因果ウォームアップと呼ばれる工程だ。生徒モデルを教師から初期化し、因果的な注意機構とストリーミング用のキー・バリューキャッシュを使って、教師が生成した軌跡を模倣させます。これにより、過去のフレームだけを参照して逐次的に映像を生成する準備が整う。
第3段階の自己強制蒸留では、生徒モデルが自ら生成した文脈を使って前に進みます。凍結した教師からの分布マッチング監督が出力を導き、1つの潜在フレームあたりわずか2ステップの除去処理で映像を生成できるようになりました。教師モデルが多数のステップを要していたのに比べ、大幅な効率化です。
単一GPUで160fps
この蒸留によって、Cosmos-H-Dreamsは単一のNVIDIA RTX PRO 6000 GPUで約160fpsの生成速度を達成しました。基盤となったCosmos-H-Surgical-Simulatorが約10fpsだったことを考えると、およそ16倍の高速化になります。
この速度が重要なのは、リアルタイムの閉ループ制御を可能にするからです。システムは初期のRGBフレームとロボットの運動学ストリームを受け取り、フレームの塊を自己回帰的に生成していきます。操作方法は多様で、ブラウザからのキーボード操作、Meta Questコントローラーによる動作マッピング、学習済みの手術方策との観測・動作のやり取りに対応する。
行動表現には44次元の統一形式が使われ、両腕のdVRK動作を扱います。具体的には、エンドエフェクタ（ロボットアーム先端の器具）の相対的な並進、回転、グリッパーの開閉状態を表現します。
手術ロボットへの応用
公開されたモデルは、da Vinci Research Kit（dVRK）の卓上縫合作業に特化して調整されています。da Vinciは手術支援ロボットの代表的なプラットフォームで、その研究用キットが学習対象となった。さらにCMR SurgicalおよびCambridge Consultantsとの協業により、Versiusという別の手術用コントローラーとの統合も実証済みだ。
実用面での用途は幅広い。実機を動かさないオフラインでの方策評価、手術方策を訓練するための合成データ生成、キーボードやVRコントローラーを介した対話的な閉ループ制御などが挙げられます。生成した映像は、人間の操作者と自律システムの両方にリアルタイムの視覚フィードバックを提供する。
特に合成データ生成は、ロボット学習のデータ不足を補う手段として注目されている。実機での大量の試行が難しい医療分野では、生成AIによるデータ拡張の価値が大きい。同様にフィジカルAIのデータ不足を別の角度から解決する試みとして、脳波を使ってフィジカルAIの学習データを補う手法も登場しており、データ確保の工夫が業界全体の課題となっている。
ただしNVIDIAは、Cosmos-H-Dreamsが研究開発用のプラットフォームである点を明記しています。診断システムでも、術中画像の代替でもなく、物理的な手術ロボットの制御装置でもないと位置づけている。今後の展開としては、器具先端の到達精度や姿勢精度、グリッパー動作の忠実度、長時間動作でのずれ、シミュレーションと実機の結果の一致度といった閉ループのベンチマーク整備が予定されています。
モデル、コード、学習レシピはGitHubとHugging Faceで公開されており、独自データセットへの適用手順も用意されています。世界モデルを医療という高い安全性が求められる領域に応用した稀な事例として、フィジカルAIの発展を占う一歩となりそうです。
