AI-Papers
- ロボット向けの学習データはYouTube動画の約5倍が必要とされ、既存の映像だけでは根本的に足りていない
- EncordはドイツのZander Labsと組み、作業者の脳波から誤り・意図・驚きを捉えて訓練信号に変える試みを進めている
- カメラ映像に筋電センサーと詳細な注釈を重ねた高密度データは低品質データの約100倍の価値を持つ一方、製造費は20倍かかる
フィジカルAIのデータの壁
物理世界で動くロボットの知能、いわゆるフィジカルAIの開発が加速するなか、企業が直面しているのは「学習させたいデータがそもそも存在しない」という壁です。TechCrunchの報道によると、データ注釈を手がけるEncordのロボット学習責任者Vineeth Velmurugan氏は、ヒューマノイドやロボットアームを訓練するために必要な現実世界の物理データについて「データは単に存在しない」と述べています。
大規模言語モデル（Large Language Model、LLM）はインターネット上のテキストを収集して学習できました。しかしロボットが必要とする「腕を動かしてボルトを締める」ような身体的な動作の記録は、ネット上にほとんど蓄積されていません。Velmurugan氏の見積もりでは、必要なデータセットの規模はYouTubeの動画全体の約5倍に達するといいます。
Encordはもともと機械ビジョン向けのデータ注釈と評価を支援する企業として出発し、現在はカリフォルニア州サンレアンドロの施設でロボット企業向けの学習データを「製造」しています。ネットから拾えないなら自分たちで作るという発想が、この分野の出発点になっています。
脳波を訓練信号に使う発想
この課題に対してEncordが持ち込んだのが、脳波を学習データに組み込むという切り口です。同社はドイツの神経科学スタートアップZander Labsと協力し、作業者が脳波を測定するヘッドセットを装着した状態でタスクを実行する試験的なプロジェクトを進めています。
脳波を捉えるのは、脳の電気活動を頭皮から記録する脳波計（Electroencephalography、EEG）です。記事によれば、このヘッドセットが読み取ろうとしているのは作業者の誤り、意図、驚きという3つの認知状態です。人間が「今、手順を間違えた」と気づいた瞬間や、予想外の事態に驚いた瞬間を、脳の反応として記録できる点に狙いがあります。
Zander Labsの神経科学者Lucas Gehrke氏は、ある時点での脳活動の量が「モデルを作る側にとって、最も性能の高いモデルをいつ投入すべきかを判断する手がかりになる」と説明しています。つまり脳波は、単なる映像には映らない「人間が何を難しいと感じ、どこで注意を集中させたか」という内面のラベルを、データに付け加える役割を担います。
図1のように、脳波は単独で使われるのではなく、複数のデータ源の1つとして組み合わされます。
多角的に集める学習データ
Encordが集めているのは脳波だけではありません。複数のカメラアングルによる一人称視点の映像に加え、作業者の前腕に装着したセンサーで筋肉の電気信号を検出します。これは筋電図（Electromyography、EMG）と呼ばれる技術で、通常のカメラでは全体が映らない手の3次元的な位置を推定し、モデルにより確かな理解を与える狙いがあります。
さらに「右手がボルトを締める」といった密度の高いテキスト注釈を付与します。Velmurugan氏の評価では、こうした注釈付きの高密度データは、質の低い一人称映像に比べて約100倍の価値を持つ一方で、製造コストは20倍にとどまるとされています。手間はかかっても、投資に見合う価値が生まれるという計算です。
報酬設計と大量の試行から動作を学ばせる強化学習の基盤についても各社が競っており、たとえばNVIDIAの強化学習基盤Moltのような取り組みが進んでいます。ただし、そうした学習の枠組みを動かすには、質の高い元データが欠かせません。脳波を含む多角的なデータ収集は、その土台を厚くする先駆的な試みだと位置づけられます。
データを作る時代のロボット学習
実際の収集現場では、イーサネットケーブルの抜き差し、ポーカーチップの積み重ね、コーヒーポットからマグカップへの注ぎ、ブロックを崩さず抜き取るジェンガなど、具体的なタスクが繰り返されています。造花や書籍、プラスチック製の野菜といった小道具を使った家事の操作も含まれます。データセンターの自動化が期待されるケーブル操作は精度が課題で、コーヒー注ぎでは水をこぼす場面もあるといいます。
作業を担うのは「パイロット」と呼ばれる人たちです。パイロットのAndrew Ceja氏は「毎日が新しい何か」と語り、Sofia Infante氏はイーサネットケーブルの操作タスクに従事しています。人間が丁寧にお手本を示し、その一挙一動を多面的に記録することで、ロボットの教材が1つずつ積み上がっていきます。
業界全体でも、自動運転車の開発企業が物理世界のデータを自前で集めるなど、データを「拾う」のではなく「作る」流れが強まっています。複数の大手ロボット企業がEncordに人間の動きをロボットに写し取る装置を求めており、Velmurugan氏は業界横断で関わることで、どの技術が勢いを得ているかを見極められると述べています。脳波を訓練信号にする発想が定着するかはこれからですが、フィジカルAIの競争がデータ製造の巧拙で決まりつつある構図が浮かび上がっています。
