AI-Papers
- 音声対話モデルの内部表現から表情・手・上半身・下半身のモーションを直接生成し、音声と動きを1回の推論でまとめて出力する枠組みを提案
- 疑似ラベルで422,856ペア（1,402時間）の学習データを構築し、公開評価プロトコルSwDA-500を整備
- 単語誤り率2.62%を保ちつつ、教師モデルを外付けするカスケード構成に対して応答速度を5.4倍に改善
研究の背景
人と対話するアバターやロボットには、話す内容だけでなく、話しながらどう動くかが求められます。従来の作り方は、まず対話モデルが文章を作り、Text to Speech（TTS、文章を音声に変換する技術）で音声を合成し、その音声を別のモーション生成モデルに渡してジェスチャーを付ける、という積み重ね方式（カスケード構成）が主流でした。
この構成には2つの弱点があります。1つは推論を2回通す必要があり、待ち時間が長くなること。もう1つは音声側とモーション側が別々に学習されているため、両者を同時に最適化できず、話し方と身振りの結び付きが浅くなることです。
arXivで公開された論文「Motion-Omni」は、この分業をやめて、音声を生み出す隠れ状態からそのままモーションを生成するエンドツーエンドの対話モデルを提案しています。コードとモデル、データはGitHubとHugging Faceで公開されています。
提案手法の全体像
Motion-Omniは4つの部品で構成されます。入力音声を処理するSpeech Encoderには凍結したWhisper-large-v3を使い、その表現をLLMの埋め込み空間へ射影します。対話の中身を担うバックボーンはQwen2.5-7B-Instructです。
そこから先が特徴的な部分で、Speech GeneratorがGLM-4-Voiceの離散音声トークンを12.5Hzで生成し、Motion Generatorはその隠れ状態を参照しながら30Hzでモーションのコードを出力します。Motion Generatorは顔・手・上半身・下半身の4つに分かれた並列デコーダになっており、部位ごとに別々のコードブックを持つ設計です。
生成されたコードは、凍結したVQ-VAEであるLOM（Language of Motion）によってSMPL-XとFLAMEのパラメータに戻され、3Dアバターとして描画されます。図1に示すように、モーション側は音声側の内部状態を条件として受け取るため、音声トークンが確定してから改めてモーション生成を回す必要がありません。
学習は4段階に分かれます。音声認識、音声合成、音声とモーションの同時生成、そして最後に混合データでLLM本体まで微調整する流れです。第3段階以降でSpeech Generatorを凍結したまま学習すると、モーション側の損失が下げ止まり、音声と動きのずれが目に見えて残ったと報告されています。音声経路とモーション経路を一緒に動かすことが、同期を成立させる条件になっています。
学習データと評価の整備
全身モーション付きの対話データは大規模には存在しないため、著者らは疑似ラベルによる生成パイプラインを用意しました。応答音声すべてに対してLOMを教師として4系統のモーションコードを付与し、VQ-VAEの再構成誤差とBeat Correlation（音声のリズムと身振りの一致度）を組み合わせたスコアで品質を採点します。
このスコアを使って、品質の高い上位12.5%から順に25%、50%、100%へと学習対象を広げるカリキュラム方式を採ることで、教師基準のFGDが0.3974から0.3040まで改善しました。第3段階のデータは422,856サンプル（1,402時間）、全段階の合計は約436万サンプル、12,144時間に達します。
評価面ではSwDA-500というプロトコルを新たに定義しています。Switchboard Dialog Act Corpusの66トピックから500件のプロンプトを作り、システム間で生成音声を揃えたうえで、共通のレンダリングパイプライン、自動指標、人手評価、遅延測定を一本化したものです。従来はモーション生成手法ごとに評価条件が異なり比較が難しかった点を、音声を固定することで揃えています。
実験結果
音声品質については、Motion-Omni-Q7の単語誤り率が2.62%で、比較したオムニモーダル系のシステムでは最も低い値でした（Ex-Omniが2.67%、Qwen2.5-Omniが2.72%）。音声のみを扱うCosyVoice 2の2.57%とほぼ並んでおり、モーション生成を同居させたことによる音声側の劣化は小さいと言えます。
モーションと速度の主要な結果は次の通りです。RTF（Real-Time Factor、生成時間を音声長で割った値。1未満なら実時間より速い）が小さいほど高速です。
システム | Diversity↑ | BC↑ | FGD↓ | RTF↓ |
|---|---|---|---|---|
Motion-Omni-Q7 | 13.67 | 7.59 | 3.03 | 0.78 |
MO-audio + LOM（教師） | 13.07 | 7.67 | ー | 4.39 |
MO-audio + GestureLSM | 13.55 | 7.49 | 3.17 | ー |
MO-audio + EMAGE | 10.95 | 7.32 | 3.29 | 0.84 |
MO-audio + MambaTalk | 12.07 | 7.03 | 4.15 | ー |
教師であるLOMを推論時に走らせるカスケード構成（MO-audio + LOM）と比べると、RTFは4.39から0.78へ下がり、約5.4倍の高速化です。応答時間も23.35秒から4.32秒に短縮されています。モーションの質は、Beat Correlationが7.59対7.67で教師より約1%低い一方、Diversityは13.67対13.07で教師を約4.6%上回りました。参照を必要としない指標では、推論時にLOMを動かさずに教師と同等の水準に届いていることになります。
EMAGEやMambaTalkといった、教師由来ではない既存のモーション生成手法に対しては、DiversityとBeat Correlation、FGDのいずれでも上回りました。25本のペア動画を用いた人手評価でも、MO-audio + EMAGEに対して45勝10分20敗と明確な差を付けています。ただし教師カスケードとの比較は25勝27分23敗、Qwen2.5-Omni + EMAGEとの比較は33勝9分33敗と互角で、勝っているのは主に速度と統合性であって、動きの見た目そのものが大きく良くなったわけではない点は押さえておくべきでしょう。推論コストの削減という観点では、Intern-S2-Mobiusのように処理経路を組み替えて高速化する研究とも通じる方向性です。
まとめと今後の展望
Motion-Omniは、音声対話モデルの内部表現をモーション生成の条件として直接使うことで、これまで2回の推論に分かれていた処理を1回にまとめました。速度面の改善が大きく、実時間より速いRTF 0.78を達成している点は、対話アバターの実用化を考えるうえで意味のある結果です。
一方で限界も明示されています。モーションの品質はLOMのコードブックと教師が付けた疑似ラベルの分布に縛られるため、教師が苦手な動きは同じように苦手になります。話者の同一性や感情を明示的に条件付ける仕組みはなく、学習データは英語のみで、他言語への一般化は検証されていません。
さらに、ユーザーの発話を最後まで受け取ってから応答を作るオフライン構成のため、割り込みを含むリアルタイムの対話には向きません。人手評価も4名の注釈者による小規模なもので、著者以外による大規模な検証は今後の課題です。バックボーンやモーション教師を差し替え可能な設計になっているため、より強力なモデルへの置き換えでどこまで伸びるかが次の焦点になります。
論文情報: "Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue"（Chengqian Ma et al., 2026） arXiv:2609.04250
本記事の図（図1）は解説のため上記論文より引用しています。
