AuKとは？自然言語の指示で音声を生成・編集する5タスク統合基盤モデル

• 音声生成、内容編集、強調分離、パラ言語編集、音響編集の5タスク族を、自然言語指示と音声コンテキストという共通インタフェースで統一的に扱う基盤モデルです
• マルチモーダルLLM、音声VAE、ハイブリッドRectified-Flow Transformerを組み合わせ、約30.3億の指示-音声ペアと195万時間の教師データで学習しています
• 蒸留版AuK-Flashは4ステップ推論かつCFGなしで4.5倍高速化し、コードと重みがTencent-Hunyuan/AuKで公開されています

研究の背景

音声関連のAIは、これまでタスクごとに別々のモデルを積み上げてきました。テキストから音声を作るTTS（Text-to-Speech）、雑音を取り除く音声強調、複数話者を分離するソース分離、発話内容の一部だけを差し替える編集は、それぞれ専用のアーキテクチャと学習データを前提としています。

この分業には実務上の負担があります。感情を変えたうえで話速も調整し、さらに背景雑音を落とす、といった複合的な作業では、複数のモデルを直列につなぐ必要があり、途中の劣化が積み重なります。ユーザ側も、モデルごとに異なるパラメータや入力形式を覚えなければなりません。

今回紹介するAuKは、この状況に対して「自然言語の指示」と「音声コンテキスト」だけを共通の入口にするという設計で応えた基盤モデルです。上海交通大学やTencent Hunyuanなどの研究者による技術レポートとして公開され、コードと重みも配布されています。

AuKが扱う5つのタスク

AuKが1つのモデルで担う機能は、大きく5つの系統に整理されています。

• 音声生成（ゼロショットTTSと、声質を言葉で指定する指示型TTS）
• 音響編集（話速、音量、ピッチの変更）
• パラ言語編集（感情、アクセント、笑いなどの非言語音、音色、ささやき声）
• 内容編集（発話や歌詞の単語単位の挿入、削除、置換）
• 強調と分離（音声強調、話者分離、音楽ソース分離）

いずれも「この声で、もう少しゆっくり、明るい調子で」といった文章で操作する点が共通しています。図2は、指示と入力音声が出力音声へどのように写像されるかを、代表的な例とともに示したものです。

モデルの構成

アーキテクチャは、意味的な条件付けと音響的な条件付けを分けて処理し、後段で融合する構造になっています。意味側はマルチモーダルLLMのQwen2.5-Omniが担当し、指示文と音声コンテキストを解釈します。ここで特徴的なのは、最終層の出力だけを使うのではなく、各層の隠れ状態を学習可能な重み付き和でまとめている点です。層によって捉える情報の粒度が異なるため、タスクに応じた配合が可能になります。

音響側は、音声、一般音響、音楽を同時に学習したVAE（変分オートエンコーダ、音を低次元の潜在表現に圧縮する仕組み）が担います。50Hzのフレームレートで64次元の潜在表現を扱い、入力音声がある場合は参照潜在として、ノイズを載せた生成対象の潜在と結合されます。

生成の本体は、約15億パラメータのハイブリッドRectified-Flow Transformerです。前半10層は意味トークンと音響トークンを別々の残差経路で保ちながら共同Attentionを行うMMDiTブロック、後半20層は両者を連結して自己Attentionをかける単一ストリームのDiTブロックという構成で、合計30層になります。

学習と高速化版AuK-Flash

学習は段階的に進められます。VAEは約3300万時間規模のデータで124万ステップ更新され、マルチスケールのメル再構成損失に敵対的学習を組み合わせています。続く統一事前学習は、生成タスクのみで5万ステップ温める段階と、生成と編集を混ぜた60万ステップの段階に分かれ、Flow Matchingの目的関数で最適化されます。事前学習の混合比では音声生成が28.1%、内容編集が23.0%、強調分離が23.2%、パラ言語編集が21.8%を占め、音響編集は4.0%と小さめです。

事後学習では、818組の人手評価データを用いた編集向けの選好最適化と、内容の正確さ、話者類似度、スタイル一貫性を報酬とする強化学習が行われています。

実用面で効いてくるのが蒸留版のAuK-Flashです。軌跡レベルの一貫性蒸留で初期化したうえで、タスクごとに経路を分けた分布マッチング蒸留を適用し、4ステップ推論かつClassifier-Free Guidance（生成の方向を条件付きと無条件の差で強調する手法）なしで動作します。結果として、フルモデル比で4.5倍の実時間高速化を達成しました。音声と動作を同時に生成して応答を高速化したMotion-Omniと同様に、対話用途では推論の軽さが品質と並ぶ評価軸になります。

実験結果

評価は生成、編集、強調分離の3領域にまたがります。主な数値は次のとおりです。

ゼロショットTTSでは、単語誤り率2.65%が既存の強力なモデルであるQwen3-TTSの3.07%を下回りました。4ステップに圧縮したAuK-Flashでも2.85%にとどまっており、高速化による品質の落ち込みは限定的です。強調分離では、CHiME-4のWERが7.98%、Libri2Mixの知覚品質スコアも専用モデルと競合する水準にあります。図1は、これらの結果を既存の最先端モデルと並べて示したものです。

課題と展望

数値を細かく見ると、得意不得意ははっきり分かれます。SpeechEditBenchの内容編集は91.83%と高い一方、パラ言語編集は38.50%にとどまり、感情や非言語音の操作は依然として難しい領域です。MMAE-Speechの指示追従率48.23%も、一貫性の88.11%と比べると低く、自由な言い回しの指示を正確に解釈しきれない場面が残っていることを示しています。

著者ら自身も、自由形式の指示追従には限界があり、構造化されたプロンプトのほうが安定すると認めています。タスク間や言語間の転移も観察されてはいるものの、体系的とは言えない段階です。事前学習の混合比で音響編集が4%と極端に少ない点も、話速や音量の操作精度に影響している可能性があります。

とはいえ、5つのタスク族を1つのインタフェースに束ね、蒸留版まで含めて重みが公開された意義は小さくありません。音声インタフェースの設計者にとっては、モデルを積み上げる代わりに指示文を組み立てるという開発スタイルを検証できる素材になります。

論文情報: "AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing"（Ziyang Ma et al., 2026） arXiv:2609.08936

本記事の図（図1、図2、図4）は解説のため上記論文より引用しています。