AI-Papers
- ByteDance Seedが、拡散モデルの収束損失がプロンプト内の構造化された言語量に応じて下がる新たなスケーリング則を発見しました
- 内部情報を使う尤度指標GPGと出力だけで測る属性指標EDを提案し、損失がGPGにほぼ直線的、EDにべき乗則で下がる関係を定量化しました
- 構造化プロンプト（diffusability）と自動プロンプト生成器（promptability）を組み合わせ、構成・推論・世界知識の各ベンチマークでオープンウェイトのSOTAを達成しました
研究の背景
テキストから画像を生成する拡散モデル（ノイズを少しずつ取り除いて画像を作る生成モデル）は、プロンプトの書き方次第で結果が大きく変わることが経験的に知られています。丁寧に情報を書き込んだプロンプトほど狙い通りの画像が出やすい、という感覚は多くの利用者が持っているはずです。しかし、なぜ構造化されたプロンプトほど品質が上がるのか、その仕組みは定量的に説明されてきませんでした。
従来は暗黙のうちに、拡散モデルの学習損失はプロンプトのトークン数（単語のような文の構成単位の数）には左右されない、と考えられてきました。ByteDance Seedの研究チームが発表した「Scaling Properties of Text Conditioning in Visual Generation」は、この前提そのものに疑問を投げかけます。プロンプトに含まれる構造化された言語の量が増えるほど、モデルが最終的に到達できる損失、いわゆる収束損失が下がるという関係を突き止めました。
拡散損失を決める新法則
研究チームはまず、プロンプトの構造化の度合いを測る2種類の指標を導入しました。1つ目はGPGと呼ばれる白box指標です。白boxとは、判定に使うモデルの内部情報まで参照できる状態を指します。GPGは、あるプロンプトを与えたときに判定モデルが正解内容を出力しやすくなる確率（尤度）がどれだけ上がるかを測り、そのプロンプトがどれだけ意味のある構造を含むかを数値化します。
2つ目はEDと呼ばれる黒box指標です。黒boxはモデルの中身を見ず、生成された画像だけから評価する方法を指します。EDはプロンプトで指定した属性、たとえば色や位置、個数といった要素が実際に画像へ反映されたかを確認し、精度と再現率のバランスを測るF0.5スコア（再現率よりも精度をやや重視した評価指標）で採点します。片方は仕組みの内側から、もう片方は出力の外側から構造化の量をとらえる、相補的な設計になっています。
この2つの指標と収束損失の関係を調べたところ、明快な法則が現れました。収束損失はGPGに対してほぼ直線的に下がり、EDに対してはべき乗則（片方が増えるともう片方が一定の割合で規則的に変化する関係）に従って下がります。つまりプロンプトの構造化を進めるほど、モデルの学習しやすさが法則的に改善するのです。
提案手法の2つの柱
発見した法則を実際の性能向上につなげるため、研究チームは2つの柱を用意しました。1つ目はdiffusability（拡散モデルにとっての学習しやすさ）の強化です。画像から「何が、どこに、どんな状態であるか」という意味的および幾何的な注釈を自動で抽出し、それを構造化プロンプトの形にまとめて学習に使います。GPGやEDが高いプロンプトを意図的に用意することで、法則に沿って収束損失を押し下げる狙いです。
2つ目はpromptability（構造化プロンプトの作りやすさ）です。実際の利用場面では、人間がそこまで整った構造化プロンプトを書くとは限りません。そこで、短い入力から構造化プロンプトを自動生成する生成器を訓練します。この訓練は3段階で構成され、教師あり微調整（SFT、正解例をまねて学ぶ工程）で土台を作り、cold-start（学習の初期に方向づけを与える工程）を挟み、最後に実際の生成結果を使いながら学習するon-policy distillation（実運用に近い形で知識を移す蒸留手法）で仕上げます。生成物が正しいかを検証器（verifier）で確かめ、合格したものにだけ報酬を与える点が特徴です。
ベンチマークでの成果
評価は3系統のベンチマークで行われました。構成的な課題（複数の物体や位置関係を正しく描き分けられるか）、推論の課題（指示の言外の意味を汲めるか）、そして世界知識の課題（現実の知識を画像に反映できるか）です。提案システムはこれらのほぼ全ての項目で、評価対象となったオープンウェイトモデルを上回りました。
さらに多くの評価において、最も強力なクローズドウェイト（重みが非公開の商用）モデルに匹敵、または上回る成績を示しています。プロンプトの構造化とそれを自動で生み出す生成器を組み合わせるだけで、モデル本体を大きく作り替えずに幅広い課題で底上げできることを実証した形です。
一方で課題も残ります。全ての項目で商用モデルを上回るわけではなく、性能は画像から注釈を抽出する工程の精度に依存します。抽出が不正確なプロンプトを学習に使えば、法則が期待通りに働かない可能性もあります。手法の汎用性は魅力的ですが、注釈の品質管理が今後の実用では鍵になりそうです。
まとめと今後の展望
本研究の意義は、これまで経験則にとどまっていたプロンプト設計を、GPGとEDという測れる指標と法則の形に落とし込んだ点にあります。どこまで構造化すればどれだけ損失が下がるかを見通せるようになったことで、テキスト条件付けの改善が試行錯誤から設計へと変わります。コード、モデル、デモがいずれも公開されており、再現性の高さも評価できます。
ここで扱われた考え方は静止画に限りません。テキストで条件付けする生成モデルは動画など他の領域にも広がっており、拡散Transformerを使った動画生成の効率化を扱ったChimeraのような研究とも問題意識を共有します。プロンプトの構造化がどこまで一般的なスケーリング則として通用するか、今後の検証が待たれます。
