AI-Papers
- 同じトークン予算という公平な条件で7つの手法を比較し、自己反省よりも単純な繰り返しサンプリングが優れると示した実証研究です
- 手法とモデルサイズとベンチマークの組み合わせ10件が基準を下回り、劣った設定はすべて自己点検を伴う手法でした
- Best-of-Nの優位は規模とともに縮小し、7BではSelf-Refineとforced Reflexionが基準比3.6〜10.1点低い結果でした
研究の背景
大規模言語モデル（Large Language Model、LLM）の性能を引き上げる方法として、学習後に推論時の計算量を増やす「推論時スケーリング」が注目を集めています。その代表例が、モデルに自分の答えを見直させる自己反省の手法です。
Self-Refineは一度出した答えを自ら批評し、その指摘に沿って書き直す手続きを繰り返します。Reflexionは失敗の原因を言葉で振り返り、次の試行に生かす仕組みです。どちらも「モデルに反省させれば賢くなる」という直感に支えられ、広く使われてきました。
ところがこれらの手法は、追加の批評や書き直しのぶんだけ多くのトークンを消費します。従来の比較ではこの余分な計算コストを無視して精度だけを見ていたため、本当に反省が効いているのか、それとも単に多く計算しているだけなのかを区別できていませんでした。
検証の設計
本研究の著者Iliya Mirzaei氏は、この曖昧さを取り除くために「同じトークン予算」という公平な土俵を用意しました。自己反省に費やすトークンと同じ量を、単純に何度も答えを生成して多数決を取る繰り返しサンプリングに割り当て、両者を正面から比較しています。
比較対象はSelf-Refine、Reflexion、Best-of-N選択、討論型の変種などを含む7つの手法です。モデルは1.5B、3B、7Bという3つの規模の公開モデルを使い、数学の2つのベンチマーク（各150問）で評価しました。手法とモデルと問題集を掛け合わせ、全体で36組の対比較を実施しています。
結果の信頼性を担保するため、問題ごとに対応をとった比較、ブートストラップによる信頼区間の推定、多重比較の補正といった統計手法を用いています。コード、プロンプト、生成物、検証スクリプトはすべて公開されており、追試も容易です。
主要な結果
結論は明快です。どの条件でも、繰り返しサンプリングを安定して上回る手法は存在しませんでした。統計的に基準を下回った設定は10件にのぼり、そのすべてが自己点検を伴う手法だったのです。この10件は10種類の手法という意味ではなく、手法とモデルサイズとベンチマークを組み合わせた設定のうち10通りを指します。
唯一わずかな優位を見せたBest-of-Nも、モデルが大きくなるにつれて効果が薄れていきました。1.5Bでは基準比で8.0〜11.3点の差がありましたが、7Bでは1.3〜2.0点まで縮小し、ほぼゼロに近づいています。
モデル規模 | Best-of-Nの基準比の優位 |
|---|---|
1.5B | +8.0〜11.3点 |
7B | +1.3〜2.0点（ほぼゼロ） |
Self-Refineと、強制的に反省を挟むforced Reflexionに至っては、7Bでも基準を3.6〜10.1点下回りました。さらに最小モデルでは、Reflexionが自らの再試行を一度も起動せず、実質的に一回きりの出力に留まる場面も観察されています。反省の枠組みが用意されていても、小さなモデルはそれを使いこなせないわけです。
なぜ反省は効かないのか
自己反省が期待外れに終わる背景には、モデルが自分の生成を正しく評価しきれないという問題があります。誤った答えを自信を持って「正しい」と判断してしまえば、批評も書き直しも改善にはつながりません。
モデルが自らの推論の正しさを見極めきれない性質は、思考連鎖そのものの信頼性を問う別の研究とも通じています。一方の繰り返しサンプリングは、多様な答えを並べて多数決を取るため、個々の誤りが互いに打ち消され、安定した正答へ近づきやすいと考えられます。
まとめと今後の展望
この研究は「反省させるか、多くサンプリングするか」という実務者の問いに、明確な答えを示しました。少なくとも1.5Bから7Bの規模、そして数学の問題においては、限られた計算予算は反省よりも素直な繰り返しサンプリングに振り向けるほうが有利だと言えます。
ただし限界もあります。検証は7Bまでのモデルと数学ベンチマークに限られており、より大きなモデルや、コード生成やエージェント的なタスクで同じ傾向が続くかは未確認です。自己反省を全面的に諦めるというより、どんな条件なら反省が計算コストに見合うのかを見極める研究が、次の課題になるでしょう。
