AI-Papers
- カーネギーメロン大学とスタンフォード大学らが、AI活用を義務づけた中規模B2Bソフトウェア企業の開発者802人を2024年1月から2026年4月まで追跡した
- 開発者1人あたりのプルリクエスト提出量は導入前の2.09倍、組織全体では約3.1倍に増えた一方、レビュアーは約1.5倍しか増えなかった
- 全プルリクエストの8割以上をAIボットなどが自動レビューするようになり、ボトルネックが「書くこと」から「確認すること」へ移った
CTOの号令を2年追跡
AIコーディングツールの導入効果は、ベンダーの発表や短期の実験では語られても、組織に定着した後に何が起きるかはあまり明らかになっていません。カーネギーメロン大学とスタンフォード大学などの研究チームは、この空白を埋める縦断研究の結果を公開しました。論文タイトルは「AI Writes Faster Than Humans Can Review: A Longitudinal Study of an Enterprise 2x Mandate」（arXiv:2607.01904）です。
調査対象は中規模のB2Bソフトウェア企業1社です。この企業のCTOは研究開発組織宛てのメールで、AI活用によってエンジニアリング生産性を12カ月で2倍にするという目標を掲げました。研究チームはその前後を含む2024年1月から2026年4月までの期間について、開発者802人が出した19万6212件のプルリクエスト（PR、コード変更の提案単位）を分析しています。
実験室でのタスクではなく、実際の企業で経営判断として導入されたAI活用を2年以上にわたって観測した点が、この研究の位置づけを他と分けています。AgentSWEとは？コーディングエージェントがAIエージェントを作れるか25タスクで検証のようなベンチマーク型の評価が測る「単体の能力」とは別に、組織に入れたときの振る舞いが対象です。
提出量は2.09倍に増えた
指標はエンジニア1人あたりのPR数です。結果として、開発者1人あたりの提出量は導入前の2.09倍に達しました。CTOが掲げた2倍という目標は、少なくともこの指標の上では達成されたことになります。
増加の仕方には特徴がありました。ツールを配った直後に跳ね上がったのではなく、利用経験が積み重なるにつれて徐々に高まっています。導入初期の数値だけで効果を判断すると過小評価になりかねないことを示す結果です。
効果が出た層も幅広く、若手からベテランまで提出量が伸びました。なかでも普段はプログラミングから離れがちだったマネジャー層で増加が目立っています。一方、適用範囲には偏りがあり、効果は新しいシステムに集中し、古いコードではあまり見られませんでした。レガシーコードの保守にAIを当てても、新規開発と同じ伸びは期待しにくいという含意になります。
レビュアーは1.5倍止まり
問題は、増えた成果物を受け止める側で起きました。組織全体のPR提出量は約3.1倍になったのに対し、レビュアーの人数は約1.5倍にとどまっています。差し引きで、レビュー担当者1人あたりの負担は実質的に2倍近くに膨らみました。
コードを書く速度はツールで上げられても、人間がコードを読んで判断する能力は同じようには伸びません。この企業が取った対策は確認作業の自動化でした。結果として、全PRの8割以上をAIボットなどが自動でレビューする状態になりました。
人間が担うレビューは割合として下がり、さらに内容も変わりました。具体的な指摘を伴わない承認だけが増えたと報告されています。レビューという工程が形としては残りつつ、中身が薄くなっていく変化です。
図1のように、増えた提出は人間のレビューを通る経路が細くなり、自動レビューへ流れる構造に変わりました。ボトルネックが「書くこと」から「確認すること」へ移ったことが、この研究の主要な指摘です。
品質低下は短期には出ず
人間の目を経る工程が減ったにもかかわらず、差し戻し（リバート）などの短期的な品質低下はすぐには表れませんでした。少なくとも観測期間の範囲では、自動レビュー中心の体制が目に見える障害を起こしていないことになります。
ただし、これは安全が確認されたという意味ではありません。記事および論文の紹介範囲では長期的なリスクは明らかにされておらず、形式的な承認が積み重なった先に何が起きるかは未解明のままです。設計の一貫性や保守性のような指標は、リバート率のような短期指標には現れにくいという点も考慮が必要です。
導入計画への示唆
この研究が実務に与える示唆は、生産性目標の立て方そのものに関わります。2倍という目標を提出量で測れば達成できても、組織の処理能力が同じ倍率で伸びるとは限りません。投資計画を作る際には、提出側だけでなく受け止める側の体制を同時に見積もる必要があります。
検討すべき論点として、次のような項目が挙げられます。
- 生産性の測定指標を提出量だけに置かず、マージまでの所要時間や指摘件数も併せて見る
- レビュアーの人数と工数を、提出量の増加見込みと同じ計画に組み込む
- 自動レビューに任せる範囲と、人間が必ず読む変更の線引きを明文化する
- 新規システムとレガシーコードで期待値を分けて設定する
AIコーディングツールの導入を進める企業にとって、効果が出るまでに時間がかかることと、効果が出た後に別の工程が詰まることは、どちらも計画段階で織り込める話です。802人・2年超という規模の観測データは、その見積もりの出発点になります。
