アメリカのギットハブ（GitHub）は2026年10月5日、AIによるコードレビューを測る公開の試験「レビューベンチ（ReviewBench）」を出しました。コードレビューは、プログラムの変更を取り込む前に、別の人が読んで誤りを探す作業です。ギットハブは、マイクロソフト（Microsoft）の人たちと一緒に作ったと書いています。
公開された順位表では、どの製品も、あらかじめ用意した答え合わせの一覧と重なった指摘のうち、およそ84〜88%が本当の問題でした。一方で、一覧にある本当の問題のうち見つけた割合は、いちばん高いものでも26%でした。
試験には、公開されている187の開発プロジェクトから集めた219件の変更依頼を使います。プログラミング言語は19種類です。ギットハブ上の1億390万件の変更依頼を調べ、言語の割合やプロジェクトの大きさを全体に合わせました。ただし、1ファイルだけの小さな変更は減らし、複数のファイルにまたがる変更を多めに入れています。
答え合わせの一覧は、四つのところから集めた指摘で作りました。人が実際にしたレビュー、作者があとから直した箇所、決まった規則で調べる検査ツール、複数のAIです。人でもAIでも、一人では見つけるべき問題を全部は見つけられない、という考えでこの集め方にしたそうです。
集めた指摘は、同じ問題を指すものを一つにまとめました。そのうえで、一つ一つに、本当で、変更に関係があり、ささいでない問題かどうかの印を付けています。この印付けと、各社のAIが出した指摘の採点には、同じAIの「クロード・ソネット5（Claude Sonnet 5）」を使います。公開の前には、作る側の組織の中で、データ作りに関わっていない経験の長い技術者が、一覧の印を一から付け直しました。付け直した印は、レビューベンチの印と96.6%一致しました。
点数は二つの割合で出します。一つは、AIが出した指摘のうち、答え合わせの一覧と重なったものが、本当の問題だった割合です。一覧にない指摘は、この割合には数えません。ここでは「当たる割合」と呼びます。もう一つは、一覧にある本当の問題のうち、AIが見つけた割合です。こちらは「見つけた割合」と呼びます。
2026年10月8日に順位表のデータを取ると、7つの製品の、28の設定の結果が入っていました。サイトの順位表には、製品ごとにいちばん順位の高い設定が1行ずつ、7行並びます。順位は、二つの割合をまとめた点数の順です。7行の当たる割合はどれもおよそ84〜88%で、見つけた割合は約10%から26%まで差がありました。1位はギットハブ自身の「コパイロット・コードレビュー（Copilot Code Review）」の「バランス」という設定で、見つけた割合も26.0%といちばん高い値でした。2位と3位はほかの会社の製品で、見つけた割合は23.8%と22.1%です。
サイトの注意書きによると、この順位表の最初の結果は、レビューベンチのチームが各社の公開製品を動かして出したものです。各社は自分で動かしておらず、結果も確かめていません。測った日は製品ごとに6月から10月までばらばらで、そのあと製品が変わったかもしれません。点数はこの試験の上でのもので、自分たちのコードでの出来を言い当てるとは限らない、とも書かれています。
ギットハブは、コパイロットのレビュー機能を変えるとき、利用者で試す前にこの試験で点数を見ています。ブログによると、これまでこの試験で見た変更は、あとで本番で利用者を二つに分けて比べたときと、一貫して同じ向きに動いてきました。
例として出しているのは、軽い設定での変更です。AIを1回だけ動かすのをやめ、複数のAIを別々に動かして、一つのレビューにまとめました。試験では、当たる割合、見つけた割合、コメントの数が上がり、費用が下がると出ました。本番でも同じ向きに動きました。今までの設定の値を元にした伸びで、当たる割合にあたる数字が8.0%、見つけた割合にあたる数字が13.6%、コメントの数が61%増え、1回あたりの費用は8.0%減りました。重大な問題を指す指摘の数は、試験では227%増、本番では262%増でした。
本番で当たる割合の代わりに使ったのは、AIのコメントをきっかけに、開発者がコードを直した割合です。直したかどうかは、別のAIが、変更の中身や会話のやり取りを見て判断しています。見つけた割合にあたる数字は、AIのレビューのあとで、人のレビューがどれだけ要ったかをもとに出しています。利用者への効き目を最後に決めるのは本番の比較だ、とブログは書いています。
左の列は、ギットハブのブログとレビューベンチのサイトに書かれている内容です。順位表の数字は、2026年10月8日に取ったデータのうち、サイトの順位表に出る7行の値です。
| 公表されている説明 | こちらで確認できていないこと |
|---|---|
| 答え合わせの一覧は四つのところから集め、作る側の技術者が付け直した印と96.6%一致した | 一致しなかった指摘の中身と、その扱い。外の人が付け直したときの一致 |
| 一覧の印付けと各社の採点は、一つのAI（クロード・ソネット5）で行う | そのAIの採点が、特定の製品に有利や不利になっていないか |
| 順位表の7製品で、一覧と重なった指摘の当たる割合は約84〜88%、見つけた割合は最高で26.0% | 各社が自分で動かしたとき、同じ点数になるか |
| 1位はギットハブ自身の製品 | ギットハブ以外の人が同じ試験を動かして、同じ順位になるか |
| 試験で見た変更は、一貫して本番と同じ向きに動いた | 試した変更の数と、向きが合わなかった例があったか |
| 本番で、元の値に比べて8.0%、13.6%、61%増え、費用は8.0%減った | 元の値（ブログは伸び率だけを出している） |
従業員150人ほどの設計事務所で、AIに図面のチェックをさせる場合が考えられます。過去に人が見つけて直した指摘を集めれば、自分たちの小さな試験になります。AIが出した指摘の当たり具合と、過去の指摘をどれだけ拾えたかを分けて数えると、「外れは少ないが、見落としが多い」といった性格が見えます。
経理の代行を請け負う会社で、AIに請求書の誤りを指摘させる場合にも使えます。AIの設定を変えたら、まず過去の差し戻しを集めた試験で点数を見ます。次に一部の担当者だけで使い、直した件数が試験と同じ向きに動くかを確かめてから、全員に広げます。
AIのチェック役を選ぶときは、当たる割合と見つけた割合を分けて見ると、どこが弱いかが分かります。ただし、最初の順位表はギットハブ自身が各社の製品を動かして作ったもので、1位は自社の製品です。
