アメリカの暗号資産の取引所コインベース（Coinbase）は、支払いの不正を見張るAIで、モデルを新しい版に替えてよいかを試しました。結果の分かっている過去の取引を、指示と止める決まりを変えずに、新旧の版に読ませました。同社によると、比べた3組のすべてで、新しい版のほうが不正の見逃しが増えました。
以下は、同社の技術者が2026年10月6〜8日に自社の技術ブログへ書いた3本の記事にもとづきます。3本目は、AIの学習と配信の基盤を売るエニースケール（Anyscale）の社員4人との共著です。数字は、同社の発表と、同じ技術者たちが書いた論文によるものです。取引のデータは公開されていないため、外の人は同じ試しで確かめられません。
同社の「オンランプ（Onramp）」は、ほかの会社のアプリの中で暗号資産を買えるサービスです。アカウントを作らずに買うこともできます。そのため利用の記録が少なく、不正を見分けにくいという悩みがありました。
そこで同社は、今ある機械学習のモデルと決まりによる確認のあとに、生成AIによる見直しを足しました。AIは、その人の最近の取引の流れを読み、危なさの段階だけを返します。止めるかどうかは、AIの答えを受けてプログラムの決まりで決めます。前の確認で止めた取引を、AIが通すことはできません。最初に使ったモデルは、アンソロピック（Anthropic）の「クロード・オーパス（Claude Opus）」です。
本番では、利用の半分を試す側に回し、その側で選んだ取引にだけAIの見直しを足しました。同社によると、試す側は、今の仕組みだけの側より、不正な取引が30%少なく、不正の金額も22%少なくなりました。比べた期間と件数は書かれていません。
次に同社は、AIのモデルを新しい版に替えてよいかを確かめました。モデルを替える作業は、設定を書き換えるだけに見えます。ただ、同じ取引を読んでも、どこから先を「危ない」とするかが版ごとに変わることがあります。同社はこれを、仕組みの手入れだけではなく、不正の判定そのものが変わることだと捉えました。
試しに使ったのは、AIの見直しを入れる前の9週間の本番の取引1万6140件（7293人分）です。このうち813件が、あとで不正と確かめられた取引です。不正は全件を残し、正常な取引は一部だけを抜き出しているので、不正の割合は本番より高くなっています。どのモデルにも同じ記録と同じ指示を渡し、止める決まりも変えずに、結果を答え合わせしました。
比べたのは3組です。クロード・オーパスの4.5と5、クロード・ソネット（Claude Sonnet）の4.6と5、オープンAI（OpenAI）のGPT-5.4とGPT-5.6（sol）です。
同社の試しでは、3組とも、新しい版のほうが、不正のうち見つけた割合も、不正の金額のうち見つけた割合も下がりました。ただ、下がり方には大きな差があります。オーパスの見つけた割合の0.8ポイント減は、813件の不正のうち約6〜7件分にあたります。ソネットとGPTは、見つけた割合も金額で見た割合も、20ポイントを超えて下がりました。
| 組 | 不正のうち見つけた割合 | 不正の金額のうち見つけた割合 | 不正と判定したうち本当に不正だった割合 |
|---|---|---|---|
| オーパス 4.5→5 | 0.8ポイント減 | 減（幅は書かれていない） | 減 |
| ソネット 4.6→5 | 22.2ポイント減 | 22.9ポイント減 | 減 |
| GPT 5.4→5.6（sol） | 20.7ポイント減 | 21.8ポイント減 | 11.5ポイント増 |
GPTの新しい版は、不正と判定したものが当たる割合は上がりましたが、見逃す不正は増えました。同社は、不正と判定するのを前より控えるようになった形と合う、とみています。そのうえで、一つの点数が伸びても、ほかの点数が大きく落ちていないかを合わせて見るよう勧めています。
この試しは、モデルどうしを同じ条件で比べるためのものです。新しい版を本番で使ったときの影響を測ったものではありません。性能が下がった理由も、同社は特定できていないとしています。
この結果を受けて、同社は、中身に手を入れられる公開のモデルを自社で追加学習させる道に進みました。3本目の記事はエニースケールとの共著で、以下の費用と速さは、エニースケールの基盤の上での数字です。使ったのは、90億のパラメーターを持つクウェン3.5（Qwen3.5-9B）です。学び方は、過去の不正の結果に照らして、当たった判定に点を与えるものです。GPU（画像処理用の演算装置）1枚で学ばせ、費用は1万5000円未満（100ドル未満。1ドル150円で換算）だったとしています。
どのモデルにも1回だけ判定させる形にそろえた同社の試しで、学習させたモデルは、オーパス4.5より、不正のうち見つけた割合が12.0ポイント、金額で見た割合が35.4ポイント高くなりました。本番の取引に流したときの応答の速さは、真ん中の値で、オーパス4.5の1.515秒に対して0.683秒だったとしています。精度と速さは、別々に測ったものです。
| 数字 | どの試しか | 何と何を比べたか |
|---|---|---|
| 不正な取引30%減、不正の金額22%減 | 本番の比較試験 | AIの見直しを足した側と、今の仕組みだけの側 |
| 浮く額はAIの利用料の約3倍 | 本番の比較試験の結果からの見積もり | 不正防止で浮く額と、提供元の公表料金で計算したAIの利用料 |
| 見つけた割合0.8〜22.2ポイント減など | 過去の取引での試し | 3組それぞれの新旧の版 |
| 見つけた割合12.0ポイント増など | 過去の取引での試し（1回だけ判定させる形） | 学習させた小型のモデルと、オーパス4.5 |
| 応答の速さ1.515秒→0.683秒 | 本番の取引での測定（精度とは別） | オーパス4.5と、学習させた小型のモデル |
| 公表されている説明 | こちらで確認できていないこと |
|---|---|
| 3組とも、新しい版で不正の見逃しが増えた | 元の点数（差だけが出ている）。差が偶然の幅を超えるか（オーパスの0.8ポイントは約6〜7件分）。取引のデータは公開されておらず、外の人は同じ試しをできない |
| 試しの取引は9週間分 | 同じ技術者たちの論文によると、不正813件のうち235件が9週のうち1週に集まっている。その1週の手口で結果が左右されていないか |
| 正常な取引は一部だけを抜き出した | 本番の不正の割合で数え直したときの、当たる割合 |
| 性能が下がった理由は特定できていない | 指示や止める決まりを新しい版に合わせて直したら、差が縮むか |
| 本番の比較試験で、不正な取引が30%、不正の金額が22%減った | 比べた期間と件数 |
| 学習させた小型のモデルは、過去の取引でオーパス4.5を上回った | 2本目の試しと同じ条件か。差は、記事の本文が「%」と書き、図の注が「ポイントの差」と書いていて、この記事では注に従ってポイントとした。その小型のモデルが本番で判定を受け持っているか。本番で不正がどれだけ減ったか |
AIを仕事に使っていて、新しい版が出るたびに替えるかどうかを迷う会社に関係します。発表の点数が上がっていても、自社の仕事で上がるとは限りません。
たとえば、従業員150人ほどの中古ブランド品の買取チェーンが、写真から偽物の疑いをAIに見させているとします。新しい版に替える前に、過去に偽物と分かった品と本物の品の写真を取っておきます。指示も「疑いあり」の線引きも変えずに、今の版と新しい版の両方に見させます。そして、見逃した偽物の数だけでなく、見逃した偽物の買取額の合計でも比べます。高い品の見逃しが増える版なら、件数が同じでも替えないという判断ができます。
コインベースは、モデルの版を替える前に、結果の分かっている過去の取引で、指示と止める決まりを変えずに新旧の版を並べ、見逃しの件数と金額の両方で比べました。同社の試しでは、3組とも新しい版のほうが見逃しが増えました。同社は、モデルを自社の仕事での答え合わせで選ぶべきだとしています。見逃しが増えた理由と、本番での影響は分かっていません。
