中東と北アフリカで不動産の掲載のアプリを営むプロパティ・ファインダーは、物件の写真を調べるAIを安いものに替えようとしました。乗り換えの準備のなかで、比べるための正解の96.8%が、いま使っているAIの答えの写しだと分かりました。会社は、詳しい人に正解を付け直してもらい、別のモデルに替えています。経緯は、2026年10月27日のAWSのブログに会社の社員とAWSの担当が書いたもので、外の人による確かめはありません。
プロパティ・ファインダー（Property Finder）は、毎日数万枚の物件の写真を受け取ります。1件の物件に平均15枚の写真があり、載せる前にすべて確かめます。確かめる項目は1枚に11あり、透かしの文字、部屋の種類、家具があるか、写真の質、工事中かなどです。
会社は、この仕事をもっと安いAIに任せたいと考えました。ところが、比べるための正解を調べると、96.8%が、いま使っているAIの答えをそのまま写したものでした。これでは、どのAIを試しても、今のAIに似ているほど点が高くなります。
正解には誤りもありました。透かしの文字を読み違え、ない会社名を書いた答えが、正しいとされていました。人が付けた残りの3.2%にも、決めた項目にない「事務所」のような分け方が見つかっています。
会社は、正解を作り直しました。アラブ首長国連邦（UAE）の実際の掲載から写真を選び、不動産の掲載の基準に詳しい社員1人が、前のAIの答えを見ずに356枚に正解を付けました。迷う写真は、AWSの生成AIの担当の組と話し合って決め、付け方をそろえています。エジプトの写真230枚にも正解を付けましたが、結果は出していません。
部屋の種類は、1枚に1つだけでなく、いくつも付けられるようにしました。廊下の写真の奥に寝室が見えるなら、両方を付けます。
そのうえで、AIへの指示文を少しずつ直しました。外した写真を見て、何がまちがいの元かを探し、次のバージョンに入れます。バージョンは v0 から v27 まで進みました。例を2つ挙げます。
最後は、メタ（Meta）の公開モデル「Llama 4 Maverick 17B Instruct」を、AWSのAIの貸し出しの仕組み「Amazon Bedrock」で動かす形にしました。1枚の写真の11の項目を、1回の呼び出しでまとめて出します。
うまくいかなかった方法も書かれています。透かしとほかの項目を2回に分けて聞くと、正しさは上がらず、枠のある写真の見分けが大きく下がりました。どの写真にも使える一般の指示文は、どのモデルでも役に立ちませんでした。
点数は「マイクロF1」です。当てたラベルと外したラベルをまとめて数えた点数で、1が満点です。
| 📊 比べたもの | 前のAI | → | Llama 4 Maverick |
|---|---|---|---|
| 356枚の試験（マイクロF1） | 0.56（指示文 v22） | → | 0.80（v27_PF） |
| 256枚の練習用（マイクロF1） | 0.55 | → | 0.81 |
| 写真1,000枚あたりの費用（見積もり） | — | → | 2.35ドル（約350円。1ドル150円で換算）、前の仕組みの見積もりより86%安い |
| 答えが返るまでの時間（社内の見張り） | — | → | 前の仕組みより40〜60%短い |
出典：AWSのブログ（2026-10-27）。前のAIの名前と費用の実額は出ていません
数字には、条件があります。356枚の試験には、指示文を直すのに使った256枚が含まれ、ブログも点数が高めに出ると書いています。指示文を直した回数も違い、Llama は何回も、前のAIは1回だけでした。費用は2025年12月の時点の見積もりで、多めに見た数です。比べた前の仕組みの見積もりは、別のバージョンの指示文で出したものです。
項目ごとに見ると、写真の向きは100%、人が写っているかは97%、透かしがあるかは94%当たりました。部屋の広さは65%、透かしの文字を読み取るのは55%にとどまりました。
| 📢 公表されている説明 | ⚠️ 確認できていない点 |
|---|---|
| 正解の96.8%が、前のAIの答えの写しだった | 写しが入った経緯 |
| 356枚の試験で0.56から0.80になった | 指示文を直すのに使わなかった写真だけでの点数 |
| 11の項目すべてで前のAIと同じか上回った | 前のAIの名前と、同じだけ指示文を直したときの点数 |
| 費用は86%安い見積もり | 実際に払った額 |
| 遅れは40〜60%短い | 測った期間と測り方 |
| 本番で毎日数万枚を調べている | 掲載の作業の時間や、誤りの数の変化 |
凡例：📢＝当事者が公表している説明 ⚠️＝出典に書かれておらず、こちらで確認できていない点
出典：AWSのブログ（2026-10-27）。AWSとプロパティ・ファインダーの社員の共著で、外の人による確かめはありません
中古車の販売店で、車の写真をAIに確かめさせている担当者は、別の道具を試す前に、比べる正解の作り方を見直せます。今の道具の答えを正解にすると、新しい道具は今の道具とずれた分だけ低く見えます。
宿の予約サイトで客室の写真を分けている担当者にも、同じことが起こりえます。手だては、数百枚を選んで、詳しい人が前の答えを見ずに正解を付けることです。指示文を直すのに使う分と最後に比べる分を分けておけば、点数が高めに出るのを防げます。
ブログは、2つのモデルの答えが食い違った写真を、人が見る写真に選ぶ方法も勧めています。
ブログは、よいモデルを探すことより、比べ方そのものが妨げになっていると気づくことの方が難しかったと書いています。
