大型のネコ科動物を守る団体パンセラ（Panthera）は、南アフリカなどに置いたカメラの写真を、インターネット上の市民ボランティアに仕分けてもらう調査「カメラ・キャタログ（Camera CATalogue）」を開いていました。研究者は、この調査で、AIの答えに最初のボランティアが同意したらそこで仕分けを終える形を、新しい写真の半分を使って本番のサイトで動かしました。残りの半分に同じ形を当てはめて計算すると、必要な仕分けの回数は43%減り、最後の答えが変わったのは0.22%でした。以下は、ミネソタ大学やパンセラなどの研究者が2018年10月に生態学の学術誌「Methods in Ecology and Evolution」に出した論文にもとづく内容です。
野生動物の調査では、動くものに反応して写真を撮るカメラを森や草原に置きます。写真は何十万枚にもなり、風で揺れた草しか写っていない「空の写真」も多くあります。カメラ・キャタログは2016年8月に始まり、ボランティアが写真を見て、空の写真か、車か、どの動物かを答える仕組みでした。1枚の写真の答えは何人もの答えを合わせて決め、ふだんは、空の写真や車の写真なら2人の答えが一致するまで、動物の種類なら5人に見てもらっていました。
研究者は、ボランティアがすでに仕分けた写真で、写真を見分けるAI（画像を見分けるモデル）を学ばせました。まず空の写真かどうかを見分け、動物が写っていれば種類を見分けます。
本番では、新しい写真を半分に分け、片方で新しい決め方を動かし、残りの半分はふだんの決め方のままにしました。
左は論文の説明です。数字はどれも、ふだんの決め方のまま仕分けた半分の写真に、新しい決め方を当てはめて計算したものです。「正しい」は、ふだんの決め方で出したボランティアの答えと一致した、という意味です。
| 公表されている結果 | こちらで確認できていないこと |
|---|---|
| 必要な仕分けの回数が、全体で43%減った（対象にした写真だけなら49%） | 新しい決め方を動かした半分で、実際に減った回数と、仕分けが何日早く終わったか |
| 最後の答えがふだんの決め方と違ったのは0.22%だった。AIだけで決めていたら、正しさは93.4%だった | ボランティアの答えが、専門家の答えとどれだけ合っていたか |
| 91.2%の写真は、AIと最初の人の答えが一致して早く終わった。8.6%は食い違い、ふだんの決め方に戻った | この決め方を、試しのあとも続けたか |
| 食い違った写真の47%は、最後の答えがAIと同じだった。最初の人がまちがっていたことになる | ボランティアの集まりや、やる気が変わったか |
論文の試験でAIがまちがえやすかったのは、夜で動物と背景の区別がつきにくい写真、カメラに近すぎる動物、光で白く飛んだ写真、珍しい動物でした。本番の計算でも、珍しいレイヨウの仲間（エランド）は、AIが「エランド」と答えれば約94%が当たっていましたが、エランドの写真のうちAIが見つけたのは17%ほどでした。自信の低い答えを外したためです。
写真館で、七五三や成人式の撮影のあと、目を閉じた写真やぶれた写真をはじく作業を、2人で見て決めている仕事に当てはまります。AIの答えと最初の担当者の答えが同じなら1人で終え、食い違ったときだけ、ふだんどおり2人で見直す形にできます。めったにない撮り方の写真や、AIの自信が低い写真は、はじめから対象外にしておけます。
パンセラのカメラ・キャタログでは、AIの答えと最初のボランティアの答えが一致したら仕分けを終える形を、本番のサイトで動かしました。残りの半分の写真に当てはめた計算では、仕分けの回数が43%減り、最後の答えが変わったのは0.22%でした。ただ、比べた相手はボランティアの多数決で、新しい形を動かした半分で実際に減った回数や、試しのあとも続けたかは書かれていません。
