宿泊予約サイトのエアビーアンドビー(Airbnb)は、「スキー場の近くのロマンチックなキャビン」のように自分の言葉で宿を探す検索を入れるため、客の検索語がまだない段階で学習用のデータを作る方法「キャッスル(CASTLE)」を作りました。予約の記録から、同じ検索で予約した宿と見ただけの宿を1組にし、予約した宿にだけ合う検索語を大規模言語モデル(LLM:文章を作るAI)に書かせます。どちらの宿が合うかの印は、書かせた時点で決まります。
この記事は、同社が2026年10月13日に技術ブログに出した記事と、学会CIKM 2026に採択された論文(arXivで公開)にもとづきます。数字はすべて同社の研究者が自社のデータで測ったもので、外の人による確かめはありません。
エアビーアンドビーは、絞り込みの項目を選ぶ代わりに、自分の言葉で宿を探せる検索を入れようとしました。このAIを学習させるには、客が打つ検索語と、その検索語にどの宿が合うかの印の両方が要ります。公開前には、そのどちらもありません。
これまでの方法は、文章1つからLLMに検索語を書かせ、合うかどうかは別にLLMに判定させていました。この形では判定でも誤りが入り、作った検索語も実際の客の書き方とずれる、と研究チームはブログで説明します。
キャッスルは、次の順で学習用のデータを作ります。
予約の記録がない新しい宿には、別のLLMを判定役(バーチャル・ジャッジ)にして印を付けます。学習には予約の組から作った印を使い、判定役の印は主に試験に回します。
本番では毎日、約5,000組から約1万の検索語を作ります。1万語を作って保存するまでは、2時間かかりません。毎回、長さの分布のずれ、設備などの属性を一つも含まない語の割合、判定役による抜き取りの3つを測ります。基準を外れた回の分は使わないか、指示を見直します。
検索を公開したあとは、実際の検索語を週200件まで手本に足していきます。作ったデータと実際のデータの比は、10対1から少しずつ下げる計画です。
作った検索語は、長さの分布がこれまでの方法より実際の客の検索語に近くなりました。分布の違いを表す数(KL情報量。小さいほど近い)は1.01で、これまでの方法で最もよかったものは9.33でした。ただ、手本にした調査の500語そのものは0.15で、長さの分布だけを見ると、手本のほうが実際に近い数字です。
印が正しいかは、人の目でも確かめています。3人の評価者が無作為に選んだ200組を見て、印に同意した割合は91〜93%でした。同意しなかったのは3〜6%、検索語がぼんやりしてどちらとも言えなかったのは3〜5%です。
作ったデータだけで、検索の3つの段階(候補を集める・一段目の並べ替え・LLMによる並べ替え)のモデルを学習させると、2つの宿のどちらが合うかを当てる正解率は、それぞれ0.790から0.967、0.570から0.705、0.620から0.884に上がりました。ただ、試験に使ったのも作ったデータの残り1割で、客の実際の検索で測った数字ではありません。
予約や売上がどう変わったかは、ブログにも論文にも書かれていません。実際の客のデータがたまったら、予約につながるかを含めた物差しに移ることが、論文の挙げる今後の課題です。
苦手なこともあります。手本の調査に答えた人は、実際の客より長く書きました。9語以上は27.6%(実際の客は10.0%)、1〜2語は15.6%(同34.9%)です。キャッスルが作った語でも、1〜2語は3.9%しかありません。「ロマンチックで、しかも在宅勤務に向く」のように二つの目的を一度に言う検索や、「居心地がよくて夢みたい」のように雰囲気で言う検索も、うまく作れていません。
| 📢 公表されている説明 | ⚠️ こちらで確認できていないこと |
|---|---|
| 長さの分布の差は1.01。これまでの方法で最もよかったものは9.33論文の表では、手本の調査500語そのものは0.15 | ⚠️ 比べた実際の客の検索語(7,165件)を、いつ・どの国で集めたか ⚠️ ブログは「実際の客の長さのばらつき2.49語に近い2.48語」と書くが、論文の表では実際の客は3.93語。どちらが正しいか |
| 3人の評価者が200組を見て、印に同意した割合は91〜93% | ⚠️ 評価者が社内の人か社外の人か ⚠️ 200組のうち、判定役が付けた印の組がいくつ混ざるか |
| 作ったデータだけで学習すると、3つの段階の正解率が上がった試験も作ったデータの残り1割 | ⚠️ 客の実際の検索での正解率 ⚠️ 予約・売上・検索の使われ方への影響 |
| 本番では毎日約5,000組から約1万語を作り、品質を外れた回は使わない | ⚠️ 使ったLLMの名前と費用(論文は「中くらいの性能のモデル」とだけ書く) ⚠️ 品質の基準の値と、外れた回の割合 |
| GPT系のモデルに判定させると、自分の系統が作った組に98.8〜99.4%の正解率を出す人の同意率より6〜8ポイント高く、自分びいきとみている | ⚠️ 他の系統のモデルでも同じ結論になるという説明の、具体的な数字 |
凡例:📢=当事者が公表している説明 ⚠️=出典に書かれておらず、こちらで確認できていない点
数字と説明は、エアビーアンドビーの技術ブログ(2026年10月13日)と論文(CIKM 2026採択、arXiv版v2)による。
自社サイトに「言葉で探す検索」を入れたいのに、客がどんな言葉で探すかの記録がまだない会社に関係します。
たとえば、従業員100〜200人規模の不動産の賃貸仲介会社が、「駅から近くて、子ども2人と住める静かな2LDK」のように打てる物件検索を作るとします。同じ条件で探した客が内見を申し込んだ物件と、見ただけの物件を1組にし、申し込んだ物件にだけ合う探し言葉をAIに書かせて、学習や試験の例にします。言葉づかいの手本には、店頭や電話で客が最初に言った希望を、過去のメモから数百件集めます。手本は長くなりがちなので、短い言葉の例を足しておきます。
エアビーアンドビーは、客の検索語がない公開前に、予約した宿と見ただけの宿の組から、印つきの検索語をAIに書かせて学習データを作りました。言葉づかいは約500語の手本に合わせ、毎日の品質の確認で基準を外れた回の分は使わないようにしています。数字はすべて自社の測定で、学習の効果も作ったデータの中で測ったものです。予約や売上への影響は書かれていません。