米国の公益企業ナバ（Nava PBC）は、福祉の制度を案内する相談員向けに、AIの質問箱（チャットボット）を作りました。2026年3月の報告書で、2つの試験の結果を出しています。1つ目の試験で見せたAIの答えは、正しさを決めて作ったものです。正しい答えを見ると、何も見なかった相談員より多く正しく答え、間違った答えを見ると、正答が下がりました。2つ目の試験では、ロサンゼルス郡の相談員が3か月使い、使う量は週を追って減りました。
米国では、食費の支援や医療保険などの制度に申し込めるのに、申し込んでいない人が多くいます。相談員は、そうした人の事情を聞いて、使える制度を案内します。ただ、制度の決まりは細かく、よく変わります。
ナバは、政府の制度の仕組みづくりを手がける会社です。寄付で動く部門「ナバ・ラボ」を持っています。ナバ・ラボは、相談員がAIを使って、制度の決まりを早く正しく調べられるかを試しました。
報告書は2026年3月13日に出ました。ジョージタウン大学のベター・ガバメント・ラボと、コーネル大学の研究者が共著に入っています。質問箱を作ったナバ自身も、評価に加わっています。
ナバ・ラボと、ロサンゼルスの非営利団体アンプリファイ（Amplifi、旧イマジンLA）は、質問箱を、アンプリファイの道具「ベネフィット・ナビゲーター」に新しい機能として組み込みました。相談員が制度について質問すると、AIが答えます。
相談員は、AIの答えを読んで確かめてから、依頼者に伝えます。
1つ目は、くじで組を分けた試験です。カリフォルニア州の食費の支援（カルフレッシュ）を知る相談員125人が、選択式の問題45問を解きました。正解は、州でこの制度を点検する担当者が決めました。
相談員は4つの組に分かれました。何も見ない組と、AIの答えを見る3組です。AIの答えは、正しい割合が60〜65%、85〜90%、95%以上になるように作ったものです。本物の質問箱の答えをそのまま見せたわけではありません。
| 📊 試験1（125人・45問） | 何も見ない組と比べた正答 |
|---|---|
| 60〜65%正しい答えを見た組 | 報告書の本文に数字なし |
| 85〜90%正しい答えを見た組 | 平均24ポイント高い（割合で約40%高い） |
| 95%以上正しい答えを見た組 | 平均25ポイント高い |
| 3組まとめて | 平均約20ポイント高い |
| 見た答えが正しかった問題 | 約35ポイント上がった |
| 見た答えが間違っていた問題 | 約20ポイント下がった |
出典：ナバ「Helping the Helpers」（2026-03-13）
正しい答えは難しい問題でいちばん役に立ちました。間違った答えは、やさしい問題とふつうの問題で正答を下げました。報告書は、相談員が自分の正しい答えを疑ったためかもしれない、と書いています。
ナバは、自社の質問箱が2025年秋の時点で「85〜90%正しい」組に当たり、比べたほかの言語モデルより良かったと書いています。
2つ目は、実際の仕事での試験です。2025年3月11日から6月11日まで、ロサンゼルス郡の6つの団体の相談員61人が参加しました。団体ごとに半分にAIを渡し、残りはいつもどおり働きました。組分けは各団体の管理職が決め、くじではありません。
| 📊 試験2（61人・3か月） | 結果 |
|---|---|
| AIを渡された人のうち使った人 | 31人中20人（65%） |
| 質問の数 | 271件（1人平均14件、真ん中の人で11件） |
| 使う量の動き | 週を追って減った |
| ほかの人に勧めたいか（NPS） | 11（答えた18人のうち勧めたい人は40%） |
| 仕事の負担の変化 | 両方の組で少し動いたが、統計でははっきりしなかった |
| 答えの読みやすさ | 米国の高校生（10〜12年生）向けほどの難しさ。読むのに平均約31秒 |
出典：ナバ「Helping the Helpers」（2026-03-13）
| 📢 公表されている説明 | ⚠️ 確認できていない点 |
|---|---|
| AIで相談員の正答が平均40%上がると見込む | 本物の質問箱で、試験1と同じ試験をした結果 |
| ナバの質問箱は「85〜90%正しい」組に当たる | どの問題で、どう測ったか。比べたモデルの名前 |
| 相談員は調べる手間が減ったと話した | 数字の差は統計ではっきりせず、何分減ったかは出ていない |
| 研究の詳しい結果は今後の論文で出す | 試験1の数字を、報告書の書き手のほかの人が確かめた記録 |
凡例：📢＝当事者が公表している説明 ⚠️＝出典に書かれておらず、こちらで確認できていない点
出典：ナバ「Helping the Helpers」（2026-03-13）・事例ページ（2026-03-18）
会社の人事や総務で、休みや手当の決まりについて社員の質問に答える仕事は、相談員の仕事と似ています。答えをAIに下書きさせるなら、試験1と同じように、AIが正しいときと間違っているときに分けて、担当者の正答がどう動くかを測れます。
保険や通信の会社で、料金や契約の決まりを電話で案内する窓口では、AIの答えを見せる質問を難しいものに絞る方法があります。試験1の、問題の難しさごとの結果に沿ったやり方です。
道具を配ったあとの使われ方も試験2のように週ごとに数えておくと、研修や声かけがいる場所が分かります。
試験1の数字は作った答えでのもので、本物の質問箱で同じ試験をした結果は、まだ出ていません。試験2は本物の質問箱を使いましたが、負担の変化は統計でははっきりしませんでした。
