オランダの27の自治体が使う、住民の質問に答えるチャットの窓口「ヘム」は、決まった答えに、AIで答えの文を作る仕組みを足しました。2026年10月14日の500問の試験では、10点満点で、決まった答えだけの元の版が7.76点、組み合わせた版が8.95点でした。ただ、これはヘムの担当者たちが作った試験の質問への採点で、住民が実際に使った結果ではありません。採点は約半分を言語モデル、残りを決まった規則が行い、その言語モデルはヘム2.0と同じものです。人による採点も、外の人による確かめも、まだありません。
ヘム（Gem）は、オランダの自治体が一緒に作っている住民向けの窓口のAIで、正式な名前は「バーチャル自治体アシスタント（Virtuele Gemeente Assistent）」です。製品の責任者はユトレヒト市にいます。27の自治体で、約280万人の質問に24時間答えています。
これまでのヘムは、7年かけて作った決まった答えの台本だけで答える仕組みでした。担当者たちは、この台本に、AIで答えの文を作る仕組みを足した「ヘム2.0」を作りました。2026年10月1日の集まりで出し、どの自治体も試せるようになりました。
ヘム2.0は、台本の答えが合うときは台本を使い、合わないときだけ言語モデルで答えの文を作ります。文を作るときは、情報源をもとにし、答えには出どころを付けます。
質問はいくつかのAIの係が受け、答えを返す、予約の仕組みにつなぐ、職員とのチャットに回す、のどれかに振り分けます。言語モデルは自分たちのサーバー「カール大帝（Karel de Grote）」で動かし、住民の個人の情報を外に出しません。
責任者は、台本の答えは質がよく頼れるうえ、よく聞かれる質問に毎回文を作るのは電気と計算の無駄だと話しています。そのため台本を残しています。
ヘムの担当者たちは毎週、1つの質問の束に3つの版それぞれで答えさせて採点し、結果を公開しています。3つの版は、台本だけの元の版、台本と生成を組み合わせた版、ウェブの情報から生成するだけの版です。今回は質問を286問から500問に増やしました。
| 📊 項目（10点満点） | 元の版（台本だけ） | 組み合わせの版 | 生成だけの版 |
|---|---|---|---|
| 重みづけの合計（500問） | 7.76 | 8.95 | 8.50 |
| 正しさ | 6.2 | 8.9 | 8.3 |
| よく聞かれる質問（116問） | 8.6 | 8.4 | 6.9 |
| めったに聞かれない質問（133問） | 5.8 | 8.8 | 8.7 |
| 長い話の中の質問（10問） | 4.2 | 9.4 | 8.9 |
出典：ヘムのウェブサイトの試験の報告（2026-10-14。測った自治体はユトレヒト市）。答えは10月12日の夜に集めました
採点は、正しさ、役に立つか、出どころが分かるか、短く分かりやすいかなど、7つの項目に重みをつけて行います。正しさが一番重く、全体の35%です。
よく聞かれる質問では、台本だけの元の版が一番高い点でした。めったに聞かれない質問や、長い話の中に質問がある場合は、生成を使う版のほうが高くなりました。
報告は、点のちがいが出た例も載せています。母親が亡くなり、遺品の中に旅券があった、という長い質問です。組み合わせの版は、悪用を防ぐために自治体へ返すよう答え、10点でした。生成だけの版は「家で持っていてもよい」と誤って答え、5点でした。
| 📢 公表されている説明 | ⚠️ 確認できていない点 |
|---|---|
| 組み合わせの版が8.95点で一番高い | 住民が実際に使ったときの満足や、職員への問い合わせの数 |
| 21,987の採点のうち11,082を言語モデルが採点した | 人が採点したときに同じ順番になるか |
| 採点の言語モデルはヘム2.0や生成だけの版と同じだが、前の試験で自分の答えをひいきしたとは示されなかった | ひいきがないと確かめた方法と数字 |
| 採点の決まりを直し、合計が7.60・8.31・7.81から今の点になった | 決まりを直す前と後のどちらが住民の受け止めに近いか |
| 前の週と同じ285問では、点はほぼ変わらない | ほかの自治体で測ったときの点 |
凡例：📢＝ヘムの担当者が公表している説明 ⚠️＝出典に書かれておらず、こちらで確認できていない点
出典：ヘムのウェブサイトの試験の報告（2026-10-14）。外の機関による確かめはありません。人による大きめの採点は、これから行うと報告は書いています
報告は、10月13日の版を差し替えたものです。外国語の質問の扱いなど3つの採点の決まりを直し、合計が変わりました。それぞれの答えへの判定は同じだと書いています。
マンションの管理会社で、住人の問い合わせに答える担当者なら、ゴミの日や駐車場の申し込みのような質問は今ある決まった答えで返し、決まった答えのない相談だけAIに文を作らせる形にできます。
学校の事務なら、「この書類はいつまでに出すか」のような保護者の質問は決まった答えで返し、家の事情を長く書いた相談には文を作らせて、出どころを付けます。
版を変えるときは、同じ質問の束で古い版と並べて採点し、質問の種類ごとに点を見ると、どこで良くなり、どこで悪くなったかが分かります。
ヘムの担当者は毎週の試験の結果をウェブサイトに載せ続けるとしています。2026年の目標は、開発に加わる自治体を40にすることです。
