英国政府は、国民から意見を集める「意見募集」を行います。政府の中でAIの道具を作る部署、i.AI（Incubator for Artificial Intelligence）は、届いた自由記述の回答を生成AIで論点に振り分ける道具「コンサルト（Consult）」を作りました。i.AI の評価報告書（2025年8月27日）によると、雇用年金省の意見募集で、1件を1人で確かめた7万738件のうち、確認する人がAIの振り分けを直さなかった回答は73%でした。2人が同じ回答を別々に確かめた1万7000件では、2人の振り分けが一致したのは65%でした。
意見募集は1年に約600件あり、10万件を超える回答が届くものもあります。分析には公務員の何十万時間もの手間がかかるか、外の会社に費用を払って頼んでいます。
これまでの分析では、まず一部の回答を読んで、よく出る論点を決めます。次に、担当の人たちが論点の意味をそろえる練習をしてから、すべての回答を読み、それぞれに論点を付けます。最後に、論点ごとの件数をまとめます。
コンサルトの手順は3つです。
結果は画面にまとまり、政策の担当は論点ごとの件数を見たり、元の回答を読んだりできます。i.AI は道具のプログラムをすべて、誰でも使える形で公開しています。
今回の評価は雇用年金省の障害・病気の給付と就労支援の見直しについての意見募集で行いました。雇用年金省が締め切りのあとに全件の分析にコンサルトを使うかを決めるためです。
評価は2段で行い、全部で125人が確かめました。最初の段では17の質問ごとに1000件ずつを、1件につき2人が別々に確かめ、人どうしの一致を測りました。次の段では質問ごとに最大5000件を、1件につき1人が確かめました。どちらの段でも、確認する人はAIの振り分けを画面で見て、要るところだけ直しました。2つの段のあいだに、政策の専門家が論点の一覧にさらに意見を出しています。
| 👥 比べたもの | 件数 | 振り分けが同じだった回答 | 一致の点数（F1、最高1） |
|---|---|---|---|
| 人と人（2人が別々に確認） | 1万7000件 | 65% | 0.710 |
| AIと人（1人が確認） | 7万738件 | 73% | 0.816 |
| AIと人（締め切り後の抜き取り） | 3400件 | 73% | 0.849 |
出典：報告書の表3・表9。一致の点数は、確認した人の振り分けを答えとして、余計に付けた論点と付け忘れた論点の両方を数えて回答ごとに出し、平均したものです。
続けて確かめた回答を開いた時刻の間隔で測ると、1件の確認にかかった時間の中央値は19秒で、78%は1分未満でした。
確認する人は、AIが付けなかった論点を1万9047件足し、AIが付けた論点を6498件外しました。AIは人より論点を少なめに付ける傾向がありました。よく出る論点（回答の5%以上に付いたもの）の順位は、AIの振り分けと人の振り分けで平均0.5位しか変わりませんでした。
障害があると答えた人とないと答えた人で、AIと人の一致に差は見られませんでした。一方、外部のサイトの呼びかけで届いた回答では、2人が確かめた段でのAIと人の一致の点数は約0.46と0.42で、人どうしの約0.48をやや下回りました。
| 📢 公表されている説明 | ⚠️ こちらで確認できていないこと |
|---|---|
| AIの振り分けを直さなかった回答が73%で、人どうしの一致65%を上回った | 確認する人がAIの案を先に見て、どれだけ引っぱられたか。 2つの段のあいだに、論点の一覧がどれだけ変わったか |
| 1件の確認の中央値は19秒 | 人だけで全件を読んだ場合と比べて、時間と費用がどれだけ減ったか |
| 評価は、全件の分析に使う判断を支える | 雇用年金省が実際に全件の分析に使ったかと、その結果 |
| 論点の順位はほとんど変わらない | 件数の少ない論点（5%未満）での違い |
| 評価はi.AIが行った | 外の人による確かめ |
凡例：📢＝当事者が公表している説明 ⚠️＝出典に書かれておらず、こちらで確認できていない点
出典：i.AI「Consult Evaluation: DWP’s Pathways to Work consultation」（2025年8月27日）
マンションの管理会社で、大規模修繕や管理規約の見直しの前に住民から集めるアンケートの自由記述を読み、理事会への報告にまとめる担当にも使えます。まず、AIに論点の候補を出させ、担当が採否を決めて一覧を固めます。そのあと、各回答をAIに論点へ振り分けさせ、担当は直すところだけ直します。最初の100件ほどは2人が別々に振り分けて人どうしの一致を測り、AIと人の一致がそれを下回らないかを見てから全件に使います。理事会には、論点ごとの件数より、どの論点が多いかの順位を伝えます。
i.AI は、意見募集の回答を生成AIで論点に振り分ける道具を作り、雇用年金省の意見募集で125人が8万7738件の振り分けを確かめました。1件を1人で確かめた7万738件では、AIの振り分けを直さなかった回答が73%で、2人の振り分けが一致した65%を上回りました。1件の確認にかかった時間は中央値19秒でした。人だけで分析した場合と比べて、時間や費用がどれだけ減ったかの数字は出ていません。
