ブラジル南東部のエスピリトサント州は2019年、大学入試に使う全国試験の作文の練習で、生徒が作文を出すとその場でAIが直す点を返すサービス「レトルス(Letrus)」を公立高校110校に入れました。入れない68校とはくじ引きで分け、その年の本番の点を比べています。AIを入れた学校では、練習の作文が約3割増え、本番の作文の点は1000点中約17点上がりました。以下は、サンパウロの大学の経済学者が2021年にまとめた論文と、貧困対策の研究機関J-PALの紹介にもとづく内容です。
ブラジルの全国高校試験(ENEM)は、多くの大学が入試に使う試験です。作文は1000点満点で、公立と私立の生徒の点の差のうち、いちばん大きな部分を作文が占めています。作文の力を伸ばすには何度も書いて直してもらう必要がありますが、国語の先生は採点に長い時間を取られていました。
レトルスは、生徒が書いた作文から文章の特徴を言語処理で取り出し、学習したモデルで点を予測します。誤字やくだけた言い方などは、出したその場で返します。
州が選んだ公立高校178校(3年生約1万9000人)を、研究者がくじで3つの組に分けました。
レトルスを使う組では、1年間に5回、本番と同じ形の作文の練習を出しました。
左は論文とJ-PALの説明です。数字は、比べる組との差です。
| 公表されている結果 | こちらで確認できていないこと |
|---|---|
| 練習の作文は、比べる組の平均4.9本に対し、人の採点つきで1.4本(29%)、AIだけで1.6本(32%)多かった | 練習の数が増えたことと、点が上がったことの関係の強さ |
| 先生が生徒と1対1で作文について話した数は、どちらの組も約35%増えた | 先生が採点から浮いた時間を、実際に何に使ったかの記録 |
| 本番の作文の点は、どちらの組も1000点中約17点(0.09標準偏差)上がった。公立と私立の差の約9%にあたる | 大学に受かる人が増えたか |
| 先生が「時間がとても足りない」と答えた割合は、人の採点つきの組で23%から9%に下がった。AIだけの組ではほぼ変わらなかった | AIだけの組の先生の負担が、どこで増え、どこで減ったか |
人の採点者を足しても、点の伸びはほとんど変わりませんでした。J-PALの要約は、AIだけの組の先生は、ふだんの仕事を増やさずに採点の一部を自分で引き受けていた、と見ています。
その後、州は2022年に、AIだけの版を州の全3年生に広げると決めました。J-PALの2024年の紹介では、2020年からの利用者は10万人を超えています。
従業員100〜200人規模の信用金庫で、新人が書く稟議書や訪問の報告書を、先輩が1件ずつ赤ペンで直している職場に当てはまります。誤字や決まった書き方の抜けはAIにその場で返させ、新人には何度も書いて出してもらいます。先輩は、空いた時間で中身について1対1で話す形にできます。
エスピリトサント州は、入試の作文の練習にAIの添削を入れる学校と入れない学校をくじで分けて比べました。AIを入れた学校では、練習の作文が約3割、先生と1対1で話した作文が約35%増え、本番の点は1000点中約17点上がりました。ただ、試験は2019年の1年分で、大学に受かる人が増えたかはまだ分かっていません。