大量の英作文を採点し続ける教員の疲弊は、想像以上に深刻です。私自身、大学の非常勤講師をしている知人から「100枚の答案を採点し終わる頃には、もう文字を見るのも嫌になる」とこぼされたことがあります。もしその作業の一部を、ChatGPTのような生成AIに任せられるとしたら、どれほど教員の負担が軽くなるでしょうか。しかし同時に、AIによる採点がどこまで信頼できるのか、人間の教員と同じように公正に評価できるのかという疑問も当然出てきます。この論文は、まさにその問いに実証的なデータで答えようとした研究です。
著者はFatih Yavuz(トルコ・ムダンヤ大学準備学部)、Özgür Çelik、Gamze Yavaş Çelik(ともにバルケシル大学外国語学部)の3名で、2024年にオンライン公開され British Journal of Educational Technology 誌(2025年、56巻1号)に正式収録されました。トルコの大学で英語準備教育に携わる実務者としての視点が随所に感じられる、実践性の高い研究です。
自動採点研究の系譜のなかで
エッセイ採点を自動化しようという試みは、実は1960年代のProject Essay Graderにまで遡る長い歴史を持っています。その後、e-raterやIntelliMetricといった商用システムが登場し、統計的手法や機械学習を用いた自動エッセイ評価(Automated Essay Scoring、AES)の研究が積み重ねられてきました。近年ではCNN(畳み込みニューラルネットワーク)を用いた深層学習ベースの手法が、従来のサポートベクターマシンを用いた手法よりも高い性能を示すことが報告されています(Shin & Gierl, 2021)。しかしHussein et al.(2019)が指摘するように、深層学習ベースのシステムは、人間の採点者ほど文章の内在的な質―たとえば複雑な論理構成や修辞的な巧みさ―を捉えきれないという弱点も抱えていました。
そこに登場したのが、ChatGPTやBard(現在のGemini)といった生成AI、いわゆる大規模言語モデル(LLM)です。これらは特定の採点タスクのために訓練されたシステムではなく、汎用的な言語生成能力を持つツールですが、プロンプト次第で様々なタスクに応用できる柔軟性を持っています。Mizumoto and Eguchi(2023)はGPT-3による自動採点が一定の正確性と信頼性を持つことを示し、Khademi(2023)はChatGPTとBardの信頼性を人間の採点者と比較しましたが、いずれのAIも人間より信頼性が低いという結果を報告していました。著者たちは、この先行研究群にはいくつかの明確な欠落があると指摘します。多くの研究は旧世代のモデル(GPT-2やGPT-3)を対象にしており、比較対象となる人間の採点者の人数も1人か2人と極めて少ない。さらに、ルーブリック(評価基準表)に基づく採点の信頼性・妥当性を検証した研究や、AIの「温度」(temperature、出力のランダム性を制御するパラメータ)に着目した研究はほとんど存在しませんでした。この隙間を埋めることが、本研究の狙いです。