研究を読む前に、研究の作られ方を知る
論文を読むとき、私たちはたいてい結果に目を向けます。何が明らかになったのか、どんな効果があったのか。しかし、その結果が信用できるかどうかは、どうやって測ったかに大きく依存します。測定の道具が粗ければ、どれほど精密な統計を用いても、出てくる数字は当てになりません。
発音研究の場合、この問題はとりわけ深刻です。話し手の発音がどれだけ聞き取りやすいか、どれだけ訛りが強いかは、機械で測れるものではありません。人間が聞いて判断するしかない。その判断を数値化する尺度が、研究の土台になります。
では、その尺度はきちんと作られているのでしょうか。信頼できる判断が得られているのでしょうか。この問いに、正面から取り組んだ研究があります。
Maria Kostromitina、Ekaterina Sudina、Eman Baghlaf の三氏が Studies in Second Language Acquisition に発表した “Study and instrument quality in perception-based L2 pronunciation research: A methodological synthesis” は、四十六年分の研究を対象に、測定の質を体系的に点検したものです。