Translation as a language testing procedure: Does it work?

Buck, G. (1992). Translation as a language testing procedure: Does it work? Language Testing, 9(2), 123-148.

Buck（1992）はKlein-Braley（1987）の研究を引用し、訳テストがテスト方法として妥当な手法ではないことの理由を3点あげた。1つめの理由は、第2言語能力が高い学習者であってもよい訳ができるとは限らない。訳すという能力はもちろん高度な第2言語（L2）能力と第1言語（L1）能力を必要とはするが、正確な通訳や訳ができるようになるにはトレーニングが必要であり、訳すこととL2能力とは別の能力であると考えられる。２つめの理由は、訳テストは採点者を要す一種のパフォーマンステストであり、採点者の採点結果は必ずしも同一にならなく、一貫性に欠け、信頼性に問題がある。３つめの理由は、訳テストとはクローズ（cloze）テスト同様、一つの項目でいくつかの能力を測定する統合的（integrative）テストであり、いくつもの項目の集合体で一つの構成概念を測定する部分的測定（discrete-point）テストとは異なり、テストの妥当性を検証することが困難である。そして、訳テストの妥当性を検証するため、121名の日本人英語学習者に同じ内容のテキストから統合的項目であるクローズと訳の項目をそれぞれ36問、2問と部分的測定項目である多岐選択式読解の項目を23問実施した。7人の採点者はトレーニングを行わず6件法で訳を採点した。結果、訳の採点の厳しさが異なり、採点結果が有意に異なったが、採点者間の得点の相関係数は高く、よって採点者間信頼性（inter-rater reliability）が高いということで、信頼性は高いという結果となった。また、3つのテスト得点の相関係数は高く、読解力を測定しているかは不明であるが、妥当性も高いと結んだ。