An examination to improve the degree of agreement among raters in the Japanese Language Reading Test

本年度は、国語の大学入試問題における記述式問題を対象に、「正答」、「誤答」、「無回答」の3段階の評価基準（解答類型）を用いて評価した際、評定者が能力評価にどのような影響を及ぼすかについて検討した。大学入試問題を基に作成された国語テスト（多肢選択式問題6問、求答形式問題1問、記述式問題7問）を高校2年生約300名に実施した。本研究で検討した設問は5つの記述式問題であった。評定については、著者及び評価の訓練を受けた2名の計3名の評定者が評価基準に従って回答を評価した。まず、段階的な評価基準（例えば、「正答」、「準正答」、「誤答」、「無回答」）で評定されたデータを、簡潔な評価基準（「正答」、「誤答」、「無回答」の3段階）のデータに変換した。次に、Fleissのκ係数を求め、3名の評価がどの程度一致しているかを検討した。簡潔な評価基準で評価した場合、3名の評定者の評価の一致度はかなりの一致からほとんど完全な一致となった。また、先行研究との比較から、段階的な評価基準で評価するよりも簡潔な評価基準で評価する方が、評定者間の一致度は高い値となった。段階的な評価基準では「準正答」があるため、例えば「準正答」と「誤答」の間で評価の判断が分かれるが、簡潔な評価基準では「準正答」がなく、「正答」以外は「誤答」に振り分けられることにより、評定者間の評価が一致しやすくなったと予想される。他方、求められる回答字数が多い設問（110字以内）では、先行研究との比較から、簡潔な評価基準で評価した場合でも、段階的な評価基準で評価した場合と一致度の値はあまり変わらなかった。回答字数が多い設問では、受験者の回答はより多様となり得る。そのため、簡潔な評価基準を用いた場合でも評定者の判断は難しくなり、評価が一致しにくくなったと推察される。

本年度は、国語の大学入試問題における記述式問題を対象に、「正答」、「誤答」、「無回答」の3段階の評価基準（解答類型）を用いて評価した際、評定者が能力評価にどのような影響を及ぼすかについて検討した。大学入試問題を基に作成された国語テスト（多肢選択式問題6問、求答形式問題1問、記述式問題7問）を高校2年生約300名に実施した。本研究で検討した設問は5つの記述式問題であった。評定については、著者及び評価の訓練を受けた2名の計3名の評定者が評価基準に従って回答を評価した。まず、段階的な評価基準（例えば、「正答」、「準正答」、「誤答」、「無回答」）で評定されたデータを、簡潔な評価基準（「正答」、「誤答」、「無回答」の3段階）のデータに変換した。次に、Fleissのκ係数を求め、3名の評価がどの程度一致しているかを検討した。簡潔な評価基準で評価した場合、3名の評定者の評価の一致度はかなりの一致からほとんど完全な一致となった。また、先行研究との比較から、段階的な評価基準で評価するよりも簡潔な評価基準で評価する方が、評定者間の一致度は高い値となった。段階的な評価基準では「準正答」があるため、例えば「準正答」と「誤答」の間で評価の判断が分かれるが、簡潔な評価基準では「準正答」がなく、「正答」以外は「誤答」に振り分けられることにより、評定者間の評価が一致しやすくなったと予想される。他方、求められる回答字数が多い設問（110字以内）では、先行研究との比較から、簡潔な評価基準で評価した場合でも、段階的な評価基準で評価した場合と一致度の値はあまり変わらなかった。回答字数が多い設問では、受験者の回答はより多様となり得る。そのため、簡潔な評価基準を用いた場合でも評定者の判断は難しくなり、評価が一致しにくくなったと推察される。