記述問題の信頼性の検討-同じ日本語学習者の異なる種類の作文は同様に評価されるか-

作文を使って「書く能力(Writing ability)」を評価する際に、その得点に関して誤差要因として働くものとして、書き手(writer)、題目(topic)、形式(mode)、時間制限(time-limit)、テスト状況(examination situation)、評定者(rater)および、評価の方法や観点、その配点などがあげられる。日本語学習者の書く能力を評価する際に、その信頼性に影響を与えると考えられるこれらの要因に関して実証的に検討する研究会を立ち上げ、多方面から検討を行ってきた。異なるトピックについて書いた同一学習者の作文を独立に評価したとき、トピック問の相関は日本人を対象にした結果に比べれば高い相関係数が得られたが、選抜試験として用いるためには必ずしも十分な信頼性が得られなかった。さらに異なる文の種類に関しても、同一学習者に両方のタスクを与え、比較を行った結果、相関係数が0.6程度であった。このことから、一方の作文の評価から他方を予測するには、誤差が大きく、問題があることを指摘した。さらに、大学での勉学生活では意見文のみならず、参考図書など長い文を読んで要約文を香いたり、図や表の説明を書いたり、実験の手順を書く等、さまざまな文章を書くことが求められる。試験の波及効果を考えたとき、意見文のみを書かせる固定した方法にも問題があることを示した。研究会では、日本留学試験の記述問題に限らず、図の説明文など大学の勉学の中で要求される文章も取り上げ、評価の揺れに関する条件に関して、多くのデータに基づき分析を行った。同じ作文を全体的総合評価で1つの得点で評価したとき、評価者間の不一致の原因が把握できず、トレーニングによって一致させることが困難であった。また観点別分析評価のなかのいくつかの観点とは関連性が高いが、合計点とは必ずしも一致しないことを指摘した。意見文と説明文に関して、語彙や文の構造などの側面から作文の評価との関連性を追及し、いずれも客観的指標との相関は必ずしも高くなく、評価に影響を及ぼす質的側面を指標化するためにはさらに検討が必要であることがわかった。

作文を使って「書く能力(Writing ability)」を評価する際に、その得点に関して誤差要因として働くものとして、書き手(writer)、題目(topic)、形式(mode)、時間制限(time-limit)、テスト状況(examination situation)、評定者(rater)および、評価の方法や観点、その配点などがあげられる。日本語学習者の書く能力を評価する際に、その信頼性に影響を与えると考えられるこれらの要因に関して実証的に検討する研究会を立ち上げ、多方面から検討を行ってきた。異なるトピックについて書いた同一学習者の作文を独立に評価したとき、トピック問の相関は日本人を対象にした結果に比べれば高い相関係数が得られたが、選抜試験として用いるためには必ずしも十分な信頼性が得られなかった。さらに異なる文の種類に関しても、同一学習者に両方のタスクを与え、比較を行った結果、相関係数が0.6程度であった。このことから、一方の作文の評価から他方を予測するには、誤差が大きく、問題があることを指摘した。さらに、大学での勉学生活では意見文のみならず、参考図書など長い文を読んで要約文を香いたり、図や表の説明を書いたり、実験の手順を書く等、さまざまな文章を書くことが求められる。試験の波及効果を考えたとき、意見文のみを書かせる固定した方法にも問題があることを示した。研究会では、日本留学試験の記述問題に限らず、図の説明文など大学の勉学の中で要求される文章も取り上げ、評価の揺れに関する条件に関して、多くのデータに基づき分析を行った。同じ作文を全体的総合評価で1つの得点で評価したとき、評価者間の不一致の原因が把握できず、トレーニングによって一致させることが困難であった。また観点別分析評価のなかのいくつかの観点とは関連性が高いが、合計点とは必ずしも一致しないことを指摘した。意見文と説明文に関して、語彙や文の構造などの側面から作文の評価との関連性を追及し、いずれも客観的指標との相関は必ずしも高くなく、評価に影響を及ぼす質的側面を指標化するためにはさらに検討が必要であることがわかった。