記述問題の信頼性の検討-同じ日本語学習者の異なる種類の作文は同様に評価されるか-

检查简答题的可靠性 - 同一日语学习者所写的不同类型的论文是否受到类似的评估？

• 批准号: 17652050
• 负责人: 村上 京子
• 金额: $ 0.51万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2006
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-17652050/
• 关键词: 日本語教育; 書く能力; 評価; 信頼性; 記述問題; holistic評価; analystic評価; 語彙; 日本留学試験

作文を使って「書く能力(Writing ability)」を評価する際に、その得点に関して誤差要因として働くものとして、書き手(writer)、題目(topic)、形式(mode)、時間制限(time-limit)、テスト状況(examination situation)、評定者(rater)および、評価の方法や観点、その配点などがあげられる。日本語学習者の書く能力を評価する際に、その信頼性に影響を与えると考えられるこれらの要因に関して実証的に検討する研究会を立ち上げ、多方面から検討を行ってきた。異なるトピックについて書いた同一学習者の作文を独立に評価したとき、トピック問の相関は日本人を対象にした結果に比べれば高い相関係数が得られたが、選抜試験として用いるためには必ずしも十分な信頼性が得られなかった。さらに異なる文の種類に関しても、同一学習者に両方のタスクを与え、比較を行った結果、相関係数が0.6程度であった。このことから、一方の作文の評価から他方を予測するには、誤差が大きく、問題があることを指摘した。さらに、大学での勉学生活では意見文のみならず、参考図書など長い文を読んで要約文を香いたり、図や表の説明を書いたり、実験の手順を書く等、さまざまな文章を書くことが求められる。試験の波及効果を考えたとき、意見文のみを書かせる固定した方法にも問題があることを示した。研究会では、日本留学試験の記述問題に限らず、図の説明文など大学の勉学の中で要求される文章も取り上げ、評価の揺れに関する条件に関して、多くのデータに基づき分析を行った。同じ作文を全体的総合評価で1つの得点で評価したとき、評価者間の不一致の原因が把握できず、トレーニングによって一致させることが困難であった。また観点別分析評価のなかのいくつかの観点とは関連性が高いが、合計点とは必ずしも一致しないことを指摘した。意見文と説明文に関して、語彙や文の構造などの側面から作文の評価との関連性を追及し、いずれも客観的指標との相関は必ずしも高くなく、評価に影響を及ぼす質的側面を指標化するためにはさらに検討が必要であることがわかった。

当使用论文评估“写作能力”时，在分数中发挥作用的错误因素包括作者，主题，模式，时间限制，考试情况，评估者，评估方法，观点及其分数。在评估日语学习者的写作能力时，我们建立了一个研究小组，该研究小组凭经验研究了这些因素，这些因素被认为会影响其可靠性，并进行了各种考虑。当对撰写有关不同主题的同一学习者撰写的论文进行了独立评估时，与日本人相比，获得了主题问题的相关系数，但不一定足以用作选择测试。此外，对于不同的句子类型，两个任务均已对同一学习者进行，并进行了比较，相关系数约为0.6。由此，我们指出，从一个组成的评估中预测另一个时，存在很大的错误，并且存在问题。此外，在您的大学学习中，您不仅需要写意见，而且还需要写各种句子，例如阅读长句子，例如参考书和鼓舞人心的摘要句子，撰写图表和表格的解释以及实验的写作程序。在考虑测试的连锁反应时，还表明固定方法只有意见存在问题。研究小组不仅涵盖了日本在国外研究检查的书面问题，还包括大学研究期间所需的文本，并分析了基于大量数据的评估条件。当对总体总体评估评估相同的组成并以一个分数评估时，很难掌握评估者之间差异的原因，并且很难通过训练匹配。他还指出，尽管在特定于特定的分析评估中，它与某些方面高度相关，但不一定与总分相匹配。关于意见和解释，我们研究了诸如词汇和句子结构等方面的论文评估之间的关系，并发现在任何一种情况下，与客观指标的相关性不一定很高，并且需要进一步考虑来索引影响评估的定性方面。

项目成果

作文を対象としたholistic評価とanalytic評価

论文的整体和分析评估

• 发表时间: 2007
• 期刊: 科学研究費補助金研究成果報告書
• 作者: Hiroe;Akira;廣江 顕;Akira Hiroe;廣江顕;Akira Hiroe;Akira Hiroe;廣江 顕;三国 純子・小森 和子;小山 真理・伊集院 郁子;小山 真理;三國 純子;村上京子
• 通讯作者: 村上京子

作文の評価とその関連要因

论文评价及相关因素

• 发表时间: 2007
• 期刊: 大学における日本語教育の構築と展開(藤原雅憲他編)(ひつじ書房)
• 作者: Hiroe;Akira;廣江 顕;Akira Hiroe;廣江顕;Akira Hiroe;Akira Hiroe;廣江 顕;三国 純子・小森 和子;小山 真理・伊集院 郁子;小山 真理;三國 純子;村上京子;村上京子
• 通讯作者: 村上京子