日本人英語学習者を対象にした英語要約分析的評価尺度の開発

针对日本英语学习者的英语总结分析评估量表的开发

• 批准号: 22K13174
• 负责人: 加藤 万紀子
• 金额: $ 1.58万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K13174/
• 关键词: 英語要約文; 分析的評価尺度; 日本人英語学習者; 要約評価者; 英語教育; 外国語教育

英語要約ライティングは習得が困難であるためフィードバックを提供できる分析的評価尺度の使用が教育的に適している。しかし、項目評価の信頼性や妥当性、教育現場における実用性等の問題が残されている。本研究は、中上級英語学習者を対象にした先行研究が多かったことにも着目し、英語能力が多様な日本人英語学習者に対応できる英語要約文の分析的評価尺度の開発を目的としている。本科研実施１年目である2022年度は以下２つを実施した。1. 予備研究初中級英語学習者が作成した英語要約文をMain Idea Coverage（適切なメイン・アイディアの選別の有無）、Integration（論理的な情報凝集の有無）、Language Use（文法・語彙の誤用の有無）、Source Use（パラフレーズの有無・内容の正確性）の４項目から成る既存の尺度を用いて３名の評価者が評価を行ったスコアを、多変量一般化可能性理論を用いて、主に評価尺度の妥当性と実用性の検証を行った。その結果、MICとINTはほぼ同じ概念を測定する項目であること、そして実用性および信頼性に関してはLUとSUの評価の信頼性が低く、十分な評価者間の信頼性を確保するためには最低でも４人以上の評価者が必要であるなど残された課題が報告された。２. 評価者訓練および評価者からの評価に関する定量的・定性的データ分析本研究に備え、CEFR A1からC1レベルの日本人英語学習者から２種類の英文テキストの要約文データを収集した。そして、予備研究から得られた分析結果をもとに、母語や英語教授経験年数などが異なる7名の評価者を採用し、評価者訓練を実施した。評価の際には、上記のINT、LU、SUの3つの評価項目を使用し、評価者からは定量的データのほか、インタビューと質問紙を用いて評価が困難な点や分析的評価尺度構築に向けた意見を定性的データとして収集し分析を行った。

English is difficult to learn and difficult to analyze. The evaluation scale is suitable for education. Problems such as reliability and appropriateness of project evaluation and practicality of education site are still unresolved. The purpose of this study is to explore the evaluation criteria for English writing among Japanese learners of English. This research has been carried out for 1 year and 2022 for the following 2 years. 1. Main Idea Coverage for Junior English Learners (Appropriate information·Language Use (grammar, misuse of words, legitimacy of content), Language Use (grammar, misuse of words, legitimacy of content), 4 items, 4 existing criteria, 3 evaluators, evaluation, evaluation. The results of this project are based on the same concepts as MIC and INT. In addition, due to the low reliability of LU and SU's reviews and the high reliability among reviewers, this project report is based on the fact that a minimum of 4 reviewers is necessary to ensure the credibility of LU and SU's reviews. 2. This study aims to collect the data of two types of English language training for Japanese English learners who are trained by CEFR A1 and CEFR C1. The number of years of teaching in English and Chinese varies greatly from one to another. The evaluation of INT, LU, SU and other evaluation items, the evaluation of quantitative data, the evaluation of technical problems, the evaluation of analytical criteria, the evaluation of qualitative data collection analysis

项目成果

Examining the Dependability and Practicality of Analytic Rubric of Summary Writing Using Multivariate Generalizability Theory: Focusing on Japanese University Students with Lower-Intermediate Proficiency in English

用多元泛化理论检验摘要写作分析量规的可靠性和实用性——以英语中低水平的日本大学生为中心

• DOI: 10.5539/elt.v15n9p82
• 发表时间: 2022
• 期刊: English Language Teaching
• 作者: Xethakis;L;& Rupp;M.;単艾テイ;単艾テイ;単艾テイ;Richard Miles;Richard Miles;Richard Miles;Makiko Kato
• 通讯作者: Makiko Kato

A Survey of Japanese Learners of English with Diverse Proficiencies: What Makes Summary Assessment Difficult?

对不同水平的日本英语学习者的调查：是什么让总结评估变得困难？

• 发表时间: 2023
• 作者: Xethakis;L;& Rupp;M.;単艾テイ;単艾テイ;単艾テイ;Richard Miles;Richard Miles;Richard Miles;Makiko Kato;Makiko Kato
• 通讯作者: Makiko Kato

Investigation of Diverse Raters' Awareness and Strategy Use in Assessing Summary

评估摘要中不同评估者意识和策略使用的调查

• 发表时间: 2023
• 作者: Adamson;A.;& Muller;T.;Makiko Kato
• 通讯作者: Makiko Kato