An examination to improve the degree of agreement among raters in the Japanese Language Reading Test

提高日语阅读考试评价者的一致度的考试

• 批准号: 22K03068
• 负责人: 安永 和央
• 金额: $ 2.66万
• 依托单位: International Pacific University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K03068/
• 关键词: 国語テスト; 大学入試; 記述式問題; 評定者; 評価基準; 解答類型; 一致度; 国語科試験問題; 記述式テスト; 評価の一致度

本年度は、国語の大学入試問題における記述式問題を対象に、「正答」、「誤答」、「無回答」の3段階の評価基準（解答類型）を用いて評価した際、評定者が能力評価にどのような影響を及ぼすかについて検討した。大学入試問題を基に作成された国語テスト（多肢選択式問題6問、求答形式問題1問、記述式問題7問）を高校2年生約300名に実施した。本研究で検討した設問は5つの記述式問題であった。評定については、著者及び評価の訓練を受けた2名の計3名の評定者が評価基準に従って回答を評価した。まず、段階的な評価基準（例えば、「正答」、「準正答」、「誤答」、「無回答」）で評定されたデータを、簡潔な評価基準（「正答」、「誤答」、「無回答」の3段階）のデータに変換した。次に、Fleissのκ係数を求め、3名の評価がどの程度一致しているかを検討した。簡潔な評価基準で評価した場合、3名の評定者の評価の一致度はかなりの一致からほとんど完全な一致となった。また、先行研究との比較から、段階的な評価基準で評価するよりも簡潔な評価基準で評価する方が、評定者間の一致度は高い値となった。段階的な評価基準では「準正答」があるため、例えば「準正答」と「誤答」の間で評価の判断が分かれるが、簡潔な評価基準では「準正答」がなく、「正答」以外は「誤答」に振り分けられることにより、評定者間の評価が一致しやすくなったと予想される。他方、求められる回答字数が多い設問（110字以内）では、先行研究との比較から、簡潔な評価基準で評価した場合でも、段階的な評価基準で評価した場合と一致度の値はあまり変わらなかった。回答字数が多い設問では、受験者の回答はより多様となり得る。そのため、簡潔な評価基準を用いた場合でも評定者の判断は難しくなり、評価が一致しにくくなったと推察される。

This year は, mandarin の university into the test problem に お け る account type problem を like に seaborne, "is a", "miss a" and "no answer" の three order の review 価 benchmark (answer type) を い て review 価 し た interstate, PingDingZhe が ability evaluation 価 に ど の よ う な influence を and ぼ す か に つ い て beg し 検 た. The university entrance examination questions are based on に and are composed into された mandarin テスト (6 multiple-choice 択 questions, 1 question-and-answer form question, and 7 descriptive questions) を about 300 second-year college students に actually participated in the た. This study で検 discusses the た and poses a question で検 5 た and a descriptive question であった. Assess に つ い て は, author and び 価 の training を by け た 2 の meter three の PingDingZhe が benchmark review 価 に 従 っ て answer を review 価 し た. ま ず, Duan Jie な review 価 benchmark (example え ば, "is a", "a", "false answer", "no answer") evaluation さ で れ た デ ー タ を, concise な 価 benchmark (" a ", "miss a", "no answer" の 3 paragraph order) の デ ー タ に variations in し た. Then に, the Fleiss <s:1> κ coefficient を is used to find め, three <s:1> evaluate 価が <s:1>, the degree of each <s:1> is consistent, <s:1> て る る を検 seek た. Concise な assessment benchmark 価 で assessment 価 し た occasions, three の PingDingZhe の review 価 の consistency は か な り の consistent か ら ほ と ん ど な completely consistent と な っ た. ま た, leading research と の is か ら, Duan Jie な assessment benchmark 価 で assessment 価 す る よ り も concise な assessment benchmark 価 で assessment 価 す る が, PingDingZhe の the consistency between high は い numerical と な っ た. Duan Jie な review 価 benchmark で は "is a" が あ る た め, example え ば と "is a" false answer "で evaluation between の 価 の judgment が points か れ る が, concise な evaluation benchmark 価 で は" is a "が な く," is a "は" miss a "vibration に り points け ら れ る こ と に よ り, PingDingZhe の review 価 が consistent し や す く な っ た と to think さ れ る. Fang, o め ら れ る answer が い inquiry more words (110 characters) で は, leading research と の is か ら, concise な assessment benchmark 価 で assessment 価 し た occasions で も, Duan Jie な assessment benchmark 価 で assessment 価 し た occasions と consistency の numerical は あ ま り - わ ら な か っ た. The number of words in the answer is が. The question is で. The subject answers が よ. The number of answers とな. The answer is る. そ の た め, concise な evaluation benchmark 価 を with い た occasions で も PingDingZhe の judgment は difficult し く な り, review 価 が consistent し に く く な っ た と push examine さ れ る.

项目成果

大学入学者選抜試験における「入試ミス」の検討―入試ミスの種類・発見者・合否への影響に着目して―

高考“高考失误”审视——重点关注高考失误的类型、是谁发现的、以及其对成败的影响——

• 发表时间: 2022
• 作者: 田邊素子・庭野賀津子;椎名乾平;椎名乾平;椎名乾平;椎名乾平;椎名乾平;吉武尚美・菅原ますみ・松本聡子・斎藤彩・坂田侑奈;吉田琢哉・吉澤寛之;渡部麻美;渡部麻美;安永和央
• 通讯作者: 安永和央

心理尺度作成ガイドラインの開発 ―尺度作成の流れを踏まえての検討―

制定心理量表制作指南 - 基于量表制作流程的考虑 -

• 发表时间: 2022
• 作者: 神田陽治;白坂一;坪田彩乃・石井秀宗・荒井清佳・安永和央・寺尾尚大
• 通讯作者: 坪田彩乃・石井秀宗・荒井清佳・安永和央・寺尾尚大