Concrete standard setting for contents of utterance in oral summary tasks

2021年度報告で示した推進方策では，データの収集・採点等を2022年度中に完了させることと，採点（評価）データの分析を始めることを予定していたが，1次データのデータ収集及び評価は完了した。欠損や音質の悪いデータを除いた64名のデータを研究協力者2名を含め，英語教育を専門とする大学教員3名が発話内容の観点でパフォーマンスを大まかに4分割し，その情報及びコメントを元に記述子（質問形式）をつけるというTurner and Upshur (1996)のEBB（empirically derived, binary-choice, boundary-definition）scaleの作成手法に則った方法でルーブリックの作成を行った。その後Fulcher (2011) によるPerformance Decision Treeの記述に近い形式に修正し，現在正式な第1回目の評価（申請時点で評価者5名）を行っている段階にある。また，妥当性の検証を行う上で使用するMany-Facet Rasch Measurement (MFRM) について，最新の手法であるUto and Ueno (2020) によるGeneralized MFRM を用いた分析が本研究にも応用可能であるかを検証するため，過去の研究で収集したデータを用い，Generalized MFRMのを用いる利点が大きいと判断した。本研究のように少ないサンプルでも安定したパラメーターの推定が可能であると判断したため，今後の分析ではモデルが複雑にならない場合（3相：Student×Rater×Task，あるいはStudent×Rater×Item: この場合のItemはルーブリックの種類）には上記のモデルを使用して分析を行いたい。一方，4相以上のモデルで分析を行う場合は従来のモデルを使用する場合があると考えている。以上のように，データの収集・評価は順調に進んでおり，分析手法についても方針が確定した。

2021年度報告で示した推進方策では，データの収集・採点等を2022年度中に完了させることと，採点（評価）データの分析を始めることを予定していたが，1次データのデータ収集及び評価は完了した。欠損や音質の悪いデータを除いた64名のデータを研究協力者2名を含め，英語教育を専門とする大学教員3名が発話内容の観点でパフォーマンスを大まかに4分割し，その情報及びコメントを元に記述子（質問形式）をつけるというTurner and Upshur (1996)のEBB（empirically derived, binary-choice, boundary-definition）scaleの作成手法に則った方法でルーブリックの作成を行った。その後Fulcher (2011) によるPerformance Decision Treeの記述に近い形式に修正し，現在正式な第1回目の評価（申請時点で評価者5名）を行っている段階にある。また，妥当性の検証を行う上で使用するMany-Facet Rasch Measurement (MFRM) について，最新の手法であるUto and Ueno (2020) によるGeneralized MFRM を用いた分析が本研究にも応用可能であるかを検証するため，過去の研究で収集したデータを用い，Generalized MFRMのを用いる利点が大きいと判断した。本研究のように少ないサンプルでも安定したパラメーターの推定が可能であると判断したため，今後の分析ではモデルが複雑にならない場合（3相：Student×Rater×Task，あるいはStudent×Rater×Item: この場合のItemはルーブリックの種類）には上記のモデルを使用して分析を行いたい。一方，4相以上のモデルで分析を行う場合は従来のモデルを使用する場合があると考えている。以上のように，データの収集・評価は順調に進んでおり，分析手法についても方針が確定した。