論文体テストの運用の為の実証研究―測定論的課題の検証と評価データの分析法の開発―

<研究1:文章評価に伴う測定論的課題の検証と思考力テスト開発研究への応用>2011年には,実データを用いて小論文評価データの信頼性・妥当性・バイアス等の測定論的問題について定量的に評価した研究成果が「小論文評価データの統計解析」として行動計量学にて掲載された.測定論的問題について,制限字数等の試験の運用上に関わる諸要因を実験的に統制した研究は国内では極めて希少であったため,すでに,人事試験や入学試験に関わる試験の実務家からも多く参照される論文となっている.そして,知見の一般化の観点から他分野の小論文評価データの検討を進めることが,DC申請当初の目指す1つの方向性であったが,2010年から民間の研究者と共に,記述・論述式形式の問題を取り入れた思考力テスト(能力試験)の開発補助をしており,今後新たな事例報告を行う予定である.<研究2:文章評価の妥当性に関わる諸要因の影響力に関する相対的比較検討(シミュレーション研究)>評価や選抜の公正性に最も直結するのは妥当性であるが,それが担保される程度には,評定の信頼性も大きく影響する.また項目数,採点者数,採点回数,カテゴリ数の問題が関わってくる.このように,評価・選抜の妥当性に関わる要因は,信頼性の問題を中心に多義的であり,相対的にどの要因に関わる工夫を実践上優先すべきかは,未だ明確な指針が得られていないのが現状である.そこで,本研究では,主に妥当性係数と選抜の正判別率の観点から,評価と選抜の妥当性に影響する上記の諸要因の影響関係を網羅的に検証するための2種類のシミュレーション研究を行い,その成果を現在学会誌に投稿中である.<研究3:階層データにおけるサンプルサイズ決定の統一的議論>他にも,階層データにおける2群間の平均値差に関心がある場合に着目し,検定力および効果量の信頼区間幅の観点から必要なサンプルサイズを評価するための決定方法を,MRT型収集デザインとCRT型収集デザインの双方の場合を含めて統一的に議論した成果が,今年度教育心理学研究において掲載された.これらより,当初の予定であった追加事例の報告は十分ではなかったが,全体としては当初の予定よりも幅広い側面から測定論的問題と分析手法の検討を行うことができ,論文体テスト項目を含む試験開発に資する実際的な成果を得ることができた.

<研究1:文章評価に伴う測定論的課題の検証と思考力テスト開発研究への応用>2011年には,実データを用いて小論文評価データの信頼性・妥当性・バイアス等の測定論的問題について定量的に評価した研究成果が「小論文評価データの統計解析」として行動計量学にて掲載された.測定論的問題について,制限字数等の試験の運用上に関わる諸要因を実験的に統制した研究は国内では極めて希少であったため,すでに,人事試験や入学試験に関わる試験の実務家からも多く参照される論文となっている.そして,知見の一般化の観点から他分野の小論文評価データの検討を進めることが,DC申請当初の目指す1つの方向性であったが,2010年から民間の研究者と共に,記述・論述式形式の問題を取り入れた思考力テスト(能力試験)の開発補助をしており,今後新たな事例報告を行う予定である.<研究2:文章評価の妥当性に関わる諸要因の影響力に関する相対的比較検討(シミュレーション研究)>評価や選抜の公正性に最も直結するのは妥当性であるが,それが担保される程度には,評定の信頼性も大きく影響する.また項目数,採点者数,採点回数,カテゴリ数の問題が関わってくる.このように,評価・選抜の妥当性に関わる要因は,信頼性の問題を中心に多義的であり,相対的にどの要因に関わる工夫を実践上優先すべきかは,未だ明確な指針が得られていないのが現状である.そこで,本研究では,主に妥当性係数と選抜の正判別率の観点から,評価と選抜の妥当性に影響する上記の諸要因の影響関係を網羅的に検証するための2種類のシミュレーション研究を行い,その成果を現在学会誌に投稿中である.<研究3:階層データにおけるサンプルサイズ決定の統一的議論>他にも,階層データにおける2群間の平均値差に関心がある場合に着目し,検定力および効果量の信頼区間幅の観点から必要なサンプルサイズを評価するための決定方法を,MRT型収集デザインとCRT型収集デザインの双方の場合を含めて統一的に議論した成果が,今年度教育心理学研究において掲載された.これらより,当初の予定であった追加事例の報告は十分ではなかったが,全体としては当初の予定よりも幅広い側面から測定論的問題と分析手法の検討を行うことができ,論文体テスト項目を含む試験開発に資する実際的な成果を得ることができた.