項目反応理論に基づくパフォーマンス評価フレームワークの開発と実証実験

点击翻译按钮获取中文摘要

パフォーマンス評価の信頼性を改善する手法の一つとして，評価者のバイアスを取り除いて受検者の能力を推定できる項目反応モデルが知られている．しかし，このような項目反応モデルを現実の試験で継続的・効果的に運用するためにはいくつかの問題が残る．本研究では，このような項目反応モデルを継続的・効果的に運用するための手法群として，1）適切な評価デザインの自動設計手法，2）項目反応モデルから得られる様々な統計情報に基づく分析レポートの自動生成手法，3）補助情報を活用したモデル・パラメータ推定精度改善手法，を開発するとともに，それらを統合した評価フレームワークの開発を目指す．この目標に対し，令和4年度には，令和3年度に開発した各要素技術を発展させた．1）については，令和3年度に検討した医療系大学間共用試験OSCEの適切な評価者割当デザインに従ったデータを利用し，項目反応モデルの適用実験を行った．分析結果は，医療系大学間共用試験の試験信頼性妥当性検討委員会と全国説明会で報告した．２）に関しては，項目反応理論と大規模言語モデルの様々な統合技術を開発し，項目反応モデルの解釈とその言語的な説明について検討を進めた．研究成果は，電子情報通信学会論文誌に掲載され，言語処理分野の難関国際会議COLINGにもフルペーパで採択された．また，教育システム情報学会 論文賞・全国大奨励賞，日本テスト学会 大会発表賞などを受賞した．3）については，評価者特性に加えて，ルーブリックやテスト問題の特性も考慮して多次元的な尺度上で受験者の能力を評価できる項目反応モデルと評価者特性が時間変化する評価者特性ドリフトと呼ばれる現象を捉えたモデルを開発し，評価者特性な多様な分析を実現した．研究成果は，査読付き国際論文誌Behavior Research Methodsに採択され，国内学会では，教育システム情報学会 優秀研究賞を受賞した．