权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

項目反応理論に基づくパフォーマンス評価フレームワークの開発と実証実験

基于项目反应理论的绩效评估框架的开发和论证

基本信息

批准号：
21H00898
负责人：
宇都雅輝
金额：
$ 10.07万
依托单位：
The University of Electro-Communications
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

パフォーマンス評価の信頼性を改善する手法の一つとして，評価者のバイアスを取り除いて受検者の能力を推定できる項目反応モデルが知られている．しかし，このような項目反応モデルを現実の試験で継続的・効果的に運用するためにはいくつかの問題が残る．本研究では，このような項目反応モデルを継続的・効果的に運用するための手法群として，1）適切な評価デザインの自動設計手法，2）項目反応モデルから得られる様々な統計情報に基づく分析レポートの自動生成手法，3）補助情報を活用したモデル・パラメータ推定精度改善手法，を開発するとともに，それらを統合した評価フレームワークの開発を目指す．この目標に対し，令和4年度には，令和3年度に開発した各要素技術を発展させた．1）については，令和3年度に検討した医療系大学間共用試験OSCEの適切な評価者割当デザインに従ったデータを利用し，項目反応モデルの適用実験を行った．分析結果は，医療系大学間共用試験の試験信頼性妥当性検討委員会と全国説明会で報告した．２）に関しては，項目反応理論と大規模言語モデルの様々な統合技術を開発し，項目反応モデルの解釈とその言語的な説明について検討を進めた．研究成果は，電子情報通信学会論文誌に掲載され，言語処理分野の難関国際会議COLINGにもフルペーパで採択された．また，教育システム情報学会論文賞・全国大奨励賞，日本テスト学会大会発表賞などを受賞した．3）については，評価者特性に加えて，ルーブリックやテスト問題の特性も考慮して多次元的な尺度上で受験者の能力を評価できる項目反応モデルと評価者特性が時間変化する評価者特性ドリフトと呼ばれる現象を捉えたモデルを開発し，評価者特性な多様な分析を実現した．研究成果は，査読付き国際論文誌Behavior Research Methodsに採択され，国内学会では，教育システム情報学会優秀研究賞を受賞した．

A method for improving the reliability of the evaluation system is proposed. The evaluation system is designed to estimate the ability of the receiver. This project is currently under investigation, and the results of the trial are being applied. This study focuses on the application of methods for the evaluation of results, 1) automatic design methods for appropriate evaluation of results, 2) automatic generation methods for statistical information based on analysis of results, 3) methods for improving estimation accuracy of supplementary information, and 4) automatic design methods for evaluation of results. The development direction of the project is as follows: This goal is aimed at the development of various elements of technology in the fourth year of the order and the third year of the order. 1) In the third year of the order and the third year of the order, the medical department shared the test among universities. OSCE's appropriate evaluation personnel cut off the use of information and the application of information. The results of the analysis are as follows: (1) the report of the committee on the appropriateness of the inter-university sharing test and the report of the national presentation conference of the department of medicine;(2) the development of the project anti-corruption theory and the integration technology of large-scale speech; and (3) the progress of the project anti-corruption theory and the presentation of speech. The research results were published in the Journal of the Electronic Information and Communication Society and published at the International Conference on Speech Processing and Technology. The National Award for Education and Information Society, and the Award for Japan Society for Science and Technology Conference The characteristics of the problem are considered and the evaluation of the receiver's ability on the multiple element scale is carried out. The evaluation of the receiver's characteristics is carried out on the multiple element scale. The research results were collected by the International Journal of Behavior Research Methods, and the excellent research awards were awarded by the Chinese Academy of Education and Information Technology.

项目成果

期刊论文数量（45）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

深層学習を用いた難易度調整機能付き読解問題自動生成手法

利用深度学习的具有难度调节功能的自动阅读理解题生成方法

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
Yamaguchi;D.;Yamaguchi;S.;Ohtawa;S.;Oshima;R.;Oshima;J.;Fujihashi;T.;Saruwatari;S.;& Watanabe;T.;山下祥代・氏間和仁;小野田正利;鈴木彩香，宇都雅輝
通讯作者：
鈴木彩香，宇都雅輝

Transformerモデルを用いた難易度調節機能付き読解問題自動生成手法

利用Transformer模型自动生成具有难度调节功能的阅读理解题