論文体テストの運用の為の実証研究―測定論的課題の検証と評価データの分析法の開発―

论文身体测试操作的实证研究 - 测量问题的验证和评估数据分析方法的开发 -

• 批准号: 09J06892
• 负责人: 宇佐美 慧
• 金额: $ 1.79万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2009
• 资助国家: 日本
• 起止时间: 2009 至 2011
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-09J06892/
• 关键词: 小論文; 教育評価; パフォーマンス評価; 測定; 項目反応理論; サンプルサイズ; 階層線形モデル; 記述式; 多変量解析; 教育測定; バイアス

<研究1:文章評価に伴う測定論的課題の検証と思考力テスト開発研究への応用>2011年には,実データを用いて小論文評価データの信頼性・妥当性・バイアス等の測定論的問題について定量的に評価した研究成果が「小論文評価データの統計解析」として行動計量学にて掲載された.測定論的問題について,制限字数等の試験の運用上に関わる諸要因を実験的に統制した研究は国内では極めて希少であったため,すでに,人事試験や入学試験に関わる試験の実務家からも多く参照される論文となっている.そして,知見の一般化の観点から他分野の小論文評価データの検討を進めることが,DC申請当初の目指す1つの方向性であったが,2010年から民間の研究者と共に,記述・論述式形式の問題を取り入れた思考力テスト(能力試験)の開発補助をしており,今後新たな事例報告を行う予定である.<研究2:文章評価の妥当性に関わる諸要因の影響力に関する相対的比較検討(シミュレーション研究)>評価や選抜の公正性に最も直結するのは妥当性であるが,それが担保される程度には,評定の信頼性も大きく影響する.また項目数,採点者数,採点回数,カテゴリ数の問題が関わってくる.このように,評価・選抜の妥当性に関わる要因は,信頼性の問題を中心に多義的であり,相対的にどの要因に関わる工夫を実践上優先すべきかは,未だ明確な指針が得られていないのが現状である.そこで,本研究では,主に妥当性係数と選抜の正判別率の観点から,評価と選抜の妥当性に影響する上記の諸要因の影響関係を網羅的に検証するための2種類のシミュレーション研究を行い,その成果を現在学会誌に投稿中である.<研究3:階層データにおけるサンプルサイズ決定の統一的議論>他にも,階層データにおける2群間の平均値差に関心がある場合に着目し,検定力および効果量の信頼区間幅の観点から必要なサンプルサイズを評価するための決定方法を,MRT型収集デザインとCRT型収集デザインの双方の場合を含めて統一的に議論した成果が,今年度教育心理学研究において掲載された.これらより,当初の予定であった追加事例の報告は十分ではなかったが,全体としては当初の予定よりも幅広い側面から測定論的問題と分析手法の検討を行うことができ,論文体テスト項目を含む試験開発に資する実際的な成果を得ることができた.

<研究1：验证与文本评估和对思维能力测试开发研究的应用相关的测量理论问题> 2011年的研究结果，这些研究结果是对使用实际数据进行了定量评估的测量理论问题，例如可靠性，有效性和论文评估数据的偏见，以行为指标公布，作为“ Essay评估数据的统计分析分析”。研究通过实验控制了与测试的运行有关的各种因素，例如限制字符在日本极为罕见，并且已经被转介给许多人力资源检查和入学考试的从业者。此外，发现的概括是概括知识的观点。最初针对申请DC时要针对的方向之一是针对的，但是自2010年以来，我们一直在支持思维能力测试（能力测试）的开发，这些思维能力测试（能力测试）将问题与私人研究人员与私人研究人员融合在一起，并将在未来报告新案例。 <研究2：与文本评估有效性（仿真研究）有关的因素的影响的相对比较>与评估和选择的公平性最直接相关的是评级的可靠性，但是保证的程度也将产生重大影响。此外，项目数量，评分师数量，等级人数，成绩数量，类别涉及数字问题。因此，与评估和选择有效性有关的因素是模棱两可的，主要是关于可靠性问题，并且在实践中仍没有明确的指导方针。因此，在这项研究中，我们进行了两种类型的模拟研究，以全面验证影响评估和选择有效性的上述因素的影响关系，主要是从有效性系数的角度和选择的积极歧视率的角度，并且这些研究的结果目前正在提交给学术社会杂志。 <研究3：层次数据中的样本量确定的统一讨论>此外，层次数据对评估决策方法的统一讨论的结果，用于评估从测试能力的角度和效应范围的置信区间所需的样本量的统一方法的结果，包括在本年度的研究中，包括在本年度的案例中发表了这些案例。这两个小组，包括MRT型收集设计和CRT型收集设计。这些讨论的结果不足以报告已计划的其他案例，但总的来说，最初可以从最初计划的各个方面进行测量理论问题和分析方法，而不是最初的计划，并且获得了包括Essay测试的开发的实践结果，并获得了实际的结果。

项目成果

Generalized graded unfolding model with structural equation for subject parameters

具有主题参数结构方程的广义分级展开模型

• 发表时间: 2011
• 期刊: Japanese Psychological Research
• 影响因子: 0.8
• 作者: Usami;S
• 通讯作者: S

二値データの為の個人差多次元一対比較モデルと次元数の推定-スポーツデータ解析への応用-

二值数据的个体差异多维成对比较模型及维数估计-在体育数据分析中的应用-

• 发表时间: 2010
• 作者: Usami;S;宇佐美慧;宇佐美慧;宇佐美慧;宇佐美慧
• 通讯作者: 宇佐美慧

Statistical Power of Experimental Research with Hierarchical Data

• DOI: 10.2333/bhmk.38.63
• 发表时间: 2011
• 期刊: Behaviormetrika
• 作者: S. Usami

小論文評価データの統計解析-制限字数を考慮した測定論的課題の検討-

论文评价数据的统计分析-考虑字数限制的测量问题的检验-

• 发表时间: 2011
• 期刊: 行動計量学
• 作者: Murase A;Miyazaki Y;Sunobe T;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;鈴木董編;萩野了子;萩野了子;萩野了子;萩野了子;萩野了子;萩野了子;宇佐美慧;宇佐美慧
• 通讯作者: 宇佐美慧

Bayesian Multidimensional Bradley-Terry Model Using RJMCMC.

使用 RJMCMC 的贝叶斯多维 Bradley-Terry 模型。

• 发表时间: 2009
• 作者: Usami;S;宇佐美慧;宇佐美慧;宇佐美慧;宇佐美慧;宇佐美慧;宇佐美慧
• 通讯作者: 宇佐美慧