論文体テストの運用の為の実証研究―測定論的課題の検証と評価データの分析法の開発―

论文身体测试操作的实证研究 - 测量问题的验证和评估数据分析方法的开发 -

• 批准号: 09J06892
• 负责人: 宇佐美 慧
• 金额: $ 1.79万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2009
• 资助国家: 日本
• 起止时间: 2009 至 2011
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-09J06892/
• 关键词: 小論文; 教育評価; パフォーマンス評価; 測定; 項目反応理論; サンプルサイズ; 階層線形モデル; 記述式; 多変量解析; 教育測定; バイアス

<研究1:文章評価に伴う測定論的課題の検証と思考力テスト開発研究への応用>2011年には,実データを用いて小論文評価データの信頼性・妥当性・バイアス等の測定論的問題について定量的に評価した研究成果が「小論文評価データの統計解析」として行動計量学にて掲載された.測定論的問題について,制限字数等の試験の運用上に関わる諸要因を実験的に統制した研究は国内では極めて希少であったため,すでに,人事試験や入学試験に関わる試験の実務家からも多く参照される論文となっている.そして,知見の一般化の観点から他分野の小論文評価データの検討を進めることが,DC申請当初の目指す1つの方向性であったが,2010年から民間の研究者と共に,記述・論述式形式の問題を取り入れた思考力テスト(能力試験)の開発補助をしており,今後新たな事例報告を行う予定である.<研究2:文章評価の妥当性に関わる諸要因の影響力に関する相対的比較検討(シミュレーション研究)>評価や選抜の公正性に最も直結するのは妥当性であるが,それが担保される程度には,評定の信頼性も大きく影響する.また項目数,採点者数,採点回数,カテゴリ数の問題が関わってくる.このように,評価・選抜の妥当性に関わる要因は,信頼性の問題を中心に多義的であり,相対的にどの要因に関わる工夫を実践上優先すべきかは,未だ明確な指針が得られていないのが現状である.そこで,本研究では,主に妥当性係数と選抜の正判別率の観点から,評価と選抜の妥当性に影響する上記の諸要因の影響関係を網羅的に検証するための2種類のシミュレーション研究を行い,その成果を現在学会誌に投稿中である.<研究3:階層データにおけるサンプルサイズ決定の統一的議論>他にも,階層データにおける2群間の平均値差に関心がある場合に着目し,検定力および効果量の信頼区間幅の観点から必要なサンプルサイズを評価するための決定方法を,MRT型収集デザインとCRT型収集デザインの双方の場合を含めて統一的に議論した成果が,今年度教育心理学研究において掲載された.これらより,当初の予定であった追加事例の報告は十分ではなかったが,全体としては当初の予定よりも幅広い側面から測定論的問題と分析手法の検討を行うことができ,論文体テスト項目を含む試験開発に資する実際的な成果を得ることができた.

<Research 1: Article review 価に companion う の検证 と thinking power テスト开発 Research への応用> 2011 には, 実データを いて小ESSAY 　　　ーQuestions about the reliability, validity, and measurement theory of についてQuantitative にreview価したResearch resultsが「Small paper review価データのstatistical analysis」としてAction measurement Study on the problems of determination theory, restrictions on word count, etc., and the application of various factors, such as the control and control of various factors, and the research on domestic problems. It's a jobらも多く refers to the されるpaper となっている.そして, the point of generalization of knowledgeからhis divided field's short essay review価データの検问を入めることが, DC application original purpose refers to す1's directionality であったが, 2010's private researcher とIn total, the problem of narrative and argumentative form is taken into account and the thinking ability test (ability test) is opened and the subsidy is released. In the future, the new case report will be carried out and it will be decided. <Study 2: Comparison of article evaluation validity and influence of various factors (Research on the validity of article evaluation) > Evaluation of fairness and fairness The validity of the conclusion, the degree of guarantee, the impact of the assessment, the number of projects, the number of points collected, the number of points collected, the number of points collected, the number of points collected, the number of points collected, the number of points collected, the number of points collected The number of questions and the appropriateness of the selection are the same as the number of questions. The main reason for the problem, the center of the problem of trustworthiness, the polysemy of the problem, and the main reason for the mutual relationship. The priority is given to the work that has been done, and the pointer is not clear yet. The current situation of this study is the current situation. This study is based on the appropriateness coefficient and the selection method. The main factors mentioned above influence the validity of the positive discrimination rate and the appropriateness of the selection. A study on two types of のシミュレーション that influence the relationshipを行い,そのachievementsをNowadays, the journal of society is being submitted. <Study 3: Discussion on the unification of the hierarchy decision-making>における2 The average value difference between the groups にCare about the occasion に Focus on the purpose し,検定力および Effect size の letter 頼 interval width の Observation point か ら necessary な サ ン プ ル サ イ ズ を 価 す る ためのDecision method を, MRT type collection デザインとCRT type collection デザインのboth sides のoccasion をcontaining めて unified discussion したachievement が, this year's educational psychology research It was originally planned to add additional cases The report is very detailed, and the overall plan was originally planned. Problems of surface measurement theory and analytical techniques The results of the STO project are based on the experimental results of the project.

项目成果

Generalized graded unfolding model with structural equation for subject parameters

具有主题参数结构方程的广义分级展开模型

• 发表时间: 2011
• 期刊: Japanese Psychological Research
• 影响因子: 0.8
• 作者: Usami;S
• 通讯作者: S

二値データの為の個人差多次元一対比較モデルと次元数の推定-スポーツデータ解析への応用-

二值数据的个体差异多维成对比较模型及维数估计-在体育数据分析中的应用-

• 发表时间: 2010
• 作者: Usami;S;宇佐美慧;宇佐美慧;宇佐美慧;宇佐美慧
• 通讯作者: 宇佐美慧

Statistical Power of Experimental Research with Hierarchical Data

• DOI: 10.2333/bhmk.38.63
• 发表时间: 2011
• 期刊: Behaviormetrika
• 作者: S. Usami

小論文評価データの統計解析-制限字数を考慮した測定論的課題の検討-

论文评价数据的统计分析-考虑字数限制的测量问题的检验-

• 发表时间: 2011
• 期刊: 行動計量学
• 作者: Murase A;Miyazaki Y;Sunobe T;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;長谷部圭彦;鈴木董編;萩野了子;萩野了子;萩野了子;萩野了子;萩野了子;萩野了子;宇佐美慧;宇佐美慧
• 通讯作者: 宇佐美慧

多変量階層線形モデルにおけるパラメタのベイズ推定

多元分层线性模型中参数的贝叶斯估计

• 发表时间: 2009
• 作者: Usami;S;宇佐美慧;宇佐美慧;宇佐美慧;宇佐美慧;宇佐美慧
• 通讯作者: 宇佐美慧