入試作問業務におけるナレッジ・マネージメント・システムの開発と実践的評価

本研究での実施の概要は、以下のとおりである。。・ナレッジ・マネジメント・システムの開発イントラネット上で動作する入試業務のためのナレッジ・マネジメント・システムを開発している。シスァムの特徴は以下のとおりである。1)入試センター試験のデータより、IRT(ltem Response Theory項目応答理論)や信頼性などの情報を自動的に計算し、提示する機能を持つ。2)テスト作成に関する方法をシステム上のビデオ等で教え、テスト構成者が情報共有できる。3)複数のテスト構成者が、インターネット上で協働してテスト構成を行うことを支援する協働テスト構成支援システムを開発した。最初にテストデータベースを用意し、それを用いてインターネット上でテス上構成を、一人、三人、五人と増やして行わせた。これらを複数のグループに行わせた結果、テストの妥当性(内容のミスのなさ)は、協働者の人数が増えるに従い、高くなることがわかったが、テストの信頼性(各項目の正誤とテスト得点との相関を項目の信頼性といい、その平均をテスト信頼性と呼ぶ)では、人数にはまったく関係なかったことがわかった。むしろ、人数が増えるとテスト構成に時間がかかりすぎ、信頼性が経る方向にあることがわかった。そこで、本システムでは、IRTを用いて構成中のテストの信頼性の予測値を計算し、次に選ぶべきテスト項目を推薦するというシステムを開発した。開発したシステムを入試センターにおいて、いくつかの部会にサーバーを設置し、各試験委員に試用してもらい、アンケート、インタビュー等で評価を行った。作成プロセス・ログの整理とシステムの評価を行った。その結果、本システムの有効性が示された。

本研究での実施の概要は、以下のとおりである。。・ナレッジ・マネジメント・システムの開発イントラネット上で動作する入試業務のためのナレッジ・マネジメント・システムを開発している。シスァムの特徴は以下のとおりである。1)入試センター試験のデータより、IRT(ltem Response Theory項目応答理論)や信頼性などの情報を自動的に計算し、提示する機能を持つ。2)テスト作成に関する方法をシステム上のビデオ等で教え、テスト構成者が情報共有できる。3)複数のテスト構成者が、インターネット上で協働してテスト構成を行うことを支援する協働テスト構成支援システムを開発した。最初にテストデータベースを用意し、それを用いてインターネット上でテス上構成を、一人、三人、五人と増やして行わせた。これらを複数のグループに行わせた結果、テストの妥当性(内容のミスのなさ)は、協働者の人数が増えるに従い、高くなることがわかったが、テストの信頼性(各項目の正誤とテスト得点との相関を項目の信頼性といい、その平均をテスト信頼性と呼ぶ)では、人数にはまったく関係なかったことがわかった。むしろ、人数が増えるとテスト構成に時間がかかりすぎ、信頼性が経る方向にあることがわかった。そこで、本システムでは、IRTを用いて構成中のテストの信頼性の予測値を計算し、次に選ぶべきテスト項目を推薦するというシステムを開発した。開発したシステムを入試センターにおいて、いくつかの部会にサーバーを設置し、各試験委員に試用してもらい、アンケート、インタビュー等で評価を行った。作成プロセス・ログの整理とシステムの評価を行った。その結果、本システムの有効性が示された。