Development of a Computer Adaptive Vocabulary Size Test in a Meaning Recall Format

本研究では，これまでは多肢選択形式で測定されてきた英語学習者の語彙サイズを，意味想起形式で測定するためのコンピュータ適応型テストを開発することに挑戦している。具体的には，問題の困難度・識別力を推定した項目バンクを構築し，受験者が意味を思い出せる単語の数（語彙サイズ）を正確かつ短時間で測定できるテストシステムを構築することを目的としている。３ヵ年の研究計画内で２つの課題を明らかにする。１．コンピュータ適応型テストは意味想起形式による英語語彙サイズを正確に測定できるか。２．コンピュータ適応型テストは意味想起形式の解答負担をどの程度軽減できるか。本研究の方法は，（１）教育用コーパスで作成された語彙頻度表に基づくテスト項目の作成，（２）項目反応理論によるテスト項目の困難度・識別力推定，および（３）自動テスト構成法によるコンピュータ適応型テストの運用と妥当化である。１年目となる2022年度は，教育用コーパス語彙頻度表から各頻度レベルを代表する単語を選定し，受験者の解答を自動採点するための模範解答データの作成を行った。実験では約500名の日本人大学生を対象に多肢選択式と意味想起形式による語彙サイズテストを実施し，意味想起形式における解答の正否を複数評価者が採点した。評価者間の不一致を解決し，採点の信頼性を算出しつつ，意味想起形式における解答のバリエーションをデータベースとして記録する作業を行った。

本研究では，これまでは多肢選択形式で測定されてきた英語学習者の語彙サイズを，意味想起形式で測定するためのコンピュータ適応型テストを開発することに挑戦している。具体的には，問題の困難度・識別力を推定した項目バンクを構築し，受験者が意味を思い出せる単語の数（語彙サイズ）を正確かつ短時間で測定できるテストシステムを構築することを目的としている。３ヵ年の研究計画内で２つの課題を明らかにする。１．コンピュータ適応型テストは意味想起形式による英語語彙サイズを正確に測定できるか。２．コンピュータ適応型テストは意味想起形式の解答負担をどの程度軽減できるか。本研究の方法は，（１）教育用コーパスで作成された語彙頻度表に基づくテスト項目の作成，（２）項目反応理論によるテスト項目の困難度・識別力推定，および（３）自動テスト構成法によるコンピュータ適応型テストの運用と妥当化である。１年目となる2022年度は，教育用コーパス語彙頻度表から各頻度レベルを代表する単語を選定し，受験者の解答を自動採点するための模範解答データの作成を行った。実験では約500名の日本人大学生を対象に多肢選択式と意味想起形式による語彙サイズテストを実施し，意味想起形式における解答の正否を複数評価者が採点した。評価者間の不一致を解決し，採点の信頼性を算出しつつ，意味想起形式における解答のバリエーションをデータベースとして記録する作業を行った。