項目反応理論(IRT)による人事測定尺度の開発

本研究では、心理測定のための理論的基礎として主流になりつつある項目反応理論を人事測定の分野に応用し、評価バイアスを取り除いた評価項目の作成、および項目診断を試みることであった。これまで欧米において発展してきた項目反応理論によるDIF検出のアプローチを、日本の企業や職場といった場面に応用し、人事評価や様々な測定ツールの中に潜むDIFを診断する手法として、どの程度有効であるかを詳細に検討した。具体的には、首都圏にある大手企業において、営業職に従事するホワイトカラーの従業員を対象に、クリティカル・インシデントインタビューを実施し、そのインタビュー結果をもとに、実際の職務における行動例を尺度として使用した測定尺度を作成した。また、その尺度を用いて上司、同僚、本人による多面評価を実施した。そして、これら一連の調査から得られたデータをもとに、(1)次元性の確認、(2)各評価者グループごとに評価項目レベルのDIFの量を算出、(3)多面評価の結果と、客観的な業績「過去3年間の人事査定結果」および、能力「営業スキル認定レベル」との相関関係の検証、(4)開発したパフォーマンス測定尺度を使用した多面評価の妥当性の検討を行った。一連の分析の結果、IRTによる項目レベルでのDIF検出結果に基づき、項目レベルのDIFを取り除くことで尺度の基準連関妥当性が改善されることが再度確認された。今回、その有効性が確かめられたIRTに基づくDIF検出の手法は、特に、多面評価など、複数の異なる下位集団から得られた情報を比較する際に、その威力を発揮する。例えば「どの評価者からの情報が歪んだ情報であるか」を分析し、判断しなければならない場面において、大変有効なアプローチであるといえよう。さらに、現在、評価者間の評価のずれや評定バイアスに悩み、その歪みの調整に頭を悩ませている企業や、将来、測定的等価性に重点をおいた新たなパフォーマンス評価システムを構築しようとしている企業にも有効であるといえよう。

本研究では、心理測定のための理論的基礎として主流になりつつある項目反応理論を人事測定の分野に応用し、評価バイアスを取り除いた評価項目の作成、および項目診断を試みることであった。これまで欧米において発展してきた項目反応理論によるDIF検出のアプローチを、日本の企業や職場といった場面に応用し、人事評価や様々な測定ツールの中に潜むDIFを診断する手法として、どの程度有効であるかを詳細に検討した。具体的には、首都圏にある大手企業において、営業職に従事するホワイトカラーの従業員を対象に、クリティカル・インシデントインタビューを実施し、そのインタビュー結果をもとに、実際の職務における行動例を尺度として使用した測定尺度を作成した。また、その尺度を用いて上司、同僚、本人による多面評価を実施した。そして、これら一連の調査から得られたデータをもとに、(1)次元性の確認、(2)各評価者グループごとに評価項目レベルのDIFの量を算出、(3)多面評価の結果と、客観的な業績「過去3年間の人事査定結果」および、能力「営業スキル認定レベル」との相関関係の検証、(4)開発したパフォーマンス測定尺度を使用した多面評価の妥当性の検討を行った。一連の分析の結果、IRTによる項目レベルでのDIF検出結果に基づき、項目レベルのDIFを取り除くことで尺度の基準連関妥当性が改善されることが再度確認された。今回、その有効性が確かめられたIRTに基づくDIF検出の手法は、特に、多面評価など、複数の異なる下位集団から得られた情報を比較する際に、その威力を発揮する。例えば「どの評価者からの情報が歪んだ情報であるか」を分析し、判断しなければならない場面において、大変有効なアプローチであるといえよう。さらに、現在、評価者間の評価のずれや評定バイアスに悩み、その歪みの調整に頭を悩ませている企業や、将来、測定的等価性に重点をおいた新たなパフォーマンス評価システムを構築しようとしている企業にも有効であるといえよう。