発話と視覚系指標を利用した適応型CAIの開発

適応型インタフェースは、機械側から人間に適応していくものであり、具体的には、各種の生体情報行動計測により人間の思考過程、メンタルワークロードような内面状態を推定し、その状態に適応するように情報提示やタスク配分方法を動的に決定していくものである。本研究では、この適応型インタフェースの具体的応用例として、生体指標の中でも思考活動をよく反映するといわれている発話情報と視覚系指標を中心に収集し、大規模工学システムの代表である原子力プラントを対象に、プラントの総合的知識と経験が必要となるプラント異常事象診断のための訓練環境を構築することを目的とした。具体的には、当研究室で開発した視覚系指標計測機能付HMD(Eye-Sensing HMD;ES-HMD)と音声認識装置を用いて、視点位置と発話情報をリアルタイムで計測・収集し、原子力プラントシミュレータで模擬する異常事象の原因特定作業訓練を支援する適応型CAI(Computer Aided Instruction)システムを構築する。平成12年度は、平成11年度に開発した(1)視点位置のオンライン処理と精度向上手法、および、(2)発話と視点位置を利用した思考過程の推定手法を用い、原子力プラント運転の専門家をインストラクタとして、その実際の教示から教示戦略を抽出することで、CAIシステムの教示戦略アルゴリズムを決定するための実験を行った。具体的には、以下の2点である。(1)教示戦略抽出のための実験システムの構築:原子力プラントの異常事象を模擬する(A)原子力プラントシミュレータ、シミュレータの出力を訓練生に提示し視点位置を計測する(B)ES-HMD、訓練生の発話を認識する(C)音声認識装置、発話と視点位置から訓練生の思考過程を推定する(D)思考過程推定器、インストラクタへの情報提示とインストラクタからの教示を入力する(E)インストラクタ情報端末の5つをネットワーク接続した実験システムを構築した。(2)上記システムによる教示戦略アルゴリズム抽出実験:3人の訓練生と実際の原子力プラントの運転経験のある専門家をインストラクタとして、上記実験システムにより教示戦略抽出実験を行った。実験の結果、(i)訓練生が見ているプラントパラメータ、(ii)訓練生の発話情報、(iii)思考過程推定器の推定結果、(iv)プラント異常事象の進展過程から、(a)訓練生の誤り、(b)不十分な異常事象特定を検出して、適切な教示を行うとともに、同じ異常事象の特定訓練を繰り返して行うことで、効果的な教示と効率的な訓練を実現するアルゴリズムを抽出することができた。今後は、得られた教示戦略アルゴリズムを組み込んだCAIシステムを実際に構築17、訓練実験によりその効果を検証していく。

適応型インタフェースは、機械側から人間に適応していくものであり、具体的には、各種の生体情報行動計測により人間の思考過程、メンタルワークロードような内面状態を推定し、その状態に適応するように情報提示やタスク配分方法を動的に決定していくものである。本研究では、この適応型インタフェースの具体的応用例として、生体指標の中でも思考活動をよく反映するといわれている発話情報と視覚系指標を中心に収集し、大規模工学システムの代表である原子力プラントを対象に、プラントの総合的知識と経験が必要となるプラント異常事象診断のための訓練環境を構築することを目的とした。具体的には、当研究室で開発した視覚系指標計測機能付HMD(Eye-Sensing HMD;ES-HMD)と音声認識装置を用いて、視点位置と発話情報をリアルタイムで計測・収集し、原子力プラントシミュレータで模擬する異常事象の原因特定作業訓練を支援する適応型CAI(Computer Aided Instruction)システムを構築する。平成12年度は、平成11年度に開発した(1)視点位置のオンライン処理と精度向上手法、および、(2)発話と視点位置を利用した思考過程の推定手法を用い、原子力プラント運転の専門家をインストラクタとして、その実際の教示から教示戦略を抽出することで、CAIシステムの教示戦略アルゴリズムを決定するための実験を行った。具体的には、以下の2点である。(1)教示戦略抽出のための実験システムの構築:原子力プラントの異常事象を模擬する(A)原子力プラントシミュレータ、シミュレータの出力を訓練生に提示し視点位置を計測する(B)ES-HMD、訓練生の発話を認識する(C)音声認識装置、発話と視点位置から訓練生の思考過程を推定する(D)思考過程推定器、インストラクタへの情報提示とインストラクタからの教示を入力する(E)インストラクタ情報端末の5つをネットワーク接続した実験システムを構築した。(2)上記システムによる教示戦略アルゴリズム抽出実験:3人の訓練生と実際の原子力プラントの運転経験のある専門家をインストラクタとして、上記実験システムにより教示戦略抽出実験を行った。実験の結果、(i)訓練生が見ているプラントパラメータ、(ii)訓練生の発話情報、(iii)思考過程推定器の推定結果、(iv)プラント異常事象の進展過程から、(a)訓練生の誤り、(b)不十分な異常事象特定を検出して、適切な教示を行うとともに、同じ異常事象の特定訓練を繰り返して行うことで、効果的な教示と効率的な訓練を実現するアルゴリズムを抽出することができた。今後は、得られた教示戦略アルゴリズムを組み込んだCAIシステムを実際に構築17、訓練実験によりその効果を検証していく。