A study of human perceptual-motor learning process using reward estimation in inverse reinforcement learning

点击翻译按钮获取中文摘要

日常生活や仕事、スポーツ等で必要な様々な技能を獲得する過程の解明および学習を促進する手段の開発は古くから心理学の一大テーマであり、近年でも潜在学習や状況的学習の概念の下で様々な研究が行われている。この種の学習はその過程を言語化することが難しいため、内的な学習プロセスを検討するにはパフォーマンスの量的測定結果からの推定法が重要となる。この研究では、機械学習およびロボット制御の分野で開発された「逆強化学習」という計算モデルを利用して、学習者がその学習過程で実際に活用した報酬関数を時系列を追って推定し、この報酬関数の変化と、学習の過程で与えられた顕在的知識(アドバイス) や個人の知識の顕在化(テスト)との関係を検討する。これによって、潜在・顕在過程のインターラクションを含んだ知覚―運動学習の量的モデル化に繋げられると期待できる。逆強化学習は、パフォーマンス（参加者が押したキーの系列　等）から、参加者が用いた報酬を推定しようとするものである。現段階までのところ、研究代表者がこれまでの知覚―運動学習の研究で用いてきた知覚マッチング課題をベースとして、報酬の推定を行うための逆強化学習計算モデルの導出を行い、過去の実験における人間のパフォーマンス記録（キー押し系列の記録）に基づく解析を行った。また、解析の精度を高めるために、より詳細に参加者の行動変容を捉えられる自由度の高い入力装置（トラックパッド）用いた、より自然かつ単純な知覚ー運動マッチング状況を模した課題（軌跡学習課題）の作成をした。今後、この課題を用いて、新たな実験データの取得と報酬関数の推定を行う計画である。