Development of a self-study system for medical interview by automatically recognition speech and behavior

点击翻译按钮获取中文摘要

問診中の学修者の言動を自動計測・採点することで，自己学修システムを開発することが本研究の目的である．問診などの臨床技能は，自己学修では反復練習や成否の判断が困難という問題がある．特に技能の評価を困難にしている点として，正否が一通りではなく，正解が幅を持っていることが大きい．そこで，本研究では，問診を対象として，学修者の発話および動作を装置によって自動計測を行い，さらに複数通りある解答と比較して採点を行う．また，患者に対して診察を行うことを擬似的に体験し，評価が得られる自習システムの構築を行う．本年度は，問診中の学修者の動作の自動計測手法の開発を進めた．問診中の動作は向きもしくは手本を示すことが，申請者のこれまでの研究によって示唆されている．そこで，向きおよび手本を示す際に人が使用する部位の特定および，計測するべき物理量について実験により検証した．その結果，手，顔，視線を使用することが分かったため，各部位の認識をモーションキャプチャを用いて構築し，各部位の物理量を計測し，その値から向きおよび手本の情報を抽出するアルゴリズムを開発した．さらに，構築した自動計測手法の有効性について検証を行った．現在，論文化を進めている．また，ゲーム開発エンジンのUnityを用いて，リアリティの高いCG患者について作成を進めた．構築した動作の自動計測手法手本動作の認識について，および，CG患者の印象について学会発表や論文誌への投稿を進めている．