Study of prediction of physical condition and feelings by the AI based on the change of lips movement, eye movement, and vital data

点击翻译按钮获取中文摘要

本研究課題は患者や被介護者との簡単な会話や表情から一目で体調を判断することにより、看護師・介護士の負担を軽減し、患者、被介護者の体調を把握し、QOL向上に資することを目的とする。心拍、体温などの生理データと口唇動作、固視微動などから人の体調や心理状態を照合させたデータベースを構築し、AIを用いてこれらのパラメータから人の体調や心理状態を抽出する。1年目は学習に必要なデータセットの作成とAI学習システムの構築を行った。疲労課題を用いて実験を行い、疲労を示すCritical Fusion Frequency (CFF)の変化と呼応し、口唇の開口面積、発話時間に変化が見られること、さらに学習により予測できることを示した。2年目は口唇動作に加え、眼球運動、バイタルデータから人の体調や感情の抽出を目的として研究を行った。疲労と反対に近い感情である癒やし効果に注目した。癒やし効果をもたらす要因として超高精細映像の視聴に注目し、超高精細映像が心拍数と呼吸数を安静状態と同じように落ち着いた変動にさせ、皮膚温度を上昇させ、副交感神経優位な状態にすることを示唆した。分散分析により心拍数に映像の種類と解像度の種類との交互作用、呼吸数と皮膚温度では、映像の種類に対して効果を示した。さらに眼球運動予測に取り組んだ。絵画鑑賞時の眼球運動を測定し顕著性マップによる注視点予測の精度向上手法を提案した。患者、被介護者の体調把握には、自然な対話ができるロボットの開発が必要である。人型ロボットにヨガを指導させ、ヨガ前後での呼吸と心拍数からリラックス効果が得られることを示した。また発話時に口唇動作と視線移動が可能なぬいぐるみを開発し、高齢者による評価実験を行い、特に親しみやすさが向上することを示した。以上に述べたように、AIによる体調・感情予測とこれを具体化するためのロボット開発に研究実績をあげることができた。