マルチモーダル非言語行動の機能スペクトラム解析に向けた計算基盤の構築

人の対話において表出される多様かつ曖昧な非言語行動を定量的に解析・理解するため、これらの行動がもつ意味や機能の分布強度を表す『非言語機能スペクトラム』という新概念を提唱し、これらの機能のスペクトラムを推定する方法を提案し、さらに推定結果に基づいて、対話者の主観の予測を行う方法を考案した。前年度までに構築した頭部運動機能の認識モデルは、時刻ごとにその機能の有無を2値として出力するモデルであったのに対して、当該年度は、機能の表出・知覚の強度を連続値として表現し、推定する深層回帰モデルを開発した。これにより非言語機能スペクトラムの推定分解能を向上させることができた。また、対話者の主観的印象を予測する課題については、前年度に構築した頭部運動機能に基づく予測モデルを拡張して、印象形成に寄与した行動だけではなく、その行動が生起した時刻を細かく特定する印象予測・説明モデルを構築した。このモデルは、印象予測に対する各特徴量の貢献の度合いを時間軸上に展開をした分布を求めるという定式化に顕著な新規性が認められる。特定された時刻に対するケーススタディや定量評価を行い、その妥当性を確認した。さらに頭部運動の特徴に加えて、言語特徴を導入した印象予測・説明モデルも構築し、対話の議題やタスクに応じて、言語特徴を含めたモデルがより高い性能を発揮しうることも確認した。さらに昨年、構築した顔表情の機能を認識するモデル、及び、頭部運動と顔表情の相乗機能を認識するモデルそれぞれの出力結果を利用し、これらの機能に基づく特徴量を加えた印象の予測モデルも構築した。結果、印象の項目に応じて、顔表情の機能や相乗機能が予測に寄与することを分析により明らかにした。以上のように当該年度は更に非言語機能スペクトラムの計算基盤の構築を進め、研究が大きく進捗した。

人の対話において表出される多様かつ曖昧な非言語行動を定量的に解析・理解するため、これらの行動がもつ意味や機能の分布強度を表す『非言語機能スペクトラム』という新概念を提唱し、これらの機能のスペクトラムを推定する方法を提案し、さらに推定結果に基づいて、対話者の主観の予測を行う方法を考案した。前年度までに構築した頭部運動機能の認識モデルは、時刻ごとにその機能の有無を2値として出力するモデルであったのに対して、当該年度は、機能の表出・知覚の強度を連続値として表現し、推定する深層回帰モデルを開発した。これにより非言語機能スペクトラムの推定分解能を向上させることができた。また、対話者の主観的印象を予測する課題については、前年度に構築した頭部運動機能に基づく予測モデルを拡張して、印象形成に寄与した行動だけではなく、その行動が生起した時刻を細かく特定する印象予測・説明モデルを構築した。このモデルは、印象予測に対する各特徴量の貢献の度合いを時間軸上に展開をした分布を求めるという定式化に顕著な新規性が認められる。特定された時刻に対するケーススタディや定量評価を行い、その妥当性を確認した。さらに頭部運動の特徴に加えて、言語特徴を導入した印象予測・説明モデルも構築し、対話の議題やタスクに応じて、言語特徴を含めたモデルがより高い性能を発揮しうることも確認した。さらに昨年、構築した顔表情の機能を認識するモデル、及び、頭部運動と顔表情の相乗機能を認識するモデルそれぞれの出力結果を利用し、これらの機能に基づく特徴量を加えた印象の予測モデルも構築した。結果、印象の項目に応じて、顔表情の機能や相乗機能が予測に寄与することを分析により明らかにした。以上のように当該年度は更に非言語機能スペクトラムの計算基盤の構築を進め、研究が大きく進捗した。