Understanding social interactions through first-person view lifelogging

本研究課題の目的は、ライフログによって心身の質の向上を実現する技術の開発と、それに関わる人の心身メカニズムを解明することである。我々はこれまでに、歩数計のアナロジーで「顔数計」と呼ばれるシステムを提案してきた。このシステムは、胸につけたカメラに映りこむ他者の顔の数を数えることで装着者の社会活動の量や質を測るものである。しかしその予備検討のための試作システムは、通常のアクションカメラを利用して蓄積された一定時間（せいぜい1時間程度）の映像データを用いてバッチ処理的に顔数計算を行い、その結果をグラフ可視化するものであった。本研究課題の目的の一つは、このシステムを腕時計や眼鏡のように日常的に装着し、デバイス装着者本人が普段から自分の社会活動量を振り返ることができるようにし、そのことが当人や周辺の行動にどう影響を与えるかを見出すことである。本研究課題の初年度にあたる2022年度は、このシステムを日常的に簡易装着可能なデバイスでシステム試作を進めた。具体的にはM5Stack社によるマイコンデバイスで簡易的な顔数計の試作検討をした。一方、周辺研究として、胸に付けた魚眼カメラでとらえた装着者本人の頭部方向や指さし方向を画像認識することで、ライフログ映像から当人の注目対象をつきとめるシステムの試作や、視線計測デバイスの援用によって、社会的インタラクション時の身体のひねり、すなわち、胴体方向、頭部方向、眼球視線方向の3方向のねじれから社会的活動の状況を理解する手法の開発を進めた。また、発話ライフログから発話量や発話単語の推移を分析し、状況推定や個人差を議論する研究も進めた。

本研究課題の目的は、ライフログによって心身の質の向上を実現する技術の開発と、それに関わる人の心身メカニズムを解明することである。我々はこれまでに、歩数計のアナロジーで「顔数計」と呼ばれるシステムを提案してきた。このシステムは、胸につけたカメラに映りこむ他者の顔の数を数えることで装着者の社会活動の量や質を測るものである。しかしその予備検討のための試作システムは、通常のアクションカメラを利用して蓄積された一定時間（せいぜい1時間程度）の映像データを用いてバッチ処理的に顔数計算を行い、その結果をグラフ可視化するものであった。本研究課題の目的の一つは、このシステムを腕時計や眼鏡のように日常的に装着し、デバイス装着者本人が普段から自分の社会活動量を振り返ることができるようにし、そのことが当人や周辺の行動にどう影響を与えるかを見出すことである。本研究課題の初年度にあたる2022年度は、このシステムを日常的に簡易装着可能なデバイスでシステム試作を進めた。具体的にはM5Stack社によるマイコンデバイスで簡易的な顔数計の試作検討をした。一方、周辺研究として、胸に付けた魚眼カメラでとらえた装着者本人の頭部方向や指さし方向を画像認識することで、ライフログ映像から当人の注目対象をつきとめるシステムの試作や、視線計測デバイスの援用によって、社会的インタラクション時の身体のひねり、すなわち、胴体方向、頭部方向、眼球視線方向の3方向のねじれから社会的活動の状況を理解する手法の開発を進めた。また、発話ライフログから発話量や発話単語の推移を分析し、状況推定や個人差を議論する研究も進めた。