モダリティアテンションネットを用いたマルチモダール情動データによるうつ病診断

2022年度は、モダリティアテンションネットを用いたマルチモーダル情動データによるうつ病診断を目的として、以下の研究成果が得られた。(1) 歩行は人間の基本動作の1つであり、個人の特徴や感情を表現する動作としても捉えられる。人間の感情によって注目すべき歩行動作が異なるため、各関節点の重要度が異なる。感情ごとに重要な関節点と特徴に自動的に注目できるように、ノード（関節点）方向とチャンネル方向にそれぞれAttention機構を導入したDual Attention時空間グラフ畳み込みネットワークを提案し、重要な関節点または特徴に大きな重みをかけ合わせることによって高い精度を実現した。その成果は画像電子学会誌で発表した。また、受容野の不均衡問題を緩和し、関節間の非局所依存性を捉えるために、マルチヘッド疑似ノードを提案した。追加ノードを用いて、すべての物理的な人体関節にリンクし、異なる特徴空間からのグローバル情報を取得した。その結果はNeurocomputing（IF: 5.7）で発表した。(2) MLPとTransformerを用いたマルチモダリティ情報を融合する手法を開発した。それぞれの成果は、メディア分野のトップ国際学会であるACM MM 2022とIEEE GCCE 2022で発表した。

2022年度は、モダリティアテンションネットを用いたマルチモーダル情動データによるうつ病診断を目的として、以下の研究成果が得られた。(1) 歩行は人間の基本動作の1つであり、個人の特徴や感情を表現する動作としても捉えられる。人間の感情によって注目すべき歩行動作が異なるため、各関節点の重要度が異なる。感情ごとに重要な関節点と特徴に自動的に注目できるように、ノード（関節点）方向とチャンネル方向にそれぞれAttention機構を導入したDual Attention時空間グラフ畳み込みネットワークを提案し、重要な関節点または特徴に大きな重みをかけ合わせることによって高い精度を実現した。その成果は画像電子学会誌で発表した。また、受容野の不均衡問題を緩和し、関節間の非局所依存性を捉えるために、マルチヘッド疑似ノードを提案した。追加ノードを用いて、すべての物理的な人体関節にリンクし、異なる特徴空間からのグローバル情報を取得した。その結果はNeurocomputing（IF: 5.7）で発表した。(2) MLPとTransformerを用いたマルチモダリティ情報を融合する手法を開発した。それぞれの成果は、メディア分野のトップ国際学会であるACM MM 2022とIEEE GCCE 2022で発表した。