モダリティ融合解析に基づく多様性と解釈性を備えた映像推薦技術の構築

点击翻译按钮获取中文摘要

当該年度では，ユーザの関心を反映したマルチメディアコンテンツ（以降，コンテンツ）の推薦システムの実現に向けて，1. 生体信号特有のデータ性質を考慮可能な深層学習モデルの構築，2. コンテンツが与える印象の推定，3. 時系列データを対象としたグラフ解析に関する研究を実施した．具体的に，研究1では，時系列性を考慮可能な確率的生成モデルを新たに構築することで，生体信号特有のデータ性質を考慮可能とした．研究2では，コンテンツが与える視覚刺激を対象として，多くの人間が想起し得る印象を推定する深層学習モデルの構築を行った．最後に，研究3では，グラフニューラルネットワークに基づく深層学習モデルに対して時間変化を考慮可能な機構を導入することで，時系列データを対象としたグラフ解析を実現した．さらに，次年度に実施予定であった，ユーザが注視すると予想されるコンテンツ中の領域推定に関する研究を先行着手している．具体的には，コンテンツ視聴時のユーザの視線データを用いることで，未視聴のコンテンツに対してユーザが注視するであろう領域を推定する深層学習モデルの構築を実施した．本研究成果は査読付き国際会議にて発表を行っている．一方で，当初の予定では，実際にコンテンツ推薦を行うことで，その推薦結果に対する評価を行う予定であった．しかし，生体信号が取得できていないユーザに対しても関心を反映したコンテンツ推薦を行うためには，コンテンツがユーザに与える印象から，ユーザの内部状態を表現する必要性が，新たに明らかとなった．そのため，当該年度では，上述の研究3において，コンテンツが与える印象を推定する深層学習モデルの構築を行った．当該年度における研究成果として，査読付き論文誌への採録が1件，査読付き国際学会における発表が5件，査読なし国内会議での発表が4件，受賞が1件という優れた成果を挙げている．