モダリティ融合解析に基づく多様性と解釈性を備えた映像推薦技術の構築

基于模态融合分析构建具有多样性和可解释性的视频推荐技术

基本信息

批准号：
22KJ0006
负责人：
諸戸祐哉
金额：
$ 1.41万
依托单位：
Hokkaido University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2024-03-31
项目状态：
已结题

项目摘要

当該年度では，ユーザの関心を反映したマルチメディアコンテンツ（以降，コンテンツ）の推薦システムの実現に向けて，1. 生体信号特有のデータ性質を考慮可能な深層学習モデルの構築，2. コンテンツが与える印象の推定，3. 時系列データを対象としたグラフ解析に関する研究を実施した．具体的に，研究1では，時系列性を考慮可能な確率的生成モデルを新たに構築することで，生体信号特有のデータ性質を考慮可能とした．研究2では，コンテンツが与える視覚刺激を対象として，多くの人間が想起し得る印象を推定する深層学習モデルの構築を行った．最後に，研究3では，グラフニューラルネットワークに基づく深層学習モデルに対して時間変化を考慮可能な機構を導入することで，時系列データを対象としたグラフ解析を実現した．さらに，次年度に実施予定であった，ユーザが注視すると予想されるコンテンツ中の領域推定に関する研究を先行着手している．具体的には，コンテンツ視聴時のユーザの視線データを用いることで，未視聴のコンテンツに対してユーザが注視するであろう領域を推定する深層学習モデルの構築を実施した．本研究成果は査読付き国際会議にて発表を行っている．一方で，当初の予定では，実際にコンテンツ推薦を行うことで，その推薦結果に対する評価を行う予定であった．しかし，生体信号が取得できていないユーザに対しても関心を反映したコンテンツ推薦を行うためには，コンテンツがユーザに与える印象から，ユーザの内部状態を表現する必要性が，新たに明らかとなった．そのため，当該年度では，上述の研究3において，コンテンツが与える印象を推定する深層学習モデルの構築を行った．当該年度における研究成果として，査読付き論文誌への採録が1件，査読付き国際学会における発表が5件，査読なし国内会議での発表が4件，受賞が1件という優れた成果を挙げている．

在这个财政年度中，研究1。建立一个深度学习模型，可以考虑到生物信号所特有的数据属性，2。估计内容给出的印象，以及3。3。图形分析与时间序列数据的图形分析是为了实现用于多模拟内容的建议的系统（以反映用户的兴趣）来实现建议的建议（以下是内容）。具体而言，在研究1中，我们构建了一个新的随机生成模型，该模型可以考虑时间序列，使我们可以考虑生物信号所独有的数据属性。在研究2中，我们构建了一个深度学习模型，该模型估算了许多人可以记住的印象，以内容为目标的视觉刺激。最后，在研究3中，通过引入一个可以考虑基于图神经网络深度学习模型的时间变化的机制来实现靶向时间序列数据的图表分析。此外，该公司已开始研究用户预计将密切监视的内容的领域，该内容计划于明年进行。具体而言，通过在查看内容时使用用户的目光数据，我们构建了一个深度学习模型，该模型估算了用户将密切关注未查看内容的领域。这项研究的结果在国际会议上进行了同行评审。另一方面，最初的计划是实际推荐内容并评估建议结果。但是，为了推荐反映未能获得生物信号的用户的兴趣的内容，很明显，需要从内容给用户的印象中表达出用户的内部状态。因此，在今年，在上述研究3中，我们构建了一个深度学习模型，以估计内容给人的印象。今年的研究结果取得了出色的成果，一本书融入了同行评审的期刊，在同行评审的国际会议上进行了五次演讲，在非共同评论的国内会议上进行了四本演讲，并颁发了一项奖项。