Graph clustering based on multimodal data fusion and its application to retrieval

2022年度は，「研究の目的」および「研究実施計画」に示した【項目1：欠損モダリティ補間を備えた潜在特徴抽出とグラフクラスタリングの同時最適化技術の構築】・【項目2：信頼度推定を導入したコンセンサス・グラフクラスタリング技術の構築】・【項目3：グラフクラスタリングの検索への応用】を実施した．項目1については，直積量子化に基づく高速クロスモーダル検索のための新たな潜在特徴抽出技術を構築した．具体的には，画像とテキストの関連性の最大化と対照学習による学習データの増量を両立する損失関数を定義して最適化することで，教師ラベルが用意できない場合においても弁別性の高い潜在特徴量を抽出可能とした．さらに，ソーシャルデータに信号処理の技法を適用可能として有益情報を抽出する技術を新たに構築した．提案技術は，直接相関を持つ単峰性ガウス分布を用いてトレンドをモデル化し，グラフクラスタリングを行う．これにより，雑多なトレンドの中から，クラスタ(波形が類似したトレンドの集合)を顕在化可能とした．項目2については，画像とテキストから成るコンテンツのsequential推薦において，画像とテキストの寄与度を各々算出し，寄与度に応じて統合することで，説明性を担保しながら推薦精度を向上する技術を構築した．以上の技術は，項目3に応用できる成果であり，FLICKR25KやNUS-WIDEといったオープンデータ，Twitterデータ，企業の実データを対象とした実験を行い，有効性を確認した．以上の研究成果をまとめ，査読付き学術論文誌(1件)，査読付き国際会議(1件)，国内学会(4件)の対外発表を行った．

2022年度は，「研究の目的」および「研究実施計画」に示した【項目1：欠損モダリティ補間を備えた潜在特徴抽出とグラフクラスタリングの同時最適化技術の構築】・【項目2：信頼度推定を導入したコンセンサス・グラフクラスタリング技術の構築】・【項目3：グラフクラスタリングの検索への応用】を実施した．項目1については，直積量子化に基づく高速クロスモーダル検索のための新たな潜在特徴抽出技術を構築した．具体的には，画像とテキストの関連性の最大化と対照学習による学習データの増量を両立する損失関数を定義して最適化することで，教師ラベルが用意できない場合においても弁別性の高い潜在特徴量を抽出可能とした．さらに，ソーシャルデータに信号処理の技法を適用可能として有益情報を抽出する技術を新たに構築した．提案技術は，直接相関を持つ単峰性ガウス分布を用いてトレンドをモデル化し，グラフクラスタリングを行う．これにより，雑多なトレンドの中から，クラスタ(波形が類似したトレンドの集合)を顕在化可能とした．項目2については，画像とテキストから成るコンテンツのsequential推薦において，画像とテキストの寄与度を各々算出し，寄与度に応じて統合することで，説明性を担保しながら推薦精度を向上する技術を構築した．以上の技術は，項目3に応用できる成果であり，FLICKR25KやNUS-WIDEといったオープンデータ，Twitterデータ，企業の実データを対象とした実験を行い，有効性を確認した．以上の研究成果をまとめ，査読付き学術論文誌(1件)，査読付き国際会議(1件)，国内学会(4件)の対外発表を行った．