Graph clustering based on multimodal data fusion and its application to retrieval

基于多模态数据融合的图聚类及其在检索中的应用

• 批准号: 21K17861
• 负责人: 原川 良介
• 金额: $ 2.91万
• 依托单位: Nagaoka University of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K17861/
• 关键词: マルチモーダル解析; クラスタリング; グラフ理論; 複雑ネットワーク; 情報検索

2022年度は，「研究の目的」および「研究実施計画」に示した【項目1：欠損モダリティ補間を備えた潜在特徴抽出とグラフクラスタリングの同時最適化技術の構築】・【項目2：信頼度推定を導入したコンセンサス・グラフクラスタリング技術の構築】・【項目3：グラフクラスタリングの検索への応用】を実施した．項目1については，直積量子化に基づく高速クロスモーダル検索のための新たな潜在特徴抽出技術を構築した．具体的には，画像とテキストの関連性の最大化と対照学習による学習データの増量を両立する損失関数を定義して最適化することで，教師ラベルが用意できない場合においても弁別性の高い潜在特徴量を抽出可能とした．さらに，ソーシャルデータに信号処理の技法を適用可能として有益情報を抽出する技術を新たに構築した．提案技術は，直接相関を持つ単峰性ガウス分布を用いてトレンドをモデル化し，グラフクラスタリングを行う．これにより，雑多なトレンドの中から，クラスタ(波形が類似したトレンドの集合)を顕在化可能とした．項目2については，画像とテキストから成るコンテンツのsequential推薦において，画像とテキストの寄与度を各々算出し，寄与度に応じて統合することで，説明性を担保しながら推薦精度を向上する技術を構築した．以上の技術は，項目3に応用できる成果であり，FLICKR25KやNUS-WIDEといったオープンデータ，Twitterデータ，企業の実データを対象とした実験を行い，有効性を確認した．以上の研究成果をまとめ，査読付き学術論文誌(1件)，査読付き国際会議(1件)，国内学会(4件)の対外発表を行った．

の 2022 annual は "research purposes" お よ び be "research project" に shown し た 【 1 of the project: owe loss モ ダ リ テ ィ curation を prepared え た potential, 徴 spare と グ ラ フ ク ラ ス タ リ ン グ の の optimization technology at the same time build 】, 【 2 of the project: Letter 頼 degrees presumption を import し た コ ン セ ン サ ス · グ ラ フ ク ラ ス タ リ ン の グ technology to construct 】, 【 project 3: グ ラ フ ク ラ ス タ リ ン グ の 検 cable へ の 応 use 】 を be applied し た. Project 1 に つ い て は, direct product quantization に base づ く high-speed ク ロ ス モ ー ダ ル 検 cable の た め の new た な potential, 徴 を extraction technology to construct し た. Specific に は, portrait と テ キ ス ト の masato even sex の maximize と polices according to learning に よ る learning デ ー タ の raised amount を struck made す る loss masato number を definition し て optimization す る こ と で, teachers ラ ベ ル が intention で き な い occasions に お い て も chemical don't sex の high potential special 徴 い を extraction could と し た. さ ら に, ソ ー シ ャ ル デ ー タ に signal 処 theory の を may apply と し て useful intelligence を spare す る を new た に build し た. Proposal は technology, direct phase masato を hold つ 単 peak sexual ガ ウ を ス distribution with い て ト レ ン ド を モ デ ル し, グ ラ フ ク ラ ス タ リ ン グ う を line. こ れ に よ り, 雑 な ト レ ン ド の in か ら, ク ラ ス タ (waveform が similar し た ト レ ン ド の collection) を 顕 may in turn と し た. Project 2 に つ い て は, portrait と テ キ ス ト か ら into る コ ン テ ン ツ の sequential recommended に お い て, portrait と テ キ ス ト の forms and degrees of を the 々 calculate し, send with the degree of に 応 じ て integration す る こ と で, illustrative を guarantee し な が ら を upward recommendation precision す を る technology to construct し た. Above は の technology, project 3 に 応 with で き る results で あ り, FLICKR25K や NUS - WIDE と い っ た オ ー プ ン デ ー タ, Twitter デ ー タ, enterprise の be デ ー タ を like と seaborne し た be 験 を い, have sharper sex を confirm し た. The above <s:1> research achievements をまとめ were submitted to 読 academic paper journal (1 item), 読 to 読 international conferences (1 item), domestic academic societies (4 items), and <s:1> overseas distribution forms を and った.

项目成果

Product Quantization to Reduce Entropy of Labels for Fast and Accurate Image Retrieval

• 发表时间: 2021-12
• 期刊: 2021 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
• 作者: Fuga Nakamura;Ryosuke Harakawa;M. Iwahashi

微生物画像の特徴表現のための自己教師ありスパースオートエンコーダに関する検討

微生物图像特征表示的自监督稀疏自编码器研究

• 发表时间: 2022
• 作者: 大友一馬;原川良介;岩橋政宏
• 通讯作者: 岩橋政宏

Twitterデータを用いたトレンドクラスタの階層化手法に関する検討 ―猛暑に対する人々の関心変化検出への応用―

利用 Twitter 数据进行趋势聚类层次方法研究 - 在检测人们对极端高温的兴趣变化中的应用 -

• 发表时间: 2022
• 作者: 水間黎;原川良介;岩橋政宏
• 通讯作者: 岩橋政宏

行動順序を考慮したマルチモーダル推薦手法に関する検討 ―LFMCDの導入による欠損モダリティに対する頑健性の向上―

考虑动作顺序的多模态推荐方法研究 - 通过引入 LFMCD 提高针对缺失模态的鲁棒性 -

• 发表时间: 2022
• 作者: 大友一馬;原川良介;飯坂正樹;岩橋政宏
• 通讯作者: 岩橋政宏

教育コンテンツの制約付きクラスタリングに関する検討

教育内容约束聚类研究

• 发表时间: 2021
• 作者: 高橋 皓暉;原川 良介;飯坂 正樹;岩橋 政宏
• 通讯作者: 岩橋 政宏