異種メディア融合に基づく対話型マルチメディア検索技術の構築

基于异构媒体融合的交互式多媒体搜索技术构建

• 批准号: 22KJ0010
• 负责人: 柳 凜太郎
• 金额: $ 1.41万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0010/
• 关键词: 画像検索; 質問応答; 再検索

本年度には，VGG19モデル，ResNetモデルおよびTransformerモデルなどの大規模な深層学習モデル から推定されたデータベース内の画像・映像を効率的に絞り込むことが可能な情報を用いることで，ユーザに問いかけるための質問文を生成し，その回答に基づいて検索順位を再決定する手法の構築を目的としていた．そこで，本年度の初めには，推定された情報を集約して，Visual Question Generationモデルに基づいて処理することで，ユーザに問いかけるための質問文を生成した．その後，生成された質問文に基づいてユーザとの質疑応答を行うことで，目的の画像・映像を絞り込むための情報を取得した．最後に，取得したユーザからの回答に該当する画像・映像が上位となるように検索順位を再決定する．上記により構築した質問文生成モデルに対して，検索システムが必要とする情報をユーザにとって理解しやすい形式の質問文で問い合わせることが可能になることを明らかにした．本年度には，複数の情報を統合的に処理して質問文を生成することが可能なVisual Question Generationモデルの構築に関して，1つの国内会議(第25回 画像の認識・理解シンポジウム MIRU 2022)および1つの国際会議( IEEE Global Conference on Consumer Electronics)で発表を行っている．また，上述の研究成果をまとめることで論文誌(IEEE Open Journal of Signal Processing)に採択されている．さらに，第25回 画像の認識・理解シンポジウム MIRU 2022では2022 MIRU 学生奨励賞を受賞している．

This year に は, VGG19 モ デ ル, ResNet モ デ ル お よ び Transformer モ デ ル な ど の large-scale な deep learning モ デ ル か ら presumption さ れ た デ ー タ ベ ー ス の inside, portrait image, を sharper rate に ground り 込 む こ と が may be using い な intelligence を る こ と で, ユ ー ザ に asked い か け る た め の questioned を generate し, そ の answer に base づ い て 検 cable line を decide す る gimmick の build を purpose と し て い た. そ こ で, at the beginning of this year's の め に は, presumption さ れ た intelligence を intensive し て, Visual Question Generation モ デ ル に base づ い て 処 Richard す る こ と で, ユ ー ザ に asked い か け る た め の query text を generated し た. そ の, generate さ れ た query text に base づ い て ユ ー ザ と の line answer question 応 を う こ と で, purpose, の portrait image, を ground り 込 む た め の intelligence を obtain し た. Finally に, obtains the し た ユ ー ザ か ら の answer に should す る portraits, image が upper と な る よ う に 検 cable line を before deciding す る. Written に よ り build し た query text generated モ デ ル に し seaborne て, 検 cable シ ス テ ム が necessary と す る intelligence を ユ ー ザ に と っ て understand し や す の question asked wen で い い form close わ せ る こ と が may に な る こ と を Ming ら か に し た. This year に は, plural の intelligence を integrative に 処 Richard し て query text を generated す る こ と が may な Visual Question Generation モ デ ル の build に masato し て, 1 る domestic Conference (Portrait of the 25th session <e:1> Recognizing · Understanding シ ポジウム ポジウム MIRU 2022)および1 <e:1> international conference (IEEE Global Conference on Consumer Electronics)で publishing を line って る る. Youdaoplaceholder0, the above <s:1> research results をまとめる をまとめる とで とで paper in the IEEE Open Journal of Signal Processing に adopted 択されて る る. さ ら に 25th to portrait の understanding, the understanding シ ン ポ ジ ウ ム MIRU 2022 で は 2022 bonus reward を MIRU students who し て い る.

项目成果

IR Questioner: QA-based Interactive Retrieval System

• DOI: 10.1145/3460426.3463577
• 发表时间: 2021-08
• 期刊: Proceedings of the 2021 International Conference on Multimedia Retrieval
• 作者: Rintaro Yanagi;Ren Togo;Takahiro Ogawa;M. Haseyama

ゴム材料開発のための generative adversarial network に基づく配合量および物性からの電子顕微鏡画像の生成に関する一検討

基于生成对抗网络的橡胶材料开发中配合量和物理性质生成电子显微镜图像的研究

• 发表时间: 2022
• 作者: 柳 凜太郎;藤後 廉;前田 圭介;小川 貴弘;長谷山 美紀
• 通讯作者: 長谷山 美紀

Cross-modal Image Retrieval Considering Semantic Relationships with Object Information

• DOI: 10.1109/gcce56475.2022.10014358
• 发表时间: 2022-10
• 期刊: 2022 IEEE 11th Global Conference on Consumer Electronics (GCCE)
• 作者: Huaying Zhang;Rintaro Yanagi;Ren Togo;Takahiro Ogawa;M. Haseyama

Recallable Question Answering-Based Re-Ranking Considering Semantic Region for Cross-Modal Retrieval

• DOI: 10.1109/ojsp.2023.3238280
• 发表时间: 2023
• 期刊: IEEE Open Journal of Signal Processing
• 影响因子: 2.8
• 作者: Rintaro Yanagi;Ren Togo;Takahiro Ogawa;M. Haseyama

Interactive Re-ranking via Object Entropy-Guided Question Answering for Cross-Modal Image Retrieval

• DOI: 10.1145/3485042
• 发表时间: 2022-03
• 期刊: ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM)
• 作者: Rintaro Yanagi;Ren Togo;Takahiro Ogawa;M. Haseyama