異種メディア融合に基づく対話型マルチメディア検索技術の構築

基于异构媒体融合的交互式多媒体搜索技术构建

• 批准号: 22KJ0010
• 负责人: 柳 凜太郎
• 金额: $ 1.41万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0010/
• 关键词: 画像検索; 質問応答; 再検索

本年度には，VGG19モデル，ResNetモデルおよびTransformerモデルなどの大規模な深層学習モデル から推定されたデータベース内の画像・映像を効率的に絞り込むことが可能な情報を用いることで，ユーザに問いかけるための質問文を生成し，その回答に基づいて検索順位を再決定する手法の構築を目的としていた．そこで，本年度の初めには，推定された情報を集約して，Visual Question Generationモデルに基づいて処理することで，ユーザに問いかけるための質問文を生成した．その後，生成された質問文に基づいてユーザとの質疑応答を行うことで，目的の画像・映像を絞り込むための情報を取得した．最後に，取得したユーザからの回答に該当する画像・映像が上位となるように検索順位を再決定する．上記により構築した質問文生成モデルに対して，検索システムが必要とする情報をユーザにとって理解しやすい形式の質問文で問い合わせることが可能になることを明らかにした．本年度には，複数の情報を統合的に処理して質問文を生成することが可能なVisual Question Generationモデルの構築に関して，1つの国内会議(第25回 画像の認識・理解シンポジウム MIRU 2022)および1つの国際会議( IEEE Global Conference on Consumer Electronics)で発表を行っている．また，上述の研究成果をまとめることで論文誌(IEEE Open Journal of Signal Processing)に採択されている．さらに，第25回 画像の認識・理解シンポジウム MIRU 2022では2022 MIRU 学生奨励賞を受賞している．

This year, VGG19 images, ResNet images, Transformer models, in-depth knowledge, presumption that the image rate of the portrait image is not in the picture, and that it is possible that the image rate of the internal image may be generated. In response to the question, the question is generated after the question is generated. After the question is generated, the question is generated. After the question is generated, the question is generated. This year, in the first part of the year, it is presumed that the collection of information is due to be discussed in the current year. After the question is generated, the question is generated. The purpose of this paper is to make a decision on the image of the portrait image. Finally, get the answer when the image of the portrait image is in the upper position. It is necessary to know that it is necessary to understand the form of the question, the form of 1 in the National Conference (the 25th Portrait of the International Conference) (the 25th Portrait, knowledge and understanding), the MIRU 2022, the International Conference (IEEE Global Conference on Consumer Electronics), the table, the table, the research results, the articles (IEEE Open Journal of Signal Processing), the articles (IEEE Open Journal of Signal Processing), the articles, the articles, the articles The 25th portrait is called "MIRU 2022". "2022 MIRU students are encouraged to receive help."

项目成果

IR Questioner: QA-based Interactive Retrieval System

• DOI: 10.1145/3460426.3463577
• 发表时间: 2021-08
• 期刊: Proceedings of the 2021 International Conference on Multimedia Retrieval
• 作者: Rintaro Yanagi;Ren Togo;Takahiro Ogawa;M. Haseyama

ゴム材料開発のための generative adversarial network に基づく配合量および物性からの電子顕微鏡画像の生成に関する一検討

基于生成对抗网络的橡胶材料开发中配合量和物理性质生成电子显微镜图像的研究

• 发表时间: 2022
• 作者: 柳 凜太郎;藤後 廉;前田 圭介;小川 貴弘;長谷山 美紀
• 通讯作者: 長谷山 美紀

Cross-modal Image Retrieval Considering Semantic Relationships with Object Information

• DOI: 10.1109/gcce56475.2022.10014358
• 发表时间: 2022-10
• 期刊: 2022 IEEE 11th Global Conference on Consumer Electronics (GCCE)
• 作者: Huaying Zhang;Rintaro Yanagi;Ren Togo;Takahiro Ogawa;M. Haseyama

Recallable Question Answering-Based Re-Ranking Considering Semantic Region for Cross-Modal Retrieval

• DOI: 10.1109/ojsp.2023.3238280
• 发表时间: 2023
• 期刊: IEEE Open Journal of Signal Processing
• 影响因子: 2.8
• 作者: Rintaro Yanagi;Ren Togo;Takahiro Ogawa;M. Haseyama

Interactive Re-ranking via Object Entropy-Guided Question Answering for Cross-Modal Image Retrieval

• DOI: 10.1145/3485042
• 发表时间: 2022-03
• 期刊: ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM)
• 作者: Rintaro Yanagi;Ren Togo;Takahiro Ogawa;M. Haseyama