異種メディア融合に基づく対話型マルチメディア検索技術の構築

基于异构媒体融合的交互式多媒体搜索技术构建

基本信息

  • 批准号:
    22KJ0010
  • 负责人:
  • 金额:
    $ 1.41万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
  • 财政年份:
    2023
  • 资助国家:
    日本
  • 起止时间:
    2023-03-08 至 2024-03-31
  • 项目状态:
    已结题

项目摘要

本年度には,VGG19モデル,ResNetモデルおよびTransformerモデルなどの大規模な深層学習モデル から推定されたデータベース内の画像・映像を効率的に絞り込むことが可能な情報を用いることで,ユーザに問いかけるための質問文を生成し,その回答に基づいて検索順位を再決定する手法の構築を目的としていた.そこで,本年度の初めには,推定された情報を集約して,Visual Question Generationモデルに基づいて処理することで,ユーザに問いかけるための質問文を生成した.その後,生成された質問文に基づいてユーザとの質疑応答を行うことで,目的の画像・映像を絞り込むための情報を取得した.最後に,取得したユーザからの回答に該当する画像・映像が上位となるように検索順位を再決定する.上記により構築した質問文生成モデルに対して,検索システムが必要とする情報をユーザにとって理解しやすい形式の質問文で問い合わせることが可能になることを明らかにした.本年度には,複数の情報を統合的に処理して質問文を生成することが可能なVisual Question Generationモデルの構築に関して,1つの国内会議(第25回 画像の認識・理解シンポジウム MIRU 2022)および1つの国際会議( IEEE Global Conference on Consumer Electronics)で発表を行っている.また,上述の研究成果をまとめることで論文誌(IEEE Open Journal of Signal Processing)に採択されている.さらに,第25回 画像の認識・理解シンポジウム MIRU 2022では2022 MIRU 学生奨励賞を受賞している.
This year に は, VGG19 モ デ ル, ResNet モ デ ル お よ び Transformer モ デ ル な ど の large-scale な deep learning モ デ ル か ら presumption さ れ た デ ー タ ベ ー ス の inside, portrait image, を sharper rate に ground り 込 む こ と が may be using い な intelligence を る こ と で, ユ ー ザ に asked い か け る た め の questioned を generate し, そ の answer に base づ い て 検 cable line を decide す る gimmick の build を purpose と し て い た. そ こ で, at the beginning of this year's の め に は, presumption さ れ た intelligence を intensive し て, Visual Question Generation モ デ ル に base づ い て 処 Richard す る こ と で, ユ ー ザ に asked い か け る た め の query text を generated し た. そ の, generate さ れ た query text に base づ い て ユ ー ザ と の line answer question 応 を う こ と で, purpose, の portrait image, を ground り 込 む た め の intelligence を obtain し た. Finally に, obtains the し た ユ ー ザ か ら の answer に should す る portraits, image が upper と な る よ う に 検 cable line を before deciding す る. Written に よ り build し た query text generated モ デ ル に し seaborne て, 検 cable シ ス テ ム が necessary と す る intelligence を ユ ー ザ に と っ て understand し や す の question asked wen で い い form close わ せ る こ と が may に な る こ と を Ming ら か に し た. This year に は, plural の intelligence を integrative に 処 Richard し て query text を generated す る こ と が may な Visual Question Generation モ デ ル の build に masato し て, 1 る domestic Conference (Portrait of the 25th session <e:1> Recognizing · Understanding シ ポジウム ポジウム MIRU 2022)および1 <e:1> international conference (IEEE Global Conference on Consumer Electronics)で publishing を line って る る. Youdaoplaceholder0, the above <s:1> research results をまとめる をまとめる とで とで paper in the IEEE Open Journal of Signal Processing に adopted 択されて る る. さ ら に 25th to portrait の understanding, the understanding シ ン ポ ジ ウ ム MIRU 2022 で は 2022 bonus reward を MIRU students who し て い る.

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
IR Questioner: QA-based Interactive Retrieval System
ゴム材料開発のための generative adversarial network に基づく配合量および物性からの電子顕微鏡画像の生成に関する一検討
基于生成对抗网络的橡胶材料开发中配合量和物理性质生成电子显微镜图像的研究
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    柳 凜太郎;藤後 廉;前田 圭介;小川 貴弘;長谷山 美紀
  • 通讯作者:
    長谷山 美紀
Cross-modal Image Retrieval Considering Semantic Relationships with Object Information
Recallable Question Answering-Based Re-Ranking Considering Semantic Region for Cross-Modal Retrieval
  • DOI:
    10.1109/ojsp.2023.3238280
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    2.8
  • 作者:
    Rintaro Yanagi;Ren Togo;Takahiro Ogawa;M. Haseyama
  • 通讯作者:
    Rintaro Yanagi;Ren Togo;Takahiro Ogawa;M. Haseyama
Interactive Re-ranking via Object Entropy-Guided Question Answering for Cross-Modal Image Retrieval
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

柳 凜太郎其他文献

敵対的生成ネットワークに基づくドメイン適応可能な文をクエリとする画像・映像検索手法に関する検討
基于生成对抗网络的使用领域自适应句子作为查询的图像/视频检索方法研究
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    0
  • 作者:
    柳 凜太郎;藤後 廉;小川 貴弘;長谷山 美紀
  • 通讯作者:
    長谷山 美紀
フーリエ振幅成分を考慮したNeural Radiance Fieldsのノンリファレンス評価指標に関する検討
考虑傅里叶幅度分量的神经辐射场非参考评价指标研究
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    河合 雅斗;柳 凜太郎;藤後 廉;小川 貴弘;長谷山 美紀
  • 通讯作者:
    長谷山 美紀
Smart Garment Design for Emotion Prediction of People with Dementia using Deep Learning
利用深度学习进行痴呆症患者情绪预测的智能服装设计
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    0
  • 作者:
    柳 凜太郎;藤後 廉;小川 貴弘;長谷山 美紀;Fangmeng Zeng
  • 通讯作者:
    Fangmeng Zeng
画像内の物体に着目した画像検索に関する検討 -RetinaNet を用いた物体認識に基づく高精度化-
以图像中的物体为中心的图像检索研究-基于RetinaNet的物体识别的高精度-
  • DOI:
  • 发表时间:
    2020
  • 期刊:
  • 影响因子:
    0
  • 作者:
    柳 凜太郎;藤後 廉;小川 貴弘;長谷山 美紀
  • 通讯作者:
    長谷山 美紀
データベース特化型クロスモーダル画像検索のためのテキストプロンプトチューニングに関する検討
数据库跨模态图像检索文本提示调整研究
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    張 華瀛;柳 凜太郎;藤後 廉;小川 貴弘;長谷山 美紀
  • 通讯作者:
    長谷山 美紀

柳 凜太郎的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

相似海外基金

階層型視覚的コモンセンスを考慮した動画質問応答
考虑分层视觉常识的视频问答
  • 批准号:
    22KJ2914
  • 财政年份:
    2023
  • 资助金额:
    $ 1.41万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
a reconstruction of theoretical philosophy from the point of view of questions and answers
从问答的角度重构理论哲学
  • 批准号:
    22K00033
  • 财政年份:
    2022
  • 资助金额:
    $ 1.41万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
三次元空間情報を用いた実世界質問応答基盤の創出
使用 3D 空间信息创建现实世界问答平台
  • 批准号:
    22K12159
  • 财政年份:
    2022
  • 资助金额:
    $ 1.41万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
医療場面の質問―応答において構築される共感に関する認知語用論的研究
基于医疗情境中的问题和回答的同理心的认知实用研究
  • 批准号:
    21K00490
  • 财政年份:
    2021
  • 资助金额:
    $ 1.41万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
AI enhanced adaptive tutoring system by generating individualized questions and answers based on cognitive diagnostic assessment
人工智能通过基于认知诊断评估生成个性化问题和答案来增强自适应辅导系统
  • 批准号:
    20J15339
  • 财政年份:
    2020
  • 资助金额:
    $ 1.41万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
Doctoral Dissertation Research: Questions and answers in K'iche'
博士论文研究:Kiche 中的问题与解答
  • 批准号:
    1451628
  • 财政年份:
    2015
  • 资助金额:
    $ 1.41万
  • 项目类别:
    Standard Grant
言語横断専門情報質問応答システムの研究
跨语言专业信息问答系统研究
  • 批准号:
    26330366
  • 财政年份:
    2014
  • 资助金额:
    $ 1.41万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Modelling deception in questions and answers
在问题和答案中建模欺骗
  • 批准号:
    448805-2013
  • 财政年份:
    2013
  • 资助金额:
    $ 1.41万
  • 项目类别:
    University Undergraduate Student Research Awards
a study in praxis and principle about dialectic of questions and answers: a new interpretation of Gadamer's thought
问答辩证法的实践与原理研究——伽达默尔思想的新阐释
  • 批准号:
    22520024
  • 财政年份:
    2010
  • 资助金额:
    $ 1.41万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
情報爆発時代に対応する質問応答基盤技術に関する研究
信息爆炸时代的基础问答技术研究
  • 批准号:
    19024033
  • 财政年份:
    2007
  • 资助金额:
    $ 1.41万
  • 项目类别:
    Grant-in-Aid for Scientific Research on Priority Areas
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了