Analysis of the visual characteristics of language information and its application to multimedia integrated processing

语言信息视觉特征分析及其在多媒体综合处理中的应用

• 批准号: 22H03612
• 负责人: 井手 一郎
• 金额: $ 11.07万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03612/
• 关键词: 言語情報; 視覚情報; マルチメディア; 統合処理; 印象

本研究課題では，言語情報がもつ様々な視覚的性質として，事象に内在する静的印象と，事象の動きに関する動的印象に分けて分析し，与えられた言語情報がそれらをどの程度もっているか定量化する手法を提案する．さらに，それらの印象の程度に基づいて挙動が変化するマルチメディア統合処理による応用事例を提案する．具体的には，言語情報がもつ視覚的性質を明らかにするために，【課題1】 名詞に注目した，事象に内在する静的印象の定量化，【課題2】 動詞に注目した，事象の動きに関する動的印象の定量化，という2つの課題に取り組む．また，印象の程度に応じて挙動が変化するマルチメディア統合処理による応用事例において，提案する方法論の有効性を実証的に明らかにする．令和4年度は，【課題1】について，先行して進めている「鋭さ／丸さ」を対象として方法論の検証を進めるとともに，単語に対する静的印象の推定手法を実現する第一段階として，未知語の印象を反映した画像生成手法について検討した．また，【課題2】について，動的印象を推定するモデルを直接構築せずに，【応用事例1】として，生成されるキャプションの動的印象をパラメトリックに制御した画像キャプショニング手法を検討した．また，【応用事例2】として，コメントの印象に基づく映像コンテンツのハイライト検出手法の実現を目指して，そのために必要なデータセットを自動構築するとともに，コメントの印象推定手法を開発した．

This research topic is about the analysis of the static impression of the event and the quantitative method of speech information. This is the first time I've ever seen an image of myself. Specific, the nature of speech information is clear,[topic 1] noun attention, event image inherent static impression quantification,[topic 2] verb attention, event image movement related to the dynamic impression quantification,[topic 2] topic selection group. Impression of the degree of change in the process of integration of the case, the proposal of the methodology and the effectiveness of the demonstration. In the fourth year of Ling He, the first stage of the first phase of the first phase of the first In this paper, we discuss the method of creating dynamic impression by using case 1. In addition,[Use Example 2], the implementation of the basic image detection method for the impression of a console is demonstrated, and the necessary data base is automatically constructed. In addition, the impression estimation method for a console is developed.

项目成果

North Carolina State University(米国)

北卡罗来纳州立大学（美国）

Intuitive gait modeling using mimetic-words for gait description and generation

使用模仿词进行步态描述和生成的直观步态建模

• 发表时间: 2022
• 作者: Hirotaka Kato;Takatsugu Hirayama;Keisuke Doman;Ichiro Ide;Yasutomo Kawanishi;Takahiro Komamizu;Daisuke Deguchi;Hiroshi Murase
• 通讯作者: Hiroshi Murase

Action Semantic Alignment for Image Captioning

• DOI: 10.1109/mipr54900.2022.00041
• 发表时间: 2022-08
• 期刊: 2022 IEEE 5th International Conference on Multimedia Information Processing and Retrieval (MIPR)
• 作者: Da Huo;Marc A. Kastner;Takahiro Komamizu;I. Ide

発話の交換を考慮した対話システムにおけるユーザ感情推定手法の検討

考虑话语交换的对话系统中用户情绪估计方法研究

• 发表时间: 2023
• 作者: Itthisak Phueaksri;Marc Aurel Kastner;Yasutomo Kawanishi;Takahiro Komamizu;Ichiro Ide;宮川由衣，加藤大貴，松平茅隼，平山高嗣，駒水孝裕，井手一郎
• 通讯作者: 宮川由衣，加藤大貴，松平茅隼，平山高嗣，駒水孝裕，井手一郎

画像生成を介した語感から受ける印象の可視化の検討

通过图像生成检查从词义接收到的印象的可视化

• 发表时间: 2022
• 作者: Itthisak Phueaksri;Marc Aurel Kastner;Yasutomo Kawanishi;Takahiro Komamizu;Ichiro Ide;松平茅隼，カストナーマークアウレル，駒水孝裕，平山高嗣，道満恵介，川西康友，井手一郎
• 通讯作者: 松平茅隼，カストナーマークアウレル，駒水孝裕，平山高嗣，道満恵介，川西康友，井手一郎