Analysis of the visual characteristics of language information and its application to multimedia integrated processing

点击翻译按钮获取中文摘要

本研究課題では，言語情報がもつ様々な視覚的性質として，事象に内在する静的印象と，事象の動きに関する動的印象に分けて分析し，与えられた言語情報がそれらをどの程度もっているか定量化する手法を提案する．さらに，それらの印象の程度に基づいて挙動が変化するマルチメディア統合処理による応用事例を提案する．具体的には，言語情報がもつ視覚的性質を明らかにするために，【課題1】 名詞に注目した，事象に内在する静的印象の定量化，【課題2】 動詞に注目した，事象の動きに関する動的印象の定量化，という2つの課題に取り組む．また，印象の程度に応じて挙動が変化するマルチメディア統合処理による応用事例において，提案する方法論の有効性を実証的に明らかにする．令和4年度は，【課題1】について，先行して進めている「鋭さ／丸さ」を対象として方法論の検証を進めるとともに，単語に対する静的印象の推定手法を実現する第一段階として，未知語の印象を反映した画像生成手法について検討した．また，【課題2】について，動的印象を推定するモデルを直接構築せずに，【応用事例1】として，生成されるキャプションの動的印象をパラメトリックに制御した画像キャプショニング手法を検討した．また，【応用事例2】として，コメントの印象に基づく映像コンテンツのハイライト検出手法の実現を目指して，そのために必要なデータセットを自動構築するとともに，コメントの印象推定手法を開発した．