大規模マルチモーダルデータの分散表現

大规模多模态数据的分布式表示

• 批准号: 18J15053
• 负责人: 福井 一輝
• 金额: $ 1.22万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-25 至 2020-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-18J15053/
• 关键词: マルチモーダルデータ; 表現学習; 単語埋め込み; 加法構成性; 自然言語処理

画像やテキストなどの複数種類のデータから構成されるものをマルチモーダルデータと呼ぶ．近年，自然言語処理の分野において単語や文書などを実ベクトルで表現するための表現学習の手法が活発に研究されているが，本研究ではテキストデータに加えてそれらに対応した画像など他の情報との複雑な対応関係を捉えて，マルチモーダルデータの統一的な表現を得るための手法の開発を目的とする．本年度では，Fukui et al. 2017で提案された手法を改良することでword analogyタスクの性能とmultimodal analogyタスクの性能が両立するように改良手法の研究を行った．Fukui et al. 2017で提案された画像と単語の同時埋め込み手法において確認されていたマルチモーダルな加法構成性は，モデルを学習する際の画像-単語間の関連性の強さを決定するハイパーパラメータを調整することでword analogyタスクの性能とトレードオフになることが予備実験において確認されており，また画像と単語間の関連性を強めることで単語ベクトルとして望ましい性質(word similarityタスクの性能等)が低下することも確認されていた．本研究で提案する改良手法では，既存のモデルを少し変更することでこれら2つのタスクの性能を両立することが可能となりモデルの学習もFukui et al. 2017と同様にクロスドメインマッチング相関分析(Shimodaira 2016)を用いて同様に行うことができる．また，マルチモーダルな加法構成性を評価するためのベンチマークデータセットを作成中であり，これを用いた予備実験により単語の加法構成性とマルチモーダルな加法構成性が両立できることが確認されているため，これらの結果をまとめて論文化の準備を行っている．

A plurality of kinds of pictures are composed of pictures, pictures and pictures. In recent years, there has been an active research on the methods of performance learning in the field of natural speech processing. This study aims to increase the performance of natural speech processing by analyzing the relationship between natural speech processing and other information and complex speech processing. This year, Fukui et al. 2017 proposed to improve the performance of word analogy and multimodal analogy.Fukui et al. 2017 proposed to improve the performance of word analogy and multimodal analogy.Fukui et al. 2017 proposed to improve the performance of word analogy and multimodal analogy. The strong correlation between the two languages is determined by adjusting the performance of the word analogy and confirming that the strong correlation between the two languages is low. This study proposes an improved approach to the study of existing problems. Fukui et al. 2017 (Shimodaira, 2016) proposes an improved approach to the study of existing problems. In addition, the additive constitutive evaluation of the product is carried out in the preparation of the product, and the additive constitutive evaluation of the product is carried out in the preparation of the product.

项目成果

Segmentation-free compositional n-gram embedding

• DOI: 10.18653/v1/n19-1324
• 发表时间: 2018-09
• 期刊: ArXiv
• 作者: Geewook Kim;Kazuki Fukui;Hidetoshi Shimodaira

グラフと近傍グラフの確率的同時埋め込みによるマルチモーダルデータの可視化

使用图和邻域图的概率同时嵌入的多模态数据可视化

• 发表时间: 2019
• 作者: IWAMOTO Kazumasa;YAMAGUCHI Keita;KAWASAKI Masashi;水谷守裕，奥野彰文，福井 一輝，Kim Geewook，金沢朋実，白石 友一，岡田眞里子，下平 英寿
• 通讯作者: 水谷守裕，奥野彰文，福井 一輝，Kim Geewook，金沢朋実，白石 友一，岡田眞里子，下平 英寿

単語ベクトルを用いた文書の教師なし行列表現

使用词向量的文档无监督矩阵表示

• 发表时间: 2018
• 作者: Geewook Kim;Kazuki Fukui;Hidetoshi Shimodaira;福井一輝，下平英寿
• 通讯作者: 福井一輝，下平英寿

マルチスケールk-近傍法を用いた画像のタグ推定

使用多尺度k近邻法进行图像标签估计

• 发表时间: 2019
• 作者: 田中卓磨， 奥野彰文， 福井一輝， Kim Geewook， 下平英寿

Word-like character n-gram embedding

类词字符 n-gram 嵌入

• 发表时间: 2018
• 作者: Geewook Kim;Kazuki Fukui;Hidetoshi Shimodaira
• 通讯作者: Hidetoshi Shimodaira