大規模マルチモーダルデータの分散表現

点击翻译按钮获取中文摘要

画像やテキストなどの複数種類のデータから構成されるものをマルチモーダルデータと呼ぶ．近年，自然言語処理の分野において単語や文書などを実ベクトルで表現するための表現学習の手法が活発に研究されているが，本研究ではテキストデータに加えてそれらに対応した画像など他の情報との複雑な対応関係を捉えて，マルチモーダルデータの統一的な表現を得るための手法の開発を目的とする．本年度では，Fukui et al. 2017で提案された手法を改良することでword analogyタスクの性能とmultimodal analogyタスクの性能が両立するように改良手法の研究を行った．Fukui et al. 2017で提案された画像と単語の同時埋め込み手法において確認されていたマルチモーダルな加法構成性は，モデルを学習する際の画像-単語間の関連性の強さを決定するハイパーパラメータを調整することでword analogyタスクの性能とトレードオフになることが予備実験において確認されており，また画像と単語間の関連性を強めることで単語ベクトルとして望ましい性質(word similarityタスクの性能等)が低下することも確認されていた．本研究で提案する改良手法では，既存のモデルを少し変更することでこれら2つのタスクの性能を両立することが可能となりモデルの学習もFukui et al. 2017と同様にクロスドメインマッチング相関分析(Shimodaira 2016)を用いて同様に行うことができる．また，マルチモーダルな加法構成性を評価するためのベンチマークデータセットを作成中であり，これを用いた予備実験により単語の加法構成性とマルチモーダルな加法構成性が両立できることが確認されているため，これらの結果をまとめて論文化の準備を行っている．