意味構成性に基づく言語の意味表現の学習手法の研究と実世界アプリケーションへの応用

基于语义组合的语言语义表示学习方法及其应用研究

• 批准号: 17J09620
• 负责人: 橋本 和真
• 金额: $ 1.09万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2017
• 资助国家: 日本
• 起止时间: 2017-04-26 至 2019-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17J09620/
• 关键词: 自然言語処理

自然言語の数理的表現を獲得する研究の重要課題として、自然言語処理の複数タスクの関連性と階層性に着目した、階層的マルチタスク学習モデルの研究を行った。従来の深層学習モデルの研究では、自然言語処理の各タスク専用のモデルを個別に開発する、もしくは非常に類似したタスクを同時に学習するモデルを開発することが多かった。しかし本研究では、従来の自然言語処理のパイプライン処理に着目し、基礎的なタスクから応用的なタスクに徐々に移行する階層的なマルチタスク学習モデルを開発した。これにより、5つの異なるタスクの学習を単一モデルにて実現し、それらの相互作用により各タスクの精度向上を達成した。次に、本研究の階層的学習を行うにあたり、基礎タスク、特に構文解析のタスクの結果が必ずしも上位タスク・応用タスクに対して最適ではない可能性に着目した。つまり、特定のコーパスで学習された構文解析器の出力が、あらゆるタスク・ドメインにおいて最適であるとは限らないという問題点である。この問題点を解決するため、本研究の階層的マルチタスクモデルを拡張し、応用タスク、特に機械翻訳に特化した構文解析器の学習を可能にするモデルを開発した。これにより、従来の人手によって定義された構文を学習する構文解析器では捉えられなかった、タスク・データ特有の文構造をタスク指向に学習することを可能にした。この研究は、従来のパイプライン処理における誤りの伝播、ドメインの不一致などといった限界を打破する研究の一助となるものである、有用性が高いと言える。本研究で行った上記２点の研究は成果は、自然言語処理の分野におけるトップカンファレンスの一つである国際会議ＥＭＮＬＰにおいて発表されている。

An important topic in the study of mathematical representation of natural speech is the correlation and hierarchy of natural speech processing. Recent research on deep learning techniques has shown that natural speech processing techniques can be developed individually and simultaneously. In this study, we focus on the development of natural speech processing, basic speech processing, and transitional speech processing. The accuracy of the interaction between the two groups is high. Second, the study of hierarchical learning, basic structure, structure analysis and results must be included in the upper structure, the use of the structure, the most appropriate possibility The output of the structure parser is optimal, and the problem is limited. This problem is solved in this paper, and the hierarchical structure of this study is developed. The text parser can detect and identify the unique text structure of the text. This research is highly useful for solving problems in different fields. This study is based on the results of the previous two studies, and the results of the international conference EMNLP.

项目成果

Kazuma HASHIMOTO (橋本 和真)

桥本一马

Tsinghua University(China)

清华大学（中国）

Cache friendly parallelization of neural encoder-decoder models without padding on multi-core architecture.

神经编码器-解码器模型的缓存友好并行化，无需在多核架构上进行填充。

• DOI: 10.1109/ipdpsw.2017.165
• 发表时间: 2017
• 期刊: The 6th International Workshop on Parallel and Distributed Computing for Large Scale Machine Learning and Big Data Analytics
• 作者: Yuchen Qiao;Kazuma Hashimoto;Akiko Eriguchi;Haixia Wang;Dongsheng Wang;Yoshimasa Tsuruoka;and Kenjiro Taura.
• 通讯作者: and Kenjiro Taura.

Neural Machine Translation with Source-Side Latent Graph Parsing

• DOI: 10.18653/v1/d17-1012
• 发表时间: 2017-02
• 期刊: ArXiv
• 作者: Kazuma Hashimoto;Yoshimasa Tsuruoka

Salesforce Research/Facebook AI Research(米国)

Salesforce 研究/Facebook AI 研究（美国）