形式意味論と言語処理の融合による構成的言語モデルの開発

结合形式语义和语言处理开发组合语言模型

基本信息

批准号：
20K19868
负责人：
谷中瞳
金额：
$ 2.5万
依托单位：
The University of Tokyo (2021-2022)Institute of Physical and Chemical Research (2020)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

文の意味を計算処理可能な形式で表し、文と文との意味的関係を判定する含意関係認識技術の実現は、計算機による人間らしい言語理解の実現に向けて解決すべき最重要課題である。近年、深層ニューラルネット(DNN)を用いた含意関係認識の研究が盛んに行われているが、文の構成的な意味におけるDNNの表現力は明らかではなく、未知のデータに対する頑健性が不透明である。本研究では、DNNの文の構成的な意味における表現力を明らかにするとともに、表現力の改善を目指す。本年度は、【研究課題1】文の構成性原理に基づく言語モデルの評価システムの開発と【研究課題2】データ拡張と学習アルゴリズムの改良による構成的言語モデルの開発について、主に次の2つの成果を得た。研究成果1. DNNが日本語の構成的な意味を理解しているか評価する含意関係・類似度ベンチマークJSICKの開発前年度までは英語を中心にDNNの推論の体系性を分析する手法を開発してきたが、英語以外の言語を含めてDNNの言語理解能力を分析する手法が求められている。そこで、英語の語彙的、統語的、意味的な言語現象の構成的な組み合わせの理解を必要とする含意関係・類似度ベンチマークSICKを人手で日本語に翻訳し、さらに日本語の特性を考慮して語順や助詞を入れ替えた問題を追加した日本語の含意関係・類似度ベンチマークJSICKを構築し、一般公開した。JSICKを用いた分析によって、現在の汎用言語モデルは日本語の助詞の扱いに課題があるが、データ拡張によって改善する可能性が示唆された。研究成果2. 日本語の時間的順序を考慮した論理推論システムの構築形式意味論の知見に基づいて日本語文の意味を構成的に表し、時間的順序に特化した推論システムを構築した。構築したシステムは現在のDNNを用いた推論システムよりも高い精度で時間的順序に関する含意関係認識が行えることを示した。

意义关系识别技术的实现，以计算形式表达句子的含义并确定句子与句子之间的语义关系是最重要的问题，以便使用计算机实现类似人类的语言理解。近年来，已经积极地进行了使用深神经网络（DNN）识别含义关系识别的研究，但是在建设性的句子意义上，DNN的表达能力尚不清楚，对未知数据的鲁棒性尚不清楚。这项研究旨在阐明DNN句子的建设性含义的表现力，并提高表现力。今年，我们在[研究项目1]基于句子组成原则开发语言模型评估系统的以下两个结果中取得了两个主要结果，[研究项目2]通过数据扩展和改进的学习算法开发了构成语言模型。研究结果1。直到JSICK开发的前一年，含义关系/相似性基准评估DNN是否了解日语的本质意义，我们已经开发了分析DNN推理的系统性质的方法，主要是在英语中，但需要一种方法来分析DNN的语言理解能力，包括英语以外的语言。因此，用英语中的词汇，句法和语义语言现象的构成组合的理解，需要对日语进行手动翻译成日语，并添加了一个替代单词顺序和粒子的问题，该问题构建了日语，并建立了一个公共的特征。使用JSICK分析表明，当前通用语言模型在处理日本颗粒方面面临挑战，但是数据扩展可能会有所改善。研究结果2。构建逻辑推理系统，考虑了日本日本的时间顺序，我们构建了一个推理系统，该系统根据正式语义的发现来组成性地表达日本句子的含义，并构建了专门针对时间顺序的推理系统。已经表明，与使用DNN相比，构建系统可以识别与当前推理系统更高准确性相关的含义。