ニューラルネットワークモデルによる文脈と知識を用いた日本語対話システムの構築

点击翻译按钮获取中文摘要

本研究では、記憶装置付きニューラルネットワークモデルによる構造化知識を用いた質問応答を行った。計算機の原理であるチューリングマシンをニューラルネットワークで模したDNC (Graves et al., 2016)に、Transformer (Vaswani et al., 2017)と知識利用・演算処理を行うアーキテクチャを組み込んだモデルを構築し、知識と演算を必要とする自然言語処理タスクを扱えるか検証を行った。3つのDNCモデル、vanilla DNC, rsDNC (Franke et al., 2018), DNC-DMS (Csordas et al., 2019)に知識メモリアーキテクチャとプロセッサアーキテクチャを追加し、実験を行い、背景知識や単純な算術演算と論理演算を必要とする質問応答タスクに対して効果を分析した。アメリカの地理に関する知識と演算処理を要求するGEOデータセット (Zelle et al., 1996)とそれを拡張したデータセットにおいて、BERT (Devlin et al., 2019)をファインチューニングした結果より、DNCモデルをベースにBERTと知識を扱うメモリと演算を行うユニットを追加した提案手法の結果がすべて平均top-1 accuracyと平均top-10 accuracyの両方で向上した。さらに、rsDNC を改良した提案手法はGEOデータセットにおける平均top-1 accuracyで最も良い結果を達成し、総合的にDNCより高いスコアを得た。