対話情報処理のための知識に基づく適応性・即応性の高い深層学習モデル

点击翻译按钮获取中文摘要

(1) まず、大規模テキストから学習された基盤モデルがどのような形で知識を保持しているかを分析した。具体的には、モデルを構成する最小要素である内部ベクトル表現（以下、ニューロン）に注目し、モデルを用いて大規模テキストを処理して各ニューロンが強く活性化する文の集合を収集し、得られた文に高頻度で現れる言語表現をマイニングすることで、ニューロンが捉える知識を発見する手法を開発した。提案手法を用いて標準的基盤モデルBERTを分析したところ、人物名など、知識に相当する情報を捉えるニューロンが存在することが明らかとなった。このことから、モデルが宣言的知識を間接的に保持しており、モデルサイズにより、保持できる知識の量に限界があることが示唆された。(2) 対話情報処理においては、新製品など新しい事物（エンティティ）に関する話題の理解が重要となるが、基盤モデルに限らず過去のテキストで学習されたモデルは新事物に関する知識を有しておらず、最新の話題を理解することが難しい。そこで、以前、開発したマイクロブログのテキストストリームから新事物を発見する手法を拡張し、事物のカテゴリを同時に推定する手法を開発した。これにより、新エンティティに関する知識を知識グラフとして構造化してモデルに追加入力することが可能となった。また、新事物について言語で書かれた情報は必ずしも多くないため、エンティティをクエリとする検索で得られる画像を用いることの有効性を検証した。具体的に、固有表現抽出タスクにおいて、入力中のトークンをクエリとして得られる画像を追加入力したところ、タスクの精度が向上した。このことから、画像情報を知識として用いることの有効性が示された。(3) 対話情報処理の応用として、音声対話のリアルタイム要約の実現可能性を検証したが、音声認識誤りの混入の影響が大きく、この点を解消する必要があることが明らかとなった。