対話情報処理のための知識に基づく適応性・即応性の高い深層学習モデル

基于对话信息处理知识的高度自适应和响应式深度学习模型

• 批准号: 21H03494
• 负责人: 吉永 直樹
• 金额: $ 11.15万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03494/
• 关键词: 適応的言語処理; 対話情報処理; 深層学習; 知識獲得

(1) まず、大規模テキストから学習された基盤モデルがどのような形で知識を保持しているかを分析した。具体的には、モデルを構成する最小要素である内部ベクトル表現（以下、ニューロン）に注目し、モデルを用いて大規模テキストを処理して各ニューロンが強く活性化する文の集合を収集し、得られた文に高頻度で現れる言語表現をマイニングすることで、ニューロンが捉える知識を発見する手法を開発した。提案手法を用いて標準的基盤モデルBERTを分析したところ、人物名など、知識に相当する情報を捉えるニューロンが存在することが明らかとなった。このことから、モデルが宣言的知識を間接的に保持しており、モデルサイズにより、保持できる知識の量に限界があることが示唆された。(2) 対話情報処理においては、新製品など新しい事物（エンティティ）に関する話題の理解が重要となるが、基盤モデルに限らず過去のテキストで学習されたモデルは新事物に関する知識を有しておらず、最新の話題を理解することが難しい。そこで、以前、開発したマイクロブログのテキストストリームから新事物を発見する手法を拡張し、事物のカテゴリを同時に推定する手法を開発した。これにより、新エンティティに関する知識を知識グラフとして構造化してモデルに追加入力することが可能となった。また、新事物について言語で書かれた情報は必ずしも多くないため、エンティティをクエリとする検索で得られる画像を用いることの有効性を検証した。具体的に、固有表現抽出タスクにおいて、入力中のトークンをクエリとして得られる画像を追加入力したところ、タスクの精度が向上した。このことから、画像情報を知識として用いることの有効性が示された。(3) 対話情報処理の応用として、音声対話のリアルタイム要約の実現可能性を検証したが、音声認識誤りの混入の影響が大きく、この点を解消する必要があることが明らかとなった。

(1)In addition, large-scale learning is based on the analysis of knowledge retention. The specific minimum elements of speech performance include attention, application, large-scale speech processing, collection of highly activated texts, and presentation of speech performance with high frequency. The proposal is based on the standard BERT analysis, the name of the person, the corresponding information, and the existence of the information. The knowledge of the declaration is indirectly maintained, and the amount of knowledge maintained is limited. (2)For example, it is important to understand the topic of new products and new things, and it is difficult to understand the topic of new things and new things. The method of discovering new things in the past and the method of estimating things at the same time This is the first time that we have ever had a chance to learn something new. For example, if you want to learn something new, you can use it to test it. Specific, inherent performance extraction, force in the image, additional force in the accuracy of the This is the first time I've ever seen a picture of myself. (3)For the purpose of speech information processing, the possibility of speech recognition error detection, the influence of speech recognition error detection, and the necessity of speech recognition error detection.

项目成果

Visually-Guided Named Entity Recognition by Grounding Words with Images via Dense Retrieval

通过密集检索将单词与图像结合起来进行视觉引导命名实体识别

• 发表时间: 2022
• 作者: Wang Yao;Naoki Yoshinaga
• 通讯作者: Naoki Yoshinaga

文脈化埋め込みを用いた言語学習者のための語義別例文検索システム

使用上下文嵌入为语言学习者提供词义例句检索系统

• 发表时间: 2021
• 作者: 山田英莉久;渡辺拓郎;小山恭史;鏑木秀俊;二村昭元;杉浦裕太;藤田浩二;大川淳;Joshua Tanner,吉永直樹
• 通讯作者: Joshua Tanner,吉永直樹

Visually-guided machine translation by grounding input words to the world via images

通过图像将输入单词与世界联系起来的视觉引导机器翻译

• 发表时间: 2021
• 作者: 姚望;吉永直樹
• 通讯作者: 吉永直樹

オンライン会議の効率化に向けたリアルタイム対話要約における課題

实时对话总结提升在线会议效率的挑战

• 发表时间: 2021
• 作者: 上原瑞歩;倉石怜実;林克彦;鷲尾光樹;上垣外英剛;中村朝陽，吉永直樹
• 通讯作者: 中村朝陽，吉永直樹

情報処理装置、情報処理方法および情報処理プログラム

信息处理装置、信息处理方法以及信息处理程序

• 发表时间: 2021