深度神经网络内部状态的统计表示及新学习方法的探索-猫眼课题宝

深度神经网络内部状态的统计表示及新学习方法的探索

批准号：

18K11449

负责人：

柴田千尋

金额：

$2.91万

依托单位：

Hosei University (2021-2022)Tokyo University of Technology (2018-2020)

依托单位国家：

日本

项目类别：

Grant-in-Aid for Scientific Research (C)

财政年份：

2018

资助国家：

日本

项目状态：

已结题

起止时间：

2018-04-01 至 2024-03-31

来源：

https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-18K11449/

关键词：

形式言語 Transformer RNN 表現学習自然言語処理情報ボトルネック法分布エンコーディング深層学習内部表現 LSTM ディープラーニング統計的学習理論時系列予測

项目摘要

项目成果

柴田千尋的其他基金

相似基金

相关文献

中文摘要

翻译

点击翻译按钮获取中文摘要

英文摘要

昨年度に引き続き、本研究ではRNNやTransformerを対象とし、構文の構造がどのように表現されるかについて調査を行っている。Transformerは、任意の二つの離れた単語間の信号関係を計算するレイヤー（主にアテンション機構と呼ばれる）を積み重ねた構造を持っており、一般的に言ってより優れた言語モデルを構築可能とされているが、理論的な観点からは、RNNが表現できる言語クラスがより大きいとされている。本研究では、特定の言語クラスに属する人工言語からサンプルされた文の集合を訓練データとして使用し、RNNとTransformerの間に存在する性質上の違いについて実験を行った。用いた言語は主にサブレギュラーと呼ばれる、複雑さの階層をもつ言語クラス群からなり、文中に現れた単語の出現の回数や順序、隣接関係を記述可能なクラスである。また、わずかな違いを持つような敵対的テストデータと呼ばれる概念を提唱している。実験をすすめることで、学習モデルが持つ一定の性質が明らかになることが期待される。

期刊论文(7)

专著(0)

科研奖励(0)

会议论文

Learning (k,l)-context-sensitive probabilistic grammars with nonparametric Bayesian approach

使用非参数贝叶斯方法学习 (k,l) 上下文相关概率语法

DOI： 10.1007/s10994-021-06034-2

发表时间： 2021

期刊：

Machine Learning

影响因子： 7.5

作者：

[寺田侑司, 塚本皓斗, 甲斐充彦, Shibata Chihiro]

通讯作者： Shibata Chihiro

Maximum Likelihood Estimation of Factored Regular Deterministic Stochastic Languages

因式分解正则确定性随机语言的最大似然估计

DOI： --

发表时间： 2019

期刊：

In Proceedings of the 16th Meeting on the Mathematics of Language

影响因子： --

作者：

[Chihiro Shibata and Jeffrey Heinz]

通讯作者： Chihiro Shibata and Jeffrey Heinz

構文情報を陽に与えたときの LSTM-RNN による内部表現について

关于显式给出句法信息时 LSTM-RNN 的内部表示

DOI： --

发表时间： 2018

期刊：

影响因子： --

作者：

[Shunsuke SUZUKI, Yumi NAKAJIMA, Tsuyoshi MORIYAMA, Maiko SATO,and Satoshi SUZUKI, Yukie AMEMIYA, J. Takayama and Y. Arase, 須子統太，安田豪毅，堀井俊佑，小林学, 岡本(柴田) 千尋，内海慶，持橋大地]

通讯作者：岡本(柴田) 千尋，内海慶，持橋大地

超球面上への分布エンコーディングを用いた文書分類

在超球面上使用分布式编码进行文档分类

DOI： --

发表时间： 2020

期刊：

言語処理学会第26回年次大会予稿集

影响因子： --

作者：

[守屋俊, 町田秀輔, 柴田千尋]

通讯作者：柴田千尋

How LSTM Encodes Syntax: Exploring Context Vectors and Semi-Quantization on Natural Text