权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

ディープニューラルネットワークの特性解析と最適設計

深度神经网络的特性分析与优化设计

基本信息

批准号：
18J15055
负责人：
古庄泰隆
金额：
$ 1.22万
依托单位：
Nara Institute of Science and Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2018
资助国家：
日本
起止时间：
2018-04-25 至 2020-03-31
项目状态：
已结题

项目摘要

ディープニューラルネットワーク(DNN)は物体認識から囲碁のプレイングまで幅広い分野で目覚ましい成果を上げており現在もっとも注目されている分野である。近年のDNNの成功はそのアーキテクチャと最適化アルゴリズムに起因するが、その理論的な性質は十分にあきらかでなかった。本研究ではこのDNNアーキテクチャや最適化アルゴリズムがその性能に及ぼす影響を解析し、適切なアーキテクチャや最適化アルゴリズムのハイパーパラメータを調査した。まず近年提案されたアーキテクチャであるResNetが従来のアーキテクチャである多層パーセプトロン(MLP)よりも高い汎化性能を持つことを示した。MLPは複数の層を直列に繋げたアーキテクチャで、与えられた入力はそれらの層を経て変換され出力される。一方でResNetは各層間にショートカットを導入し層をスキップするアーキテクチャを持つ。これにより訓練データの変化に出力が頑強になり高い汎化性能を達成出来る。さらにResNetのショートカットは1層だけスキップするよりも2層スキップするほうが高い汎化性能を持つことを示した。次にResNetを学習する際はバッチ正規化により勾配降下法で高い学習率が使えることを示した。具体的には学習が発散しないようにResNetは層の数に対して学習率を指数的に小さくする必要があるが、バッチ正規化により指数的な減少を多項式に抑えることができる。この結果高い学習率が使え学習が高速化する。

The object is recognized by the DNN. The DNN is recognized by the DNN. The DNN is recognized by the DNN. In recent years, the success of DNN has been greatly improved. This study is to investigate the performance and impact of DNN on the optimization and optimization of DNN. In recent years, ResNet has been proposed to improve the generalization performance of multi-layer networks. MLP is a multi-layer system with a multi-layer structure. ResNet is a multi-layer network. This training method is very effective in improving the generalization performance. The ResNet has a high level of performance. ResNet learning process normalization process high learning rate The number of layers of ResNet is the number of layers of ResNet. The number of layers of ResNet is the number of layers of ResNet. This results in a high learning rate, which speeds up learning.

项目成果

期刊论文数量（15）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Generation and visualization of tennis swing motion by conditional variational RNN with hidden Markov model

利用隐马尔可夫模型的条件变分 RNN 生成网球挥杆动作并进行可视化

DOI：
发表时间：
2019
期刊：
影响因子：
0
作者：
Yasutaka Furusho;Kazushi Ikeda
通讯作者：
Kazushi Ikeda

ResNet and Batch-normalization Improve Data Separability

DOI：
发表时间：
2019-10
期刊：
影响因子：
0
作者：
Yasutaka Furusho;K. Ikeda
通讯作者：
Yasutaka Furusho;K. Ikeda

Additive or Concatenating Skip-connection Improve Data Separability

加法或串联跳跃连接提高数据可分离性

DOI：
发表时间：
2019
期刊：
影响因子：
0
作者：
Yasutaka Furusho;Kazushi Ikeda;Yasutaka Furusho and Kazushi Ikeda;Yasutaka Furusho and Kazushi Ikeda;Yasutaka Furusho and Kazushi Ikeda;Yasutaka Furusho and Kazushi Ikeda
通讯作者：
Yasutaka Furusho and Kazushi Ikeda

シドニー大学(オーストラリア)

悉尼大学（澳大利亚）