位相表現による注意機構を備えた畳み込みニューラルネットワークの構築

基于拓扑表示的具有注意力机制的卷积神经网络的构建

• 批准号: 17J08559
• 负责人: 長野 祥大
• 金额: $ 1.79万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2017
• 资助国家: 日本
• 起止时间: 2017-04-26 至 2020-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17J08559/
• 关键词: ニューラルネットワーク; 機械学習; 深層学習; 深層生成モデル; Variational Autoencoder; 推論; ダイナミクス; Variational autoencoder

本研究は生物における視覚的注意に代表されるような，自身の内部状態や事前知識に依存した効率的な情報処理の計算機上での実現を目指すものである．生物の柔軟な情報処理を計算機で実現するためには，生物が日々接している外界の構造に着目することが必要不可欠であることから，本年度はデータセットに対する事前知識として現実世界に典型的に存在する構造と学習モデルの関係に焦点を当てて研究を行った．これは，前年度までの研究が機械学習の手法として工学的に利用価値が高いため，情報科学的意義が十分にあると判断したためである．外界の構造として局所的な構造について着目し，局所構造のもとで有用な生成モデルの学習法について研究を行った．これまでは前述のクラスター構造や前年度に取り組んだ階層構造など，予め陽に構造を与えることができる場合を研究の対象としてきた．本年度は，高次元な観測も少数の操作変数を使って表されるという仮定のもとで，必要な帰納バイアスについて研究した．それぞれの操作変数ごとに典型的なスケールが存在するという仮定のもと，大域的な操作変数に局所的な操作変数が依存するような局所構造を仮定した．このような局所構造を持つデータセットに対して，それぞれの局所構造をタスクと捉え，未知タスクへの高速な適用を目指したメタ学習を行うことを提案した．近傍関係を補助的なラベルとして与えることで，各局所構造間で転用可能な表現を抽出した．特定データの局所近傍ごとにタスク固有のパラメーターを持つ生成モデルとして，メタ学習アルゴリズムのMAMLの階層ベイズ的解釈を用いたLocal VAEを提案した．加えて，ここで用いたMAMLについて，その学習ダイナミクスの理論的解析も行った．これまでの結果をまとめて4件の国際ワークショップと2件の国内会議で発表した．また現在，査読あり英文誌及び査読あり英文国際会議誌に原稿を投稿中である．

This study focuses on the visual representation of organisms, their internal state, and the dependence of information processing on computer reality. The information processing of biology is realized by computer. The structure of biology is connected to the outside world. The prior knowledge of biology is realized by computer. In the past year, the research on mechanical learning methods and the utilization of engineering have been highly valued, and the significance of information science has been highly judged. The structure of the external environment and the structure of the local environment are useful for generating and studying. In the case of the above structure and the previous year, the structure and the hierarchical structure are selected, and the structure and the case are studied. This year, a small number of high-level operations have been conducted to determine the number of operations. The number of operations in a large domain is determined by the number of operations in the office. The structure of the office is not suitable for the application of high speed. Close to the relationship between the structure of each bureau and the use of possible performance Specific data sets are located near the center of the network. The Local data sets are stored in the network. The local data sets are stored in the network. Add, MAML, The results of this study were presented at 4 international conferences and 2 domestic conferences. English Journal and English Journal of International Conferences

项目成果

On the conditions of MAML convergence

• 发表时间: 2019
• 作者: S. Takagi;Yoshihiro Nagano;Yuki Yoshida;M. Okada

The effect of learning rates on model-agnostic meta-learning

学习率对模型无关元学习的影响

• 发表时间: 2019
• 作者: Shiro Takagi;Yoshihiro Nagano;Yuki Yoshida;Masato Okada
• 通讯作者: Masato Okada

動的モード分解とBayesian LARS-OLSによるコヒーレントフォノンの固有振動モード選択

使用动态模式分解和贝叶斯 LARS-OLS 进行相干声子自然振动模式选择

• 发表时间: 2019
• 作者: 坂田逸志;長野祥大;五十嵐康彦;村田伸;溝口幸司;赤井一郎;岡田真人
• 通讯作者: 岡田真人

レプリカ交換モンテカルロ法による確率分布推定に基づいた位相アンラッピング

基于使用副本交换蒙特卡罗方法的概率分布估计的相位展开

• 发表时间: 2019
• 作者: 薬袋洸慈;長野祥大;五十嵐康彦;中嶋恭久;成瀬康;岡田真人
• 通讯作者: 岡田真人

メタ学習を利用した深層ニューラルネットワークによる局所的生成

使用元学习的深度神经网络进行本地生成

• 发表时间: 2019
• 作者: Golnaz Badkobeh;Hideo Bannai;Maxime Crochemore;Tomohiro I;Shunsuke Inenaga;Shiho Sugimoto;長野祥大，高木志郎，吉田雄紀，岡田真人
• 通讯作者: 長野祥大，高木志郎，吉田雄紀，岡田真人