权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Teacher-Student Sequential Re-learning Model in Adaptive Structure Deep Learning

自适应结构深度学习中的师生顺序重学习模型

基本信息

批准号：
19K12142
负责人：
市村匠
金额：
$ 2.83万
依托单位：
Prefectural University of Hiroshima
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

我々が提案した学習データに最適なRBMのニューロン数を自動で定める構造適応型RBM(Adaptive RBM(Restricted Boltzmann Machine))と，事前学習したAdaptive RBMを層とし，自動で階層構造を構築する構造適応型DBN(Adaptive DBN(Deep Belief Network))によって，高い分類能力を示すことが分かっている。しかしながら，教師あり学習における訓練データには，入力信号が同じでラベル付けされた教師信号が異なるものが含まれていることがある。これらは人間の異なる感性によって与えられたラベルであって，一概にラベル付け自体が誤りであるとは言い切れない。しかしながら，学習済モデルに与えた場合，誤判定が生じる原因となっている。このような場合，２つ以上のモデルを用いてアンサンブル学習を行う等の方法が用いられ，Teacher-Student(T/S)モデルはその一つのモデルとされている。本研究では，学習済モデルと新モデルの形成状態を調査するために，学習済みのネットワークをTeacherモデル，再学習のための新しいネットワークをStudentモデルとし，新たなStudentモデルの学習を行う。２つのモデルのKL情報量を測り，Studentモデルの分類能力とKL情報量の変化の関係を明確にし，Studentモデルで得られた新たな知識をTeacherモデルに挿入する手法を提案し，学習後のモデルの計算時間の短縮を実現した。CIFAR-100などのベンチマークデータセットや顔感情データベースであるAffectNet，軽度認知症MRIデータベースADNIに適用し，その有効性を検証したところ，分類性能の向上を示した。さらに，災害時の航空画像や衛星画像などの他のデータにも適用したところ，その有効性が示された結果が得られた．

The number of RBM and DBN(Adaptive DBN (Deep Belief Network)) is automatically determined by the algorithm, and the adaptive RBM (Restricted Boltzmann Machine) is automatically constructed by the algorithm. The teacher's training is the same as the input signal, and the teacher's signal is different. All kinds of things are different. In case of misjudgment of the cause of occurrence, the learning method is adopted. On this occasion, more than 2 This study is aimed at investigating the formation of new patterns in learning, learning new patterns in Teacher, and learning new patterns in student. 2. To measure the KL information amount of students, to clarify the relationship between the classification ability of students and the KL information amount, to propose a method for students to acquire new knowledge, and to shorten the calculation time of students after learning. CIFAR-100 AffectNet, cognitive MRI, ADNI, functional evaluation, classification performance improvement In the event of a disaster, aerial imagery and satellite imagery are available.

项目成果

期刊论文数量（35）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Teacher-Studentモデルに基づく構造適応型深層学習法による認知症MRI画像判定システム

基于师生模型的结构自适应深度学习方法的痴呆MRI图像判断系统

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
市村匠;鎌田真;原田俊英;井上健
通讯作者：
井上健

An Adaptive Structural Learning of Deep Belief Network for Image-based Crack Detection in Concrete Structures Using SDNET2018

使用 SDNET2018 进行基于图像的混凝土结构裂缝检测的深度置信网络的自适应结构学习

DOI：
发表时间：
2020
期刊：
影响因子：
0
作者：
Shin Kamada;Takumi Ichimura;Takashi Iwasaki
通讯作者：
Takashi Iwasaki

Adaptive Structural Learning of Deep Belief Network and its Application to Real Time Crack Detection of Concrete Structure using Drone", Virvou, Tsihrintzis, Bourbakis, Jain eds. "Handbook on Artificial Intelligence-empowered Applied Software Engineering:

深度置信网络的自适应结构学习及其在无人机实时混凝土结构裂缝检测中的应用”，Virvou、Tsihrintzis、Bourbakis、Jain 编辑。“人工智能赋能的应用软件工程手册：

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
Takumi Ichimura;Shin Kamada;Toshihide Harada and Ken Inoue;Shin Kamada and Takumi Ichimura
通讯作者：
Shin Kamada and Takumi Ichimura

A Video Prediction Method by using Long Short Term Memory based Adaptive Structural Learning of Deep Belief Network and its Investigation of Input Sequence Length for Data Structure

基于长短期记忆的深度置信网络自适应结构学习的视频预测方法及其数据结构输入序列长度的研究