学習機能を含むパルス駆動型ハードウェアニューラルネットワークの開発

包括学习功能的脉冲驱动硬件神经网络的开发

• 批准号: 11750334
• 负责人: 肥川 宏臣
• 金额: $ 1.34万
• 依托单位: Oita University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1999
• 资助国家: 日本
• 起止时间: 1999 至 2000
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-11750334/
• 关键词: ニューラルネットワーク; パルスニューロン; オンチップ学習; バックプロパゲーション; DDFS; パルス位置変調; FPGA; ハードウェア

本研究では,シナプスの重みを浮動小数点フォーマットにより表すことができるハードウェアパルスモード多層ニューラルネットワークについて研究を行った.通常のパルスニューラルネットワークでは,パルス信号の密度により信号レベルを表すが,提案するニューラルネットワークでは,パルス密度(周波数)と各パルスごとに設定した重みの値により信号レベルを表すことで,シナプス荷重を浮動小数点で表現できるようにしている.浮動小数点表現により,広範囲な重みの設定が可能となるため,より複雑な問題に対応できるハードウェアニューラルネットワークの実現が可能となる.提案するニューラルネットワークを実装するために,パルス信号の重み付けと周波数変換を行うシナプス乗算器,シナプス信号の加算,非線形活性化関数を持つニューロンの開発を行った.シナプス乗算器の周波数変換部にはDirect Digital Frequency Synthesizer(DDFS)を使用し,パルスの重み付けにはパルス位置変調を用いた.これらの回路を用いることで,浮動小数点演算を通常の乗算器を用いずに実装している.さらに,オンチップ学習機能を持たせるために,バックプロパゲーションアルゴリズムをパルス演算によりハードウェアとして実装している.本研究で開発した,シナプス乗算器,ニューロン,学習機能を用いて学習機能付きニューラルネットワークをField programmable gate array(FPGA)を用いて実装し,実験により提案するシステムの評価を行った.実験では,論理関数の学習問題,2次元図形の領域分割問題についての実験を行った.実験結果から,提案するネットワークが複雑な問題に対応できるとともに,良好なオンチップ学習機能を持つことを確認した.

This study is based on the floating decimal point floating point では,シナプスの重みを floating decimal point フォーマットによりTable すことができるハードウェアパルスモードMultilayer ニューラルネットワークについて research lineった.Normal のパルスニューラルネットワークでは, パDensity of ルスsignal ) and each パルスごとに setting した重みの値により signal レベルを table すことで, シナプス load を floating decimal point expressionできるようにしている. Floating decimal point expression により,広法囲な重みのsettingがpossibleとなるため,よりFU雑なque题目に対応できるハードウェアニューラルネットワークの実appearspossibleとなる.Proposalするニューラルネットワークを実装するために,パルスsignalの重みPayけとcycle number変changeを行うシナプスmultiplier,シナプスsignalのaddcalculator ,Non-linear activation switch をhold つニューロンの开発を行った.シナプスmultiplier のCycle number conversion department にはDirect Digital Frequency Synthesizer (DDFS) is used, and the position adjustment is adjusted using the loop.を用いることで, floating decimal point calculation をusually のmultiplier を いずに実装している.さらに, オンチップlearning function をhold たせるために,バックプロパゲーションアルゴリズムをパルThis study is based on the calculation of the calculation method.で开発した,シナプスmultiplier,ニューロン,learning function をいてlearning function payきニューラルネットワークをField programmable gate Array (FPGA) is used for installation, 実験 により proposal するシステムのreview価を行った.実験では, theoretical close number learning problem, 2-dimensional shape の domain segmentation problem についての実験を行った.実験 Results から,Proposal するネットワークがReplied Questionsに対応できるとともに, good なオンチップlearning function をhold つことをconfirmation した.

项目成果

肥川宏臣: "Pulse Mode Multilayer Neural Network with Floating Point Operation and On-chip Learning"Proceedings of 2000 IEEE-INNS-ENNS International Joint Conference on Neural Networks (IJCNN 2000). 2巻. 71-76 (2000)

Hiroomi Hikawa：“具有浮点运算和片上学习的脉冲模式多层神经网络”2000 年 IEEE-INNS-ENNS 国际神经网络联合会议论文集 (IJCNN 2000) 第 2 卷 71-76 (2000)。

肥川宏臣: "Pulse Mode Multilayer Neural Network Based on Floating Point number Representation"Proceedings of 2000 IEEE International Symposium on Circuits and Systems (ISCAS 2000). 3巻. 145-148 (2000)

Hiroomi Hikawa：“基于浮点数表示的脉冲模式多层神经网络”2000 年 IEEE 国际电路与系统研讨会论文集 (ISCAS 2000) 第 3 卷。145-148 (2000)。

佐藤和雄,肥川宏臣: "On-Chip Learning for Pulse Mode Neural Network with Multiple Output"Proceedings of 1999 IEEE ISPACS'99. 73-76 (1999)

Kazuo Sato、Hiroomi Hikawa：“具有多个输出的脉冲模式神经网络的片上学习”1999 年 IEEE ISPACS99 (1999) 论文集。

肥川 宏臣: "周波数変調パルスと多数決ニューロンによる学習機能付き多層ニューラルネットワーク"電子情報通信学会論文誌. Vol.J82-A,No.7. 1005-1015 (1999)

Hiroomi Hikawa：“使用调频脉冲和多数表决神经元的具有学习功能的多层神经网络”，电子、信息和通信工程师协会学报，第 J82-A 卷，第 1005-1015 期（1999 年）。

肥川 宏臣: "An Efficient Pulse Mode Multilayer Neural Network"Proceedings of 1999 IEEE ISPACS'99. Vol.5. 367-370 (1999)

Hiroomi Hikawa：“高效脉冲模式多层神经网络”1999 年 IEEE ISPACS99 论文集第 5 卷（1999 年）。