权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

知識限界を明確化する機能分化された深層学習

功能差异化的深度学习，澄清知识界限

基本信息

批准号：
22H03642
负责人：
佐藤育郎
金额：
$ 11.15万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

シナプティック記憶テーマについて，一般的な順列型の深層ネットワークではない巡回型のモダンホップフィールドネットワークと呼ばれる大型容量の記憶装置が注目を集めていることを受け，我々は概念的な記憶想起モジュールにおいて，部分的忘却機能を新たに組み入れたものを考案した．忘却は脳の健全的発達に重要な役割を担うことが知られており，これヒントに記憶の確率的忘却を定式化し，トランスフォーマー型の深層ネットワークにおいて，従来の学習法を上回るパターン認識性能が得られることを確認した（太田ら，AISTATS2023）．機能分化型深層学習の具体事例として，物体に対する視線角度を一枚の画像から推定するタスクを扱った．従来は畳み込みニューラルネットワークなどによる角度の回帰器を用いることが一般的であったが，我々は，回帰器とともに画像の生成器を学習時に補助的に用い，潜在表現を視線依存のものと非依存のものに分離する方法を開発した．この回帰器と生成器を協調させた我々の方法は，従来の回帰器単体のものと比較して，顕著に高い予測精度が得られることを確認した（チェンら，CVIM2022）．神経科学的知見に基づいて導出された深層ネットワークの学習方法「目標値伝播法」について，Difference Target Propagationと呼ばれる従来法の課題抽出を行ったところ，愚直な実装では学習が安定せず，ハイパーパラメタの微小な変動により容易に発散が生じることを確認した．多数の損失項のバランシングを改善するために，大胆に自己符号化損失を除外する方法を試験した結果，学習が劇的に安定化すること，認識性能が改善すること，および学習時間が短縮されることを確認した（澁谷ら，AAAI2023）．

The memory device with large capacity is focused on the memory of the concept of memory, and some of the forgetting functions are newly organized. Forgetfulness is the key to sound development. Forgetfulness is the key to knowledge. Forgetfulness is the key to memory accuracy. Forgetfulness is the key to learning. Forgetfulness is the key to cognitive performance. A specific example of function-differentiated deep learning is that an object is viewed from an angle of view. In the future, we will develop a method for the separation of potential performance from the dependence of the line of sight. The method of this kind of transmitter and generator coordination is to compare and verify the accuracy of this kind of transmitter and generator with each other (CVIM2022). The basic knowledge of neuroscience is derived from the deep generation of learning methods. The Target propagation method is used to extract the problem of learning from the source method. The target propagation method is used to extract the problem of learning from the source method. The target Propagation method is used to extract the problem of learning from the source method. The target propagation method is used to extract the problem of learning from the source method. Most of the loss terms were improved except for the bold symbolic loss method. The results of the test showed that the learning time was shortened and the cognitive performance was improved (Shibuya, AAAI2023).