知識限界を明確化する機能分化された深層学習

シナプティック記憶テーマについて，一般的な順列型の深層ネットワークではない巡回型のモダンホップフィールドネットワークと呼ばれる大型容量の記憶装置が注目を集めていることを受け，我々は概念的な記憶想起モジュールにおいて，部分的忘却機能を新たに組み入れたものを考案した．忘却は脳の健全的発達に重要な役割を担うことが知られており，これヒントに記憶の確率的忘却を定式化し，トランスフォーマー型の深層ネットワークにおいて，従来の学習法を上回るパターン認識性能が得られることを確認した（太田ら，AISTATS2023）．機能分化型深層学習の具体事例として，物体に対する視線角度を一枚の画像から推定するタスクを扱った．従来は畳み込みニューラルネットワークなどによる角度の回帰器を用いることが一般的であったが，我々は，回帰器とともに画像の生成器を学習時に補助的に用い，潜在表現を視線依存のものと非依存のものに分離する方法を開発した．この回帰器と生成器を協調させた我々の方法は，従来の回帰器単体のものと比較して，顕著に高い予測精度が得られることを確認した（チェンら，CVIM2022）．神経科学的知見に基づいて導出された深層ネットワークの学習方法「目標値伝播法」について，Difference Target Propagationと呼ばれる従来法の課題抽出を行ったところ，愚直な実装では学習が安定せず，ハイパーパラメタの微小な変動により容易に発散が生じることを確認した．多数の損失項のバランシングを改善するために，大胆に自己符号化損失を除外する方法を試験した結果，学習が劇的に安定化すること，認識性能が改善すること，および学習時間が短縮されることを確認した（澁谷ら，AAAI2023）．

シナプティック記憶テーマについて，一般的な順列型の深層ネットワークではない巡回型のモダンホップフィールドネットワークと呼ばれる大型容量の記憶装置が注目を集めていることを受け，我々は概念的な記憶想起モジュールにおいて，部分的忘却機能を新たに組み入れたものを考案した．忘却は脳の健全的発達に重要な役割を担うことが知られており，これヒントに記憶の確率的忘却を定式化し，トランスフォーマー型の深層ネットワークにおいて，従来の学習法を上回るパターン認識性能が得られることを確認した（太田ら，AISTATS2023）．機能分化型深層学習の具体事例として，物体に対する視線角度を一枚の画像から推定するタスクを扱った．従来は畳み込みニューラルネットワークなどによる角度の回帰器を用いることが一般的であったが，我々は，回帰器とともに画像の生成器を学習時に補助的に用い，潜在表現を視線依存のものと非依存のものに分離する方法を開発した．この回帰器と生成器を協調させた我々の方法は，従来の回帰器単体のものと比較して，顕著に高い予測精度が得られることを確認した（チェンら，CVIM2022）．神経科学的知見に基づいて導出された深層ネットワークの学習方法「目標値伝播法」について，Difference Target Propagationと呼ばれる従来法の課題抽出を行ったところ，愚直な実装では学習が安定せず，ハイパーパラメタの微小な変動により容易に発散が生じることを確認した．多数の損失項のバランシングを改善するために，大胆に自己符号化損失を除外する方法を試験した結果，学習が劇的に安定化すること，認識性能が改善すること，および学習時間が短縮されることを確認した（澁谷ら，AAAI2023）．