機械学習アルゴリズムの身体性再考－学習する物理ダイナミクスの数理と設計

本研究では、脳・身体における多数の要素間の相互作用を抽象化した非線形力学系上で、機械学習アルゴリズムと等価な機能性を有する数理モデルの汎用的な構成法を開発し、その系統的な解析を通して人間の学習機能の背後に通底する普遍的な数理的特性の解明を目指す。本年度ではその前段階として、埋め込む対象となる学習アルゴリズムを再検討し、数値安定性と情報処理能力の両者を担保するものを選定した。次年度はこの学習アルゴリズムをニューラルネットワーク上に構成するアルゴリズムを開発し、その力学系的特性の解析に注力する。また並行して、日本電信電話株式会社との共同研究の中で、脳の情報処理様態から得た着想を基に、深層ニューラルネットワーク（以下DNN）並びに、ニューロモーフィックデバイスの一種で物理系を計算過程に用いる物理ニューラルネットワーク（以下PNN）に適した学習アルゴリズムを開発し、数値計算並びに光ニューラルネットワークを用いた物理実装によりその有効性を確認した[M. Nakajima & K. Inoue, et. al., Nature Communications, 2022]。従来のDNNの学習には一般に誤差逆伝搬法（以下BP法）と呼ばれる学習アルゴリズムが使用されてきたが、その際システム、すなわちDNNやPNNの情報処理過程や微分応答の正確な把握が要求される。その制約のためPNNの拡張性並びに有効性がこれまで大幅に制限されていた。本研究で新たに開発された拡張 DFA 法と呼ばれる学習アルゴリズムは、そのようなシステムの精密な把握を必要としないため、PNN、より一般にニューロモーフィックデバイスの制御において活用されることが期待される。また一種のPNN とも捉えられる生理学的な脳の学習メカニズムとしても、BP法に比べ拡張DFA法は制約の少なさという観点からより妥当な形式であり、この研究を契機に今後脳が有する高度な学習機能の背後にある普遍的な数理的特性の解明につながると期待される。

本研究では、脳・身体における多数の要素間の相互作用を抽象化した非線形力学系上で、機械学習アルゴリズムと等価な機能性を有する数理モデルの汎用的な構成法を開発し、その系統的な解析を通して人間の学習機能の背後に通底する普遍的な数理的特性の解明を目指す。本年度ではその前段階として、埋め込む対象となる学習アルゴリズムを再検討し、数値安定性と情報処理能力の両者を担保するものを選定した。次年度はこの学習アルゴリズムをニューラルネットワーク上に構成するアルゴリズムを開発し、その力学系的特性の解析に注力する。また並行して、日本電信電話株式会社との共同研究の中で、脳の情報処理様態から得た着想を基に、深層ニューラルネットワーク（以下DNN）並びに、ニューロモーフィックデバイスの一種で物理系を計算過程に用いる物理ニューラルネットワーク（以下PNN）に適した学習アルゴリズムを開発し、数値計算並びに光ニューラルネットワークを用いた物理実装によりその有効性を確認した[M. Nakajima & K. Inoue, et. al., Nature Communications, 2022]。従来のDNNの学習には一般に誤差逆伝搬法（以下BP法）と呼ばれる学習アルゴリズムが使用されてきたが、その際システム、すなわちDNNやPNNの情報処理過程や微分応答の正確な把握が要求される。その制約のためPNNの拡張性並びに有効性がこれまで大幅に制限されていた。本研究で新たに開発された拡張 DFA 法と呼ばれる学習アルゴリズムは、そのようなシステムの精密な把握を必要としないため、PNN、より一般にニューロモーフィックデバイスの制御において活用されることが期待される。また一種のPNN とも捉えられる生理学的な脳の学習メカニズムとしても、BP法に比べ拡張DFA法は制約の少なさという観点からより妥当な形式であり、この研究を契機に今後脳が有する高度な学習機能の背後にある普遍的な数理的特性の解明につながると期待される。