Optimization by Piecewise Linearization with Algorithmic Differentiation

4年目の2022年度は，絶対値演算の一般化としての自乗和平方演算を処理する処理系をC++で実装する上で, その基礎となるアルゴリズム微分の実装方法について総括から開始した．この作業は，2022年5月に「超双対数」の研究グループから2022年8月開催の九州大学マス・フォア・インダストリ研究所研究集会「超双対数に基づく高精度・高速 微分計算理論の構築」での招待講演の依頼があり，そこで，「自動微分・アルゴリズム微分」と題して当該技術の全体像を概説するための関連作業として実施した．種々のアルゴリズムの本質的な動作を理解するための極めて単純なプログラム群（ライブラリプログラム）を作成し，基本的な1階微分計算アルゴリズムを定め，それを配列要素に適用して多変数関数の偏導関数を同時並列に計算するものや，再帰的に適用して高階微分係数を計算する実装例を作成した．また，多変数1階偏微分係数を計算するリバースアルゴリズムの基本形を元にこれを再帰的に適用して高階の偏導関数を計算するアルゴリズムの例などの資料を作成した．現状は未公開であるが適宜レビューを行い，本研究の成果のひとつとして公開予定である．また，近年世間の注目を集めている微分不可能点が現れる計算としては，ReLU 関数を活性化関数とする深層学習計算がある．そこでこの分野での技術動向を調査し本研究との関連を詳らかにすることは，当初予定には無い作業であるが必要かつ重要であると考え，2022年度後半からその基本的な動作を明らかにするべく作業中である．具体的にはまず第1歩として1次元の数値のクラス分け関数を行う3層から6層程度のニューラルネットワークの最適化を上記プログラム例のひとつとして取り上げ，C++で実装し，そのネットワークの学習・収束の過程を調査中である．多次元データへの適応は今後の課題である．

4年目の2022年度は，絶対値演算の一般化としての自乗和平方演算を処理する処理系をC++で実装する上で, その基礎となるアルゴリズム微分の実装方法について総括から開始した．この作業は，2022年5月に「超双対数」の研究グループから2022年8月開催の九州大学マス・フォア・インダストリ研究所研究集会「超双対数に基づく高精度・高速 微分計算理論の構築」での招待講演の依頼があり，そこで，「自動微分・アルゴリズム微分」と題して当該技術の全体像を概説するための関連作業として実施した．種々のアルゴリズムの本質的な動作を理解するための極めて単純なプログラム群（ライブラリプログラム）を作成し，基本的な1階微分計算アルゴリズムを定め，それを配列要素に適用して多変数関数の偏導関数を同時並列に計算するものや，再帰的に適用して高階微分係数を計算する実装例を作成した．また，多変数1階偏微分係数を計算するリバースアルゴリズムの基本形を元にこれを再帰的に適用して高階の偏導関数を計算するアルゴリズムの例などの資料を作成した．現状は未公開であるが適宜レビューを行い，本研究の成果のひとつとして公開予定である．また，近年世間の注目を集めている微分不可能点が現れる計算としては，ReLU 関数を活性化関数とする深層学習計算がある．そこでこの分野での技術動向を調査し本研究との関連を詳らかにすることは，当初予定には無い作業であるが必要かつ重要であると考え，2022年度後半からその基本的な動作を明らかにするべく作業中である．具体的にはまず第1歩として1次元の数値のクラス分け関数を行う3層から6層程度のニューラルネットワークの最適化を上記プログラム例のひとつとして取り上げ，C++で実装し，そのネットワークの学習・収束の過程を調査中である．多次元データへの適応は今後の課題である．