权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Optimization by Piecewise Linearization with Algorithmic Differentiation

通过算法微分的分段线性化优化

基本信息

批准号：
19K11844
负责人：
久保田光一
金额：
$ 1.75万
依托单位：
Chuo University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

4年目の2022年度は，絶対値演算の一般化としての自乗和平方演算を処理する処理系をC++で実装する上で, その基礎となるアルゴリズム微分の実装方法について総括から開始した．この作業は，2022年5月に「超双対数」の研究グループから2022年8月開催の九州大学マス・フォア・インダストリ研究所研究集会「超双対数に基づく高精度・高速微分計算理論の構築」での招待講演の依頼があり，そこで，「自動微分・アルゴリズム微分」と題して当該技術の全体像を概説するための関連作業として実施した．種々のアルゴリズムの本質的な動作を理解するための極めて単純なプログラム群（ライブラリプログラム）を作成し，基本的な1階微分計算アルゴリズムを定め，それを配列要素に適用して多変数関数の偏導関数を同時並列に計算するものや，再帰的に適用して高階微分係数を計算する実装例を作成した．また，多変数1階偏微分係数を計算するリバースアルゴリズムの基本形を元にこれを再帰的に適用して高階の偏導関数を計算するアルゴリズムの例などの資料を作成した．現状は未公開であるが適宜レビューを行い，本研究の成果のひとつとして公開予定である．また，近年世間の注目を集めている微分不可能点が現れる計算としては，ReLU 関数を活性化関数とする深層学習計算がある．そこでこの分野での技術動向を調査し本研究との関連を詳らかにすることは，当初予定には無い作業であるが必要かつ重要であると考え，2022年度後半からその基本的な動作を明らかにするべく作業中である．具体的にはまず第1歩として1次元の数値のクラス分け関数を行う3層から6層程度のニューラルネットワークの最適化を上記プログラム例のひとつとして取り上げ，C++で実装し，そのネットワークの学習・収束の過程を調査中である．多次元データへの適応は今後の課題である．

For the year 2022, the generalization of absolute value calculation and the processing of self-sum square calculation are carried out on the basis of C++. This work was held in May 2022 at the Research Conference of "Super-dual-pair" held at Kyushu University's Research Institute in August 2022. The lecture "Construction of High-precision and High-speed Differential Calculation Theory of Super-dual-pair" was held at Kyushu University in August 2022. The problem of "automatic differentiation" is that the whole image of the technology is summarized, and the related operation is implemented. The basic first-order differential calculation is determined, and the arrangement elements are applied, and the partial derivative coefficients of multiple coefficients are calculated simultaneously. The calculation of the first order partial differential coefficient of the multi-dimensional system is carried out by calculating the basic form of the multi-dimensional system and calculating the partial differential coefficient of the higher-order system. The current situation is not open yet, and the results of this study are open to the public. In recent years, the world's attention has been focused on the calculation of differential impossible points. The technical trend of this research field is investigated in detail. The initial scheduled operation is necessary and important. The basic operation in the second half of 2022 is clear. Specifically, the first step of the first dimension is to optimize the number of levels in the first dimension. The third step is to optimize the number of levels in the first dimension. The third step is to optimize the number of levels in the first dimension. The fourth step is to optimize the number of levels in the first dimension. The third step is to optimize the number of levels in the first dimension. The fourth step is to optimize the number of levels. The third step is to optimize the number of levels. The fourth step is to optimize the number of levels. The Many times, the problem is solved.