Study on online Dropput theory and its optimization

当該年度は前年度に引き続きコロナ禍のため、9月と3月に予定した共同研究者との議論のための英国への渡航を中止したため、前年度に続き、本年度も予算は執行しなかった。本年度は、中間層と出力層の結合の学習法について検討した。当初はadiabatic elminationという統計力学で用いられる中間層と出力層の間の結合の学習法を用いる検討を行い、実装を行う予定であったが、この方法では中間層が３個の場合の動作が適切ではなかったため、勾配法を用いた方法に変更した。前年度に完成した理論に対してドロップアウトを実装する方法を検討した。ドロップアウトは、中間層ユニットに適用する方法を検討した。統計力学的手法でドロップアウトの学習を実装するためには、この操作をそのまま実現することはできないため、結合係数が微小変化するのに必要な学習回数Tにおける平均的なドロップアウト確率pをp＝M/Nとし、このpを巨視的変数RやQの中に取り込んでドロップアウトの定式化をおこなった。ここでNは全中間ユニット数、Mは学習を行う中間ユニット数である。定式化に基づき、本年度はドロップアウトの巨視的方程式を導出した。また、前年度完成させた３層パーセプトロンのプログラムをこの定式化に基づいて変更し、ドロップアウトのプログラムを完成させた。このプログラムを用いてドロップアウトの検証を行ったところ、中間ユニット数がある値の時、ドロップアウトの動作が予想したドロップアウトの動作と異なった動作となることがわかった。この点について英国の研究者である研究協力者と議論を試みたが、渡航して議論することができなたったため、この問題はまだ解決していない。

当該年度は前年度に引き続きコロナ禍のため、9月と3月に予定した共同研究者との議論のための英国への渡航を中止したため、前年度に続き、本年度も予算は執行しなかった。本年度は、中間層と出力層の結合の学習法について検討した。当初はadiabatic elminationという統計力学で用いられる中間層と出力層の間の結合の学習法を用いる検討を行い、実装を行う予定であったが、この方法では中間層が３個の場合の動作が適切ではなかったため、勾配法を用いた方法に変更した。前年度に完成した理論に対してドロップアウトを実装する方法を検討した。ドロップアウトは、中間層ユニットに適用する方法を検討した。統計力学的手法でドロップアウトの学習を実装するためには、この操作をそのまま実現することはできないため、結合係数が微小変化するのに必要な学習回数Tにおける平均的なドロップアウト確率pをp＝M/Nとし、このpを巨視的変数RやQの中に取り込んでドロップアウトの定式化をおこなった。ここでNは全中間ユニット数、Mは学習を行う中間ユニット数である。定式化に基づき、本年度はドロップアウトの巨視的方程式を導出した。また、前年度完成させた３層パーセプトロンのプログラムをこの定式化に基づいて変更し、ドロップアウトのプログラムを完成させた。このプログラムを用いてドロップアウトの検証を行ったところ、中間ユニット数がある値の時、ドロップアウトの動作が予想したドロップアウトの動作と異なった動作となることがわかった。この点について英国の研究者である研究協力者と議論を試みたが、渡航して議論することができなたったため、この問題はまだ解決していない。