Model selection criterion for bridge estimator in sparse learning

本研究では、前年度、直交回帰の場合のLASSO推定量であるSoft-Thresholding推定量のスケーリングに基づくBridge推定量を導き、その理論的意義、汎化における有効性およびモデル自由度の非単調性の原因を明らかにしてきた。今年度は、そうした結果を論文にまとめ、それが出版された。また、統計的回帰とモデル選択に係る書籍も出版した。一方で、この結果は、一般の場合について、デザイン行列を直交展開して、その上でスパース性をもつモデリングに応用することができ、それはリッジ正則化のモデル選択に対応する。そこで、リッジ正則化の観点から、近年注目されているData Augmentationに注目して研究を進めた。一般に、入力にノイズを混入させる方法は正則化と同じ働きをすることが知られており、ノイズ分散が正則化パラメータと対応するため、ノイズ分散を決めることがモデル選択となる。Data Augmentationの立場では、ノイズを混入したデータを追加する（それによって補強する）方法が用いられることがある。画像の問題では、これは、Adversarial Attackを回避するためのロバストな方法を提供するが、汎化性の観点からの研究はなされていない。本研究では、ノイズを入力に加えるData Augmentationを線形回帰に適用する場合の学習について理論的に調べた。その結果、Data Augumentationはスパースな表現を与えない正則化に対応しているが、学習率を増加させるという見かけ上の加速化の効果とリッジ正則化の効果があることを明らかにするとともに、ニューラルネットワークについてもこの性質をもつことを数値例によって確かめた。

本研究では、前年度、直交回帰の場合のLASSO推定量であるSoft-Thresholding推定量のスケーリングに基づくBridge推定量を導き、その理論的意義、汎化における有効性およびモデル自由度の非単調性の原因を明らかにしてきた。今年度は、そうした結果を論文にまとめ、それが出版された。また、統計的回帰とモデル選択に係る書籍も出版した。一方で、この結果は、一般の場合について、デザイン行列を直交展開して、その上でスパース性をもつモデリングに応用することができ、それはリッジ正則化のモデル選択に対応する。そこで、リッジ正則化の観点から、近年注目されているData Augmentationに注目して研究を進めた。一般に、入力にノイズを混入させる方法は正則化と同じ働きをすることが知られており、ノイズ分散が正則化パラメータと対応するため、ノイズ分散を決めることがモデル選択となる。Data Augmentationの立場では、ノイズを混入したデータを追加する（それによって補強する）方法が用いられることがある。画像の問題では、これは、Adversarial Attackを回避するためのロバストな方法を提供するが、汎化性の観点からの研究はなされていない。本研究では、ノイズを入力に加えるData Augmentationを線形回帰に適用する場合の学習について理論的に調べた。その結果、Data Augumentationはスパースな表現を与えない正則化に対応しているが、学習率を増加させるという見かけ上の加速化の効果とリッジ正則化の効果があることを明らかにするとともに、ニューラルネットワークについてもこの性質をもつことを数値例によって確かめた。