確率的挙動を示す学習アルゴリズムとそれによる学習概念のクラス分け

本研究では,計算論的学習理論をもとに,より高度・柔軟な機械学習を実現することを目指している.特に,計算量的な観点から機械学習する対象として,普遍的な幾何構造をとりあげ,それに対する確率的な近似学習アルゴリズムと,質問を用いた正確な学習に取り組んでいる.本年度の研究では,昨年度の成果をさらに拡張し,対象kラベル空間の学習の難しさの尺度を導入し,kラベル空間の近似学習可能性に関する定理を与えた.またニューラルネットワークの基本構造である3層のネットワークにより表される関数の質問を用いた正確な学習について成果を上げた.以下,この2点について述べる.(kラベル空間の学習理論)従来の例からの学習の最も基本的な枠組では,正例・負例の2種の例しか考えなかった.しかし,それではk種類の分類がある場合の概念クラスに対しては不十分であった.概念が幾何的に解釈できる場合,正例・負例からの学習について,VC次元という尺度が知られている.これに対して,本研究ではこのkラベル空間の次元を新たに導入し,この次元を用いて,Voronoi空間の複雑度を定義し,その応用を示した.これは,学習対象のコンパクトな表現を与えることにより汎化を実現するものである.(3層ネットワーク関数の質問を用いた学習)3層ニューラルネットの最も基本的なモデルは,d個の入力,n素子の中間層・l素子の出力層の各素子を線形のしきい値関数としたものである.本年度のこれまでの研究で,各素子として,同様に基本的な入力の和・積・線形・最小値をとるものを考え,それらの組合せとして表される関数の正確な学習について調べ,これらの関数が多くの場合質問を用いて(O(n^d)とかO(dn)回とかの質問で)正確に学習可能であり,またしきい値関数の場合の近似学習の限界について示した.

本研究では,計算論的学習理論をもとに,より高度・柔軟な機械学習を実現することを目指している.特に,計算量的な観点から機械学習する対象として,普遍的な幾何構造をとりあげ,それに対する確率的な近似学習アルゴリズムと,質問を用いた正確な学習に取り組んでいる.本年度の研究では,昨年度の成果をさらに拡張し,対象kラベル空間の学習の難しさの尺度を導入し,kラベル空間の近似学習可能性に関する定理を与えた.またニューラルネットワークの基本構造である3層のネットワークにより表される関数の質問を用いた正確な学習について成果を上げた.以下,この2点について述べる.(kラベル空間の学習理論)従来の例からの学習の最も基本的な枠組では,正例・負例の2種の例しか考えなかった.しかし,それではk種類の分類がある場合の概念クラスに対しては不十分であった.概念が幾何的に解釈できる場合,正例・負例からの学習について,VC次元という尺度が知られている.これに対して,本研究ではこのkラベル空間の次元を新たに導入し,この次元を用いて,Voronoi空間の複雑度を定義し,その応用を示した.これは,学習対象のコンパクトな表現を与えることにより汎化を実現するものである.(3層ネットワーク関数の質問を用いた学習)3層ニューラルネットの最も基本的なモデルは,d個の入力,n素子の中間層・l素子の出力層の各素子を線形のしきい値関数としたものである.本年度のこれまでの研究で,各素子として,同様に基本的な入力の和・積・線形・最小値をとるものを考え,それらの組合せとして表される関数の正確な学習について調べ,これらの関数が多くの場合質問を用いて(O(n^d)とかO(dn)回とかの質問で)正確に学習可能であり,またしきい値関数の場合の近似学習の限界について示した.