統計的学習理論に基づく非線形識別・判別に関する研究

基于统计学习理论的非线性判别与判别研究

• 批准号: 16700261
• 负责人: 土屋 高宏
• 金额: $ 0.58万
• 依托单位: Josai University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2004
• 资助国家: 日本
• 起止时间: 2004 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-16700261/
• 关键词: 非線形判別; ニューラルネットワーク; 情報量規準; サポートベクターマシン

1.階層型ニューラルネットワークの学習手法である誤差逆伝播法では、学習データの2乗誤差を評価関数として重み係数を反復修正する。このとき生じる局所的最小解への収束の難点をどのように克服するかが問題であった。現段階では重みの初期値や収束の速度を決定するパラメータ、重みを順次修正していくための係数を問題に応じて経験的あるいは試行錯誤的に試みる方法を適用している。効率的な数値計算の手法開発は今後の課題である。2.ニューラルネットワークに含まれる変換の関数として通常使用されるロジスティック関数(シグモイド関数)にとらわれない様々な関数の適用について研究した。例えば、(0,1)が値域となるように変換した逆正接関数、プロビットモデル、ロジスティック関数に含まれる指数関数を一般化した関数等を使用し、実データおよび乱数により誤差や誤判別率の比較検討を行った。この結果、プロビットモデルとロジスティック関数の一般指数型は通常のロジスティック関数とほぼ同様の誤判別率が得られるが、プロビットモデルはかなりの反復計算の時間を要することが分かった。これに対して、逆正接関数は処理時間が比較的短く誤差・誤判別率が小さい安定したネットワークが構成された。将来の予測に有効に機能するモデルの良さを評価するためのモデル評価基準としては一般化情報量規準が有用であり、ガウスカーネルに基づく動径基底関数ネットワークが種々の問題に適用可能なことを認識した。3.サポートベクターマシン(SVM)の学習理論においては評価関数の最適解が唯一つ決まるというメリットがあり、非線形識別・判別問題に有効な手法として知られている。ソフトマージン最適化と高次元特徴空間でのカーネルトリックを組み合わせた凸2次計画問題として定式化されるが、構成されたSVMの汎化能力を評価するためのモデル評価基準の開発をめざし、理論的・数値的に検証を進めている。

1. Hierarchical learning technique: error inverse propagation method, learning method of multiplying the error by 2, evaluation of the number, weight coefficient, and repeated correction. The minimum solution of the このとき生じる position is the difficulty of the への convergence をどのようにovercoming the するかが problem であった. At this stage, the initial value of the heavy weight is determined and the speed of the convergence is determined, and the heavy weight is corrected in sequence.くための coefficient をproblem に応じて経験's あるいはtrial and error にtrialみるmethodをapplicableしている. The method of calculating efficient numerical values ​​is a future issue. 2. ニューラルネットワークに contain まれる変change の Off number として usually use されるロジステThe number of the ィック寷(シグモイド冉婷)にとらわれない様々な请のAPPLICATIONについて Researchした. Example: えば, (0,1)が値区となるように変change した inverse direct connection number, プロビットモデル, ロジスティックkan number にcontainingれる index off number を generalization し た off number etc. を use し, 実デー タおよび random number により error や misjudgment rate の comparison 検椒行った.このRESULT, プロビットモデルとロジスティック关数のGeneral Exponential Type はusually のロジスティック关数とほぼThe false identification rate of the same method is calculated repeatedly, and the error rate is calculated repeatedly. The error and misjudgment rate are small compared to the number of inverse and forward connections, the processing time is small, and the stability is stable. Future predictions are valid and the performance is good and the performance is good. Use the であり, ガウスカーネルにbase づく movable diameter base off number ネットワークがkind 々の problem に application may なことを know した. 3. SVM (SVM) learning theory is the best solution to the number of evaluations and is the only one It is an effective technique for solving non-linear recognition and discrimination problems.ソフトマージン Optimization and high-dimensional special space でのカーネルトリックをgroup み合わせたconvex 2nd planning problem として Definition されるが, The generalization ability of SVM is determined by the evaluation criteria of SVM and the theoretical and numerical proof of the evaluation.