神経回路網の自己組織化学習における汎化能力向上のための局所的相互作用の探索

探索局部交互以提高神经网络自组织学习的泛化能力

• 批准号: 12750362
• 负责人: 亀山 啓輔
• 金额: $ 1.6万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 2000
• 资助国家: 日本
• 起止时间: 2000 至 2001
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-12750362/
• 关键词: 学習; 汎化能力; 神経回路網; 弛緩整合法; パターン認識; モデル

本研究では,例からの学習により関数を近似したり,パターンを認識したりする際の汎化能力を向上させる方法の一つとして,問題に応じて系のモデルを適切に選択し,解候補となる関数集合を限定する手法について明らかにすることを目的とし,研究を行ってきた.これまで逐次学習法に見られる極小値問題等の非効率を回避しつつ,問題に適したモデル選択を学習中に動的に行う方法(モデルスイッチング)を神経回路網の学習に対して提案し,学習の高速化と汎化能力の向上,そして工学的要請である簡単なモデルによる系の実現が可能であることを示してきた.本研究では,この手法を拡張し,モデルを構成する素子やパラメータを自律的な「実体」として定義し,それら実体間の局所的な相互作用の結果として,実体の新設や削除に相当するモデル変更が行われる,分散的な方法(自己組織化学習)によってモデル決定を含む学習を行い,高い汎化能力を実現していく手法について考察を行った.まず,層状神経回路網の中間層における局所的な実体の相互作用の一例として,訓練集合に対する実体の応答の絶対相関を相互に局所的に評価し,その値の高さによって2つの実体を1つで置換する作用(融合)により,(工学的要請である)小さなモデルによる実現と,汎化能力の向上が見られることを実験的に示してきている.さらに,学習に対する中間層の応答の従属性を低下させるような正則化を学習に際して行い,上記の素子融合と併用することにより,学習の効率化が可能であることが可能であることを示してきている.また,相互結合型の神経回路網を用いたパターンマッチングであると見ることができる弛緩整合法に対して,マッチングを行うべき未知入力に対してはあらかじめモデルを仮定せず,画像のエッジピクセルを上記の「実体」として取り扱い,相互作用によりモデル化をすすめながらテンプレートとのマッチングを図ることにより,マッチングの汎化能力を向上させる生成的弛緩整合法を提案し,国際学会などで報告している.本研究では,層状型,相互結合型の神経回路網において,素子の局所的な相互作用として応答の相関をキーとし,これに基づいてモデル変更を行っていくことの,学習の効率化,汎化能力の向上,モデル自体の自己組織的獲得への有用性を示すことができた.

In this study, the relationship between learning and generalization ability is approximated, and the generalization ability between learning and generalization ability is improved. In this study, the relationship between learning and generalization ability is improved. In this study, the problem is solved. This is because successive learning methods avoid non-efficiency problems such as minimum value problems, problem selection, learning process, learning loop network, learning speed, generalization ability, and engineering requirements. In this study, we expanded the technique, defined the entity, and examined the results of the interaction between entities. We proposed a new method to eliminate the entity, and a decentralized method (self-organized learning) to determine the entity. An example of interaction between entities in the middle layer of a layered network of neural networks is given. The interaction between entities in the training set is evaluated. The value of the interaction between entities in the training set is high. The interaction between entities in the training set and entities in the training set is high. In addition, the middle layer of the learning process is characterized by a low degree of regularization, a high degree of integration, and a high degree of learning efficiency. In the case of a network of interconnected neural circuits, the method of relaxation and integration is used to describe the interaction between the two systems. A proposal for a relaxed integration approach to generation of generalizations, International Society for Research and Development report. In this study, the layered and interconnected neural networks, the interactions between elements and their local locations, the correlation between elements and their local locations, the efficiency of learning, the improvement of generalization ability, and the usefulness of self-organization were demonstrated.

项目成果

K. Kameyama, K. Toraichi, Yukio Kosugi: "A Note on Shape Matching using a Constructive Relaxation Method"Proceedings of IEEE Pacific Rim Conference on Communication, Computer and Signal Processing. 267-270 (2001)

K. Kameyama、K. Toraichi、Yukio Kosugi：“关于使用构造性松弛方法进行形状匹配的说明”IEEE 环太平洋通信、计算机和信号处理会议论文集。

P. W. H. Kwan, K. Toraichi, K. Wada, K. Kameyama et al.: "On an Image Contour Compression Method using Compactly Supported Sampling Functions"Proceedings of IEEE Pacific Rim Conference on Communication, Computer and Signal Processing. 271-274 (2001)

P. W. H. Kwan、K. Toraichi、K. Wada、K. Kameyama 等人：“On an Image Contour Compression Method using Compactly Supported Sampling Functions”IEEE 环太平洋通信、计算机和信号处理会议论文集。

P. W. H. Kwan, K. Kameyama, K. Toraichi: "Connecting Image Similarity Retrieval with Consistent Labeling by introducing a Match-all label"Proceedings of the 10th IEEE International Conference on Fuzzy Systems. 334-337 (2001)

P. W. H. Kwan、K. Kameyama、K. Toraichi：“通过引入匹配所有标签将图像相似性检索与一致标签相连接”第 10 届 IEEE 国际模糊系统会议论文集。

M. Suzuki, K. Kameyama, K. Toraichi et al.: "On A Kaoh Database System using Fluency Functions based Automatic and Jaggyless Image Coding"Proceedings of IEEE Pacific Rim Conference on Communication, Computer and Signal Processing. 148-151 (2001)

M. Suzuki、K. Kameyama、K. Toraichi 等人：“On A Kaoh Database System using Fluency Functions based Automatic and Jaggyless Image Coding”IEEE 环太平洋通信、计算机和信号处理会议论文集。

K. Kameyama, K. Toraichi, Yukio Kosugi: "Relaxation with Model Switching and its application to shape matching"Proceedings of International Joint Conference of Neural Networks 2002. (発表決定). (2002)

K. Kameyama、K. Toraichi、Yukio Kosugi：“模型切换的松弛及其在形状匹配中的应用”2002 年国际神经网络联合会议论文集。（报告决定）（2002 年）。