メタ認知に基づく機械学習に関する研究

点击翻译按钮获取中文摘要

本研究の目的は,自己の認知的活動に関する認知を表す「メタ認知」の概念に基づく機械学習を公正することである.これにより,学習器そのものが学習の過程を監視し,ルール抽象化の程度を制御できるようになる.1)メタ認知に基づく学習モデルの構築まず,本研究では「メタ認知」を「学習過程を観測し,知識の内部表現を調整する機構」として定義した.なお,ここでは,一般的な機械学習の形式に従って「知識」を「特定の入力信号に対して出力信号を決定する単一のルール」とした.メタ認知の学習モデルは,このルール間の重複と矛盾を観測し,重複があればルールの統合を,矛盾があればルールを分割するというメタ学習機構によって実現されることとした.2)メタ認知に基づく強化学習アルゴリズムの構築1で構築したメタ認知の学習モデルを,代表的な機械学習である強化学習法のひとつQ学習に適用した.Q学習では,センサ入力に対する行動の出力確率をQ値というスカラー値によって決定する.このとき,同じセンサ入力に対するQ値の集合が,メタ認知学習モデルにおけるルールに対応すると考える.静的な環境においては,ルールが適切であれば,十分に学習が進んだ後,ある特定の行動に対する確率が高くなるように,対応するQ値が大きくなる.ルールに「矛盾」がある場合は,単一のセンサ入力に対して複数の行動の確率が同時に高くなり,ルールに「重複」がある場合は,異なるセンサ入力に対して同一の行動の確率が高くなると仮定し,Q学習にメタ学習に基づく学習機構を組み込んだ.3)移動ロボットを用いた検証2で構築した強化学習アルゴリズムを実装し,二輪型の移動ロボットのシミュレータを用いて実験を行った.また,これを市販の四足移動ロボットであるSONY社のAIBOに実装して実験を行った.この結果,メタ認知学習モデルが適切に動作していることを確認した.