複数のシステムの間における競合解消戦略の協調的獲得機能の研究

本年度は,昨年度に提案したマルチエージェントシステムにおける強化学習手法を人工衛星の自動設計に関する評価実験を通じて検証した.機械学習の分野で研究が進められてきた強化学習の手法において,本研究ではエージェントの自己主張が部分問題の最適化を達成するととらえ,個々の解の評価に応じた報酬(これを解報酬と呼ぶ)を与え,また,エージェント相互の意見のすりあわせが解における部分問題間での不都合を解消しその間での適切なバランスを達成するととらえ,エージェント相互の譲歩に対する報酬(これを調和報酬と呼ぶ)を個々の解の間の差異の程度に応じて与えることで,エージェントに報酬に基づく強化学習を行わている.小型人工衛星の自動設計を構造設計,熱設計,通信設計のサブシステムに分解し,それぞれの部分設計をエージェントに行わせることにより衛星全体の設計を進めていくマルチエージェントシステムをDOS/Vマシン上にSmalltalk言語を用いてインプリメントし,人工衛星のミッション,重量,軌道等を変更して様々な種類の実験を行った.実験から,本研究で提案した2種類の報酬の相対的な大きさの関係をマルチエージェントシステムにおける新たなコントロールパラメーターとして利用し,個々の部分問題を最適化した解の生成を重視する場合には解報酬を相対的に大きく設定し,逆に部分問題間でのバランスのとれた解の生成を重視する場合には調和報酬を相対的に大きく設定することで,システム全体としての目的に応じた適切な競合解消戦略を報酬に基づく強化学習により協調的に獲得させることが可能になることの示唆を得られた.

本年度は,昨年度に提案したマルチエージェントシステムにおける強化学習手法を人工衛星の自動設計に関する評価実験を通じて検証した.機械学習の分野で研究が進められてきた強化学習の手法において,本研究ではエージェントの自己主張が部分問題の最適化を達成するととらえ,個々の解の評価に応じた報酬(これを解報酬と呼ぶ)を与え,また,エージェント相互の意見のすりあわせが解における部分問題間での不都合を解消しその間での適切なバランスを達成するととらえ,エージェント相互の譲歩に対する報酬(これを調和報酬と呼ぶ)を個々の解の間の差異の程度に応じて与えることで,エージェントに報酬に基づく強化学習を行わている.小型人工衛星の自動設計を構造設計,熱設計,通信設計のサブシステムに分解し,それぞれの部分設計をエージェントに行わせることにより衛星全体の設計を進めていくマルチエージェントシステムをDOS/Vマシン上にSmalltalk言語を用いてインプリメントし,人工衛星のミッション,重量,軌道等を変更して様々な種類の実験を行った.実験から,本研究で提案した2種類の報酬の相対的な大きさの関係をマルチエージェントシステムにおける新たなコントロールパラメーターとして利用し,個々の部分問題を最適化した解の生成を重視する場合には解報酬を相対的に大きく設定し,逆に部分問題間でのバランスのとれた解の生成を重視する場合には調和報酬を相対的に大きく設定することで,システム全体としての目的に応じた適切な競合解消戦略を報酬に基づく強化学習により協調的に獲得させることが可能になることの示唆を得られた.