強化学習ベース多船航路探索法における行動表現の高度化

点击翻译按钮获取中文摘要

安全性と効率性を勘案した航路を事前選定することの重要性から，研究代表者は多船航路探索用マルチエージェント強化学習システム（MARLS）を研究してきたが，問題の大規模化等により学習効率が低下する．本研究は，エージェントの行動を舵角という原始的な表現から，回避，針路回復，進路維持という高度な表現とすることで学習効率の向上を図り，高次の要求（回避開始点の明確化）を満足する航路探索を目指すものである．2019年度に『高度な行動表現に対する簡易モデルの構築』を実施し，2020年度以降は『簡易モデルの改良および回避開始点を明確化するための航路探索法の構築』を継続してきた．2021年度には，衝突が発生するたびに進路維持の強制力を緩和し，他船を回避できる範囲を拡大することで回避開始点を検出する方法を提案した．その結果，回避開始点を特定の範囲に収束させることに成功したが，その安全性は現実の操船者を満足させるには不十分となる可能性がある．そこで2022年度は，操船者が衝突の危険を感じる領域（バンパーモデル）を衝突判定領域として導入し，推定安全度に基づいて回避開始点を探索する方法を考案した．具体的には，バンパー内部の安全度を零とし，バンパーから離れるにつれて安全度が高くなるように定義する．さらに，自船の現航路と基準回避航路に対する安全度を推定し，推定安全度が基準値以下の場合に限り，回避を許可することで回避開始点を検出する．実験の結果，本手法は安全性を保障しつつ，学習効率が向上することが確認された．ただし，現時点では，回避を許可するための基準値は経験的に設定されており，基準値の変更が航路探索に与える影響については十分に検証できていない．今後は，本手法を様々な航路探索問題に適用し，基準値の設定について検討する必要がある．