权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

強化学習ベース多船航路探索法における行動表現の高度化

基于强化学习的多船路径搜索方法中行为表达的复杂性

基本信息

批准号：
19K12100
负责人：
神尾武司
金额：
$ 2.33万
依托单位：
Hiroshima City University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

安全性と効率性を勘案した航路を事前選定することの重要性から，研究代表者は多船航路探索用マルチエージェント強化学習システム（MARLS）を研究してきたが，問題の大規模化等により学習効率が低下する．本研究は，エージェントの行動を舵角という原始的な表現から，回避，針路回復，進路維持という高度な表現とすることで学習効率の向上を図り，高次の要求（回避開始点の明確化）を満足する航路探索を目指すものである．2019年度に『高度な行動表現に対する簡易モデルの構築』を実施し，2020年度以降は『簡易モデルの改良および回避開始点を明確化するための航路探索法の構築』を継続してきた．2021年度には，衝突が発生するたびに進路維持の強制力を緩和し，他船を回避できる範囲を拡大することで回避開始点を検出する方法を提案した．その結果，回避開始点を特定の範囲に収束させることに成功したが，その安全性は現実の操船者を満足させるには不十分となる可能性がある．そこで2022年度は，操船者が衝突の危険を感じる領域（バンパーモデル）を衝突判定領域として導入し，推定安全度に基づいて回避開始点を探索する方法を考案した．具体的には，バンパー内部の安全度を零とし，バンパーから離れるにつれて安全度が高くなるように定義する．さらに，自船の現航路と基準回避航路に対する安全度を推定し，推定安全度が基準値以下の場合に限り，回避を許可することで回避開始点を検出する．実験の結果，本手法は安全性を保障しつつ，学習効率が向上することが確認された．ただし，現時点では，回避を許可するための基準値は経験的に設定されており，基準値の変更が航路探索に与える影響については十分に検証できていない．今後は，本手法を様々な航路探索問題に適用し，基準値の設定について検討する必要がある．

The importance of safety assessment and route selection in advance has been studied by research representatives for the purpose of multi-ship route exploration, and the learning efficiency has been reduced due to large-scale problems. This study focuses on the following aspects: (1) original performance,(2) avoidance,(3) path recovery,(4) path maintenance,(5) high performance,(6) learning efficiency,(7) high performance,(8) high performance,(9) high performance,(10) high performance,(Clarification of Avoidance Start Point) The route exploration method for the purpose of route exploration will be implemented in FY2019. In FY2020, the stress for maintaining the route will be alleviated by reducing the stress for improving the simple route and clarifying the avoidance start point. He avoided the start point and proposed a method. As a result, avoid the starting point of a specific range of success, safety, and operator. In the year 2022, the ship operator will explore the method of exploring the conflict detection area, the introduction of the risk detection area, the estimation of safety level, and the avoidance of the starting point. Specifically, the internal security of the vehicle is zero, and the internal security of the vehicle is high. In addition, the safety degree of the ship's current route and the reference avoidance route is estimated, and the estimated safety degree is limited in the case where the reference value is lower than the reference value, and the avoidance start point is detected. As a result, this method is safe and effective, and the learning rate is up and confirmed. The current point is to avoid setting the baseline value for route exploration and impact assessment. In the future, this method is applicable to route exploration problems, and it is necessary to set the reference value for discussion.

项目成果

期刊论文数量（17）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

A Reinforcement Learning Based Approach to Search Ships' Courses Using Tracking Control

基于强化学习的利用跟踪控制搜索船舶航向的方法

DOI：
发表时间：
2020
期刊：
Proc. of International Symposium on Nonlinear Theory and Its Applications
影响因子：
0
作者：
Hiroki Kimura;Takeshi Kamio;Takahiro Tanaka;Kunihiko Mitsubori;Hisato Fujisaka
通讯作者：
Hisato Fujisaka

強化学習ベース多船航路探索法における回避開始点の明確化

基于强化学习的多船路径搜索方法中避让起点的明确

DOI：
发表时间：
2021
期刊：
電子情報通信学会2021年総合大会，情報・システムソサイエティ特別企画，ジュニア＆学生ポスターセッション予稿集
影响因子：
0
作者：
Takeshi Kamio;Hiroki Kimura;Takahiro Tanaka;Kunihiko Mitsubori;Hisato Fujisaka;田中幹人，神尾武司，田中隆博，三堀邦彦，藤坂尚登;木村拓貴，神尾武司，田中隆博，三堀邦彦，藤坂尚登
通讯作者：
木村拓貴，神尾武司，田中隆博，三堀邦彦，藤坂尚登

Modification of Actual Courses including Near-misses by Reinforcement Learning to Search Ships' Courses

通过强化学习对实际航向进行修改（包括未遂事件）以搜索船舶航向

DOI：
发表时间：
2019
期刊：
Proc. of International Workshop on Electronics Information and Communication
影响因子：
0
作者：
Takahiro Tomihara;Takeshi Kamio;Hisato Fujisaka
通讯作者：
Hisato Fujisaka

Modification of Near-miss Courses by Reinforcement Learning to Search Ships' Courses

通过强化学习修改未遂航线以搜索船舶航向

DOI：
发表时间：
2019
期刊：
Proc. of International Symposium on Nonlinear Theory and Its Applications
影响因子：
0
作者：
Takahiro Tomihara;Takeshi Kamio;Takahiro Tanaka;Kunihiko Mitsubori;Hisato Fujisaka
通讯作者：
Hisato Fujisaka

Identification of Avoidance Starting Points by Reinforcement Learning-Based Multi-Ship Course Search Method with Target Courses as Actions

基于强化学习的以目标航向为动作的多船航向搜索方法识别避让起点

DOI：
发表时间：
2022
期刊：
Proc. of International Symposium on Nonlinear Theory and Its Applications
影响因子：
0
作者：
Takeshi Kamio;Hiroki Kimura;Takahiro Tanaka;Kunihiko Mitsubori;Hisato Fujisaka
通讯作者：
Hisato Fujisaka