权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

制約充足確率に基づく強化学習による組合せ最適化問題の解法に関する基礎的研究

基于约束满足概率的强化学习求解组合优化问题的基础研究

基本信息

批准号：
22K12158
负责人：
松井藤五郎
金额：
$ 2.66万
依托单位：
Chubu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12158/
关键词：
強化学習安全な強化学習組合せ最適化配送計画問題

项目摘要

2022年度は、深層強化学習を実際の物流業務における配送時間制約付き配車計画問題に適用するための準備として、巡回セールスマン問題 (TSP) を深層強化学習を用いて解く手法おける報酬の改善方法について検討した。また、制約充足確率に拡張する予定である成功確率に基づく安全な強化学習の手法を深層強化学習に拡張する方法について検討した。実際の物流業務においては、複数の配送先が非常に近い位置にあることがある。配送先が離れている場合には経路を変更すると経路長が大きく変わるが、配送先が非常に近い位置にある場合には経路を変更しても経路長がほとんど変わらない。先行研究において提案された最短経路長を新しく作成した経路長の差分（改善分）を報酬とする手法においては、このような問題に対しては報酬が非常に小さくなり、学習が進まなくなってしまう。そこで本研究では、平方根を用いた報酬関数を導入することによって、1より小さい報酬を増加させるとともに1より大きい報酬を減少させる方法を開発した。この手法を実際の運送会社の配送経路探索問題に適用し、配送先が非常に近い位置に密集している問題において有効であることを確認した。この成果については、2023年6月に熊本で開催される2023年度人工知能学会全国大会（第37回）において発表する予定である。また、我々がこれまでに開発した成功確率に基づく安全な強化学習の手法 EQ を深層強化学習の手法である DQN をベースとして Variable Autoencoder (VAE) を用いて成功し続ける確率を推定する手法 DEQN に拡張した。この成果については、2022年度6月に京都で開催された2022年度人工知能学会全国大会（第36回）において発表した。

In 2022, deep reinforcement learning was used to solve the problem of distribution time constraint payment and allocation planning in the actual logistics business. For example, the adequacy ratio is determined by the success ratio, and the method of deep reinforcement learning is discussed. The logistics business is very close to each other. In the case of distribution, the route length is changed from large to small. In the case of distribution, the route length is changed from small to large. Study the shortest path length, create a new path length difference (improve the score), and find a way to solve the problem. This study explores ways to increase and decrease the square root of salary. This method is applicable to the distribution route of the transportation company, and the distribution is very close to the middle position. The results were announced in June 2023 in Kumamoto, and the 2023 National Congress of the Artificial Intelligence Society (37th) was scheduled to be held in June 2023. The method of Variable Autoencoder (VAE) is used to estimate the success rate of deep reinforcement learning. The results of this event were announced in Kyoto in June 2022 at the 2022 National Conference of the Society of Artificial Intelligence (36th).