Autonomous Control of Heavy Machinery by Deep Reinforcement Learning for Automation of Skilled Work

通过深度强化学习实现重型机械自主控制，实现熟练工作自动化

• 批准号: 22K04273
• 负责人: 内村 裕
• 金额: $ 2.66万
• 依托单位: Shibaura Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K04273/
• 关键词: 深層強化学習; 土砂撒き出し; 建設作業の自動化; 熟練操作の模倣

建設労働者の減少・高齢化は喫緊の課題であり、施工機械による建設作業の自動化が期待されているが、不定型な土砂などを扱う土工事の自動化は難易度が高い。特にブルドーザによる土砂の撒き出し・整地作業のように、一旦押し出した土砂を引き戻すことが困難な場合は、目標の出来型形状に至る複数の工程を考慮した大局的な判断が必要であり高度な熟練を要する作業となる。そこで本研究では、土砂の状態変化に柔軟に対応する汎化性能を深層強化学習によって獲得することで熟練作業者に匹敵する重機の自律制御の実現を目指している。当年度においては、下記のように深層強化学習による撒き出し経路の最適化のための手法についての研究を進めた。1）強化学習による経路最適化においては土砂山の全体像の3次元形状のデータを入力としているが、実現場においてブルドーザ側の視点から計測する場合には、死角となる土砂データの推定が必要となる。そこで土砂山のデータの欠損部分の補完のための土砂の画像イメージ、3次元計測データを入力として土砂山の全体像を推定する深層学習ネットワークを構築した。さらに同ネットワークへの入力として撒き出し経路算出のための強化学習ネットワークに入力として与え最適経路を算出した。2）3Dプリンタを改造した土砂撒き出し装置において、土砂形状をレーザ距離計で自動計測する装置を開発した。また同装置において、強化学習によって算出した経路で撒き出しを行い、目標の出来形に対する充填率を検証した。3）熟練作業者の技能を獲得するためのネットワークとしてDecision Transformerによるオフライン学習を実装し、撒き出し経路の模倣学習を試行した。データセットとして、ランダムな経路、模範経路を用意して性能の検証を行った。

Construction machinery, automation of construction work, automation of irregular soil and sand, and automation of earthworks are difficult to solve. In particular, the soil and sand are scattered in the ground, and once the soil and sand are extracted, the difficult situation, the shape of the target, and the judgment of the overall situation are necessary. This study aims at the realization of the self-regulation of heavy machinery in the field of soft and generalized performance of soil and sand state transformation, deep reinforcement learning and acquisition. The research of deep reinforcement learning is progressing in the current year. 1) Intensified learning is necessary for optimization of the circuit, estimation of the three-dimensional shape of the whole image of the sand mountain, calculation of the viewpoint on the side of the sand mountain, and estimation of the sand mountain in the dead angle. The 3D measurement of soil and sand and the estimation of the whole soil and sand are used to construct the deep learning system. For example, if you want to learn the language, you can use the language to learn it. 2) The 3D surface modification and sand scattering device is developed. The sand shape and distance measuring device is developed. In the same device, reinforcement learning is used to calculate the filling rate of the target. 3) Proficiency in the industry skills acquisition, production, Decision Transformer, learning, installation, distribution and imitation learning The design and implementation of the system are described in detail below.