Autonomous Control of Heavy Machinery by Deep Reinforcement Learning for Automation of Skilled Work

建設労働者の減少・高齢化は喫緊の課題であり、施工機械による建設作業の自動化が期待されているが、不定型な土砂などを扱う土工事の自動化は難易度が高い。特にブルドーザによる土砂の撒き出し・整地作業のように、一旦押し出した土砂を引き戻すことが困難な場合は、目標の出来型形状に至る複数の工程を考慮した大局的な判断が必要であり高度な熟練を要する作業となる。そこで本研究では、土砂の状態変化に柔軟に対応する汎化性能を深層強化学習によって獲得することで熟練作業者に匹敵する重機の自律制御の実現を目指している。当年度においては、下記のように深層強化学習による撒き出し経路の最適化のための手法についての研究を進めた。1）強化学習による経路最適化においては土砂山の全体像の3次元形状のデータを入力としているが、実現場においてブルドーザ側の視点から計測する場合には、死角となる土砂データの推定が必要となる。そこで土砂山のデータの欠損部分の補完のための土砂の画像イメージ、3次元計測データを入力として土砂山の全体像を推定する深層学習ネットワークを構築した。さらに同ネットワークへの入力として撒き出し経路算出のための強化学習ネットワークに入力として与え最適経路を算出した。2）3Dプリンタを改造した土砂撒き出し装置において、土砂形状をレーザ距離計で自動計測する装置を開発した。また同装置において、強化学習によって算出した経路で撒き出しを行い、目標の出来形に対する充填率を検証した。3）熟練作業者の技能を獲得するためのネットワークとしてDecision Transformerによるオフライン学習を実装し、撒き出し経路の模倣学習を試行した。データセットとして、ランダムな経路、模範経路を用意して性能の検証を行った。

建設労働者の減少・高齢化は喫緊の課題であり、施工機械による建設作業の自動化が期待されているが、不定型な土砂などを扱う土工事の自動化は難易度が高い。特にブルドーザによる土砂の撒き出し・整地作業のように、一旦押し出した土砂を引き戻すことが困難な場合は、目標の出来型形状に至る複数の工程を考慮した大局的な判断が必要であり高度な熟練を要する作業となる。そこで本研究では、土砂の状態変化に柔軟に対応する汎化性能を深層強化学習によって獲得することで熟練作業者に匹敵する重機の自律制御の実現を目指している。当年度においては、下記のように深層強化学習による撒き出し経路の最適化のための手法についての研究を進めた。1）強化学習による経路最適化においては土砂山の全体像の3次元形状のデータを入力としているが、実現場においてブルドーザ側の視点から計測する場合には、死角となる土砂データの推定が必要となる。そこで土砂山のデータの欠損部分の補完のための土砂の画像イメージ、3次元計測データを入力として土砂山の全体像を推定する深層学習ネットワークを構築した。さらに同ネットワークへの入力として撒き出し経路算出のための強化学習ネットワークに入力として与え最適経路を算出した。2）3Dプリンタを改造した土砂撒き出し装置において、土砂形状をレーザ距離計で自動計測する装置を開発した。また同装置において、強化学習によって算出した経路で撒き出しを行い、目標の出来形に対する充填率を検証した。3）熟練作業者の技能を獲得するためのネットワークとしてDecision Transformerによるオフライン学習を実装し、撒き出し経路の模倣学習を試行した。データセットとして、ランダムな経路、模範経路を用意して性能の検証を行った。