An Interval Maintenance Support Algorithm for Arrival Air Traffic Flow by Integrating Deep Reinforcement Learning and Control

点击翻译按钮获取中文摘要

本年度は，前年度に開発したガウス過程回帰 (Gaussian Process Regression: GPR) を用いた航空機速度のモデリング手法に関して，シミュレーションを用いた提案手法の評価を行った．本研究の研究対象である航空管制官のための間隔維持支援アルゴリズムの内部では，間隔維持のための支援情報を計算するために，航空機の軌道予測を必要とする． 提案手法で得られた航空機の速度モデルを支援アルゴリズム内部の軌道予測に用いることで，軌道予測の精度が向上し，その結果，支援アルゴリズムが生成する管制官のための支援情報の精度が向上すると期待された．シミュレーションでは，東京国際空港へ到着する交通流をレーダーデータから抽出し，そこへ支援アルゴリズムを適用することで，現実的な状況を用いた評価を実施した．提案手法と評価結果を論文としてまとめたものが，投稿論文に掲載された．また本年度は，研究計画の「(ii) 学習アルゴリズムの構築とモデルの学習」に関して，深層強化学習ベースの支援アルゴリズムの開発を行った．具体的には，各航空機の状態を入力とし，最適な行動（管制官の指示）を生成するエージェント（支援アルゴリズム）の構築を目指した．どのような状態量をエージェントへの入力とするか，またどの学習アルゴリズムを使用するか等の選択肢が無数にあるので，いくつかの組み合わせで支援アルゴリズムを試作する必要がある．今年度は特に，状態量として航空機の現在の状態に加えて，上記で述べた軌道予測の結果をエージェントに入力する方法と，学習アルゴリズムとしてDeep Q NetworkとDeep Deterministic Policy Gradientを用いた支援アルゴリズムの試作に注力した．