An Interval Maintenance Support Algorithm for Arrival Air Traffic Flow by Integrating Deep Reinforcement Learning and Control

深度强化学习与控制相结合的到达空中交通流间隔维护支持算法

• 批准号: 21K14271
• 负责人: 虎谷 大地
• 金额: $ 1.91万
• 依托单位: National Institute of Maritime, Port and Aviation Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K14271/
• 关键词: 航空交通管理; 航空管制官支援; 軌道予測; ガウス過程回帰; 深層強化学習; 最適制御; 到着管理; 到着間隔づけ

本年度は，前年度に開発したガウス過程回帰 (Gaussian Process Regression: GPR) を用いた航空機速度のモデリング手法に関して，シミュレーションを用いた提案手法の評価を行った．本研究の研究対象である航空管制官のための間隔維持支援アルゴリズムの内部では，間隔維持のための支援情報を計算するために，航空機の軌道予測を必要とする． 提案手法で得られた航空機の速度モデルを支援アルゴリズム内部の軌道予測に用いることで，軌道予測の精度が向上し，その結果，支援アルゴリズムが生成する管制官のための支援情報の精度が向上すると期待された．シミュレーションでは，東京国際空港へ到着する交通流をレーダーデータから抽出し，そこへ支援アルゴリズムを適用することで，現実的な状況を用いた評価を実施した．提案手法と評価結果を論文としてまとめたものが，投稿論文に掲載された．また本年度は，研究計画の「(ii) 学習アルゴリズムの構築とモデルの学習」に関して，深層強化学習ベースの支援アルゴリズムの開発を行った．具体的には，各航空機の状態を入力とし，最適な行動（管制官の指示）を生成するエージェント（支援アルゴリズム）の構築を目指した．どのような状態量をエージェントへの入力とするか，またどの学習アルゴリズムを使用するか等の選択肢が無数にあるので，いくつかの組み合わせで支援アルゴリズムを試作する必要がある．今年度は特に，状態量として航空機の現在の状態に加えて，上記で述べた軌道予測の結果をエージェントに入力する方法と，学習アルゴリズムとしてDeep Q NetworkとDeep Deterministic Policy Gradientを用いた支援アルゴリズムの試作に注力した．

This year, compared with the previous year, the development of Gaussian Process Regression (GPR) has been carried out to evaluate the use of mid-range aircraft speed control techniques. The objective of this study is to calculate the interval maintenance support information necessary for aircraft orbit prediction. The proposed method is to obtain the aircraft's speed and support information for the internal orbit prediction. The accuracy of the orbit prediction is improved. As a result, the accuracy of the support information generated by the controller is improved. The Tokyo International Airport is located in the center of the city. The proposal method is used to evaluate the results of the paper This year, the research project "(ii) Learning from the construction of the system and learning from the system," related to the development of deep reinforcement learning support system. Specific information, the status of each aircraft into the force, the most appropriate action (controller's instructions) to generate the construction of the (support group) instructions. For example, if you want to use the state variable, you can choose to use the state variable to support the state variable. This year, the state quantity and the current state of the aircraft are added to each other, and the results of the orbit prediction are recorded in the above method. The study is based on the Deep Q Network and the Deep Deterministic Policy Gradient.

项目成果

Support algorithm for air traffic controllers’ arrival spacing: Improvement of trajectory estimation using Gaussian Process Regression

空中交通管制员到达间隔的支持算法：使用高斯过程回归改进轨迹估计

• DOI: 10.1016/j.conengprac.2022.105343
• 发表时间: 2022
• 期刊: Control Engineering Practice
• 影响因子: 4.9
• 作者: Toratani Daichi;Yoshihara Takayuki;Senoguchi Atsushi
• 通讯作者: Senoguchi Atsushi

ガウス過程回帰を用いた旅客機の軌道予測精度の向上－ターミナル空域における降下機の較正対気速度のモデル化－

使用高斯过程回归提高客机轨迹预测精度 - 对航站楼空域中下降飞机的校准空速进行建模 -

• 发表时间: 2021
• 作者: Toratani Daichi;Yoshihara Takayuki;Senoguchi Atsushi;虎谷大地
• 通讯作者: 虎谷大地