Basic framework of the asymptotic best-response model with deep-reinforcement learning in the traffic simulation applications

点击翻译按钮获取中文摘要

本研究は、交通システムを利用する個々のユーザーを個別の意思決定者と捉え、特に経路選択行動を対象にゲーム論的なマルチユーザーシステムとしてモデル化し、その日々の選択行動を学習モデルして定式化し、短期政策効果をシミュレーションする手法の確立を目的としている。本研究で提案された手法を漸近的最適応答(ABR)モデルと呼び、確率的・動的に変動するネットワーク分析に有用である。ABRの動的安定性解析は微分包含で表され、再帰的な複数Nash均衡に収束する。ABRはミクロ交通流シミュレーションモデルと併用することにより、シミュレーションベースの動的経路選択モデルとして機能するが、非連続な交通費用関数の場合を含む複雑なコスト関数の場合にも適用可能であり、また、異なる時間価値のマルチユーザーの場合にもNash均衡に収束する点で汎用性がある。このような離散的動的モデルの実用性をさらに高めるために、深層強化学習と組み合わせることにより、追い越し行動などのドライバーのより複雑な挙動をモデル化することが当該年度の課題であった。しかし、シングルユーザーの場合の解析は終了したもののマルチユーザーの場合のシステムの安定性が課題として残された。ABRは、利用者の自己組織的な学習行動に基礎を置くが、交通システムの実際の運用においては道路管理者がユーザーに交通情報を提供することによって何らかの形で介入することも必要になろう。この目的のため、ゲーミフィケーションを用いた道路交通マネージメントの可能性を検討課題とした。すなわち、行動変容には内発的な動機付けのみならず外発的動機付けも必要であるとのアイデアである。ABRとゲーミフィケーションは全く異なるアプローチに思えるが強化学習理論の枠内で統一的なモデル化が可能である。