权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Basic framework of the asymptotic best-response model with deep-reinforcement learning in the traffic simulation applications

交通仿真应用中深度强化学习渐近最佳响应模型的基本框架

基本信息

批准号：
20K04719
负责人：
宮城俊彦
金额：
$ 2.75万
依托单位：
Gifu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究は、交通システムを利用する個々のユーザーを個別の意思決定者と捉え、特に経路選択行動を対象にゲーム論的なマルチユーザーシステムとしてモデル化し、その日々の選択行動を学習モデルして定式化し、短期政策効果をシミュレーションする手法の確立を目的としている。本研究で提案された手法を漸近的最適応答(ABR)モデルと呼び、確率的・動的に変動するネットワーク分析に有用である。ABRの動的安定性解析は微分包含で表され、再帰的な複数Nash均衡に収束する。ABRはミクロ交通流シミュレーションモデルと併用することにより、シミュレーションベースの動的経路選択モデルとして機能するが、非連続な交通費用関数の場合を含む複雑なコスト関数の場合にも適用可能であり、また、異なる時間価値のマルチユーザーの場合にもNash均衡に収束する点で汎用性がある。このような離散的動的モデルの実用性をさらに高めるために、深層強化学習と組み合わせることにより、追い越し行動などのドライバーのより複雑な挙動をモデル化することが当該年度の課題であった。しかし、シングルユーザーの場合の解析は終了したもののマルチユーザーの場合のシステムの安定性が課題として残された。ABRは、利用者の自己組織的な学習行動に基礎を置くが、交通システムの実際の運用においては道路管理者がユーザーに交通情報を提供することによって何らかの形で介入することも必要になろう。この目的のため、ゲーミフィケーションを用いた道路交通マネージメントの可能性を検討課題とした。すなわち、行動変容には内発的な動機付けのみならず外発的動機付けも必要であるとのアイデアである。ABRとゲーミフィケーションは全く異なるアプローチに思えるが強化学習理論の枠内で統一的なモデル化が可能である。

This study aims to establish a method for the rational decision makers to understand and select traffic patterns and short-term policy outcomes. This study proposes an approach to asymptotic optimal response (ABR) analysis of dynamic response. The analytical derivative of ABR dynamic stability consists of complex Nash equilibrium equations. ABR traffic flow control system is applicable to all traffic flow control systems, including the case of complex traffic flow control system, time control system and Nash equilibrium system. This year's topic is about the usefulness of discrete learning, deep reinforcement learning, and integration. The stability of the system is a problem. ABR, users of their own organization of learning actions, the implementation of the road management system to provide traffic information, how to form the necessary information The purpose of this paper is to discuss the possibility of road traffic. All actions and actions are necessary for internal and external motivation. ABR is a unified approach to reinforcement learning theory.