权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Basic framework of the asymptotic best-response model with deep-reinforcement learning in the traffic simulation applications

交通仿真应用中深度强化学习渐近最佳响应模型的基本框架

基本信息

批准号：
20K04719
负责人：
宮城俊彦
金额：
$ 2.75万
依托单位：
Gifu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究は、交通システムを利用する個々のユーザーを個別の意思決定者と捉え、特に経路選択行動を対象にゲーム論的なマルチユーザーシステムとしてモデル化し、その日々の選択行動を学習モデルして定式化し、短期政策効果をシミュレーションする手法の確立を目的としている。本研究で提案された手法を漸近的最適応答(ABR)モデルと呼び、確率的・動的に変動するネットワーク分析に有用である。ABRの動的安定性解析は微分包含で表され、再帰的な複数Nash均衡に収束する。ABRはミクロ交通流シミュレーションモデルと併用することにより、シミュレーションベースの動的経路選択モデルとして機能するが、非連続な交通費用関数の場合を含む複雑なコスト関数の場合にも適用可能であり、また、異なる時間価値のマルチユーザーの場合にもNash均衡に収束する点で汎用性がある。このような離散的動的モデルの実用性をさらに高めるために、深層強化学習と組み合わせることにより、追い越し行動などのドライバーのより複雑な挙動をモデル化することが当該年度の課題であった。しかし、シングルユーザーの場合の解析は終了したもののマルチユーザーの場合のシステムの安定性が課題として残された。ABRは、利用者の自己組織的な学習行動に基礎を置くが、交通システムの実際の運用においては道路管理者がユーザーに交通情報を提供することによって何らかの形で介入することも必要になろう。この目的のため、ゲーミフィケーションを用いた道路交通マネージメントの可能性を検討課題とした。すなわち、行動変容には内発的な動機付けのみならず外発的動機付けも必要であるとのアイデアである。ABRとゲーミフィケーションは全く異なるアプローチに思えるが強化学習理論の枠内で統一的なモデル化が可能である。

This study は, traffic システムを using する a 々のユーザーを individual の mean と decides to catch え, に経 road sentaku action を like に seaborne ゲーム theory なマルチユーザーシステムとしてモデルし, その day 々の sentaku を action learning モデルして demean し, short-term policy unseen fruit をシミュレーションする gimmick の establish を mesh Youdaoplaceholder0 ててるる. This study proposed でされた gimmick を asymptotic optimal 応 answer (ABR) モデルと shout び, probabilistic, dynamic に - move するネットワーク analysis に useful である. The stability of ABR <s:1> motion is analyzed by the <s:1> differential, which includes the で table され and then the な complex Nash equilibrium に bundle する of 帰. ABR はミクロ traffic flow シミュレーションモデルと and することにより, シミュレーションベースの moving 経 road sentaku モデルとして function するが, not even 続な transportation masato number を contain むの occasions after 雑なコスト masato number の occasions にも may apply であり, また, different なる time 価 numerical のマルチユーザーの occasion Youdaoplaceholder0 Nash equilibrium に bundle する point で versatility がある. このような discrete dynamic モデルの be use sex をさらに high めるために, deep intensive study group とみわせることにより, chasing the more いし action などのドライバーのより complex 雑な挙 dynamic をモデル change することが when the annual の subject であった. しかし, シングルユーザーの occasions の parsing は end したもののマルチユーザーの occasions のシステムの stability が subject として residual された. ABR は, ik のにな learning action of their organisation を buy くが, traffic システムの be interstate の using においては road managers がユーザーに traffic intelligence を provide することによって what らかの form で intervention することも necessary になろう. この purpose のため, ゲーミフィケーションを with いた road traffic マネージメントの possibility を検 for subject とした. すなわち, action - let には発な incentive pay within けのみならず発 outside incentive pay けも necessary であるとのアイデアである. ABR とゲーミフィケーションはく all different なるアプローチに think えるが reinforcement learning theory の枠で unified within なモデル change が may である.