不確実な環境における制度と心の共進化：資源分配とリスク回避の理論・実証的検討

不确定环境中制度与思想的共同演化：资源配置与风险规避的理论与实证检验

• 批准号: 22KJ0056
• 负责人: 本間 祥吾
• 金额: $ 1.09万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0056/
• 关键词: 強化学習; 学習率; 報酬予測誤差; リスク選好; 変動性; 進化シミュレーション

本研究の目的は、不確実な環境における、資源の共有分配制度とそれを支える個人のリスク回避傾向の共進化を理論的に解明することである。本研究は、リスク回避あるいはリスク追求行動を生み出すメカニズムとして、強化学習と予期せぬ報酬・損失に対する感受性パラメータ（それぞれ正の学習率・負の学習率）に着目している。これまで実施した研究では、複数の異なるリスク状況下で適応的な意思決定を可能とする学習率を進化シミュレーションによって検討してきた。結果として、負の学習率が減少し、正の学習率が負の学習率より大きい状態が進化することが見出された。また、進化の結果、個体は置かれたリスク状況に応じて、適応的なリスク回避行動あるいはリスク追求行動を選択できるようになり、期待値の等しい課題ではプロスペクト理論的な行動傾向を示すことが見出された。しかし、これは限られた課題構造でしか検討されていなかった。そのため、本年度では、結果の頑健性を確認するため、一定の手順でランダムに課題を生成し、より広範囲な課題でシミュレーションを行った。その結果、これまでと同様の結果が得られた。これらの結果は、リスク選好を進化適応的な学習メカニズムの産物として理解できることを示唆している。さらに、本年度では、リスクに加えて変動性（期待値の変化）も存在する環境における強化学習のシミュレーションを行った。リスク回避行動が適応的な状態とリスク追求行動が適応的な状態が確率的に入れ替わる環境変動を導入し、強化学習個体の学習率がどのように進化するかを検討した。その結果、複数のリスク状況下における学習率の進化と類似した進化パターンが見出された。これは、リスク状況に適応した学習メカニズムによって、変動性に対しても十分対応できる可能性を示唆している。

The purpose of this study is to clarify the theory of coevolution of individual avoidance tendency in the context of uncertainty and resource allocation system. This study focuses on the following topics: avoidance, reinforcement learning, expectation, compensation, loss, sensitivity, and positive learning rate. This research is based on the evolution of learning rates and rational decision-making under diverse conditions. The results showed that negative learning rate decreased, positive learning rate decreased, negative learning rate increased, and negative learning rate increased. The results of evolution, individual response, appropriate response, avoidance of action, selection of action, expectation of action, etc. are shown. The structure of the problem is not easy to solve. This year, the results of the robustness of the confirmation, a certain degree of compliance with the project to generate, and the scope of the project to conduct The result of this is the same as the result of this. The result of this study is to select the right learning model and the right understanding model. This year, we will increase mobility (expectation change) and enhance learning environment. The state of appropriate avoidance action and the state of accuracy of appropriate pursuit action are discussed in the context of environmental change and the evolution of learning rate of reinforcement learning individuals. The evolution of learning rate under multiple conditions is similar to that under multiple conditions. This is the first time that a person has ever had a chance to learn something.