不確実な環境における制度と心の共進化：資源分配とリスク回避の理論・実証的検討

不确定环境中制度与思想的共同演化：资源配置与风险规避的理论与实证检验

• 批准号: 22KJ0056
• 负责人: 本間 祥吾
• 金额: $ 1.09万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0056/
• 关键词: 強化学習; 学習率; 報酬予測誤差; リスク選好; 変動性; 進化シミュレーション

本研究の目的は、不確実な環境における、資源の共有分配制度とそれを支える個人のリスク回避傾向の共進化を理論的に解明することである。本研究は、リスク回避あるいはリスク追求行動を生み出すメカニズムとして、強化学習と予期せぬ報酬・損失に対する感受性パラメータ（それぞれ正の学習率・負の学習率）に着目している。これまで実施した研究では、複数の異なるリスク状況下で適応的な意思決定を可能とする学習率を進化シミュレーションによって検討してきた。結果として、負の学習率が減少し、正の学習率が負の学習率より大きい状態が進化することが見出された。また、進化の結果、個体は置かれたリスク状況に応じて、適応的なリスク回避行動あるいはリスク追求行動を選択できるようになり、期待値の等しい課題ではプロスペクト理論的な行動傾向を示すことが見出された。しかし、これは限られた課題構造でしか検討されていなかった。そのため、本年度では、結果の頑健性を確認するため、一定の手順でランダムに課題を生成し、より広範囲な課題でシミュレーションを行った。その結果、これまでと同様の結果が得られた。これらの結果は、リスク選好を進化適応的な学習メカニズムの産物として理解できることを示唆している。さらに、本年度では、リスクに加えて変動性（期待値の変化）も存在する環境における強化学習のシミュレーションを行った。リスク回避行動が適応的な状態とリスク追求行動が適応的な状態が確率的に入れ替わる環境変動を導入し、強化学習個体の学習率がどのように進化するかを検討した。その結果、複数のリスク状況下における学習率の進化と類似した進化パターンが見出された。これは、リスク状況に適応した学習メカニズムによって、変動性に対しても十分対応できる可能性を示唆している。

In this study, the purpose of this study is to understand the understanding of the theory of evolution in the environment, the system of co-allocation of resources, the system of co-allocation of resources, the system of joint allocation of resources, and the understanding of the theory of co-evolution. The purpose of this study is to avoid the pursuit of behavior in order to improve the performance of students. In this study, the students in this study have been asked to pursue the behavior of students in the field of chemistry. In the case of research and complex data, the meaning of the system may be determined by the improvement of the learning rate. Results the results showed that the number of students was low, and the positive rate was significantly higher than that of normal students. The results of the test, the results of the improvement, the situation of the individual, the avoidance of the behavior, the pursuit of the behavior, the selection of the information, the results of the results, the results and the results. If you don't know what to do, you won't be able to do anything. This year's performance, the results of this year's program, and the results of this year confirm that you will be able to make sure that the problem is generated, and that you will not be able to do so. The results show that the results are the same as those of the results. According to the results of the test, you have selected the information that you need to improve your performance. You will understand that you are instigating a change. In the current year, in the current year, in the current year and in the current year (looking forward to the promotion), there is a need for the environment to strengthen the nature of chemistry. In order to avoid the status of action training, it is necessary to pursue the status confirmation rate of action training, to replace the input of environmental education, and to improve the performance of students in chemistry. The result of the experiment and the condition of the complex number show that the evolution of the learning rate seems to improve the performance of the system. If you don't know what to do, you don't know how to do it. You don't know how to do it.