柔軟な社会情報利用戦略の神経基盤

我々が現代社会で生活する上で、自分の経験だけでなく社会的な情報を利用することは欠かせない要素となっているが、社会情報さえ利用すれば利益がもたらされるとは限らない。社会情報利用によって個人や集団が利益を得るには、 「時間変化に応じて、個人経験利用戦略と社会情報利用戦略とを動的に切り替えていく」 というメタ戦略を用いる必要があると考えられる。しかしながら現実の人間は、必ずしも最適なメタ戦略を使えていない可能性がある。これは人間の個人差によるものなのか、それとも環境構造の側の要因が大きいのかを検討するのが本研究の目的である。2021年度は予備的検討として、相互依存的なゲーム構造の下で強化学習エージェントが繰り返しゲームをプレイした場合に、集団がどのような挙動を示すかをシミュレーションした。マルチエージェントが強化学習により、個人経験利用と社会情報利用の状態行動価値(Q値)をアップデートしていくモデルを検討した。更新則として、一般的にヒトや動物で用いられていると考えられる(1)Rescorla-Wagner則 と、より直近の意思決定に対する重み付けが大きい(2)Roth-Erev則の2種類を検討した。結果、Rescorla-Wagner則の場合は全エージェントの戦術選択確率が0.5前後付近に留まるのに対し、Roth-Erev則の場合は個人経験利用者と社会情報利用者への2極分化が生じ、パラメータ設定次第でNash均衡に至ることが分かった。つまり、個体が用いる価値更新則が異なると、集団の挙動が大きく異なりうるといえる。

我々が現代社会で生活する上で、自分の経験だけでなく社会的な情報を利用することは欠かせない要素となっているが、社会情報さえ利用すれば利益がもたらされるとは限らない。社会情報利用によって個人や集団が利益を得るには、 「時間変化に応じて、個人経験利用戦略と社会情報利用戦略とを動的に切り替えていく」 というメタ戦略を用いる必要があると考えられる。しかしながら現実の人間は、必ずしも最適なメタ戦略を使えていない可能性がある。これは人間の個人差によるものなのか、それとも環境構造の側の要因が大きいのかを検討するのが本研究の目的である。2021年度は予備的検討として、相互依存的なゲーム構造の下で強化学習エージェントが繰り返しゲームをプレイした場合に、集団がどのような挙動を示すかをシミュレーションした。マルチエージェントが強化学習により、個人経験利用と社会情報利用の状態行動価値(Q値)をアップデートしていくモデルを検討した。更新則として、一般的にヒトや動物で用いられていると考えられる(1)Rescorla-Wagner則 と、より直近の意思決定に対する重み付けが大きい(2)Roth-Erev則の2種類を検討した。結果、Rescorla-Wagner則の場合は全エージェントの戦術選択確率が0.5前後付近に留まるのに対し、Roth-Erev則の場合は個人経験利用者と社会情報利用者への2極分化が生じ、パラメータ設定次第でNash均衡に至ることが分かった。つまり、個体が用いる価値更新則が異なると、集団の挙動が大きく異なりうるといえる。