強化学習による思考・推論のモデル化

点击翻译按钮获取中文摘要

第一にWisconsin Card Sorting Test(WCST)の被験者実験を行うため、ワークステーション上に既に構築済みの被験者実験システムを改良し、慶応大学版のWCSTが実現できるようにした。第二に、この実験システムを用いて24人の被験者に対して被験者実験を行なった。第三に、既に構築済みのWCSTの思考・推論モデルを改良し、モデルのいわゆるハイパーパラメータを推定することによりモデルの調整を行った。WCSTの思考モデルとして、正答が得られた場合にはこれを強化し他の解を弱め、逆に誤答が得られた場合にはこれを弱め他の解を強化するという強化学習の枠組みを用いる。何故ならば、被験者には正誤のみが教えられるからである。このモデルを用いて、これに含まれる3種類のハイパーパラメータ(正答時の強化率、誤答時の強化率、一枚のカードに対する学習回数上限)を、被験者実験結果を最も再現する値に調整する。ただし、ここでの再現とは、種々の指標が実験とモデルで一致することである。一例として、正常な被験者の場合には、正答時の強化率45、誤答時の強化率30、学習回数上限3であり、指標値の実験結果からのずれの自乗誤差評価値は3である。他方前頭葉損傷患者の場合には、正答時の強化率15、誤答時の強化率10、学習回数上限1であり、指標の実験結果からのずれの自乗誤差評価値は20である。前頭葉損傷患者の場合には、強化率が正常な被験者の3分の1程度であり、これが過去の規制あるいは誤回答にとらわれて誤りが多くなる一因であることが示唆された。