Modeling neural language processing by attractor networks

点击翻译按钮获取中文摘要

前年に開発したDisentangled successor information （ＤＳＩ）モデルの成果に関して、学会発表（国内学会および国際学会）を行い、論文の執筆とプレプリントの公開を行った。現在論文誌への投稿を進めているところである。その作業の中で、データセットを用いたモデル内の概念表現の定量的な解析手法を新たに確立したのに加え、単語表現のみならず空間表現の合成による推論も可能であることを明らかにした。また、前年の段階ではＤＳＩはグリッド細胞型の表現を形成することがわかっていたが、拘束条件のかけ方によっては場所細胞型の表現も形成されることを新たに発見できた。さらに、意味表現に関しても海馬と嗅内皮質の実験的な特性に対応させられる結果が見えてきており、海馬と嗅内皮質双方に当てはめられるモデルとして解釈を進められる見込みができた。ＤＳＩは単語埋め込みに対応するモデルだが、アトラクターネットワークや自己注意との関係に関しては、ＤＳＩに対応する表現学習を行うニューラルネットワークモデルを考え、そこに追加の伝達経路を加えると自己注意と数学的に同じ形式のアトラクターネットワーク(Ramsaur et al., 2020)に帰着できることが新たにわかった。これによって、海馬・嗅内皮質の神経メカニズムに対応したアトラクターネットワークモデルによって単語埋め込みおよび自己注意による表現ベクトルの計算に相当する情報処理ができる目途が立った。また、アトラクターネットワークの特性に関する基礎的な研究成果、海馬の学習メカニズムに関する共同研究の成果について、学会発表や論文発表を行った。