Synthetic approach to perceptual illusions using cognitive deep learning model with predictive learning

初年度においては、錯覚としてラバーハンドイリュージョンに着目した。ラバーハンドイリュージョンでは、固有感覚で知覚される場所とは異なる位置に、偽物の手が視覚的に与えられ、その視覚上で偽物の手に刺激を与えられるのと同時に、本当の手に触覚刺激が与えられる。つまり、視覚と触覚には一貫性があるが、固有感覚だけずれている。このときに、固有感覚での手の位置が偽物の方に少しシフトする固有感覚ドリフトが生じる。この固有感覚ドリフトが、身体所有感の生起とともに生じるとする考えと、身体所有感の生起とは関係なく生じるという2つの対立する考えがある。今年度はこの問題に対して、構成論的アプローチを適用した。ラバーハンドイリュージョンに関する視覚、触覚、固有感覚をコンピュータ上でシミュレートするために、Unityを使って3次元シミュレーション環境を実装した。人と同等のスケールになるように大きさを決定し、頭部の位置に視覚情報を与えるカメラを配置した。固有感覚は腕が置かれる位置、触覚は物体が接触している度合いを3段階で表現してデータ化した。このシミュレーション環境において、日常我々が得ている感覚刺激と同様に、多感覚で一貫性をもった訓練データを作成した。テストデータとしては、ラバーハンドイリュージョンの実験を模倣した、固有感覚のずれたデータを作成した。これに伴い、認知モデルの構築も、視覚、触覚、固有感覚の3つの感覚を統合するモデルを構築した。モデル化には深層ニューラルネットワークを使用し、時間的な内部処理を行うことのできるLSTMを利用した。このモデルに対して、前述の訓練データを使用して感覚の予測学習をさせ、テストデータでの予測の変化を調べた。結果として、固有感覚ドリフトを生じさせることに成功した。つまり、ラバーハンド錯覚において固有感覚ドリフトはボトムアップ処理のみでも生じることがわかった。

初年度においては、錯覚としてラバーハンドイリュージョンに着目した。ラバーハンドイリュージョンでは、固有感覚で知覚される場所とは異なる位置に、偽物の手が視覚的に与えられ、その視覚上で偽物の手に刺激を与えられるのと同時に、本当の手に触覚刺激が与えられる。つまり、視覚と触覚には一貫性があるが、固有感覚だけずれている。このときに、固有感覚での手の位置が偽物の方に少しシフトする固有感覚ドリフトが生じる。この固有感覚ドリフトが、身体所有感の生起とともに生じるとする考えと、身体所有感の生起とは関係なく生じるという2つの対立する考えがある。今年度はこの問題に対して、構成論的アプローチを適用した。ラバーハンドイリュージョンに関する視覚、触覚、固有感覚をコンピュータ上でシミュレートするために、Unityを使って3次元シミュレーション環境を実装した。人と同等のスケールになるように大きさを決定し、頭部の位置に視覚情報を与えるカメラを配置した。固有感覚は腕が置かれる位置、触覚は物体が接触している度合いを3段階で表現してデータ化した。このシミュレーション環境において、日常我々が得ている感覚刺激と同様に、多感覚で一貫性をもった訓練データを作成した。テストデータとしては、ラバーハンドイリュージョンの実験を模倣した、固有感覚のずれたデータを作成した。これに伴い、認知モデルの構築も、視覚、触覚、固有感覚の3つの感覚を統合するモデルを構築した。モデル化には深層ニューラルネットワークを使用し、時間的な内部処理を行うことのできるLSTMを利用した。このモデルに対して、前述の訓練データを使用して感覚の予測学習をさせ、テストデータでの予測の変化を調べた。結果として、固有感覚ドリフトを生じさせることに成功した。つまり、ラバーハンド錯覚において固有感覚ドリフトはボトムアップ処理のみでも生じることがわかった。