画像の中間特徴に着目した高次視覚認知メカニズムの解明：計算美学によるアプローチ

本研究は画像が持つ中間特徴に着目し、それが視覚認知や感性とどのような関連を持つかを明らかにすることを目標とする。本研究でいう中間特徴とは、方位や周波数といった低次画像特徴よりは高次だが、物体カテゴリなどの高次特徴よりは低次なものと定義され、具体的には質感や複雑性、構図などの特徴が含まれる。近年は深層学習技術を用いた画像認識の研究が発展しており、心理学者や神経科学者が高次機能とみなしてきた機能、たとえば画像の記憶しやすさや画像に対する感性的反応についても、画像特徴に基づいてある程度正確な予測が可能であることが示されてきている。こうした画像工学的な研究には、機械学習モデルの判断根拠が説明困難である場合が多いことや、人間の画像認識メカニズムとの関連が不明であるといった問題点がある。そこで本研究は、画像に対する人の行動や感性反応と相関する画像の中間特徴を明らかにすることによって、認知機能を予測するための解釈性の高い画像特徴を解明することを目指す。この研究目標を達成するため、本年度は2つの課題に取り組んだ。１つは、画像の中間特徴を計算するためのプログラムを開発し、研究基盤を確立したことである。画像の質感特徴や複雑性、構図の指標として利用可能な画像特徴を計算するR言語のプログラムを作成した。２つめは、画像解析技術と感性研究との関連についての既存研究のサーベイを行い、研究の枠組みを整理したことである。具体的には、画像解析技術を用いた美術史研究についての現状と課題についてレビュー論文を執筆した。この成果は「西洋史学」誌に採択され、印刷中である。

本研究は画像が持つ中間特徴に着目し、それが視覚認知や感性とどのような関連を持つかを明らかにすることを目標とする。本研究でいう中間特徴とは、方位や周波数といった低次画像特徴よりは高次だが、物体カテゴリなどの高次特徴よりは低次なものと定義され、具体的には質感や複雑性、構図などの特徴が含まれる。近年は深層学習技術を用いた画像認識の研究が発展しており、心理学者や神経科学者が高次機能とみなしてきた機能、たとえば画像の記憶しやすさや画像に対する感性的反応についても、画像特徴に基づいてある程度正確な予測が可能であることが示されてきている。こうした画像工学的な研究には、機械学習モデルの判断根拠が説明困難である場合が多いことや、人間の画像認識メカニズムとの関連が不明であるといった問題点がある。そこで本研究は、画像に対する人の行動や感性反応と相関する画像の中間特徴を明らかにすることによって、認知機能を予測するための解釈性の高い画像特徴を解明することを目指す。この研究目標を達成するため、本年度は2つの課題に取り組んだ。１つは、画像の中間特徴を計算するためのプログラムを開発し、研究基盤を確立したことである。画像の質感特徴や複雑性、構図の指標として利用可能な画像特徴を計算するR言語のプログラムを作成した。２つめは、画像解析技術と感性研究との関連についての既存研究のサーベイを行い、研究の枠組みを整理したことである。具体的には、画像解析技術を用いた美術史研究についての現状と課題についてレビュー論文を執筆した。この成果は「西洋史学」誌に採択され、印刷中である。