Developing models to simulate information processing and internal representations of human visual motion perception

点击翻译按钮获取中文摘要

本研究は、おもにモデルの構築とモデルの評価を並行して進めている。 【モデル構築】これまで運動視に関するモデル構築は、おもに分析・構成型のアプローチで進んできた。一方、最近はデータ駆動型のアプローチを用いて、動画から運動フローを推定する人工神経回路を一気通貫(End-to-End)で学習した研究も報告されている。本計画では、これらの先行研究を参考に、分析・統合型と データ駆動型のアプローチを融合して、運動視処理全体のモデル構築を行う。令和４年度は、CNNの基づくコンピュータビジョンの運動フロー検出モデルが人間の視覚と異なる特性を示すとともに、運動エネルギー検出と自己アテンションメカニズムの二段階からなる運動フロー検出モデルを開発し、生理学的及び心理物理学的特性において、人間の運動視の良いモデルになっていることを示した。また、ロバストな物体認識に対してボケ画像の学習が与える影響を検討した論文を発表した。【モデル評価のための心理物理実験】任意の動画のある位置あるタイミングの運動ベクトルの知覚を推定する心理物理学的方法を、自然映像に近 い複雑性を持ち、かつ物理的なオプティカルフローの正解値が分かっているコンピュータグラフィックスアニメーション(MPI Sintel Optical Flow Dataset)に 対して適用し、人間が知覚するオプティカルフローを推定したデータを測定した、運動エネルギーモデルなどの視覚科学で提案されてきた運動検出モデルや、FlownetやRAFTなどの機械学習を用いた最新のコンピュータビジョンのオプティカルフロー推定アルゴリズムの出力と比較した結果、人間の運動視の特性を部分的にしか説明しないこと、運動情報の統合・分節化や、座標変換のプロセスをモデルに導入する必要があることが明らかとなった。