視線と瞬目を用いたキャリブレーションフリー入力インタフェース

点击翻译按钮获取中文摘要

ユーザの視線や瞬目（瞬き）の情報によりパソコンなどを操作する視線入力は、重度肢体不自由者など一般的な入力インタフェースの使用が困難な人たちのコミュニケーション支援に使われる。従来の視線入力インタフェースの多くは、使用前にユーザごとにキャリブレーション（較正）を行なう必要があり、使用に煩雑さがあった。本研究では、畳み込みニューラルネットワークを利用することにより、ノートパソコンのインカメラで撮影されたユーザの眼球近傍画像から視線と瞬目の情報をリアルタイムで捉え、パソコンを操作する新しい入力インタフェースを開発する。この視線入力インタフェースは、キャリブレーションを必要としないという大きな特長がある。2022年度の研究では、今までに開発してきた畳み込みニューラルネットワーク（CNN）による視線方向識別手法に、時間軸方向の情報を加味した３次元み込みニューラルネットワーク（3D-CNN）を適用することにより頑健性の高い新たな手法を開発した。この方法により、長期間安定的に使用できる入力インタフェースを開発が可能となった。また、本研究では視線入力インタフェースの入力決定にユーザの意識的な瞬目（随意性瞬目）の情報を利用するが、2021年度に開発した3D-CNNによる手法では著しく検出精度が低下するケースが見られた。2022年度は新たに、撮影した眼球の位置がずれた画像列を意図的に生成し、それを用いて識別器のモデルを学習させることで識別率低下を抑えることを可能とした。また、これらの研究と並行して、従来のCNNによる視線方向識別法と随意性瞬目検出法を併用した、視線による日本語入力インタフェースの基盤部分を開発した。今後、この視線による日本語入力インタフェースに、新たに開発した3D-CNNによる視線識別法と随意性瞬目検出法を適用し、さらに使いやすい入力インタフェースを開発する予定である。