視線と瞬目を用いたキャリブレーションフリー入力インタフェース

使用凝视和眨眼的免校准输入接口

基本信息

  • 批准号：
    21K12801
  • 负责人：
    阿部 清彦
  • 金额：
    $ 2.41万
  • 依托单位：
    Tokyo Denki University
  • 依托单位国家：
    日本
  • 项目类别：
    Grant-in-Aid for Scientific Research (C)
  • 财政年份：
    2021
  • 资助国家：
    日本
  • 起止时间：
    2021-04-01 至 2024-03-31
  • 项目状态：
    已结题

项目摘要

ユーザの視線や瞬目（瞬き）の情報によりパソコンなどを操作する視線入力は、重度肢体不自由者など一般的な入力インタフェースの使用が困難な人たちのコミュニケーション支援に使われる。従来の視線入力インタフェースの多くは、使用前にユーザごとにキャリブレーション（較正）を行なう必要があり、使用に煩雑さがあった。本研究では、畳み込みニューラルネットワークを利用することにより、ノートパソコンのインカメラで撮影されたユーザの眼球近傍画像から視線と瞬目の情報をリアルタイムで捉え、パソコンを操作する新しい入力インタフェースを開発する。この視線入力インタフェースは、キャリブレーションを必要としないという大きな特長がある。2022年度の研究では、今までに開発してきた畳み込みニューラルネットワーク（CNN）による視線方向識別手法に、時間軸方向の情報を加味した３次元み込みニューラルネットワーク（3D-CNN）を適用することにより頑健性の高い新たな手法を開発した。この方法により、長期間安定的に使用できる入力インタフェースを開発が可能となった。また、本研究では視線入力インタフェースの入力決定にユーザの意識的な瞬目（随意性瞬目）の情報を利用するが、2021年度に開発した3D-CNNによる手法では著しく検出精度が低下するケースが見られた。2022年度は新たに、撮影した眼球の位置がずれた画像列を意図的に生成し、それを用いて識別器のモデルを学習させることで識別率低下を抑えることを可能とした。また、これらの研究と並行して、従来のCNNによる視線方向識別法と随意性瞬目検出法を併用した、視線による日本語入力インタフェースの基盤部分を開発した。今後、この視線による日本語入力インタフェースに、新たに開発した3D-CNNによる視線識別法と随意性瞬目検出法を適用し、さらに使いやすい入力インタフェースを開発する予定である。
ユ ー ザ の sight や blink (instantaneous き) の intelligence に よ り パ ソ コ ン な ど を operation す る sight は, heavy body into force not free な ど general な イ into force ン タ フ ェ ー ス の use が difficulty な た ち の コ ミ ュ ニ ケ ー シ ョ ン support に make わ れ る. 従 の to the line of sight into the force イ ン タ フ ェ ー ス の more く は, before using に ユ ー ザ ご と に キ ャ リ ブ レ ー シ ョ ン line (a) を な う necessary が あ り, use に vexed 雑 さ が あ っ た. This study で は, 畳 み 込 み ニ ュ ー ラ ル ネ ッ ト ワ ー ク を using す る こ と に よ り, ノ ー ト パ ソ コ ン の イ ン カ メ ラ で pinch of shadow さ れ た ユ ー ザ の eye nearly alongside portraits か ら sight と blink の intelligence を リ ア ル タ イ ム で catch え, パ ソ コ ン を operation す る new し い イ into force ン タ フ ェ ー ス を open 発 す る. こ の sight into force イ ン タ フ ェ ー ス は, キ ャ リ ブ レ ー シ ョ ン を necessary と し な い と い う big き な specialty が あ る. 2022 annual の で は, today ま で に open 発 し て き た 畳 み 込 み ニ ュ ー ラ ル ネ ッ ト ワ ー ク (CNN) に よ る gaze direction recognition technique に, time axis の intelligence を flavored し た 3 dimensional み 込 み ニ ュ ー ラ ル ネ ッ ト ワ ー ク (3 d - CNN) を applicable す る こ と に よ り operations, sexual の high い new た な gimmick を open 発 し た. The <s:1> <s:1> method によ によ, and the long-term stable に using で で る input force <s:1> タフェ スを スを development が may となった. ま た, this study で は sight into force イ ン タ フ ェ ー ス の decision into force に ユ ー ザ の consciousness な blink blink randomness () の intelligence を using す る が, 2021 annual に 発 し た 3 d - CNN に よ る gimmick で は the し く 検 out low precision が す る ケ ー ス が see ら れ た. 2022 new た は に, pinch of shadow し た eye の が ず れ た portrait column を meaning 図 に generated し, そ れ を with い て recognizer の モ デ ル を learning さ せ る こ と で low recognition rate を え suppression る こ と を may と し た. ま た, こ れ ら の research と parallel し て, 従 の CNN に よ る gaze direction recognition method と arbitrary blink を 検 out method and し た, the line of sight に よ る Japanese into force イ ン タ フ ェ ー ス の plate part を open 発 し た. In the future, こ の sight に よ る Japanese into force イ ン タ フ ェ ー ス に, new た に open 発 し た 3 d - CNN に よ る vision recognition method と arbitrary blink 検 を applicable し, さ ら に make い や す い イ into force ン タ フ ェ ー ス を open 発 す る designated で あ る.

项目成果

期刊论文数量（0）
专著数量（0）
科研奖励数量（0）
会议论文数量（0）
专利数量（0）
視線方向識別による文字入力とウェブ検索システム
使用注视方向识别的字符输入和网络搜索系统
  • DOI：
  • 发表时间：
    2023
  • 期刊：
  • 影响因子：
    0
  • 作者：
    Shimizu Akio;Fujishima Ichiro;Maeda Keisuke;Murotani Kenta;Ohno Tomohisa;Nomoto Akiko;Nagami Shinsuke;Nagano Ayano;Sato Keisuke;Ueshima Junko;Inoue Tatsuro;Shimizu Midori;Ishida Yuria;Kayashita Jun;Suenaga Masaki;Mori Naoharu;新倉大希，阿部清彦
  • 通讯作者：
    新倉大希，阿部清彦
3D-CNNによる視線方向の識別
使用 3D-CNN 识别观看方向
  • DOI：
  • 发表时间：
    2022
  • 期刊：
  • 影响因子：
    0
  • 作者：
    Shimizu Akio;Fujishima Ichiro;Maeda Keisuke;Murotani Kenta;Ohno Tomohisa;Nomoto Akiko;Nagami Shinsuke;Nagano Ayano;Sato Keisuke;Ueshima Junko;Inoue Tatsuro;Shimizu Midori;Ishida Yuria;Kayashita Jun;Suenaga Masaki;Mori Naoharu;新倉大希，阿部清彦;永見 慎輔;永見 慎輔;張　超凡，阿部清彦
  • 通讯作者：
    張　超凡，阿部清彦
瞬目種類識別のための３次元畳み込みニューラルネットワーク向けデータ拡張の検討
用于眨眼类型识别的3D卷积神经网络数据扩展研究
  • DOI：
  • 发表时间：
    2022
  • 期刊：
  • 影响因子：
    0
  • 作者：
    Shimizu Akio;Fujishima Ichiro;Maeda Keisuke;Murotani Kenta;Ohno Tomohisa;Nomoto Akiko;Nagami Shinsuke;Nagano Ayano;Sato Keisuke;Ueshima Junko;Inoue Tatsuro;Shimizu Midori;Ishida Yuria;Kayashita Jun;Suenaga Masaki;Mori Naoharu;新倉大希，阿部清彦;永見 慎輔;永見 慎輔;張　超凡，阿部清彦;新倉大希，阿部清彦;永見慎輔;佐藤寛修，阿部清彦，松野省吾，大山　実
  • 通讯作者：
    佐藤寛修，阿部清彦，松野省吾，大山　実
`Performance Improvement of 3D-CNN for Blink Types Classification by Data Augmentation
`通过数据增强改进 3D-CNN 眨眼类型分类的性能
  • DOI：
  • 发表时间：
    2023
  • 期刊：
  • 影响因子：
    0
  • 作者：
    Hironobu Sato;Kiyohiko Abe;Shogo Matsuno;Minoru Ohyama
  • 通讯作者：
    Minoru Ohyama
Blink State Classification Using 3D Convolutional Neural Network
使用 3D 卷积神经网络进行眨眼状态分类
  • DOI：
  • 发表时间：
    2022
  • 期刊：
  • 影响因子：
    0
  • 作者：
    Hironobu Sato;Kiyohiko Abe;Shogo Matsuno;and Minoru Ohyama
  • 通讯作者：
    and Minoru Ohyama
{{ item.title }}
{{ item.translation_title }}
  • DOI：
    {{ item.doi }}
  • 发表时间：
    {{ item.publish_year }}
  • 期刊：
    {{ item.journal_name }}
  • 影响因子：
    {{ item.factor }}
  • 作者：
    {{ item.authors }}
  • 通讯作者：
    {{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.author }}

数据更新时间：{{ monograph.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.author }}

数据更新时间：{{ patent.updateTime }}

阿部 清彦其他文献

阿部 清彦的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI：
    {{ item.doi }}
  • 发表时间：
    {{ item.publish_year }}
  • 期刊：
    {{ item.journal_name }}
  • 影响因子：
    {{ item.factor }}
  • 作者：
    {{ item.authors }}
  • 通讯作者：
    {{ item.author }}
立即体验
{{ showInfoDetail.title }}

作者：{{ showInfoDetail.author }}

知道了