スマートフォンとAI技術を用いた新しい点字自己学習支援システムの開発研究

点击翻译按钮获取中文摘要

本研究は、中途視覚障害者でもスマートフォンを活用できることに着目し、点字を学習するためのセルフラーニングツールとして、スマートフォンを活用する新たな学習環境の構築を行うものである。本年度は、下記に示す通り、研究計画に基づいて、ユーザ支援機能、スマートフォンと連携する点字学習教材の開発、および、個人学習支援環境の研究開発に取り組んだ。(1)ユーザー支援機能：視覚障害者がスマートフォンのカメラでカード教材の点字を撮影する自動撮影機能の実装、および、ユーザの操作に応じた音声やバイブレーションによるフィードバック機能の実装を行うことで、ユーザ支援のためのインタフェースの構築を行った。(2)点字学習教材開発：点字指導の専門家から直接意見を伺うインタビュー調査を行うとともに、文献調査による教材分析を行い、入門用のカード教材の試作を行った。さらに、スマートフォンと連携して学習を進めるために、機械学習によるカード教材の点字の教材の学習端末におけるリアルタイム認識の実装を行った。(3)個人学習支援環境：カード教材を用いた学習のフィードバックを、ユーザ自身がジェスチャにより行うインタラクション機能の実装、特定の点字の学習が行き詰まった場合に、ハミング距離を用いて類似の点字の学習を推薦する学習アドバイスなどの単元アドバイス機能の実装に加え、ユーザが学習を行った際の学習した単元やその単元でのユーザの振る舞いなどの学習記録をサーバに保存する機能の試作を行った。