Development of pointing device by lower jaw tracking.

点击翻译按钮获取中文摘要

問題点の抽出：昨年度の一次試作機は、ワンボードコンピュータとwebカメラをそれぞれ2台ずつとUSB入力変換器で構成され、下顎に貼り付けた赤いマーカと瞼の開閉度により、PCのカーソル操作とクリックを実現させるものであった。操作環境における照明の照度と色温度等の環境的因子や、操作者個人の皮膚や唇の色と下顎に貼り付ける赤色シールとの色の差等による人的因子の影響で、操作性や精度に問題が生じていた。色を抽出して座標を算出するソフトウエアの手法であったため、このような影響を受けやすい。二次試作機：これらの問題を回避するために、ワンボードコンピュータとwebカメラと、USBコンバータをそれぞれ1台ずつ使用し、ハードウエアを再構成した。ソフトウエア環境は、Raspberry Pi OSにMediaPipeを活用し、Pythonにてコードを開発した。MediaPipeとはGoogleの機械学習ソリューションの一つで、webカメラで撮影された人の顔の目や口、顎等の顔の構成部分を自動認識し、特徴点の座標を取得できる機能を備える。この中から、下顎の左右方向の動作を検出するために5点を選択し、移動変位値を増幅させている。上下方向の移動検出は口の開閉率を利用し、唇周り4点から算出している。目の開閉率も同様に算出し、これらを判別式によりカーソル操作とクリックを実現させる。これにより、下顎の赤いマーカ貼付や手動での原点補正が不要かつ、照明や操作者の皮膚の色等に影響されにくい二次試作機を開発した。評価：健常者による評価を行った。カーソルの上下方向およびクリック操作については良好な操作感覚が得られた。左右方向の移動については、静止、反転の不確実性の課題が残る。