权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Development of pointing device by lower jaw tracking.

通过下颌跟踪开发指点设备。

基本信息

批准号：
21K12781
负责人：
小林博光
金额：
$ 2.5万
依托单位：
Japan Organization of Occupational Health and Safety, Spinal Injuries Center
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12781/
关键词：
ポインティングデバイス障害者非接触トラッキング下顎 MediaPipe

项目摘要

問題点の抽出：昨年度の一次試作機は、ワンボードコンピュータとwebカメラをそれぞれ2台ずつとUSB入力変換器で構成され、下顎に貼り付けた赤いマーカと瞼の開閉度により、PCのカーソル操作とクリックを実現させるものであった。操作環境における照明の照度と色温度等の環境的因子や、操作者個人の皮膚や唇の色と下顎に貼り付ける赤色シールとの色の差等による人的因子の影響で、操作性や精度に問題が生じていた。色を抽出して座標を算出するソフトウエアの手法であったため、このような影響を受けやすい。二次試作機：これらの問題を回避するために、ワンボードコンピュータとwebカメラと、USBコンバータをそれぞれ1台ずつ使用し、ハードウエアを再構成した。ソフトウエア環境は、Raspberry Pi OSにMediaPipeを活用し、Pythonにてコードを開発した。MediaPipeとはGoogleの機械学習ソリューションの一つで、webカメラで撮影された人の顔の目や口、顎等の顔の構成部分を自動認識し、特徴点の座標を取得できる機能を備える。この中から、下顎の左右方向の動作を検出するために5点を選択し、移動変位値を増幅させている。上下方向の移動検出は口の開閉率を利用し、唇周り4点から算出している。目の開閉率も同様に算出し、これらを判別式によりカーソル操作とクリックを実現させる。これにより、下顎の赤いマーカ貼付や手動での原点補正が不要かつ、照明や操作者の皮膚の色等に影響されにくい二次試作機を開発した。評価：健常者による評価を行った。カーソルの上下方向およびクリック操作については良好な操作感覚が得られた。左右方向の移動については、静止、反転の不確実性の課題が残る。

Problem extraction: last year's test machine, the screen display, the web interface, the two USB input switches, the lower jaw, the red interface, the opening and closing, the PC's software operation, and the implementation of the software. The operation environment, illumination, color temperature and other environmental factors, the operator's personal skin, lip color, chin color difference and other human factors, operability and accuracy problems arise The color coordinates are calculated and the method is affected. The second test machine: the problem is avoided, the problem is solved, and the problem is solved. Software development, Raspberry Pi OS, MediaPipe development, Python development MediaPipe provides Google's machine learning software with the ability to automatically recognize facial components such as eyes, mouth, and jaw, and to obtain coordinates of feature points. The movement of the middle and lower jaw in the left and right directions is detected by 5 points, and the movement value is increased. The opening and closing ratio of the opening and closing of the opening and closing of the opening and closing The open/close ratio of the target is calculated in the same way as the discriminant. The second test machine was developed for the effects of lighting and operator skin color. Comments: Healthy people often comment on the behavior. The upper and lower directions of the machine are very good. Left and right direction of movement, static, anti-static and inaccurate problems remain.