权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

USBカメラによる顔の動き数値化と数値処理教材の開発

使用USB摄像头量化面部运动并开发数值处理教材

基本信息

批准号：
19K03178
负责人：
伊藤敏
金额：
$ 2.83万
依托单位：
Gifu Shotoku Gakuen University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

学習者が自分自身の顔行動を数値データとして取得して、数値処理が可能になる教材作成を目的とした。さらに昨今の「機械学習ブーム」を鑑みて、学習者自身がモデル構築を試みる可能性を検討した。2019年度で機械学習ライブライを用いてUSBカメラから得られた動画から「顔の特徴点座標」を取得し、頭頂部につけた慣性センサと同時計測をすることで、「顔の動き」を正しくとらえていることを確かめた。2020年度は、2019年度に開発発表をしたシステムの運用を目指したが、COVID-19蔓延のため、対面を伴う実践的研究が困難になった。そこで、Windows環境で、USBメモリーを用いたPython環境を作成し、その環境で、Net経由で環境構築を含めて運用が可能なことを確かめた。2021年度は、「顔の特徴点座標取得」の開発環境としてjavascriptを加えた。Webページにアクセスをして、学習者が指定した画像の「顔の特徴点座標」を数値として取得できるようにした。このシステムを運用することで、COVID-19の蔓延状況下でもWeb経由での教材作成が可能になった。2022年度は顔の動きの軌跡を取得し、動きを推定するモデルを構築することを試みた。2019年度から2021年度の研究で得られた知見や環境をもとに、顔の特徴点として両目尻と鼻頭の3点を選び、多層パーセプトロンを用いてモデルを構築した。「会話」中の動作として「うなずき（顔の上下動）」、「否定（左右動）」などの動作を推定することを試みた。モデル構築には、学習データとして数分間の各動作の動画を用いた。モデルは目視による結果と良い一致を得ることを確かめた。単純な動作推定モデル作成には、大量のデータではなくともモデル構築が可能であることを示すことで、現在話題になっている「機械学習モデル」を学習者自身が構築して推定する学習教材への発展させる可能性を示した。

Learners are divided into their own actions, data acquisition, data processing, and teaching material creation. This paper discusses the possibility of the "mechanical learning model" and the learner's own "mechanical learning model". In 2019, the mechanical learning model was used to obtain the "color feature point coordinates", the head top was used to obtain the inertia, and the simultaneous measurement was used to determine the "color motion". In 2020 and 2019, the development and application of COVID-19 were pointed out, and the research on COVID-19 was difficult. Windows environment, USB, Python environment, Net environment, Windows environment, Python environment In 2021, the development environment of "color feature point coordinate acquisition" and javascript were added. Web page search, learner to specify the image of the "color feature point coordinates" to obtain the number of The application of this system is possible under the spread of COVID-19. In 2022, we will try to obtain the trajectory of the future and build a framework for estimating the future. The research conducted in 2019 and 2021 showed that the environment and color characteristics were selected from the three points of the nose and the nose, and the structure of the environment and color characteristics was constructed. Try to deduce the movements of "(face moves up and down)" and "negation (left and right movement)" in "conversation". The animation of each action in several minutes is used in the construction and learning. The result is consistent. A large number of students are expected to be able to construct a learning material, and the possibility of developing a learning material is shown in the topic of "mechanical learning".