ビジュアルフィードバックを活用した熟練職人の技能継承のための教材に関する研究

点击翻译按钮获取中文摘要

本研究は，これまで暗黙知とされてきた建築業・建設業の熟練技能者や若手技能者などの技能を習熟度別に体系化し，技能を学ぼうとする学習者の習熟度に合わせた技能をICTによる支援で効率の良い技能継承を可能とする研究である．具体的には熟練技能者や若手技能者などの作業動作を蓄積し，分析し学習者の習熟度に応じた評価や，適切な動作指示がICTによる支援で直感的に効率よく行える技能継承システムを構築するものである．2022年度の研究計画では，モーションセンサから得られた出力に基づき，力を入れるタイミングや，力を抜くタイミングなどの動作に合わせて擬音語や図形に変換し重畳表現できるシステムの開発と実践を行う．また，マーカを使用しないマーカレスで動作を捉え，ポイントとなる部分の動作を取得できるかを検証し，それらについても重畳表現しフィードバックできるようにすることが計画されていた．実施状況としては，骨格推定に基づく指導用オノマトペを重畳する学習者への提示について検討した「疑似的対面を生成する切り替え式視聴支援システムの開発」（田中ら2022）に取り組んだ．また，左官初級者と盛職人の塗り動作についてDTW（Dynamic Time Warping）を用いて比較した．「DTW距離を用いた教授戦略切り替え式視聴支援システムの開発」（田中ら2023）． 本研究の分析結果では，職人の動作では背面と両肩，腰，両膝において強い類似性が，側面においては，測定したすべての部位において類似を示した．初級者の動作では，比較的高い類似性を示す場合もあったが，概ね安定していない結果となった．また，初級者の塗り動作と職人の塗り動作をDTW を用いて比較することで，学習者の現在の理想の動作に対する技能レベルを明らかにし，このレベルを超えることを学習者の目標として，目標値を境に重畳するオノマトペの傾向を想定した．