体育LMSのための電子ルーブリックと画像認識に基づく実技動作の自動評価技術

研究目的は動作の自動評価技術に基づく体育LMSの実用性を明らかにすることであり，2022年度の目標は，前年度から取り組んだ「多人数の学習者の同時動作認識技術」を実用化することである．当初の計画は，小・中学校の体育現場で動作データを収集し，既存の動作認識用DNN（Deep Neural Network）を体育動作の認識用に再訓練することであった．しかし新型コロナウィルスのためデータ収集の機会が無く，代替手段として，研究代表者が所属する大学の運動部員（空手道部と硬式野球部）の協力で収集した動作データによるDNNモデルの開発を行い，その結果，体育LMSのための自動評価に応用可能であることを確認した．また，この取り組みの中で，学習者のIDを表すQRコードを識別するための新規的な画像補正技術を開発した．つまり，多人数の学習者を同時撮影した映像から学習者ごとの動作評価を行うためには各々の氏名を識別する必要があるので，体操服に装着したQRコードを画像認識する手法を用いており，QRコードが変形しても認識するための画像補正技術である．開発した画像補正技術は，Stacked Hourglass と呼ばれるDNNモデルを応用しており，変形QRコード画像をフラットな形状の画像に変換することができる．変形QRコードの補正についての研究は数多くなされているが，本研究で開発したDNNの補正能力は，2022年までの他の研究の中でトップクラスである．この成果は，IOP Publishingの論文誌に採録された．また，2021年度の研究成果である「画像認識のためのカメラキャリブレーション技術」をARに応用した結果の論文が，電子情報通信学会の英文論文誌等で採録されている．

研究目的は動作の自動評価技術に基づく体育LMSの実用性を明らかにすることであり，2022年度の目標は，前年度から取り組んだ「多人数の学習者の同時動作認識技術」を実用化することである．当初の計画は，小・中学校の体育現場で動作データを収集し，既存の動作認識用DNN（Deep Neural Network）を体育動作の認識用に再訓練することであった．しかし新型コロナウィルスのためデータ収集の機会が無く，代替手段として，研究代表者が所属する大学の運動部員（空手道部と硬式野球部）の協力で収集した動作データによるDNNモデルの開発を行い，その結果，体育LMSのための自動評価に応用可能であることを確認した．また，この取り組みの中で，学習者のIDを表すQRコードを識別するための新規的な画像補正技術を開発した．つまり，多人数の学習者を同時撮影した映像から学習者ごとの動作評価を行うためには各々の氏名を識別する必要があるので，体操服に装着したQRコードを画像認識する手法を用いており，QRコードが変形しても認識するための画像補正技術である．開発した画像補正技術は，Stacked Hourglass と呼ばれるDNNモデルを応用しており，変形QRコード画像をフラットな形状の画像に変換することができる．変形QRコードの補正についての研究は数多くなされているが，本研究で開発したDNNの補正能力は，2022年までの他の研究の中でトップクラスである．この成果は，IOP Publishingの論文誌に採録された．また，2021年度の研究成果である「画像認識のためのカメラキャリブレーション技術」をARに応用した結果の論文が，電子情報通信学会の英文論文誌等で採録されている．