深層学習による技能習熟度の自動判定と技能獲得支援に関する研究

点击翻译按钮获取中文摘要

語学の発音、音楽表現、運動などの技能の習熟度を自動的に判定する深層学習モデルを構築し、技能獲得支援に応用することを目的とする。従来、これらの技能の習熟度は、お手本となる例題に対して、練習者の再現度を判定する方法が主に用いられてきた。しかし、その方法では、特定のお手本のみを真似てしまい、応用力が低くなってしまう課題があった。一方、卓越した人間の指導者は練習者の技能習熟度を極めて短時間に判定することができる。このような機構を自動化できれば、人が技能を獲得するための機構解明になり、技能獲得支援の自動化に寄与する基盤技術となる。自己教師型の深層学習機構を適用し、練習者の技能の習熟度を直接判定するニューラルネットワークモデルを構築することを目的とする。モデルの注意機構により、試技の時系列上のどの箇所が習熟レベルの判定に寄与しているかの重要度も同時に推定することができ、これを練習者に示すことで、技能獲得支援のためのフィードバック情報として利用することができる。計画初年度である本年では、対象とする技能として語学（発音）と音楽表現、を選定し、技能獲得支援のための深層学習モデルを構築した。エンドユーザレベルで発音練習が行えるシステムを構築し、利用者評価を行った。また、音楽表現ではピアノ練習の音響データを直接解釈する深層学習モデルを構築し、練習者の習熟レベルの判定、練習者の音楽表現（明るい・暗いなどの表現）の弁別を評価した。音楽表現においては、習熟度の異なる演奏者（音大学生ら）による試技を収集したデータセットを構築した。