授業における非言語モダリティセンシングの高度化による情報保障・授業改善支援技術

点击翻译按钮获取中文摘要

本研究の目的は，様々な形態で実施される授業において，講師の授業音声や受講者側の映像，教室内に設置されたカメラやマイクから取得した情報に含まれる非言語モダリティセンシング基盤技術の高度化を目的とする。そして，それを基に情報保障・授業改善支援技術を開発し，学生に対する授業のインプットの質を向上させ，教育改善が実現できることを実証する。2022年度の実績は次のとおりである。【非言語現象を考慮した音声認識技術による字幕・翻訳化】音声認識を阻害する要因である，不明瞭性，雑音・残響環境，言い直し・淀み・フィラー(「えーっと」などの有声休止)といった非言語現象に着目し，非言語現象を考慮した認識改善方法を研究した。加えて，発話に含まれる言語断片の解消などのテキストを整形する音声認識技術を開発し，これを用いることで理解しやすい翻訳文の字幕化技術を開発した。被験者実験によって，講演動画に開発した音声認識技術を用いて英語字幕を付与し，字幕の分かりやすさで評価したところ，本技術の有効性を確認することができた。【話し方を特徴付ける特徴量】話し方を特徴付ける特徴量を調査するために，大規模日本語音声コーパスを使った聴取実験（アンケート）の準備をおこなった。100人の被験者に約100発話（1分程度）の音声を聞いてもらい，聴きやすさ，理解しやすさなどの約30項目の印象評価をおこなったデータセットを収集するためのシステム開発をおこなった。【教室の映像・音 響センシング】教室に設置してあるカメラやマイクから得られた情報を用い，対面授業における受講生の行動分析技術を開発した。【成果とりまとめ】開発した各要素技術は，国内学会で発表をおこなった。また，雑誌論文ならびに国際会議論文にまとめ，投稿済みである。