オンライン講義の学びを活性化するソーシャルアノテーションに基づく講義要約システム

本研究では、オンライン講義の動画やライブ配信に付与された学生のリアクション（投稿コメントや「いいね」など）と、講師の作成した講義コンテンツ（講義スライドやレジュメなど）を学習データに活用することで、講義音声の音声認識（自動書き起こし）と自動要約（重要な部分の自動抽出）を高精度化することを目指している。2022年度は、以下の研究内容を実施した。【内容1】本研究の対象とする講義音声のような自由発話では、特定の原稿などを読み上げる朗読音声とは異なり、フィラーや言い淀みをはじめとする非流暢的音響特徴が音声認識における誤認識の原因となる。こうした話し言葉特有の問題をEnd-to-End型の音声認識で考慮するために、非流暢ラベルを用いる手法を昨年度に提案した。今年度は、大規模言語モデルBERT（Bidirectional Encoder Representations from Transformers）のfine-tuningに基づいて、非流暢ラベルを含まない書き言葉のテキストデータに対し、非流暢ラベルを疑似的に挿入する手法を提案した。これにより、書籍などの書き言葉のテキストデータを、講義音声などの自由発話の音声認識モデルの学習に効果的に利用することが可能となる。学術講演を対象とした評価実験により、提案手法の有効性を示した。【内容2】本研究の対象とする講義音声では、専門性の高い発話内容が多く含まれることから、専門分野特有の言い回しや専門用語などを高精度に認識できることが重要である。このような場合には、音声認識モデルの学習において獲得される音響情報と言語情報のうち、特に言語情報を効果的に利用する手法が必要となる。今年度は、このための方法として昨年度に提案した Density Ratio Approach に基づく認識手法が、日本語の音声においても有効であることを評価実験によって示した。

本研究では、オンライン講義の動画やライブ配信に付与された学生のリアクション（投稿コメントや「いいね」など）と、講師の作成した講義コンテンツ（講義スライドやレジュメなど）を学習データに活用することで、講義音声の音声認識（自動書き起こし）と自動要約（重要な部分の自動抽出）を高精度化することを目指している。2022年度は、以下の研究内容を実施した。【内容1】本研究の対象とする講義音声のような自由発話では、特定の原稿などを読み上げる朗読音声とは異なり、フィラーや言い淀みをはじめとする非流暢的音響特徴が音声認識における誤認識の原因となる。こうした話し言葉特有の問題をEnd-to-End型の音声認識で考慮するために、非流暢ラベルを用いる手法を昨年度に提案した。今年度は、大規模言語モデルBERT（Bidirectional Encoder Representations from Transformers）のfine-tuningに基づいて、非流暢ラベルを含まない書き言葉のテキストデータに対し、非流暢ラベルを疑似的に挿入する手法を提案した。これにより、書籍などの書き言葉のテキストデータを、講義音声などの自由発話の音声認識モデルの学習に効果的に利用することが可能となる。学術講演を対象とした評価実験により、提案手法の有効性を示した。【内容2】本研究の対象とする講義音声では、専門性の高い発話内容が多く含まれることから、専門分野特有の言い回しや専門用語などを高精度に認識できることが重要である。このような場合には、音声認識モデルの学習において獲得される音響情報と言語情報のうち、特に言語情報を効果的に利用する手法が必要となる。今年度は、このための方法として昨年度に提案した Density Ratio Approach に基づく認識手法が、日本語の音声においても有効であることを評価実験によって示した。