オンライン講義の学びを活性化するソーシャルアノテーションに基づく講義要約システム

基于社交标注的讲座摘要系统，盘活在线讲座学习

• 批准号: 21K13641
• 负责人: 太田 健吾
• 金额: $ 3万
• 依托单位: Anan National College of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K13641/
• 关键词: 音声認識; 音声要約; ソーシャルアノテーション; 教育工学; オンライン講義; 講義コンテンツ

本研究では、オンライン講義の動画やライブ配信に付与された学生のリアクション（投稿コメントや「いいね」など）と、講師の作成した講義コンテンツ（講義スライドやレジュメなど）を学習データに活用することで、講義音声の音声認識（自動書き起こし）と自動要約（重要な部分の自動抽出）を高精度化することを目指している。2022年度は、以下の研究内容を実施した。【内容1】本研究の対象とする講義音声のような自由発話では、特定の原稿などを読み上げる朗読音声とは異なり、フィラーや言い淀みをはじめとする非流暢的音響特徴が音声認識における誤認識の原因となる。こうした話し言葉特有の問題をEnd-to-End型の音声認識で考慮するために、非流暢ラベルを用いる手法を昨年度に提案した。今年度は、大規模言語モデルBERT（Bidirectional Encoder Representations from Transformers）のfine-tuningに基づいて、非流暢ラベルを含まない書き言葉のテキストデータに対し、非流暢ラベルを疑似的に挿入する手法を提案した。これにより、書籍などの書き言葉のテキストデータを、講義音声などの自由発話の音声認識モデルの学習に効果的に利用することが可能となる。学術講演を対象とした評価実験により、提案手法の有効性を示した。【内容2】本研究の対象とする講義音声では、専門性の高い発話内容が多く含まれることから、専門分野特有の言い回しや専門用語などを高精度に認識できることが重要である。このような場合には、音声認識モデルの学習において獲得される音響情報と言語情報のうち、特に言語情報を効果的に利用する手法が必要となる。今年度は、このための方法として昨年度に提案した Density Ratio Approach に基づく認識手法が、日本語の音声においても有効であることを評価実験によって示した。

This study aims to improve the accuracy of the animation of handouts, the distribution of information, the preparation of handouts, the use of handouts, and the automatic offer of handouts. In 2022, the following research contents were implemented. [Contents 1] This study focuses on the non-smooth acoustic characteristics and the causes of misrecognition of sound in the free speech, the specific manuscript, the speech, the sound, the difference, the speech, and the sound. The problem of End-to-End sound recognition is considered, and the method of non-smooth sound recognition is proposed. This year, we propose fine-tuning, non-smooth encoding techniques for large-scale speech coding BERT (Bidirectional Encoder Representatives from Transformers), including the use of speech coding techniques for non-smooth encoding. This is a book, a book, a book Academic lectures, comments, proposals and methods [Content 2] The content of this study is mainly related to the sound of the lecture, the high level of the speech, the high level of the speech. In this case, it is necessary to acquire sound information, speech information and special speech information for learning and using them. This year's proposal is based on the Density Ratio Approach, which is used to evaluate Japanese pronunciation.

项目成果

言い淀みラベル付けによる非流暢発話のEnd-to-End音声認識

使用犹豫标记对不流畅语音进行端到端语音识别

• 发表时间: 2021
• 作者: Yoshimitsu Miyazawa;Maomi Ueno;森 大輝，太田 健吾，西村 良太，小川 厚徳，北岡 教英;宮澤芳光，植野真臣;堀井 こはる，福田 芽衣子，太田 健吾，西村 良太，北岡 教英;宮澤 芳光，植野 真臣;森大輝，太田健吾，西村良太，小川厚徳，北岡教英;堀井こはる，福田芽衣子，太田健吾，西村良太，北岡教英
• 通讯作者: 堀井こはる，福田芽衣子，太田健吾，西村良太，北岡教英

Advanced language model fusion method for encoder-decoder model in Japanese speech

日语语音编码器-解码器模型的高级语言模型融合方法

• 发表时间: 2021
• 作者: Daiki Mori;Kengo Ohta;Ryota Nishimura;Atsunori Ogawa;Norihide Kitaoka
• 通讯作者: Norihide Kitaoka

言い淀みを考慮した自由発話のEnd-to-End音声認識

考虑犹豫的自由言论的端到端语音识别

• 发表时间: 2021
• 作者: Koharu Horii;Meiko Fukuda;Kengo Ohta;Ryota Nishimura;Atsunori Ogawa;Norihide Kitaoka;森 大輝，太田 健吾，西村 良太，小川 厚徳，北岡 教英;堀井 こはる，福田 芽衣子，太田 健吾，西村 良太，北岡 教英
• 通讯作者: 堀井 こはる，福田 芽衣子，太田 健吾，西村 良太，北岡 教英

End-to-end音声認識モデルにおける暗黙的言語情報の置換法

端到端语音识别模型中的隐式语言信息替换方法

• 发表时间: 2021
• 作者: Yoshimitsu Miyazawa;Maomi Ueno;森 大輝，太田 健吾，西村 良太，小川 厚徳，北岡 教英;宮澤芳光，植野真臣;堀井 こはる，福田 芽衣子，太田 健吾，西村 良太，北岡 教英;宮澤 芳光，植野 真臣;森大輝，太田健吾，西村良太，小川厚徳，北岡教英
• 通讯作者: 森大輝，太田健吾，西村良太，小川厚徳，北岡教英

自発的発話認識のためのBERTによる非流暢文生成に基づく言語モデリング

使用 BERT 进行自发语音识别的基于非流利句子生成的语言建模

• 发表时间: 2023
• 作者: Tsunomori Y;Higashinaka R;Yoshimura T;Yoshinori;堀井 こはる，太田 健吾，西村 良太，小川 厚徳，北岡 教英
• 通讯作者: 堀井 こはる，太田 健吾，西村 良太，小川 厚徳，北岡 教英