音声認識結果の要約と整形に基づく理解しやすい字幕の自動生成に関する研究

基于语音识别结果汇总格式化的易懂字幕自动生成研究

• 批准号: 22K12122
• 负责人: 村田 匡輝
• 金额: $ 2.25万
• 依托单位: National Institute of Technology, Toyota College
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12122/
• 关键词: 字幕生成; 改行挿入; 読点挿入; 整形; 要約; 音声認識

本研究では，講演や講義での音声に関する情報保障を目標に，音声認識結果に対して変換処理を施すことで，字幕として相応しいテキストを生成し提示するシステムの開発を目的とする．今年度は，以下の3項目を実施した．1. 講演テキストへ読点および改行を同時的に挿入する手法の開発を推進した．意味的な切れ目を考慮せず，固定の文字数で改行が挿入されたテキストは読みにくいものとなる．また，改行の挿入位置と読点の挿入位置は相互に関連があると考えられるため，適切な位置に読点と改行を同時に挿入可能な本手法は読みやすい字幕テキストを生成するための重要な要素技術である．本手法では，人手で読点と改行を付与したテキストデータを学習データとして使用し，マルチタスク学習により改行，読点の挿入を同時に行う．評価実験の結果，本手法の有効性を確認した．2. 1. の挿入手法を用いて音声認識結果へ読点と改行を挿入し提示するシステムの試作に取り組んだ．APIを用いて音声認識を実行し，その結果に対して読点と改行を挿入して表示するウェブアプリを構築した．3. 講義音声の認識結果を対象とした要約データの作成を推進した．音声の認識結果をそのまま字幕として表示すると，読み切れない量の字幕が提示される可能性がある．そこで不要な文字列の削除やより短い表現への修正を行ったデータを作成した．具体的には，フィラーや繰り返し表現の削除，過剰な丁寧表現の修正，話し言葉的な理解しにくい構文となっている表現の修正を中心に実施した．また，作成したデータの一部を用いた要約手法の開発に着手した．

The purpose of this study is to provide information on how to protect the target of sound and sound. The results of this study indicate that the following 3 items will be implemented in this year. 1. At the same time, you can use the same method to promote the performance. It means to change the number of words to a fixed number of words, to change the number of words, and to change the number of words. At the same time, it is possible to change the position to change the line and enter it at the same time. It is possible that this technique can generate an important element of technology. In this technique, manual training will be changed to pay for the use of training courses, training, training, training This technique has a sexual nature to confirm that it is not true. 2. 1. The input method is to use the audio message to change the line to indicate that the prompt is to be used as the selection group. API is to use the sound to read the word, and the result is to change the line to indicate that the message is not valid. 3. The audio results show that you want to improve the performance of the subtitles, the subtitles of the subtitles, and the subtitles of the subtitles. After a short period of time, the language is amended, and the language is understood. The center of the amendment is responsible for the amendment. After a short period of time, the amendment center is responsible for the correction of the amendment.

项目成果

方 之成, 村田 匡輝, 松原 茂樹

方成、村田正树、松原茂树

• 发表时间: 2023
• 作者: 方 之成;村田 匡輝;松原 茂樹
• 通讯作者: 松原 茂樹

マルチタスク学習による講演テキストへの読点と改行の自動挿入

使用多任务学习自动将逗号和换行符插入讲座文本中

• 发表时间: 2022
• 作者: 方 之成;村田 匡輝;松原 茂樹
• 通讯作者: 松原 茂樹