音声認識結果の要約と整形に基づく理解しやすい字幕の自動生成に関する研究

基于语音识别结果汇总格式化的易懂字幕自动生成研究

• 批准号: 22K12122
• 负责人: 村田 匡輝
• 金额: $ 2.25万
• 依托单位: National Institute of Technology, Toyota College
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12122/
• 关键词: 字幕生成; 改行挿入; 読点挿入; 整形; 要約; 音声認識

本研究では，講演や講義での音声に関する情報保障を目標に，音声認識結果に対して変換処理を施すことで，字幕として相応しいテキストを生成し提示するシステムの開発を目的とする．今年度は，以下の3項目を実施した．1. 講演テキストへ読点および改行を同時的に挿入する手法の開発を推進した．意味的な切れ目を考慮せず，固定の文字数で改行が挿入されたテキストは読みにくいものとなる．また，改行の挿入位置と読点の挿入位置は相互に関連があると考えられるため，適切な位置に読点と改行を同時に挿入可能な本手法は読みやすい字幕テキストを生成するための重要な要素技術である．本手法では，人手で読点と改行を付与したテキストデータを学習データとして使用し，マルチタスク学習により改行，読点の挿入を同時に行う．評価実験の結果，本手法の有効性を確認した．2. 1. の挿入手法を用いて音声認識結果へ読点と改行を挿入し提示するシステムの試作に取り組んだ．APIを用いて音声認識を実行し，その結果に対して読点と改行を挿入して表示するウェブアプリを構築した．3. 講義音声の認識結果を対象とした要約データの作成を推進した．音声の認識結果をそのまま字幕として表示すると，読み切れない量の字幕が提示される可能性がある．そこで不要な文字列の削除やより短い表現への修正を行ったデータを作成した．具体的には，フィラーや繰り返し表現の削除，過剰な丁寧表現の修正，話し言葉的な理解しにくい構文となっている表現の修正を中心に実施した．また，作成したデータの一部を用いた要約手法の開発に着手した．

This study aims to ensure the information security of speech and speech, and the development of speech and speech recognition results. This year, the following three projects were implemented: 1. The development of the technology of speech and communication should be promoted. The meaning of the word is to consider the number of words in a fixed number of words. The entry position of the change is related to the entry position of the change point. The entry position of the change point is related to the entry position of the change point. This method is to change the position of the hand and to change the position of the hand and to change the position of the hand. Evaluation of the results of the implementation, the effectiveness of the method to confirm. 2. 1. The method of entry is to use the sound recognition result to change the way to enter the prompt. The method of entry is to use the sound recognition result to change the way to enter the prompt. The method of entry is to use the sound recognition result to change the way. The results of the study were as follows: Sound recognition results include the possibility of subtitle presentation, the possibility of subtitle presentation, and the possibility of subtitle presentation. This is the first time I've ever seen a text column that I've deleted or modified. The concrete, the clear, the clear. A part of the process of making an offer begins with the development of an offer.

项目成果

方 之成, 村田 匡輝, 松原 茂樹

方成、村田正树、松原茂树

• 发表时间: 2023
• 作者: 方 之成;村田 匡輝;松原 茂樹
• 通讯作者: 松原 茂樹

マルチタスク学習による講演テキストへの読点と改行の自動挿入

使用多任务学习自动将逗号和换行符插入讲座文本中

• 发表时间: 2022
• 作者: 方 之成;村田 匡輝;松原 茂樹
• 通讯作者: 松原 茂樹