音声認識結果の要約と整形に基づく理解しやすい字幕の自動生成に関する研究

本研究では，講演や講義での音声に関する情報保障を目標に，音声認識結果に対して変換処理を施すことで，字幕として相応しいテキストを生成し提示するシステムの開発を目的とする．今年度は，以下の3項目を実施した．1. 講演テキストへ読点および改行を同時的に挿入する手法の開発を推進した．意味的な切れ目を考慮せず，固定の文字数で改行が挿入されたテキストは読みにくいものとなる．また，改行の挿入位置と読点の挿入位置は相互に関連があると考えられるため，適切な位置に読点と改行を同時に挿入可能な本手法は読みやすい字幕テキストを生成するための重要な要素技術である．本手法では，人手で読点と改行を付与したテキストデータを学習データとして使用し，マルチタスク学習により改行，読点の挿入を同時に行う．評価実験の結果，本手法の有効性を確認した．2. 1. の挿入手法を用いて音声認識結果へ読点と改行を挿入し提示するシステムの試作に取り組んだ．APIを用いて音声認識を実行し，その結果に対して読点と改行を挿入して表示するウェブアプリを構築した．3. 講義音声の認識結果を対象とした要約データの作成を推進した．音声の認識結果をそのまま字幕として表示すると，読み切れない量の字幕が提示される可能性がある．そこで不要な文字列の削除やより短い表現への修正を行ったデータを作成した．具体的には，フィラーや繰り返し表現の削除，過剰な丁寧表現の修正，話し言葉的な理解しにくい構文となっている表現の修正を中心に実施した．また，作成したデータの一部を用いた要約手法の開発に着手した．

本研究では，講演や講義での音声に関する情報保障を目標に，音声認識結果に対して変換処理を施すことで，字幕として相応しいテキストを生成し提示するシステムの開発を目的とする．今年度は，以下の3項目を実施した．1. 講演テキストへ読点および改行を同時的に挿入する手法の開発を推進した．意味的な切れ目を考慮せず，固定の文字数で改行が挿入されたテキストは読みにくいものとなる．また，改行の挿入位置と読点の挿入位置は相互に関連があると考えられるため，適切な位置に読点と改行を同時に挿入可能な本手法は読みやすい字幕テキストを生成するための重要な要素技術である．本手法では，人手で読点と改行を付与したテキストデータを学習データとして使用し，マルチタスク学習により改行，読点の挿入を同時に行う．評価実験の結果，本手法の有効性を確認した．2. 1. の挿入手法を用いて音声認識結果へ読点と改行を挿入し提示するシステムの試作に取り組んだ．APIを用いて音声認識を実行し，その結果に対して読点と改行を挿入して表示するウェブアプリを構築した．3. 講義音声の認識結果を対象とした要約データの作成を推進した．音声の認識結果をそのまま字幕として表示すると，読み切れない量の字幕が提示される可能性がある．そこで不要な文字列の削除やより短い表現への修正を行ったデータを作成した．具体的には，フィラーや繰り返し表現の削除，過剰な丁寧表現の修正，話し言葉的な理解しにくい構文となっている表現の修正を中心に実施した．また，作成したデータの一部を用いた要約手法の開発に着手した．